LoGeR - juda uzun videolardan 3D rekonstruksiya qilish (DeepMind, UC Berkeley)

Video soatlarini izchil 3D dunyosiga aylantirish

Tasavvur qiling-a, butun bir voqea — to‘y marosimi, qurilish loyihasi yoki o‘rmon bo‘ylab sayr qilish videosini suratga olish. Siz soatlab tasvirga ega bo'lasiz, lekin bu tekis, chiziqli ketma-ketlik. Agar siz o'sha uzun va noqulay videoni butun sahnaning yagona, navigatsiya qilinadigan 3D modeliga aylantira olsangiz nima bo'ladi? Bu DeepMind va UC Berkeley o'rtasidagi yangi tadqiqot hamkorligi bo'lgan LoGeRning ulkan maqsadi. Bu texnologiya faqat fotosuratlarni bir-biriga tikib qo'ymaydi; u kompyuterni ko‘rishdagi eng muhim muammolardan birini yengib, davomiyligi va jismoniy yo‘lida uzoq bo‘lgan video oqimlardan doimiy 3D dunyoni aqlli ravishda qayta quradi.

Asosiy muammo: keng miqyosda izchillik

An'anaviy 3D rekonstruksiya usullari qisqa videokliplar yoki bir vaqtning o'zida turli burchaklardan olingan fotosuratlar to'plamidan ustundir. Biroq, ular "uzoq" videolar bilan juda qiyin. Qiyinchiliklar ikki xil. Birinchidan,vaqtinchalik uzunlik: video daqiqalar yoki soatlar davomida cho‘zilsa, yorug‘lik o‘zgaradi, ob’ektlar harakatlanadi va odamlar kelib-ketadi. Ikkinchidan,fazoviy masshtab: kamera katta maydonni bosib o‘tishi mumkin, masalan, park va binoga kirib, xaritada katta va murakkab muhit yaratishi mumkin. Mavjud tizimlar ko'pincha izchil global xaritani saqlay olmaydi, bu esa bir-biridan ajratilgan rekonstruksiyalarga yoki "suzuvchilar"ga olib keladi - hech qanday sirtga tegishli bo'lmagan sharpali artefaktlar. LoGeR ushbu keng koʻlamli vaqt va makonda izchil boʻlib qoladigan yagona vakillikni yaratishga eʼtibor qaratadi.

LoGeR qanday qilib izchil qayta qurishga erishadi

LoGeR, ya'ni Long Generative Rekonstruksiya degan ma'noni anglatadi, "urug'ni ishga tushirish" strategiyasiga asoslangan yangi yondashuvni taqdim etadi. Xaotik video oqimidan birdaniga butun 3D-sahnani yaratishga urinish o‘rniga, tizim birinchi navbatda yuqori ishonch bilan qayta qurish osonroq bo‘lgan videoning kichik, boshqariladigan segmentini aniqlaydi. Ushbu yuqori sifatli 3D patch barqaror langar yoki "urug'" bo'lib xizmat qiladi. Keyin model ushbu 3D tasvirni asta-sekin o'sib boradi, yangi vizual ma'lumotlarni diqqat bilan o'z ichiga oladi va global izchillikni ta'minlash uchun o'rnatilgan urug'ga murojaat qiladi. Ushbu usul modelga keng tarqalgan miqyosdagi tuzoqlardan samarali ravishda qochish imkonini beradi va juda uzoq kirishdan aniqroq va ishonchli 3D modelni yaratadi. Bu bir vaqtning o‘zida butun rasmni ko‘rishga urinishdan uni ishonchli yadrodan yaratishga o‘tish.

"Bizning yondashuvimiz uzoq videodan global miqyosda izchil 3D sahnani rekonstruksiya qilish imkonini beradi, bu ko'pincha uzilgan geometriyani ishlab chiqaradigan mavjud usullar uchun qiyin sozlamalardir." - LoGeR tadqiqot mualliflari

Korxonalar va ijodkorlar uchun amaliy ilovalar

LoGeR kabi texnologiya uchun potentsial ilovalar juda katta. Arxitektorlar va ko'chmas mulkni ishlab chiquvchilar uchun u sayt so'rovlarini o'zgartirishi mumkin, bu esa oddiy video ko'rinishida mulkning batafsil 3D modelini yaratishga imkon beradi. O'yin-kulgida kinoijodkorlar keng qamrovli skautlik tasvirlaridan raqamli to'plamlarni yaratishi mumkin edi. Logistika va omborlarni boshqarish uchun u katta ob'ektlarning dinamik 3D xaritasini yaratishga imkon berishi mumkin. Tarkibi tuzilmagan videodan yaxlit raqamli egizak yaratish qobiliyati kuchli vositadir. Mewayzda biz ushbu texnologiya bilan tabiiy sinergiyani ko'ramiz. Bizning modulli biznes OT murakkab ma'lumotlar oqimlarini integratsiyalash va tuzilish uchun yaratilgan. Loyihani boshqarish modulini tasavvur qiling-a, bu yerda saytni tekshirish videosi LoGeR kabi vosita tomonidan avtomatik tarzda qayta ishlanadi va natijada olingan 3D model Mewayz platformasidagi vazifalar roʻyxati, inventar va vaqt jadvallari bilan bir zumda bogʻlanadi, bu esa loyiha taraqqiyotining chinakam immersiv va maʼlumotlarga boy koʻrinishini taʼminlaydi.

Oldinga qarash: fazoviy-zamoniy tushunchaning kelajagi

LoGeR bizning dunyomizni shunchaki bir qator suratlar sifatida emas, balki doimiy, rivojlanayotgan 4D makon (3D + vaqt) sifatida tushuna oladigan AI tizimlariga sezilarli sakrashni anglatadi. Kelajakdagi iteratsiyalar ob'ektlar va odamlarni soatlab uzluksiz kuzatishi mumkin, bu nafaqat narsalarning qaerdaligini, balki ular qanday o'zgarishini va uzoq vaqt davomida o'zaro ta'sirini tushunishi mumkin. Bu fazoviy-vaqtinchalik tushunchasi keyingi chegaradir. Biznes uchun markaziy operatsion tizim bo'lishni maqsad qilgan Mewayz kabi platformalar uchun bunday ilg'or fazoviy ma'lumotlar imkoniyatlarini integratsiyalash kompaniyalarning jismoniy operatsiyalarni rejalashtirish, kuzatish va tahlil qilishda inqilob qilishi mumkin. Bu bizni aqlliroq qarorlar qabul qilish uchun raqamli va jismoniy olamlar uzviy bog‘langan kelajakka yaqinlashtiradi.

Hali tadqiqot loyihasi bo'lsa-da, LoGeR har qanday muhitning to'liq raqamli nusxasini yaratish videoni yozib olish kabi oddiy kelajakka ishora qiladi. Hujjatlar, tahlillar va virtual oʻzaro taʼsirlar chuqur taʼsir qiladi, bu esa uzoq davom etgan yozuvlarni doimiy, oʻrganiladigan dunyoga aylantiradi.