LoGeR – 3D endurgerð úr mjög löngum myndböndum (DeepMind, UC Berkeley)

Umbreytir klukkustundum af myndbandi í heildstæðan þrívíddarheim

Ímyndaðu þér að taka myndband af heilum atburði – brúðkaupsathöfn, byggingarverkefni eða náttúrugöngu um skóg. Þú endar með klukkutíma af myndefni, en það er flöt, línuleg röð. Hvað ef þú gætir umbreytt þessu langa, ómeðhöndlaða myndbandi í eitt, siglinganlegt þrívíddarlíkan af öllu atriðinu? Þetta er metnaðarfullt markmið LoGeR, tímamóta rannsóknarsamstarfs milli DeepMind og UC Berkeley. Þessi tækni saumar ekki bara myndir saman; það endurgerir á skynsamlegan hátt viðvarandi þrívíddarheim úr myndbandsstraumum sem eru langir bæði að lengd og líkamlegri leið og takast á við eina mikilvægustu áskorunina í tölvusjón.

Kjarnaáskorunin: Samræmi yfir stórum mælikvarða

Hefðbundnar þrívíddaruppbyggingaraðferðir skara fram úr með stuttum myndskeiðum eða safni mynda sem teknar eru frá mismunandi sjónarhornum á sama augnabliki. Hins vegar glíma þeir gríðarlega við „löng“ myndbönd. Erfiðleikarnir eru tvíþættir. Í fyrsta lagi tímalengd: þar sem myndband teygir sig yfir mínútur eða klukkustundir, breytist lýsing, hlutir hreyfast og fólk kemur og fer. Í öðru lagi, rýmiskvarði: myndavélin gæti farið yfir stórt svæði, eins og að ganga í gegnum garð og inn í byggingu og skapa gríðarstórt og flókið umhverfi til að kortleggja. Núverandi kerfi tekst oft ekki að viðhalda samræmdu hnattrænu korti, sem leiðir til sundurlausra endurgerða eða „flota“ — draugalegir gripir sem tilheyra ekki neinu yfirborði. LoGeR tekur á þessu með því að einbeita sér að því að byggja upp sameinaða framsetningu sem er áfram samfelld á þessum víðfeðma mælikvarða tíma og rúms.

Hvernig LoGeR nær samfelldri enduruppbyggingu

LoGeR, sem stendur fyrir Long Generative Reconstruction, kynnir nýja nálgun sem miðast við „fræ upphafsstefnu“. Í stað þess að reyna að byggja alla þrívíddarsenuna í einu úr óskipulegum myndbandsstraumi, greinir kerfið fyrst lítinn, viðráðanlegan hluta myndbandsins sem auðveldara er að endurgera með miklu öryggi. Þessi hágæða þrívíddarplástur þjónar sem stöðugt akkeri eða "fræ". Líkanið stækkar síðan þessa 3D framsetningu smám saman, ramma fyrir ramma, og tekur varlega inn nýjar sjónrænar upplýsingar á meðan það vísar aftur til stofnaðs fræs til að tryggja alþjóðlegt samræmi. Þessi aðferð gerir líkaninu í raun kleift að forðast algengar gildrur stærðarinnar og skapar nákvæmara og áreiðanlegra þrívíddarlíkan úr mjög löngu inntakinu. Það er breyting frá því að reyna að sjá heildarmyndina í einu yfir í að byggja hana upp frá traustum kjarna.

„Nálgun okkar gerir kleift að endurbyggja alþjóðlega samræmda þrívíddarsenu úr löngu myndbandi, sem er krefjandi umhverfi fyrir núverandi aðferðir sem oft framleiða ótengda rúmfræði. - LoGeR rannsóknarhöfundar

Hagnýtt forrit fyrir fyrirtæki og höfunda

Möguleg forrit fyrir tækni eins og LoGeR eru mikil. Fyrir arkitekta og fasteignaframleiðendur gæti það umbreytt vettvangskönnunum, sem gerir einfalda myndbandsleiðsögn kleift að búa til ítarlegt þrívíddarlíkan af eign. Í afþreyingu gætu kvikmyndagerðarmenn búið til stafræn leikmynd úr umfangsmiklum staðsetningarupptökum. Fyrir flutninga og vöruhúsastjórnun gæti það gert kraftmikla þrívíddarkortlagningu á gríðarlegri aðstöðu. Þessi hæfileiki til að búa til samhangandi stafrænan tvíbura úr ómótuðu myndbandi er öflugt tæki. Hjá Mewayz sjáum við náttúrulega samlegðaráhrif með þessari tækni. Einingaviðskiptakerfi okkar er byggt til að samþætta og skipuleggja flókna gagnastrauma. Ímyndaðu þér verkefnastjórnunareiningu þar sem myndband um vefskoðun er sjálfkrafa unnið með tóli eins og LoGeR, og þrívíddarlíkanið sem myndast er tengt verkefnalistum, birgðum og tímalínum innan Mewayz vettvangsins samstundis, sem gefur sannarlega yfirgripsmikla og gagnaríka sýn á framvindu verkefnisins.

Looking Ahead: The Future of Spatiotemporal Understanding

LoGeR táknar verulegt stökk í átt að gervigreindarkerfum sem geta skilið heiminn okkar, ekki bara sem röð af skyndimyndum, heldur sem stöðugt 4D rými í þróun (3D + tími). Endurtekningar í framtíðinni gætu fylgst með hlutum og fólki óaðfinnanlega á klukkutímum og skilið ekki bara hvar hlutirnir eru, heldur hvernig þeir breytast og hafa samskipti yfir langan tíma. Þessi tímabundni skilningur er næsta landamæri. Fyrir palla eins og Mewayz, sem miða að því að vera miðlægt stýrikerfi fyrir fyrirtæki, gæti samþætting slíkra háþróaða landgagnagetu gjörbylt því hvernig fyrirtæki skipuleggja, fylgjast með og greina líkamlega starfsemi. Það færir okkur nær framtíð þar sem stafrænn og líkamlegur heimur eru óaðfinnanlega samtvinnuð fyrir snjallari ákvarðanatöku.

Þó enn er rannsóknarverkefni bendir LoGeR á framtíð þar sem að búa til yfirgripsmikið stafrænt eintak af hvaða umhverfi sem er er eins einfalt og að taka upp myndband. Afleiðingarnar fyrir skjölun, greiningu og sýndarsamskipti eru djúpstæð og breyta löngum upptökum í varanlega, rannsakanlega heima.