LoGeR - Ath-thogail 3D bho bhideothan air leth fada (DeepMind, UC Berkeley)

A’ tionndadh Uairean Bhidio gu Saoghal 3D Co-fhreagarrach

Smaoinich air bhidio a ghlacadh de thachartas slàn – cuirm pòsaidh, pròiseact togail, neo cuairt nàdair tro choille. Bidh uairean de dhealbhan agad a’ crìochnachadh, ach is e sreath rèidh, sreathach a th’ ann. Dè nam b’ urrainn dhut a’ bhidio fhada neo-ghlic sin a thionndadh gu bhith na aon mhodail 3D a ghabhas seòladh den t-sealladh gu lèir? Is e seo an t-amas àrd-amasach aig LoGeR, co-obrachadh rannsachaidh ùr-nodha eadar DeepMind agus UC Berkeley. Chan eil an teicneòlas seo dìreach a’ fuaigheal dhealbhan ri chèile; bidh e gu tùrail ag ath-chruthachadh saoghal 3D leantainneach bho shruthan bhidio a tha fada ann an ùine agus slighe corporra, a’ dèiligeadh ri aon de na dùbhlain as cudromaiche ann an lèirsinn coimpiutair.

Am Prìomh Dùbhlan: Co-sheasmhachd thar Sgèile Mòr

Tha dòighean ath-thogail 3D traidiseanta air leth math le criomagan bhidio goirid no cruinneachadh de dhealbhan a chaidh a thogail bho dhiofar cheàrnan aig an aon àm. Ach, tha iad a’ strì gu mòr le bhideothan “fada”. Tha na duilgheadasan dà-fhillte. An toiseach, fad ùineail: mar a bhios bhidio a’ sìneadh thairis air mionaidean no uairean, bidh solais ag atharrachadh, nithean a’ gluasad, agus bidh daoine a’ tighinn is a’ falbh. San dàrna h-àite, sgèile spàsail: dh’ fhaodadh an camara a dhol tarsainn air raon mòr, leithid coiseachd tro phàirce agus a-steach do thogalach, a’ cruthachadh àrainneachd mhòr iom-fhillte airson a mhapadh. Gu tric chan eil na siostaman a th’ ann mar-thà a’ cumail mapa cruinne cunbhalach, a’ leantainn gu ath-thogail neo-cheangailte no “floaters” - stuthan taibhseil nach buin do uachdar sam bith. Bidh LoGeR a’ dèiligeadh ri seo le bhith ag amas air riochdachadh aonaichte a thogail a tha fhathast ciallach thairis air na h-ìrean mòra ùine is àite sin.

Mar a nì LoGeR Ath-thogail Co-fhreagarrach

Tha LoGeR, a tha a’ ciallachadh Long Generative Reconstruction, a’ toirt a-steach dòigh-obrach ùr-nodha stèidhichte air ro-innleachd “tòiseachadh sìol”. An àite a bhith a’ feuchainn ris an t-sealladh 3D gu lèir a thogail aig an aon àm bho shruth bhidio chaotic, tha an siostam an-toiseach a’ comharrachadh earrann bheag den bhidio a tha furasta a riaghladh a tha nas fhasa ath-chruthachadh le làn mhisneachd. Tha am pìos 3D àrd-inbhe seo na acair seasmhach no "sìol." Bidh am modail an uairsin a’ fàs mean air mhean air an riochdachadh 3D seo, frèam le frèam, a’ toirt a-steach fiosrachadh lèirsinneach ùr gu faiceallach fhad ‘s a tha e a’ toirt iomradh air ais chun t-sìol stèidhichte gus dèanamh cinnteach à cunbhalachd cruinneil. Tha an dòigh seo gu h-èifeachdach a’ leigeil leis a’ mhodail na cnapan-starra coitcheann ann an sgèile a sheachnadh, a’ cruthachadh modal 3D nas cruinne agus nas earbsaiche bhon chur-a-steach fìor fhada. Is e gluasad a th’ ann bho bhith a’ feuchainn ris an dealbh gu lèir fhaicinn sa bhad gu bhith ga thogail bho chridhe earbsach.

“Tha an dòigh-obrach againn a’ comasachadh sealladh 3D a tha cunbhalach air feadh na cruinne ath-chruthachadh bho bhidio fada, a tha na shuidheachadh dùbhlanach airson dòighean a th ’ann mar-thà a bhios gu tric a’ toirt a-mach geoimeatraidh neo-cheangailte. ” - Ùghdaran Rannsachaidh LoGeR

Cleachdaidhean practaigeach airson gnìomhachasan is luchd-cruthachaidh

Tha na h-aplacaidean a dh’ fhaodadh a bhith ann airson teicneòlas leithid LoGeR fìor mhòr. Dha ailtirean agus luchd-leasachaidh thogalaichean, dh’ fhaodadh e suirbhidhean làraich atharrachadh, a’ ceadachadh coiseachd bhidio sìmplidh gus modal 3D mionaideach de thogalach a ghineadh. Ann an dibhearsain, b’ urrainn do luchd-dèanamh fhilm seataichean didseatach a chruthachadh bho fhilmichean farsaing de scoutadh àite. Airson logistics agus riaghladh taigh-bathair, dh’ fhaodadh e mapadh fiùghantach 3D de ghoireasan mòra a chomasachadh. Tha an comas seo air càraid didseatach co-leanailteach a chruthachadh bho bhidio neo-structaraichte na inneal cumhachdach. Aig Mewayz, chì sinn co-obrachadh nàdarra leis an teicneòlas seo. Tha an gnìomhachas modular OS againn air a thogail gus sruthan dàta iom-fhillte fhilleadh a-steach agus a structaradh. Smaoinich air modal stiùireadh pròiseict far a bheil bhidio sgrùdaidh làraich air a phròiseasadh gu fèin-ghluasadach le inneal mar LoGeR, agus tha am modal 3D a thig às a sin ceangailte sa bhad ri liostaichean gnìomh, clàr-seilbhe, agus loidhnichean-tìm taobh a-staigh àrd-ùrlar Mewayz, a’ toirt seachad sealladh fìor bhogadh agus làn dàta air adhartas pròiseict.

A’ coimhead air adhart: Na tha ri teachd de thuigse spàsail

Tha LoGeR a’ riochdachadh leum mòr a dh’ ionnsaigh siostaman AI a thuigeas ar saoghal chan ann a-mhàin mar shreath de dhealbhan, ach mar àite 4D leantainneach, mean-fhàs (ùine 3D +). Dh’ fhaodadh ath-aithrisean san àm ri teachd sùil a chumail air nithean agus daoine gun fhiosta thar uairean, a’ tuigsinn chan ann a-mhàin far a bheil cùisean, ach mar a bhios iad ag atharrachadh agus ag eadar-obrachadh thar amannan fada. Is e an tuigse spatiotemporal seo an ath chrìoch. Airson àrd-ùrlaran mar Mewayz, a tha ag amas air a bhith mar phrìomh shiostam obrachaidh gnìomhachais, dh’ fhaodadh amalachadh a leithid de chomasan dàta spàsail atharrachadh mar a bhios companaidhean a’ dealbhadh, a’ cumail sùil air agus a’ sgrùdadh gnìomhachd corporra. Bidh e gar gluasad nas fhaisge air àm ri teachd far a bheil an saoghal didseatach agus fiosaigeach air an ceangal gu dlùth airson co-dhùnaidhean nas buige.

Ged a tha e fhathast na phròiseact rannsachaidh, tha LoGeR a’ comharrachadh àm ri teachd far a bheil cruthachadh leth-bhreac didseatach coileanta de àrainneachd sam bith cho sìmplidh ri bhith a’ clàradh bhidio. Tha a’ bhuaidh a th’ aig sgrìobhainnean, mion-sgrùdadh, agus eadar-obrachadh mas-fhìor domhainn, a’ tionndadh chlàran fada gu saoghal maireannach, a ghabhas sgrùdadh.

Ceistean Bitheanta

A’ tionndadh Uairean Bhidio gu Saoghal 3D Co-fhreagarrach

Smaoinich air bhidio a ghlacadh de thachartas slàn – cuirm pòsaidh, pròiseact togail, neo cuairt nàdair tro choille. Bidh uairean de dhealbhan agad a’ crìochnachadh, ach is e sreath rèidh, sreathach a th’ ann. Dè nam b’ urrainn dhut a’ bhidio fhada neo-ghlic sin a thionndadh gu bhith na aon mhodail 3D a ghabhas seòladh den t-sealladh gu lèir? Is e seo an t-amas àrd-amasach aig LoGeR, co-obrachadh rannsachaidh ùr-nodha eadar DeepMind agus UC Berkeley. Chan eil an teicneòlas seo dìreach a’ fuaigheal dhealbhan ri chèile; bidh e gu tùrail ag ath-chruthachadh saoghal 3D leantainneach bho shruthan bhidio a tha fada ann an ùine agus slighe corporra, a’ dèiligeadh ri aon de na dùbhlain as cudromaiche ann an lèirsinn coimpiutair.

Am Prìomh Dùbhlan: Co-sheasmhachd thar Sgèile Mòr

Tha dòighean ath-thogail 3D traidiseanta air leth math le criomagan bhidio goirid no cruinneachadh de dhealbhan a chaidh a thogail bho dhiofar cheàrnan aig an aon àm. Ach, tha iad a’ strì gu mòr le bhideothan “fada”. Tha na duilgheadasan dà-fhillte. An toiseach, fad ùineail: mar bhidio a ’sìneadh thairis air mionaidean no uairean, bidh solais ag atharrachadh, nithean a’ gluasad, agus bidh daoine a ’tighinn agus a’ falbh. San dàrna h-àite, sgèile spàsail: dh’ fhaodadh an camara a dhol thairis air raon mòr, leithid coiseachd tro phàirc agus a-steach do thogalach, a’ cruthachadh àrainneachd mhòr iom-fhillte airson a mhapadh. Gu tric chan eil na siostaman a th’ ann mar-thà a’ cumail mapa cruinne cunbhalach, a’ leantainn gu ath-thogail neo-cheangailte no “floaters” - stuthan taibhseil nach buin do uachdar sam bith. Bidh LoGeR a’ dèiligeadh ri seo le bhith ag amas air riochdachadh aonaichte a thogail a tha fhathast ciallach thairis air na h-ìrean mòra ùine is àite sin.

Mar a Choileanas LoGeR Ath-thogail Co-fhreagarrach

Tha LoGeR, a tha a’ ciallachadh Long Generative Reconstruction, a’ toirt a-steach dòigh-obrach ùr-nodha stèidhichte air ro-innleachd “tòiseachadh sìol”. An àite a bhith a’ feuchainn ris an t-sealladh 3D gu lèir a thogail aig an aon àm bho shruth bhidio chaotic, tha an siostam an-toiseach a’ comharrachadh earrann bheag den bhidio a tha furasta a riaghladh a tha nas fhasa ath-chruthachadh le làn mhisneachd. Tha am pìos 3D àrd-inbhe seo na acair seasmhach no "sìol." Bidh am modail an uairsin a’ fàs mean air mhean air an riochdachadh 3D seo, frèam le frèam, a’ toirt a-steach fiosrachadh lèirsinneach ùr gu faiceallach fhad ‘s a tha e a’ toirt iomradh air ais chun t-sìol stèidhichte gus dèanamh cinnteach à cunbhalachd cruinneil. Tha an dòigh seo gu h-èifeachdach a’ leigeil leis a’ mhodail na cnapan-starra coitcheann ann an sgèile a sheachnadh, a’ cruthachadh modal 3D nas cruinne agus nas earbsaiche bhon chur-a-steach fìor fhada. Is e gluasad a th’ ann bho bhith a’ feuchainn ris an dealbh gu lèir fhaicinn sa bhad gu bhith ga thogail bho chridhe earbsach.

Cleachdaidhean practaigeach airson gnìomhachasan is luchd-cruthachaidh

Tha na h-aplacaidean a dh’ fhaodadh a bhith ann airson teicneòlas leithid LoGeR fìor mhòr. Dha ailtirean agus luchd-leasachaidh thogalaichean, dh’ fhaodadh e suirbhidhean làraich atharrachadh, a’ ceadachadh coiseachd bhidio sìmplidh gus modal 3D mionaideach de thogalach a ghineadh. Ann an dibhearsain, b’ urrainn do luchd-dèanamh fhilm seataichean didseatach a chruthachadh bho fhilmichean farsaing de scoutadh àite. Airson logistics agus riaghladh taigh-bathair, dh’ fhaodadh e mapadh fiùghantach 3D de ghoireasan mòra a chomasachadh. Tha an comas seo air càraid didseatach co-leanailteach a chruthachadh bho bhidio neo-structaraichte na inneal cumhachdach. Aig Mewayz, chì sinn co-obrachadh nàdarra leis an teicneòlas seo. Tha an gnìomhachas modular OS againn air a thogail gus sruthan dàta iom-fhillte fhilleadh a-steach agus a structaradh. Smaoinich air modal stiùireadh pròiseict far a bheil bhidio sgrùdaidh làraich air a phròiseasadh gu fèin-ghluasadach le inneal mar LoGeR, agus tha am modal 3D a thig às a sin ceangailte sa bhad ri liostaichean gnìomh, clàr-seilbhe, agus loidhnichean-tìm taobh a-staigh àrd-ùrlar Mewayz, a’ toirt seachad sealladh fìor bhogadh agus làn dàta air adhartas pròiseict.

A’ coimhead air adhart: Na tha ri teachd de thuigse spàsail

Tha LoGeR a’ riochdachadh leum mòr a dh’ ionnsaigh siostaman AI a thuigeas ar saoghal chan ann a-mhàin mar shreath de dhealbhan, ach mar àite 4D leantainneach, mean-fhàs (ùine 3D +). Dh’ fhaodadh ath-aithrisean san àm ri teachd sùil a chumail air nithean agus daoine gun fhiosta thar uairean, a’ tuigsinn chan ann a-mhàin far a bheil cùisean, ach mar a bhios iad ag atharrachadh agus ag eadar-obrachadh thar amannan fada. Is e an tuigse spatiotemporal seo an ath chrìoch. Airson àrd-ùrlaran mar Mewayz, a tha ag amas air a bhith mar phrìomh shiostam obrachaidh gnìomhachais, dh’ fhaodadh amalachadh a leithid de chomasan dàta spàsail atharrachadh mar a bhios companaidhean a’ dealbhadh, a’ cumail sùil air agus a’ sgrùdadh gnìomhachd corporra. Bidh e gar gluasad nas fhaisge air àm ri teachd far a bheil an saoghal didseatach agus fiosaigeach air an ceangal gu dlùth airson co-dhùnaidhean nas buige.