LoGeR - atunkọ 3D lati awọn fidio gigun pupọ (DeepMind, UC Berkeley)

<ọrọ>

Titan Awọn wakati Fidio sinu Agbaye 3D Isokan

Yí nukun homẹ tọn do pọ́n video nujijọ de tọn blebu—yèdọ hùnwhẹ alọwle tọn, azọ́n họgbigbá tọn de, kavi nudida jọwamọ tọn de gbọn zungbo de mẹ. O pari pẹlu awọn wakati ti aworan, ṣugbọn o jẹ alapin, titọ-ila. Kini ti o ba le yi gigun naa pada, fidio ti ko ni agbara sinu ẹyọkan, awoṣe 3D lilọ kiri ti gbogbo ipele naa? Eyi ni ibi-afẹde ifẹ ti LoGeR, ifowosowopo iwadii ilẹ-ilẹ laarin DeepMind ati UC Berkeley. Imọ ọna ẹrọ yii kii ṣe aranpo awọn fọto papọ; o ni oye ṣe atunṣe agbaye 3D ti o tẹsiwaju lati awọn ṣiṣan fidio ti o gun ni akoko mejeeji ati ọna ti ara, koju ọkan ninu awọn italaya pataki julọ ni iran kọnputa.

Ipenija Koko: Iduroṣinṣin Lori Awọn Irẹjẹ Tiwa

Awọn ọna atunkọ 3D ti aṣa tayọ pẹlu awọn agekuru fidio kukuru tabi akojọpọ awọn fọto ti o ya lati awọn igun oriṣiriṣi ni akoko kanna. Sibẹsibẹ, wọn tiraka pupọ pẹlu awọn fidio “gun”. Awọn iṣoro jẹ meji. Ni akọkọ,ipari gigun: bi fidio ti n ta lori awọn iṣẹju tabi awọn wakati, awọn iyipada ina, awọn nkan n gbe, ati pe eniyan wa ati lọ. Ẹlẹẹkeji,Iwọn aaye aaye: kamẹra le kọja agbegbe nla kan, bii lilọ nipasẹ ọgba-itura ati sinu ile kan, ṣiṣẹda agbegbe nla ati eka si maapu. Awọn ọna ṣiṣe ti o wa tẹlẹ kuna nigbagbogbo lati ṣetọju maapu agbaye ti o ni ibamu, ti o yori si awọn atunto ti o pinya tabi “awọn atukọ” — awọn ohun-ọṣọ ti ẹmi ti ko jẹ ti oju eyikeyi. LoGeR n koju eyi nipa fifokansi lori kikọ aṣoju iṣọkan kan ti o wa ni isọdọkan kọja awọn iwọn titobi ti akoko ati aaye.

Bawo ni LoGeR ṣe Ṣe aṣeyọri Atunkọ Ijọpọ

LoGeR, eyiti o duro fun Atunkọ Ipilẹ Gigun, ṣafihan ọna aramada kan ti o dojukọ ilana ilana “ipilẹṣẹ irugbin”. Dipo igbiyanju lati kọ gbogbo aaye 3D ni ẹẹkan lati ṣiṣan fidio rudurudu, eto naa kọkọ ṣe idanimọ apakan kekere, iṣakoso ti fidio ti o rọrun lati tun ṣe pẹlu igbẹkẹle giga. Patch 3D ti o ni agbara giga yii n ṣiṣẹ bi oran iduro tabi “irugbin.” Awoṣe naa lẹhinna dagba ni afikun si aṣoju 3D yii, fireemu nipasẹ fireemu, ni iṣọra iṣakojọpọ alaye wiwo tuntun lakoko ti o tọka si irugbin ti iṣeto lati rii daju pe ibamu agbaye. Ọna yii ni imunadoko ngbanilaaye awoṣe lati yago fun awọn ipalara ti o wọpọ ti iwọn, ṣiṣẹda deede ati awoṣe 3D ti o gbẹkẹle lati titẹ sii gigun pupọ. O jẹ iyipada lati igbiyanju lati wo gbogbo aworan ni ẹẹkan lati kọ ọ lati ipilẹ ti o gbẹkẹle.

"Ọna wa jẹ ki atunkọ ti ipele 3D ti o ni ibamu ni agbaye lati fidio gigun kan, eyiti o jẹ eto ti o nija fun awọn ọna ti o wa tẹlẹ ti o ma n ṣe awọn geometry ti a ti ge asopọ." - Awọn onkọwe Iwadi LoGeR

Awọn ohun elo ti o wulo fun Awọn iṣowo ati awọn olupilẹṣẹ

Awọn ohun elo ti o ni agbara fun imọ-ẹrọ bii LoGeR ti tobi. Fun awọn ayaworan ile ati awọn olupilẹṣẹ ohun-ini gidi, o le yi awọn iwadii aaye pada, gbigba ririn fidio ti o rọrun lati ṣe agbekalẹ awoṣe 3D alaye ti ohun-ini kan. Ninu ere idaraya, awọn oṣere fiimu le ṣẹda awọn eto oni-nọmba lati awọn aworan iwoye ipo nla. Fun awọn eekaderi ati iṣakoso ile-itaja, o le jẹki aworan agbaye 3D ti o ni agbara ti awọn ohun elo nla. Agbara yii lati ṣẹda ibeji oni-nọmba ti iṣọkan lati fidio ti a ko ṣeto jẹ ohun elo ti o lagbara. Ni Mewayz, a rii amuṣiṣẹpọ adayeba pẹlu imọ-ẹrọ yii. OS iṣowo modular wa jẹ itumọ lati ṣepọ ati ṣe agbekalẹ awọn ṣiṣan data idiju. Fojuinu module iṣakoso iṣẹ akanṣe nibiti fidio ayewo aaye kan ti ni ilọsiwaju laifọwọyi nipasẹ ohun elo bi LoGeR, ati pe awoṣe 3D ti o yọrisi ti sopọ lẹsẹkẹsẹ si awọn atokọ iṣẹ-ṣiṣe, akojo oja, ati awọn akoko akoko laarin pẹpẹ Mewayz, n pese immersive nitootọ ati wiwo ọlọrọ data ti ilọsiwaju iṣẹ akanṣe.

Nwa iwaju: Ọjọ iwaju ti oye Spatiotemporal

LoGeR ṣe aṣoju fifo pataki kan si awọn eto AI ti o le loye agbaye wa kii ṣe gẹgẹ bi lẹsẹsẹ ti snapshots, ṣugbọn bi itesiwaju, aaye 4D ti n dagba (akoko 3D +). Awọn iterations iwaju le tọpa awọn nkan ati eniyan lainidi laarin awọn wakati, ni oye kii ṣe ibiti awọn nkan wa, ṣugbọn bii wọn ṣe yipada ati ibaraenisọrọ fun awọn akoko pipẹ. Oye spatiotemporal yii jẹ aala ti o tẹle. Fun awọn iru ẹrọ bii Mewayz, eyiti o ṣe ifọkansi lati jẹ ẹrọ ṣiṣe aarin fun iṣowo kan, iṣakojọpọ iru awọn agbara data aaye to ti ni ilọsiwaju le ṣe iyipada bi awọn ile-iṣẹ ṣe gbero, ṣe atẹle, ati itupalẹ awọn iṣẹ ṣiṣe ti ara. O nmu wa sunmọ ọjọ iwaju nibiti awọn agbaye oni-nọmba ati ti ara ti wa ni asopọ lainidi fun ṣiṣe ipinnu ijafafa.

Lakoko ti o jẹ iṣẹ akanṣe iwadii kan, LoGeR tọka si ọjọ iwaju nibiti ṣiṣẹda ẹda oni-nọmba pipe ti eyikeyi agbegbe jẹ rọrun bi gbigbasilẹ fidio kan. Awọn itọsi fun iwe-ipamọ, itupalẹ, ati ibaraenisepo foju jẹ jinle, yiyi awọn igbasilẹ gigun pada si awọn agbaye ti o pẹ, ṣawari.

Awọn ibeere Nigbagbogbo

Titan Awọn wakati Fidio sinu Aye 3D Isokan

Yí nukun homẹ tọn do pọ́n video nujijọ de tọn blebu—yèdọ hùnwhẹ alọwle tọn, azọ́n họgbigbá tọn de, kavi nudida jọwamọ tọn de gbọn zungbo de mẹ. O pari pẹlu awọn wakati ti aworan, ṣugbọn o jẹ alapin, titọ-ila. Kini ti o ba le yi gigun naa pada, fidio ti ko ni agbara sinu ẹyọkan, awoṣe 3D lilọ kiri ti gbogbo ipele naa? Eyi ni ibi-afẹde ifẹ ti LoGeR, ifowosowopo iwadii ilẹ-ilẹ laarin DeepMind ati UC Berkeley. Imọ ọna ẹrọ yii kii ṣe aranpo awọn fọto papọ; o ni oye ṣe atunṣe agbaye 3D ti o tẹsiwaju lati awọn ṣiṣan fidio ti o gun ni akoko mejeeji ati ọna ti ara, koju ọkan ninu awọn italaya pataki julọ ni iran kọnputa.

Ipenija Koko: Iduroṣinṣin Lori Awọn Irẹjẹ Tiwa

Awọn ọna atunkọ 3D ti aṣa tayọ pẹlu awọn agekuru fidio kukuru tabi akojọpọ awọn fọto ti o ya lati awọn igun oriṣiriṣi ni akoko kanna. Sibẹsibẹ, wọn tiraka pupọ pẹlu awọn fidio “gun”. Awọn iṣoro jẹ meji. Ni akọkọ, gigun akoko: bi fidio ti n na lori awọn iṣẹju tabi awọn wakati, awọn iyipada ina, awọn nkan n gbe, ati pe eniyan wa ati lọ. Ẹlẹẹkeji, iwọn aye: kamẹra le kọja agbegbe nla, bii ririn nipasẹ ọgba-itura ati sinu ile kan, ṣiṣẹda agbegbe nla ati eka si maapu. Awọn ọna ṣiṣe ti o wa tẹlẹ kuna nigbagbogbo lati ṣetọju maapu agbaye ti o ni ibamu, ti o yori si awọn atunto ti o pinya tabi “awọn atukọ” — awọn ohun-ọṣọ ti ẹmi ti ko jẹ ti oju eyikeyi. LoGeR n koju eyi nipa fifokansi lori kikọ aṣoju iṣọkan kan ti o wa ni isọdọkan kọja awọn iwọn titobi ti akoko ati aaye.

Bawo ni LoGeR Ṣe Ṣe aṣeyọri Atunkọ Ijọpọ

LoGeR, eyiti o duro fun Atunkọ Ipilẹ Gigun, ṣafihan ọna aramada kan ti o dojukọ ilana ilana “ipilẹṣẹ irugbin”. Dipo igbiyanju lati kọ gbogbo aaye 3D ni ẹẹkan lati ṣiṣan fidio rudurudu, eto naa kọkọ ṣe idanimọ apakan kekere, iṣakoso ti fidio ti o rọrun lati tun ṣe pẹlu igbẹkẹle giga. Patch 3D ti o ni agbara giga yii n ṣiṣẹ bi oran iduro tabi “irugbin.” Awoṣe naa lẹhinna dagba ni afikun si aṣoju 3D yii, fireemu nipasẹ fireemu, ni iṣọra iṣakojọpọ alaye wiwo tuntun lakoko ti o tọka si irugbin ti iṣeto lati rii daju pe ibamu agbaye. Ọna yii ni imunadoko ngbanilaaye awoṣe lati yago fun awọn ipalara ti o wọpọ ti iwọn, ṣiṣẹda deede ati awoṣe 3D ti o gbẹkẹle lati titẹ sii gigun pupọ. O jẹ iyipada lati igbiyanju lati wo gbogbo aworan ni ẹẹkan lati kọ ọ lati ipilẹ ti o gbẹkẹle.

Awọn ohun elo ti o wulo fun Awọn iṣowo ati awọn olupilẹṣẹ

Awọn ohun elo ti o ni agbara fun imọ-ẹrọ bii LoGeR ti tobi. Fun awọn ayaworan ile ati awọn olupilẹṣẹ ohun-ini gidi, o le yi awọn iwadii aaye pada, gbigba ririn fidio ti o rọrun lati ṣe agbekalẹ awoṣe 3D alaye ti ohun-ini kan. Ninu ere idaraya, awọn oṣere fiimu le ṣẹda awọn eto oni-nọmba lati awọn aworan iwoye ipo nla. Fun awọn eekaderi ati iṣakoso ile-itaja, o le jẹki aworan agbaye 3D ti o ni agbara ti awọn ohun elo nla. Agbara yii lati ṣẹda ibeji oni-nọmba ti iṣọkan lati fidio ti a ko ṣeto jẹ ohun elo ti o lagbara. Ni Mewayz, a rii amuṣiṣẹpọ adayeba pẹlu imọ-ẹrọ yii. OS iṣowo modular wa jẹ itumọ lati ṣepọ ati ṣe agbekalẹ awọn ṣiṣan data idiju. Fojuinu module iṣakoso iṣẹ akanṣe nibiti fidio ayewo aaye kan ti ni ilọsiwaju laifọwọyi nipasẹ ohun elo bi LoGeR, ati pe awoṣe 3D ti o yọrisi ti sopọ lẹsẹkẹsẹ si awọn atokọ iṣẹ-ṣiṣe, akojo oja, ati awọn akoko akoko laarin pẹpẹ Mewayz, n pese immersive nitootọ ati wiwo ọlọrọ data ti ilọsiwaju iṣẹ akanṣe.

Nwa iwaju: Ọjọ iwaju ti oye Spatiotemporal

LoGeR ṣe aṣoju fifo pataki kan si awọn eto AI ti o le loye agbaye wa kii ṣe gẹgẹ bi lẹsẹsẹ ti snapshots, ṣugbọn bi itesiwaju, aaye 4D ti n dagba (akoko 3D +). Awọn iterations iwaju le tọpa awọn nkan ati eniyan lainidi laarin awọn wakati, ni oye kii ṣe ibiti awọn nkan wa, ṣugbọn bii wọn ṣe yipada ati ibaraenisọrọ fun awọn akoko pipẹ. Oye spatiotemporal yii jẹ aala ti o tẹle. Fun awọn iru ẹrọ bii Mewayz, eyiti o ṣe ifọkansi lati jẹ ẹrọ ṣiṣe aarin fun iṣowo kan, iṣakojọpọ iru awọn agbara data aaye to ti ni ilọsiwaju le ṣe iyipada bi awọn ile-iṣẹ ṣe gbero, ṣe atẹle, ati itupalẹ awọn iṣẹ ṣiṣe ti ara. O nmu wa sunmọ ọjọ iwaju nibiti awọn agbaye oni-nọmba ati ti ara ti wa ni asopọ lainidi fun ṣiṣe ipinnu ijafafa.