Ključni podaci za van
- Nvidia je nedavno pokazala tehniku koja pretvara 2D fotografije u 3D scene u samo nekoliko sekundi.
- Metoda koristi snagu računala da približno odredi kako se svjetlost ponaša u stvarnom svijetu.
- Metaverzum je jedno područje u kojem su 3D scene korisne jer se mogu gledati iz bilo koje perspektive kamere.
Nova tehnologija umjetne inteligencije (AI) iz Nvidije uskoro bi mogla pretvoriti 2D fotografije u 3D scene u samo nekoliko sekundi, čineći stvaranje imerzivnih virtualnih prostora poput metaverzuma jednako trivijalnim kao i obrada teksta.
Nvidia je nedavno demonstrirala fotografsku metodu nazvanu Instant NeRF, koja koristi računalnu snagu da približno odredi kako se svjetlost ponaša u stvarnom svijetu. Mogao bi pretvoriti vaše stare fotografije u scenu iz video igre ili se može koristiti za treniranje robota i samovozećih automobila da razumiju veličinu i oblik objekata iz stvarnog svijeta.
"3D slikanje donosi novi svijet transformacije," Oren Debbi, izvršni direktor Visionary.ai, tvrtke za računalni vid koja pokreće svoje 3D algoritme na platformi Nvidia, rekao je za Lifewire u intervjuu e-poštom. "Koristeći 3D, oponašate dubinu stvarnog svijeta u scenu i činite da slika izgleda življe i realističnije. Osim AR/VR i industrijskih kamera, gdje je 3D vrlo čest, sada vidimo da se koristi na gotovo svakom pametnom telefonu bez korisnik čak i zna."
Dodavanje dimenzija
Prva trenutna fotografija, snimljena prije 75 godina Polaroid fotoaparatom, imala je za cilj brzo snimanje 3D svijeta u 2D slici. Sada istraživači umjetne inteligencije rade na suprotnom: pretvaraju zbirku fotografija u digitalnu 3D scenu u sekundi.
Poznat kao inverzno renderiranje, proces koristi umjetnu inteligenciju za približnu procjenu ponašanja svjetlosti u stvarnom svijetu, omogućujući istraživačima da rekonstruiraju 3D scenu iz nekoliko 2D slika snimljenih pod različitim kutovima. Nvidia tvrdi da je razvila pristup koji ovaj zadatak obavlja gotovo trenutno.
Nvidia je koristila ovaj pristup s novom tehnologijom koja se zove polja neuralnog zračenja ili NeRF. Tvrtka kaže da je rezultat, nazvan Instant NeRF, najbrža NeRF tehnika do sada. Modelu je potrebno samo nekoliko sekundi da se uvježba na nekoliko desetaka fotografija, a zatim može prikazati rezultirajuću 3D scenu unutar desetaka milisekundi.
"Ako su tradicionalni 3D prikazi poput poligonalnih mreža slični vektorskim slikama, NeRF-ovi su poput bitmap slika: gusto hvataju način na koji svjetlost zrači iz objekta ili unutar scene," David Luebke, potpredsjednik za grafička istraživanja u Nvidia, navodi se u priopćenju za tisak: “U tom smislu, Instant NeRF bi mogao biti jednako važan za 3D kao što su digitalne kamere i JPEG kompresija bili za 2D fotografiju – znatno povećavajući brzinu, lakoću i doseg 3D snimanja i dijeljenja.”
Prikupljanje podataka za napajanje NeRF-a zahtijeva da neuronska mreža uhvati nekoliko desetaka slika snimljenih s više pozicija oko scene, kao i položaj kamere za svaku od tih snimki.
NeRF trenira malu neuronsku mrežu da rekonstruira scenu predviđajući boju svjetlosti koja zrači u bilo kojem smjeru, iz bilo koje točke u 3D prostoru.
Privlačnost 3D-a
Metaverzum je jedno područje u kojem su 3D scene korisne jer se mogu gledati iz bilo koje perspektive kamere, rekao je Brad Quinton, osnivač Perceptus platforme za proširenu stvarnost (AR), za Lifewire u intervjuu e-poštom. Baš kao što možemo hodati kroz prostoriju u stvarnom životu i vidjeti njen sadržaj iz mnogo različitih kutova, s rekonstruiranom 3D scenom, možemo se virtualno kretati kroz prostor i gledati ga iz bilo koje perspektive.
"Ovo može biti posebno korisno za stvaranje okruženja za korištenje u virtualnoj stvarnosti," rekao je Quinton.
Programi poput Appleovog Object Capture koriste tehniku koja se zove fotogrametrija za stvaranje virtualnih 3D objekata iz niza 2D slika. 3D modeli će se intenzivno koristiti u virtualnoj stvarnosti i AR aplikacijama, predviđa Quinton. Na primjer, neke umjetne inteligencije, poput one u Perceptus AR platformi, koriste 3D modele za stvaranje razumijevanja stvarnog svijeta, što omogućuje AR aplikacije u stvarnom vremenu.
Korištenje 3D slika također oponaša dubinu stvarnog svijeta u sceni i čini da slika izgleda življe i realističnije, rekla je Debbi. Za stvaranje Bokeh efekta (poznatog kao portretni ili kinematografski način), potrebno je 3D dubinsko mapiranje. Tehnika se koristi na gotovo svakom pametnom telefonu.
"Ovo je već standard za profesionalne snimatelje koji snimaju filmove, a ovo postaje standard za svakog potrošača," dodala je Debbi.
