AI per convertire le foto in scene 3D

Tramogge NVIDIA È stato senza dubbio il momento clou dell’evento GTC dell’anno, ma bisogna ammetterlo NVIDIA Instant NeRF È stata anche una piacevole sorpresa. È un modello di visualizzazione della rete neurale, in breve, capace di Converti immagini 2D, come foto, ad esempio, in scene 3D Totalmente realistico.

Divertente, vero? Prendiamoci un momento per valutare cosa significa, e per questo non c’è niente di meglio che iniziare di quello che vediamo nel video che troverai a fine articolo. All’inizio vediamo Quattro immagini 2D Catturato con una fotocamera Polaroid, una delle fotocamere classiche nel mondo della fotografia. Queste immagini sono state utilizzate per “accendere” il sistema NVIDIA Instant NeRF.

Bene, con solo quattro immagini, questo sistema è in grado di creare una scena 3D completamente realistica e in pochi secondi. Il risultato è stato sorprendente E la cosa migliore è che è molto veloce, poiché il processo di creazione della scena richiede solo pochi secondi come abbiamo detto e l’addestramento della rete neurale è completo. Tra pochi minuti.

Come funziona esattamente NVIDIA Instant NeRF?

Sappiamo già che viene utilizzata una rete neurale e quindi l’intelligenza artificiale gioca un ruolo importante. Abbiamo anche visto che è necessario alimentare il sistema con immagini 2D prese da diversi punti di vista, perché in questo modo ottiene le informazioni necessarie per creare una scena 3D, ma come funziona il processo? NVIDIA ha confermato che Instant NeRF Utilizza il rendering inverso.

Attraverso il rendering inverso e grazie al supporto dell’IA, il sistema può determinare Come si comporta la luce nel mondo realee lo utilizza per creare una scena 3D da alcune immagini 2D. Questa è l’idea di base che NVIDIA ha implementato su Instant NeRF. David Luebke, Vice President of Graphics Research di NVIDIA, ha fornito un’interessante spiegazione comparativa a questo proposito:

“Se le rappresentazioni 3D classiche, come le mesh poligonali, sono simili alle immagini vettoriali, allora i NeRF Sono come bitmap: Cattura intensamente il modo in cui la luce si irradia da un oggetto o all’interno di una scena. Instant NeRF può essere importante quanto le fotocamere digitali e i JPEG per la fotografia 2D, grazie alla sua capacità di creare scene 3D in pochi secondi che possiamo condividere quasi istantaneamente. “

Questa tecnologia può avere un impatto significativo sul settore tecnologico in generale, e Anche nel MetaversoPerché è grazie a lei che abbiamo potuto creare Immagini ultra realistiche In pochi secondi e poche foto. Sarà inoltre possibile creare scene realistiche per formare mondi virtuali, o ricostruire scene per creare mappe digitali 3D. Questa tecnologia può essere utilizzata anche per addestrare robot e sistemi di guida autonoma per comprendere meglio la forma e le dimensioni effettive degli oggetti.

NVIDIA ha anche confermato che è stato sviluppato Instant NeRF Utilizzando NVIDIA CUDA Toolkit e la libreria Tiny CUDA Neural Networks. È una rete neurale leggera, quindi può essere addestrata ed eseguita su una singola GPU NVIDIA, sebbene funzioni meglio su soluzioni grafiche dotate di core tensor.