Dopo l’intelligenza artificiale al servizio della fotografia , Nvidia ha messo a punto l’intelligenza artificiale ai video e, in particolare, al rallentatore o al rallentatore, in buon francese. 
Il grafico ha appena svelato un video che mostra la prodezza di una delle sue ultime tecnologie, Super SloMo, potenziata dall’intelligenza artificiale e che potrebbe avere un piccolo effetto per i fan del genere.

Molti smartphone , fotocamere e videocamere consumer offrono modalità di acquisizione al rallentatore, ma la loro qualità e abilità variano notevolmente a seconda della potenza dei componenti elettronici, incluso il processore. Richiede anche molto spazio di archiviazione per ospitare tutti i rush e filmati. 
In definitiva, è solo con attrezzature professionali che riusciamo ad ottenere una qualità lenta e di nuovo, spesso vengono ritoccate per ore in post-produzione.

Ma la parte difficile è creare un video al rallentatore da una sequenza classica, girato a 30 o 60 fotogrammi al secondo. In generale, il software utilizzato, per quanto potente e professionale, cerca di compensare le immagini mancanti senza farlo correttamente. I movimenti saranno un po ‘a scatti e quindi non del tutto naturali. 

Nvidia ha esaminato il problema e, con diversi ricercatori statunitensi, molti Tesla V100 e un sistema di apprendimento profondo PyTorch (una rete basata su CUDA), il progettista della GPU ha creato un’intelligenza artificiale in grado di rallentare il movimento di qualità.
Un allenamento basato essenzialmente sulla visualizzazione di 11.000 video filmati a 240 fotogrammi al secondo. È grazie ad esso che l’intelligenza artificiale assimila il modo in cui i movimenti si susseguono all’interno dei video, per poi meglio scomporli e anticiparli.

Due reti da manovrare

Tecnicamente, i nostri colleghi sito VentureBeat spiega che due reti neurali convoluzionali separati lavorano insieme. Determinano dove gli oggetti sono in movimento, la loro natura, la loro posizione nel fotogramma video e può quindi immaginare tutti i fotogrammi intermedi tra i punti A e B. Ciò permette loro anche di anticipare la posizione dei pixel costituenti il immagine fittizia da inserire tra due immagini reali. 
Le reti sono quindi responsabili per la pulizia di qualsiasi artefatto delle immagini e la distorsione, e applicare alcuni effetti. Così, il movimento rallentato appare artificialmente fluido, quasi naturale come se fosse stato girato con una costosa macchina fotografica in grado di girare brillantemente e qualità diverse centinaia di immagini al secondo.
Al momento, tuttavia, Nvidia rimane convinta che questa tecnologia non sia ancora pronta per il mercato consumer. Sono ancora necessarie molte ottimizzazioni, in particolare per l’elaborazione video al volo o in tempo reale. Infatti, per il momento, tutti i calcoli sono fatti nel Cloud e richiedono diverse ore…