Aggiornato il: 11-07-2022 23:14
L’algoritmo Text2Live (info ufficiali reperibili qui) studiato da un gruppo di ricercatori del Weizmann Institute of Science, in collaborazione con Nvidia, ha studiato un algoritmo in grado di modificare artificialmente un’immagine sulla base di una descrizione testuale. Se ad esempio si parte da un’immagine del genere, quella a sinistra di un uccellino, le variazioni successive sono ottenute dalla semplice “richiesta” di ciò che vogliamo: uccellini fatti all’uncinetto (crochet), di legno (wooden), d’oro (golden), in vetro colorato (stained glass).
Il risultato è ancora più impressionante se lo si vede applicato ad un video di una giraffa, che è riportato nel loro sito ufficiale: una giraffa in vetro colorato, con uno scaldacollo (neck warmer), con una criniera colorata (hairy colorful mane).
Il framework che è stato adottato dai ricercatori addestra un generatore algoritmico (training), sfruttando la possibilità di generare un output composito, ovvero integrato con l’oggetto originale che viene, ovviamente, delimitato dall’algoritmo grazie ad avanzati criteri che riducono le perdite ed il rumore di fondo. Non è richiesto l’intervento dell’utente dato che, di fatto, il contorno dell’immagine viene definito dall’algoritmo stesso mediante la particolare fase di addestramento iniziale.
Che cos’è la tecnica di intelligenza artificiale zero-shot
In genere il machine learning su cui si basa l’intelligenza artificiale si basa sul letterale “apprendimento” da parte di un algoritmo, ovvero l’acquisizione ragionata di dati, da parte di un algoritmo che “impara” a riconoscere dei dati per poi, una volta “addestrato”, poter risolvere casi nuovi o inediti. La tecnica nota come ZSL (Zero-Shot Learning) punta esattamente a fare qualcosa di più raffinato, ovvero individuare campioni di dati non analizzati in precedenza e prevedere, con un certo grado di affidabilità, la loro classe di appartenenza.
I metodi zero shot pertanto usano una tecnica di apprendimento mista, in cui dato – ad esempio – delle foto di animali che devono essere riconosciute dall’algoritmo con l’ausilio di descrizioni testuali annesse, l’intelligenza artificiale sarà in grado di modellare e riconoscere sia una zebra che eventualmente un cavallo, pur non avendone mai visto uno in precedenza, sulla base della “intuizione” artificiale che un cavallo, in fondo, è come una zebra senza strisce.
L’idea base quindi è quella di mantenere e riconoscere la forma originale per poi produrre artefatti digitali credibili, che in realtà non esistono e che possono essere utili nel campo dell’elaborazione delle immagini. Alcuni esempi su immagini della tecnica presentata sono i seguenti: dalla foto di una torta
l’algoritmo può ricavare una forma di ghiaccio:
così come una torta di spinaci:
