Da alcune settimane è possibile testare un esperimento in corso a firma Google e Magenta: si chiama Tone Transfer e ha dell’incredibile.
Proviamo ad analizzare l’idea di partenza che è alla base di questa intelligenza artificiale.
Quando abbiamo una melodia o un ritmo in testa, nella vita di ogni giorno, cosa facciamo di solito? Fischiettiamo, canticchiamo a bocca chiusa, tamburelliamo con le dita, e cose di questo tipo. Poi, se siamo dei musicisti o persone in grado di suonare uno strumento, possiamo anche eventualmente trasporre quell’idea sonora su uno strumento: ci si mette al pianoforte, o alla chitarra, o su un sintetizzatore digitale, per rintracciare le note che abbiamo in mente e renderle “concrete” musicalmente attraverso un medium musicale.
Se si è dei musicisti professionisti, invece, tutto questo è ancora più impegnativo: se in un nostro brano vogliamo un assolo di sax, o una melodia di violino, beh… bisogna invitare in studio un sassofonista o un violinista, oppure affidarsi alle librerie di suoni digitali, che – è ben risaputo – anche nei migliori software hanno una qualità di suono molto meno gradevole delle prestazioni umane (“analogiche”).
Beh, Tone Transfer nasce dall’idea di facilitare (a dir poco!) questo tipo di processi, rendendoli fattibili a chiunque e con il minimo sforzo.
Tone Transfer è infatti il frutto di un machine learning che permette di svolgere le seguenti fasi:
- Registrare un suono attraverso il proprio microfono (la propria voce, un tamburellare, un canto di uccello, un fischiettio, qualsiasi cosa);
- Scegliere in cosa convertire il nostro suono: un sax, un flauto, una tromba o un violino;
- Ascoltare, mixare e salvare il risultato.
Ecco, la parte maggiormente interessante, come si può intuire, è quella centrale: «convertire» il nostro suono.
Guardiamo nel dettaglio di cosa si tratta.
La registrazione effettuata dall’utente funge da input: il suono viene trasformato, divenendo effettivamente “un altro”, ottenendo un output.
Se si registra una melodia fischiettata può essere convertita in un assolo di tromba.
Se si registra un giro di chitarra può classica può essere trasformato in un fraseggio di violino.
E così via.
Gli aspetti che rendono Tone Transfer un esperimento che potrà avere effetti clamorosi nel mondo della musica sono tre, attualmente:
- I suoni di output sono incredibilmente realistici, dato che non si tratta di un sound sintetizzato o prodotto digitalmente, ma proviene da registrazioni di strumenti effettivamente suonati da esseri umani e che sono stati “assorbiti” tramite profondissime attività di apprendimento della macchina;
- Il processo di conversione da input ad output è rapido, semplice e facile da utilizzare per qualunque utente;
- Per un musicista tutto questo è un sogno, perché permette di generare musica “reale” muovendosi in una dimensione all-digital e senza coinvolgere nessun altro musicista.
Per noi che ci occupiamo di intelligenze artificiali, invece, si tratta di un esperimento che genera grande fascino. Tone Transfer infatti nasce dall’elaborazione di una rete neurale complessissima che è stata allenata con un deep learning avanguardistico.
Magenta è uno dei progetti di ricerca più importanti al mondo sul ruolo del machine learning nel mondo della musica e dell’arte in generale. La libreria di suoni per Tone Transfer è stata creata dai ricercatori di Magenta, con l’intento di rendere più complessa la tecnologia (ormai classica) conosciuta come DSP – Digital Signal Processing, cioè quella in grado di elaborare input audio convertendoli in linguaggi macchina.
Da qui è nata la tecnologia DDSP – Differentiable Digital Signal Processing: un grande rafforzamento della DSP, basato su un sistema di reti neurali vastissimo e da un training senza precedenti nel mondo della musica connesso a quello delle IA.
Sull’interfaccia di prova di Tone Transfer messa a disposizione da Google è possibile scoprire di più sui processi di deep learning alla base dell’interfaccia.
Per quanto riguarda l’output-violino, per esempio, Google spiega:
«Questo modello è addestrato sulle registrazioni di un violino che esegue musica classica. Il suono è estremamente agile e può eseguire sequenze di note difficili, rendendolo appropriato per suonare anche senza accompagnamento».
È inoltre possibile, per tutti gli strumenti-output, ascoltare un estratto dei brani sui quali è avvenuto il deep learning.
Questo rende tangibile l’esperienza di machine learning che viene proposta: il nostro suono registrato può essere trasformato in altro perché la macchina è in grado di pescare dai brani che ha “studiato” quei suoni precisi in grado di riprodurre il nostro input.
Così, Tone Transfer è una delle intelligenze artificiali “musicali” attualmente più facili da utilizzare, nonostante si basi su un processo di deep learning molto complesso e articolato.
Le prospettive di questo strumento sono numerosissime, entusiasmanti e in grado anche di problematizzare alcune questioni annose che popolano il mondo della musica: la musica digitale è sempre stata definita «troppo fredda», «troppo finta», specialmente da artisti più puristi e maggiormente legati alla preziosità del suono analogico, ritenendolo più «caldo» e «vero». Tone Transfer può essere in grado di mettere d’accordo queste scuole di pensiero: digitalizzando suoni caldi e veri, permettendo di ottenere la preziosità dell’analogico ma al contempo bypassando la presenza di un umano in uno studio di registrazione.
Personalmente preparo i popcorn: sono certo che ci saranno dei dibatti davvero accesi quando inizieremo a sentire in radio brani completamente realizzati con Tone Transfer!