L'Intelligenza Artificiale che suona la batteria: ecco DrumNet di Sony

L'Intelligenza Artificiale che suona la batteria: ecco DrumNet di Sony

Un modello di rete neurale per realizzare pattern di grancassa sulla scorta dell'apprendimento da un dataset di oltre 600 brani. Sony punta a sfruttare l'intelligenza artificiale come supporto alla creatività degli artisti

di pubblicata il , alle 15:21 nel canale Multimedia
 

Sony ha condotto un esperimento nell'ambito dell' Intelligenza Artificiale che ha previsto l'uso di un modello di machine learning per la generazione condizionale di una traccia audio "musicalmente plausibile" che riproducesse il suono della grancassa di una batteria in realzione agli altri strumenti presenti in un determinato brano. Come la stessa Sony spiega, l'obiettivo non è quello di sostituire i musicisti con un algortimo, ma di offrir loro una serie di risorse a supporto della loro creatività.

Per realizzare DrumNet, questo il nome del modello di machine learning, i ricercatori hanno elaborato un codice basilare per codificare la relazione tra il brano di riferimento e il nuovo materiale che deve essere generato, così che l'AI possa creare una varietà di pattern della cassa a prescindere da eventuali differenze di tempo e cadenze.

"Abbiamo proposto un modello di architettura che codifica le interazioni ritmiche della cassa con i pattern di basso e rullante. Ciascuna mappatura identifica le relazioni tra i vari strumenti, così che un intero brano sia associato ad una sequenza di codici di mapping. Invece che controllare le caratteristiche del materiale generato, il controllo è su come il materiale generato è in relazione al materiale di condizionamento" hanno spiegato i ricercatori.

Il sistema AI è stato allenato realizzando un dataset di 665 brani di vari generi, e dove per ciascuno la strumentazione ritmica era disponibile in tracce audio separate. Per realizzare i pattern di cassa i ricercatori hanno campionato il suono della grancassa di una batteria, operando poi sull'ampiezza e sui picchi dell'onda per creare suoni di diversa dinamica.

La sperimentazione ha quindi impegnato il sistema di Intelligenza Artificiale a generare pattern di cassa in maniera condizionata o applicare pattern ritmici ricavati da un brano per introdurre pattern simili in un altro brano. Il sistema ha inoltre realizzato versioni all'80%, 90%, 110% e 120% del tempo di un brano e determinato i relativi codici di mapping.

"Siamo riusciti a dimostrare che i codici di mapping sono ampiamente invarianti per tempo e ritmo e che i tracciati di cassa musicalmente plausibili possono essere generati da un rullante e da un basso sia tramite mapping code, sia tramite trasferimento di stile, in questo caso deducendo il mapping code da un altro brano" concludono gli autori, che proveranno in futuro ad applicare lo stesso approccio per generare una tracce audio con pattern di rullante e con linee di basso.

Chi volesse ascoltare alcuni esempi dei brani elaborati da DrumNet può recarsi qui

Non è il primo caso di una sperimentazione che vede le tecniche di Intelligenza Artificiale e machine learning applicate alla musica. A luglio la startup canadese Landr ha raccolto 26 milioni di dollari (e tra i finanziatori c'è proprio Sony con il suo Sony Innovation Fund) per una tecnologia che analizza stili musicali allo scopo di creare processori di post-produzione audio su misura, Google e OpenAI hanno in precedenza messo a disposizione MsuseNet, una rete neurale capace di generare composizioni di 4 minuti con 10 differenti strumenti combinando vari stili musicali, mentre Facebook ha sfruttato l'intelligenza artificiale per convertire brani di un genere in altri stili. Insomma, l'AI potrebbe presto diventare uno strumento prezioso nelle mani dei musicisti.

Resta aggiornato sulle ultime offerte

Ricevi comodamente via email le segnalazioni della redazione di Hardware Upgrade sui prodotti tecnologici in offerta più interessanti per te

Quando invii il modulo, controlla la tua inbox per confermare l'iscrizione.
Leggi la Privacy Policy per maggiori informazioni sulla gestione dei dati personali

33 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
D4N!3L309 Agosto 2019, 16:19 #1
Mi parlate dei drum, ma https://www.aiva.ai/"]questo[/URL] scusate?

Ho partecipato anche alla beta.

Bello vedere Reaper nell'immagine.
eureka8510 Agosto 2019, 11:15 #2
Skynet si avvicina sempre di + ma non vi accorgete del pericolo ? Incredibile !!
386DX4010 Agosto 2019, 11:44 #3
In un mondo tecnologico ove non mi stupirebbe se il 95% delle persone non sapesse piu' suonare una pianola e' interessante vedere che l'umanita' tenda a "delegare" cio' che ci ha sempre differenziato dagli altri esseri. Le capacita' artistiche e musicali (anche solo come spettatore, tralasciando un momento la creazione stessa dell'arte o della musica) di un essere umano verrebbero facilmente oggi liquidate dai piu' come "inutili" mentre quando e' una macchina a simulare arte o musica diventa notizia.
D4N!3L310 Agosto 2019, 21:55 #4
Originariamente inviato da: 386DX40
In un mondo tecnologico ove non mi stupirebbe se il 95% delle persone non sapesse piu' suonare una pianola e' interessante vedere che l'umanita' tenda a "delegare" cio' che ci ha sempre differenziato dagli altri esseri. Le capacita' artistiche e musicali (anche solo come spettatore, tralasciando un momento la creazione stessa dell'arte o della musica) di un essere umano verrebbero facilmente oggi liquidate dai piu' come "inutili" mentre quando e' una macchina a simulare arte o musica diventa notizia.


Non si può delegare una macchina per produrre arte, l'arte viene dal profondo dell'essere umano, una macchina può solo imitare.

Questi tool possono essere usati per dare ispirazione essendo molto capaci di produrre tutta una serie di combinazioni di tecniche esistenti che la mente umana farebbe fatica a raccogliere.

Qualunque pezzo di musica non è creato dal nulla, viene fuori da un suono avvertito per sbaglio, il canto di un uccellino, un pezzo di qualcuno che ci ha preceduto e altri milioni di situazioni analoghe. La bravura dell'artista è nel prendere quella particella e plasmarla al suo volere.
386DX4011 Agosto 2019, 17:31 #5
Originariamente inviato da: D4N!3L3
Non si può delegare una macchina per produrre arte, l'arte viene dal profondo dell'essere umano, una macchina può solo imitare.

Questi tool possono essere usati per dare ispirazione essendo molto capaci di produrre tutta una serie di combinazioni di tecniche esistenti che la mente umana farebbe fatica a raccogliere.

Qualunque pezzo di musica non è creato dal nulla, viene fuori da un suono avvertito per sbaglio, il canto di un uccellino, un pezzo di qualcuno che ci ha preceduto e altri milioni di situazioni analoghe. La bravura dell'artista è nel prendere quella particella e plasmarla al suo volere.


Per quello ho scritto "delegare" e simulare. Per quel che vale la mia inutile opinione, arte e musica si creano da un mondo "analogico" fatto di esperienze di vita, di significati, di intuizioni, di contesti e situazioni, di entusiasmi e tristezze.
Il mondo "digitale" forse potra' [U]simulare[/U] sempre piu' ma non penso possa avere quella scintilla che da una marea di variabili esterne, da' all'artista quell'elemento per creare davvero qualcosa che abbia un senso; comunque rifletto piu' sulla domanda certamente complessa se nell' oggi tecnologico si riesca ancora a definire cosa sia arte e cosa no e se ci siano ancora quelle capacita' naturali per "percepire" l' arte. Immagino saranno saranno stati scritti migliaia di libri sulla materia, ma quando sento parlare di arte contemporanea questi dubbi vengono naturali.
D4N!3L312 Agosto 2019, 08:56 #6
Originariamente inviato da: 386DX40
Per quello ho scritto "delegare" e simulare. Per quel che vale la mia inutile opinione, arte e musica si creano da un mondo "analogico" fatto di esperienze di vita, di significati, di intuizioni, di contesti e situazioni, di entusiasmi e tristezze.
Il mondo "digitale" forse potra' [U]simulare[/U] sempre piu' ma non penso possa avere quella scintilla che da una marea di variabili esterne, da' all'artista quell'elemento per creare davvero qualcosa che abbia un senso; comunque rifletto piu' sulla domanda certamente complessa se nell' oggi tecnologico si riesca ancora a definire cosa sia arte e cosa no e se ci siano ancora quelle capacita' naturali per "percepire" l' arte. Immagino saranno saranno stati scritti migliaia di libri sulla materia, ma quando sento parlare di arte contemporanea questi dubbi vengono naturali.


Ho semrpe pensato che la musica sia espressione dell'essere umano, la più alta anche, nel bene e nel male (aka musica di m....). Infatti si può dire sia il linguaggio universale più elevato, supera di granlunga la parola. Ergo non si può pensare che un'IA sia in grado di produrre qualcosa che "parli" ad un essere umano intenzionalmente. Quello che viene fuori è un mix di cose già scritte da altri condito da un set di regole più o meno ferree. La bellezza si fonda su regole di proporzione ed equilibrio che sono imprescindibili, insite direi nell'essere umano.

Per questo anche l'arte moderna è espressione dell'essere umano, espressione di grande confusione e perdita di riferimento. Ecco perché si tende spesso ad affibbiare a palesi schifezze valori che non hanno.
386DX4012 Agosto 2019, 11:20 #7
Originariamente inviato da: D4N!3L3
Ho semrpe pensato che la musica sia espressione dell'essere umano, la più alta anche, nel bene e nel male (aka musica di m....). Infatti si può dire sia il linguaggio universale più elevato, supera di granlunga la parola. Ergo non si può pensare che un'IA sia in grado di produrre qualcosa che "parli" ad un essere umano intenzionalmente. Quello che viene fuori è un mix di cose già scritte da altri condito da un set di regole più o meno ferree. La bellezza si fonda su regole di proporzione ed equilibrio che sono imprescindibili, insite direi nell'essere umano.

Per questo anche l'arte moderna è espressione dell'essere umano, espressione di grande confusione e perdita di riferimento. Ecco perché si tende spesso ad affibbiare a palesi schifezze valori che non hanno.


Infatti. E poi c'e' da aggiungere altri fattori come il "perchè" fare arte. Certo anche alcuni grandi artisti del passato avranno creato arte inizialmente con lo scopo di sopravvivere o guadagnare o su commissione ma a compensare questi "motivi terreni" c'erano almeno capacita' quasi sovraumane di produrre dal nulla che so' dipinti o sculture o composizioni musicali che forse il 95% degli altri esseri umani non avrebbe avuto ne' le capacita' ne' le motivazioni di creare. Questa capacita' quando portata all' estremo imho "diventava arte essa stessa" per la distanza che poneva tra alcuni esseri umani e una marea di ggente. E se non c'erano oggettivamente grandi capacita', c'era a volte estrema forza di volonta' e dedizione. La suddetta distanza non era necessariamente "superiorità" piu' "unicità" e spesso non portava a nulla di buono; pensiamo a molti di questi artisti poverissimi che hanno fatto la fame, venduto pochissime creazioni, passato vite disastrate da dolori e dai contesti storici, altri erano magari considerati "pazzi", alcuni magari rischiavano di morire di fame talmente erano impegnati. Ma questa moltitudine di variabili esterne che chiamerei "analogiche" immagino fossero il brodo primordiale fondamentale per ogni artista.
Oggigiorno credo ci siano (probabilmente come era anche nei secoli scorsi) molte persone convinte di essere artisti, si atteggiano come si pensa un artista debba fare ma che imho almeno alcuni non sembrano avere le condizioni per cui "debbano" fare arte nemmeno piu' per il rispettabile sopravvivere semmai una banale popolarita' come se ognuno di questi (molti) credesse davvero che il mondo stesso avesse bisogno del loro messaggio quando la sensazione e' che non vi e' messaggio alcuno.
D4N!3L312 Agosto 2019, 11:33 #8
Originariamente inviato da: 386DX40
Infatti. E poi c'e' da aggiungere altri fattori come il "perchè" fare arte. Certo anche alcuni grandi artisti del passato avranno creato arte inizialmente con lo scopo di sopravvivere o guadagnare o su commissione ma a compensare questi "motivi terreni" c'erano almeno capacita' quasi sovraumane di produrre dal nulla che so' dipinti o sculture o composizioni musicali che probabilmente il 95% degli altri esseri umani non avrebbe avuto non solo le capacita' ma le motivazioni di creare. Questa capacita' quando e' portata all' estremo imho "diventa arte essa stessa" anche solo per la distanza che pone tra alcuni esseri viventi e una marea di ggente. Distanza che non e' necessariamente da intendersi come "superiorità" piu' come "unicità"; pensiamo poi a molti di questi artisti che come risultato hanno fatto la fame, venduto pochissime creazioni o passato vite disastrate da dolori e dai contesti storici, altri erano magari considerati "pazzi", altri si erano alienati essi stessi nell'arte stessa, alcuni magari rischiavano di morire di fame perche' impegnati in qualcosa. Questa stessa moltitudine di variabili esterne che chiamerei "analogiche" immagino siano il brodo primordiale fondamentale di ogni artista.
Per quello credo oggigiorno ci siano (probabilmente come era anche nei secoli scorsi) molte persone convinte di essere artisti, si atteggiano come si pensa un artista debba fare ma che imho almeno alcuni non sembrano avere ne le condizioni per cui "debbano" fare arte al di fuori dei motivi terreni che non sono nemmeno piu' sopravvivere semmai una banale popolarita' come se ognuno di questi (molti) pensassero che il mondo stesso avesse bisogno del loro messaggio quando la sensazione e' che non vi e' messaggio alcuno.


Oggi gli strumenti di diffusione delle informazioni sono molto più potenti che in passato e spesso creano figure iconiche o caratterizzano artisti al livello di dei quando in realtà sanno esprimere poco contenuto.

Forse si è anche abbassata la capacità di godere di contenuti di un certo tipo ed è per questo che tanti falsi artisti spopolano tra le masse.
Le capacità di produrre arte sono innate, non si conquistano con niente, non si creano dal niente. Poi incanalarle non è così semplice.

Con lo studio si possono ottenere buoni risultati ma quel qualcosa in più, quel tocco, quella visione che un artista riesce a mettere nella sua opera o ce l'hai o non ce l'hai.
386DX4012 Agosto 2019, 12:00 #9
Originariamente inviato da: D4N!3L3
Oggi gli strumenti di diffusione delle informazioni sono molto più potenti che in passato e spesso creano figure iconiche o caratterizzano artisti al livello di dei quando in realtà sanno esprimere poco contenuto.

Forse si è anche abbassata la capacità di godere di contenuti di un certo tipo ed è per questo che tanti falsi artisti spopolano tra le masse.
Le capacità di produrre arte sono innate, non si conquistano con niente, non si creano dal niente. Poi incanalarle non è così semplice.

Con lo studio si possono ottenere buoni risultati ma quel qualcosa in più, quel tocco, quella visione che un artista riesce a mettere nella sua opera o ce l'hai o non ce l'hai.

E per questo viene da chiedersi se molta tecnologia (non tutta ovviamente) invece di liberare tempo libero all'essere umano ne abbia rimpiazzato ogni "necessita" di "dover fare" qualcosa nella quotidianita', negli ultimi anni perfino di pensare. Se nei momenti in cui non si lavora o non si dorme, tutto il tempo e' dedicato a tenere impegnato il cervello "per non dover pensare" come si puo' credere che qualcuno di quelli che vivono immersi in quel brodo vedano nascere in se stessi un messaggio o un sentimento per cui poi nasca davvero a sua volta anche arte?
biometallo12 Agosto 2019, 12:24 #10
Spero non vi offendiate ma le vostre chiacchiere da salottino buono a me ricordano tanti i vecchi carosello della China Martini...

https://www.youtube.com/watch?v=rgXCuCX4ogY

Ma vedrete che questa moda della macchine che si mettono a suonare non dura no, non dura minga

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^