Anonim

Google-prosjektet oppretter maskinvaregrensesnitt for algoritmenes lydgenerator

Musikk

Paul Ridden

16. mars 2018

3 bilder

NSynth Super-grensesnittet kan spilles med hvilken som helst MIDI-kilde, for eksempel en DAW, sequencer eller tastatur (Kreditt: Google)

Folkene i Googles Magenta-prosjekt har avslørt et maskinvaregrensesnitt for en algoritmebasert synthesizer som bruker et dypt nevralt nettverk for å generere helt nye lyder. Musikere drar en finger rundt NSynth Supers fargerike berøringsskjerm for å utforske de unike lydene som tilbys av maskinens læringsalgoritme.

NSynth Super-grensesnittet tilbyr musikere en måte å ta hånd om med Magenta-prosjektets NSynth- eller Neural Synthesizer-algoritme, som bruker et neuralt nettverk for å lære lydegenskaper av forskjellige kilder og generere helt nye lyder fra hva det er lært. Prosjektet understreker at disse nye kreasjonene ikke bare er soniske blandinger, men helt nye lyder som ville være vanskelige å produsere ved hjelp av en håndstilt synth.

NSynth algoritmen identifiserer og trekker ut 16 funksjoner fra hver lydkildeinngang - en lyds kjerneattributter, eller hva som gjør en lyd, erm, lyd som den gjør. "Disse funksjonene blir deretter interpolert lineært for å lage nye embeddings (matematiske representasjoner av hver lyd), " forklarte prosjektet. "Disse nye embeddingene blir deretter dekodet til nye lyder, som har de akustiske egenskapene til begge innganger. " Så for eksempel kan en nylig generert lyd ha både fløytliknende og sitarlignende egenskaper, men den nye lyden vil bli den nye lyden hverken den ene eller den andre. Det vil være unikt.

Mens Magenta-prosjektet har sett på måter å interagere med NSynth-algoritmen, er NSynth Super det første maskinvaregrensesnittet og ble utviklet i samarbeid med Google Creative Lab. Grensesnittet kan spilles med hvilken som helst MIDI-kilde, for eksempel en DAW, sequencer eller tastatur, og algoritmen kan generere over 100.000 nye lyder ved å tegne fra forskjellige kilder.

I et eksperiment ble 16 kildelyder på tvers av 15 forskjellige stasjoner registrert i et studio og deretter matet inn i NSynth-algoritmen. Hver knapp på Super-grensesnittet ble tildelt fire kilde lyder. Egenskapene til valgte kildelyder kan da manipuleres ved hjelp av berøringsskjermbildet øverst for å lage nye lyder.

Prosjektet har skapt noen arbeidsprototyper av NSynth Super og satt dem i hendene på musikere, men maskinvaren vil ikke bli utgitt som et kommersielt produkt. Imidlertid er alle koden, skjemaer og designmaler tilgjengelig for nedlasting fra GitHub, hvis lydforskere ønsker å lage egne versjoner og eksperimentere med nye lyder. Du kan se potensialet for musikkopprettelse i videoen nedenfor.

Kilde: NSynth Super prosjekt

NSynth Super-grensesnittet vil ikke bli utgitt kommersielt, men koden, skjemaene og designmalerne er tilgjengelig for nedlasting under åpen kildekode (Kreditt: Google)

NSynth Super-grensesnittet kan spilles med hvilken som helst MIDI-kilde, for eksempel en DAW, sequencer eller tastatur (Kreditt: Google)

Etter at du har valgt lydkilder ved hjelp av ringene på NSynth Super-grensesnittet, kan en musiker generere helt nye lyder ved å dra en finger over berøringsskjermen (Kreditt: Google)

Anbefalt Redaksjonens