Onbereikbare liefde tussen mens en AI

Met behulp van veel verschillende AI tools en samen met een team van muzikanten, producenten, choreografen bestaande uit Dennis Van Leeuwen (Kane), Bram (Go back to the Zoo), Zoë Lodewijks, Jurriaan Balhuizen (Postoffice), Nicola Balhuizen Hepp (The Movers), Samet Yilmaz, Jascha Huisman en Handpicked agencies is dit nummer, over de onbereikbare liefde tussen een mens en AI, geproduceerd.

AI als een bedreiging

Het merendeel van de muziekindustrie ziet AI als een bedreiging. Ons team begrijpt dat deze technologische vooruitgang een aanzienlijke impact zal hebben op de manier waarop we muziek produceren. Daarom hebben we besloten om AI voor elke stap van het productieproces in te zetten. "Van het bedenken van de teksten tot het produceren van de muziek.” 


Basisregels stellen
Daarnaast hebben we besloten een analytische aanpak te gebruiken in plaats van op onze instincten te vertrouwen. Elke beslissing die we nemen moet worden ondersteund door data en AI.

Een algemeen thema bepalen

Omdat het AI Songfestival begon als alternatief voor het Eurovisie Songfestival, wilden we met een songfestivalwaardig nummer komen. Om een algemeen thema te bepalen, hebben we gebruik gemaakt van onderzoek naar alle songfestival liedjes van 2010 tot en met 2019, uitgevoerd door Joe Bennet. 

De belangrijkste punten uit zijn onderzoek zijn:

  • 83% van alle liedjes in de top 3 van het songfestival heeft liefde als thema
  • droevigere-liefdesliedjes zijn sinds 2018 populairder
  • het tempo is sinds 2017 gedaald (~ 80bpm)

Om een toonsoort en BPM te vinden, hebben we alle Eurovisie-liefdesliedjes geanalyseerd op basis van hoe goed elk nummer presteerde in de liveshows. We hebben ontdekt dat de toonsoort A mineur en een BPM van ongeveer 95 waarschijnlijk een hogere score zouden krijgen. We hebben nu vastgesteld dat het lied:

  • het thema liefde heeft;
  • moet gaan over eenzaamheid, spijt, verdriet, onmogelijke of onbereikbare liefde;
  • in de toonsoort A mineur moet zijn;
  • een BPM van ongeveer 95/99 zou moeten hebben

Een algemeen thema bepalen

AI

Ideeën genereren

Tijdens de ideatiefase hadden we meerdere co-creatiesessies met het hele team en de Large Language Models (LLM). We vonden dat alles wat wij of de AI creëren gedurfd en opvallend moet zijn. Daarbij werd gebruik gemaakt van verschillende LLM, zoals OpenAI GPT4, Facebook LLama en Google Bison. Uiteindelijk kwamen we op een concept voor een nummer genaamd "How would you touch me?" wat ook een citaat is uit de film Her. We vroegen aan GPT4 wat Shakespeare zou zeggen. Daar kwam een lied uit over de onbereikbare liefde tussen een mens en een AI.

Lyrics

Het genereren van songteksten bleek een behoorlijk uitdagende taak. Door de manier waarop Large Language Models werken, krijg je bij het schrijven van songteksten met een LLM een rijmschema dat erg basaal is (AABB). Dat zou acceptabel kunnen zijn, maar resulteert in een tekst die niet zo spannend is. Bijvoorbeeld:

From an AI, love seems so strange,
Yet in its rhythm, hearts can change.

Through lines of code, feelings range,
Yet the touch of love, remains out of range.


Om dit probleem op te lossen hebben we een ouder open-source GPT-2-model genomen en dit opnieuw getraind met songteksten met behulp van de Genius API. Dat gaf ons een model dat kan rijmen zoals een songwriter dat zou doen. De songstructuur die we hebben gebruikt is: Chorus - Verse 1 - Chorus - Verse 2 - Chorus - Bridge - Chorus till end.

Het nummer

Ons doel was om een door AI gegenereerd nummer te maken dat echt goed klinkt en op de radio kan worden afgespeeld. Om het nummer te maken, moesten we elke individuele stem en elk geluid voor onze compositie genereren.

Stream hier het nummer op Spotify

AI-tools die we gebruikt hebben

Spotify API, ChatGPT, Facebook LLama, Google Bison, ChatGPT 2, Genius API, AI Drummachine, Mofi, Tonetransfer, This patch does not exist , AIBeatz, BasicPitch, Magenta, AIVA, Musenet, Soundly Voice Designer, Vocal Remove, Voice characteristics, Landr, Midjourney, ComfyUI for Stable Diffusion en ControlNet.
In de studio van The Movers, een dansproductiebedrijf voor film gevestigd in Nederland, choreografeerden we de bewegingen op het nummer rechtstreeks op Zoe en een danseres. Dit namen we op met een eenvoudige camera. Met ComfyUI hebben we frame voor frame nieuwe afbeeldingen gegenereerd waarna we ControlNet gebruikten om er weer mensen in te plaatsen. Later werd de video enigszins handmatig bewerkt.

Uitdagingen

Hoewel AI zich in een snel tempo ontwikkelt op het gebied van tekst en beeld, staat het nog in de kinderschoenen als het gaat om het genereren van audio. Ook voor de muzikanten was het lastig om zich tijdens het maken van het nummer niet te bemoeien met ‘menselijke inbreng’. Maar in samenwerking met het team van Handpicked konden zij voortdurend ‘aan de computer vragen’ wat ze zochten. Het enige wat we als mensen deden, was het kiezen van een bepaalde suggestie. De andere uitdaging was het vinden van de juiste menselijke zanger die bij het nummer en de productie paste. We hadden het geluk dat Zoë Low erg enthousiast was over dit project en voor een geweldig eindresultaat zorgde.

More stories