intelligentmusicaltools - Tumblr blog

[intelligentmusicaltools]

Propositions with insights

Ik ben deze week bezig geweest met mijn relfective analysis: oftewel sense maken van alle data die ik dit project verzameld heb. Ik heb vele post-its moeten clusteren en reflecties opnieuw moeten lezen en interpreteren. Hierbij heb ik technieken van de ‘thematic analysis’ gebruikt, die ik eerder heb toegepast bij CDR. Aan de hand hiervan heb ik gedurende mijn project 3 verschillende proposities voor de rol van ML in het muzikale process kunnen definiëren. 

Note: Een meer uitgebreide versie hiervan met ook een uitgewerkt stuk over design en inquiry process kun je binnenkort vinden in mijn paper ;) 

Nu alvast een klein stukje om te lezen en feedback op te krijgen. Dit onderstaande kan eventueel nog veranderen!

Note!:  It is important to stress outcomes of the three propositions are equally approached, even though their chronological order might suggest elsewise. Instead, the three propositions show the different perspectives taken by the researcher: for the first proposition, she takes on the role of a literature reviewer, for the second proposition she takes on the role of a design/engineer and for the last proposition she takes on the role of an amateur musician. Also, autobiographical/ethnographical design does not prove generalization. Rather, the researcher aims to share her experience with building and using her artifacts, in order to let the audience of the creative community draw their own lesson from it. Thus it is not meant to be comprehensive, but a reasoned extrapolation from my own experience.

First proposition 

Based upon literature research and anecdotal interviews with creatives (musicians, designers and coders) 

ML in the musical creative process should augment creativity in musicians through a collaboration between the musician and intelligence tools that is based upon the personal needs and desires.

There are many questions regarding whether even intelligence would have a place in the creative process and till what extent it would exert agency and have ownership. Nevertheless, a growing community of left-field musicians are taking a hands-on approach is by realizing unique intelligent tools for the musical creative process. The collaboration between human and intelligence that comes into being is highly personal and depends on creative needs and desires from the musician, ranging from functional purposes such as setting constraints and speeding up process, to more artistic ends, such as finding a new aesthetic through sound synthesis.

Second proposition

Based upon making the Google NSynth and Infinite Drum Machine .

ML in the musical creative process is a complex, open-source ecosystem that, in order to be part of the creative DIY community, requires immersing one immensely into the technology itself and the ecosystem it is part of. 

The challenges that come with that, such as acquiring technical know-how, computational performance, and adapting to sometimes poor documentation and rapid changing complexity, make it tough to ultimately pursue for instance a certain authenticity or aesthetics in open-source ML tools for a musical creative process; when for example training these tools on your own data, or changing certain interaction style. Since technological achievements within this field are certainly more challenging, we must not forget to actively question our inner ‘musician’ what it is we really need from the system by frequently switching between those two perspectives during the process of making and using. Thus, ML in the musical creative process should augment creativity in humans by facilitating knowledge, resources and freedom for modification and personalization for pursuing authenticity and aesthetics, in order to make creatives and musicians active players in the creation of their own intelligent entity. 

Third proposition

Based upon using (jamming) with the Google NSynth Super and other instruments.

ML in the musical creative process is a tool for musicians for composing sound, which is capable of creating unheard sound qualities (textures, timbres, pitches and envelopes), resulting in a new, unique auditory aesthetic.

Additionally, a loss of sound resolution, as a consequence of the complex, computational capacity that ML requires, currently contributes to this aesthetic. ML tools should find a balance between unexpectedness and challenging and interesting ways for mastering, which is important for augmenting creativity in humans. As a tool in the creative process, ML is never the input, nor the output. Being able to move beyond the reach scope wherein the tool is trained, is vital for giving the user control over the input, by for example providing the user the opportunity to train the system itself on their own data. Also, Allowing the user shape the output of an ML tool through control over parameters, interactions, and compatibility with other instruments ultimately aim to preserve sense of ownership and satisfaction over the creative process and output. 

[intelligentmusicaltools]

Muziek maken met de Google NSynth

Ik heb nu meerdere malen met Luke gejamd met de Google NSynth. Het was even uitvogelen hoe ik die technisch aan moest sluiten. Ik heb het op 2 manieren gedaan; (1) NSynth aansluiten op mijn Nord Electro. De Nord stuurde de MIDI noten door naar de NSynth. Uiteindelijk kon ik dus geluiden met de Elektron Digitakt sampelen. Dit bleek een beetje een omweg te zijn, dus heb ik de NSynth direct aangesloten op de Digitakt (2) waarbij de Digitakt MIDI outputte naar de NSynth. Het resulteerde in een veel natuurlijke manier van jammen waarin je real time de sound qualities dmv de NSynth kon veranderen. 

In het begin merkte ik wel dat ik de meeste geluiden die de NSynth produceerde niet heel fijn vond. Ze hebben al een lage bitrate (16bit) dus de kwaliteit was ook niet hoogstaand. Wat ik dus vervolgend deed, was het geluid dat uit de NSynth kwam op veel verschillende manieren vervormen op de Digitakt; o.a. het toepassen van filters, reverb en delay effecten, pitch veranderen, envelope aanpassen. Ik vond het heel fijn dat ik uiteindelijk dmv de Digitakt wel de controle en mogelijkheid had om de geluiden zo aan te passen dat ze naar wens waren voor mij, en dat het me genoeg mogelijkheid gaf om te experimenteren met het componeren van geluid. 

De meeste geluiden waar ik uiteindelijk mee werkte, weken best af van het originele geluid,maar hadden nog steeds wel dezelfde soort textuur en timbre. Dat laatste is wat ik heel uniek vond aan de NSynth geluiden en dus mij ook motiveerde om er mee te gaan jammen. Ik ben altijd meer een ‘jam’ persoon geweest dan iemand die complete nummers schrijft, dus dat is ook hetgene wat ik gedaan heb. Het was fijn om samen met Luke te jammen, want dan kon hij voornamelijk de Digitakt besturen en ik met de NSynth. Soms wisselde wel spontaan af van rol of pakte we er een stompbox of een keyboard erbij. De interacties met de NSynth (dus het ‘morphen’) tussen verschillende instrumenten was best vet. Zo kon je op een organischere manier tussen geluiden zitten. Het zou wel tof zijn geweest als je meer, en eigen geluiden in de NSynth had kunnen laden. Desalniettemin kon je d.m.v. de Digitakt best veel doen met de geluiden die je kreeg. 

Esthetisch gezien hadden de geluiden die uit de NSynth kwamen ook wel wat. Omdat ze zo lo-fi, atmosferisch en synthetisch klonken, hadden Luke en ik al snel het idee wat het genre zou moeten zijn. We dachten eraan om een beetje donkere techno met wat ambient erin te gaan maken. Verrassend genoeg leende de geluiden zich daar uitstekend voor.  De jams die we hebben gedaan waren uiteindelijk een combinatie van geluiden van de Digitakt (zoals een standaard bass-drum en hi-hat) en geluiden die synthesized waren. Het had ook wel een soort verrassingselement want ik had van tevoren een bepaald idee hoe een combinatie van bepaalde geluiden zou klinken, maar uiteindelijk als je het dan toch hoorde klonk het heel anders. Soms was er ook een soort sweet spot waarin de combinatie van geluiden opeens heel vet was een een heel uniek soort timbre ontstond. Dat waren momenten waarvan ik de NSynth een soort toegevoegde waarde vond hebben. 

de hardware wilden nog wel eens crashen en vastlopen; zoals potmeters die niet draaide hoe ze hoorden te draaien. Dit als resultaat van misschien slecht soldeerwerk of slechte kwali van de hardware. Ook wilt de raspberry PI soms nog niet echt opstarten. 

Hetgene wat ik het jammerst vind, is dat ik tot nu toe nog niet mijn ‘eigen’ opgenomen geluiden (fieldrecording en echte instrumenten) door de audio pipeline heb kunnen gooien. Ik heb weer een paar dagen bij BMD (omdat ik daar de computing power had) daarvoor gezeten en me echt tot in de naad gewerkt om dit voor mekaar te krijgen. Er waren alleen weer een aantal errors waar ik, en mensen van BMD, niet veel raad mee wisten. Oorzaak was mogelijk verouderde software die geinstaleerd moest worden. Misschien ga ik het volgende dag nog een keer proberen, misschien ook niet. Dit is iets wat ik even met mijn coach moet gaan overleggen. Want dat zou het onderzoek wel iets meer autobiografisch maken. en dan zou ik ook kunnen kijken hoe concepten zoals authenticiteit en personalisatie een rol zouden spelen. 

[intelligentmusicaltools]

undefined

jam jam jam

[intelligentmusicaltools]

lekker encoden !

[intelligentmusicaltools]

update

Na een week volle bak bezig zijn geweest met mijn paper, is het weer tijd om terug te keren na de laatste case study. Ik heb een aantal goals voor deze week opgesteld, die ik hopelijk gehaald heb aan het einde van de week. Om mijn eigen samples ready te maken voor de audio pipeline, meer hands-on met ML te werken en daadwerkelijk ook een nummer te schrijven met mn eigen uitgekozen samples, moet ik ze gaan recorden, uitkiezen en preppen. Hiervoor het ik een speciale Linux computer met programma’s daarop nodig die ik bij BMD kan lenen. Daarnaast ga ik verder werken aan mijn paper, wat helpt bij het vormgeven van mijn demo-day presentatie. Mijn planning gaat er als volgens 

Maandag: 

Samples recorden en preppen voor de audio pipeline

feedback Stephan verwerken

Related work en approach afschrijven

Dinsdag: 

naar BMD en de batch aanzetten op de Linux pc

Woensdag: Samples ophalen en uploaden op de Nsynth

Proposition 1 geschreven hebben

Een gedeelte van proposition 2 hebben geschreven

Het lange weekend: 

nummertjes maken en experimenteren met de digitakt!!!! :D

data bijhouden --> uploaden op tumblr

[intelligentmusicaltools]

Feedback meeting 08/05/2020

Key findings: 

authenticity kwam de hele tijd niet echt terug? en nu is het je hoofdonderdeel? 

hoe is het onderdeel van een social-ecosystem? 

co-design met pep

GitHub community

materialen etc

mede muzikanten

hoe mensen mn muziek interpreteren --> nuttig voor de discussie

eventuele discussie? alleen als ze bijdragen aan je key-findings

vulnerability, risk taking?

maak een opmaak van je paper! --> send to Stephan for review! 

Complexiteit

keyfindings moeten nog beter uitgewerkt worden

Je kan het proposities noemen, maar ook perspectieven en insights

hoe wil je dat andere mensen het zien?  

Als je het 1,2,3 noemt moet je goed onderscheid maken dat die 3rde bij niet soort van betere iteratie is, aangezien dit aan het einde van het process is... 

[intelligentmusicaltools]

ok, het is misschien hier niet zo goed leesbaar, maar gelukkig in real life wel :)

[intelligentmusicaltools]

Een groot reflectiemoment

Ik ben afgelopen 2 weken bezig geweest met een nieuw experiment, The Infinite Drum Machine. Het is ook een music X AI experiment van Google en focus zich op het classificeren van samples. Dit zijn ‘everday’ sound, zoals het geluid van het sluiten van een deur of een vogeltje dat aan het fluiten is. Voordat ik dit project m’n eigen kon maken moest ik het weer kunnen draaien op m’n eigen laptop. Ik wilde m’n eigen data (dus mijn eigen field-recordings) als input hebben om er een persoonlijke twist aan te geven. Dus na vorige week heel wat field-recordings te hebben gemaakt, ben ik die door de pipe line gaan duwen. Uiteindelijk zou er een t-SNE map uit moeten komen, een ML technique die data 3 of 2 dimensionaal kan classificeert en visualiseert. Bijkomend zou de code ook nog eens waardes geven van hoever het geluid van een 4 basic drum computer zou zitten: van een kick, snare, hihat and cymbal. 

Als ik dit experiment werkend zou krijgen zou ik vervolgens mijn eigen ‘organische’ slag erover heen willen doen, want ik heb altijd een beetje iffy gevoelens bij van die druk op play drumcomputers. Ik wil zelf aan de knoppen draaien en het iets meer zijn eigen weg laten gaan. Dat zou ook d.m.v. computation mogelijk zijn. (Computational Creativity --> https://aaai.org/ojs/index.php/aimagazine/article/view/2257). 

Maar helaas, net zoals met de Nsynth stuitte ik weer op heel veel technische problemen. De open-source code was slecht gedocumenteerd, veel dingen in de code waren al verouderd en dus niet meer compatible, de server wilde niet werken, etc... IUiteindelijk had ik de back-end werkend (het AI gedeelte en Node JS communicatie), maar de front end wilde maar niet werken. Ik kreeg het zelfde gevoel dat ik op een gegeven moment bij de Nsynth ook had: ik wil niet dit hele project bezig zijn met shit fixen en werkend proberen te krijgen, nee ik wil onderzoek doen!. Dus ik gaf het nog een last shot. Ik heb maandag Pepijn van BMD opgebeld en we hebben samen wat uurtjes in dezelfde repository zitten code kloppen. Dit was een beetje m’n last resort, als dit niet lukt ga ik het afblazen want anders is dit teveel verspilde moeite en tijd. Jammer genoeg hadden we wel wat bugs kunnen fixen maar niet genoeg om het experiment compleet draaiende te krijgen op mijn computer. Ik was heel dankbaar voor de tijd Pep mij wilde helpen, maar aan de andere kant natuurlijk mega teleurgesteld dat het niet wilde werken. En gefrustreerd. Lag het aan mij? Waren mijn kwaliteiten niet goed genoeg? Of was het gewoon Google dit dit project niet goed had gedocumenteerd en had bijgehouden? I dont know... Ik besloot even afstand te nemen en mijn verdere opties te evalueren....

Ik belde even met Luke, want die altijd goed is advies geven als mijn hoofd in de knoop zit. Hij adviseerde mijn hele process uit te schetsen, die te evalueren en dan kijken wat nog een aanvullende, laatste activiteit in mn project zou kunnen zijn. So I did... Dat was lastiger dan ik dacht want er liepen verschillende narratives in mijn project door elkaar. Ik had vorige week een abstract geschreven, daar feedback op gekregen en die weer aangepast. Het voelde een beetje kut om daar afstand van te nemen, maar het was voor de better... Ik bedenk net dat ik nooit die abstract heb gedeeld dus doe ik dat nu even! 

Artificial Intelligence (AI) recent quest for creativity has led to new developments and experimental designs in the field of music composition tools, wherein AI is used as a creative material. Yet in practice, the creative process of a musician is a deeply personal and intuitive process. At first sight, the explicit nature and discreteness of AI indicates that potential frictions might occur in while integrating AI in the creative process. For instance, for most AI-driven musical tools on the market, promises are made about achieving higher efficiency in the creative process, through the use of of- the-shelf tools. But at what cost? Do we actually want to work more efficiently if this also reduces ‘happy accidents’ and ‘authenticity’. As a counterculture to the current markt tools , researchers and artists, have shown that AI technology has the potential to focus beyond efficiency, through open-source experiments. The paper explores the creative collaboration between intelligent machines and musicians from an autobiographical and autoethnographic research through design approach. The author developed three DIY experiments with (semi-)functional artefacts. She prototyped, coded and conducted co-perform sessions with them. Her designerly journey revealed three main themes, namely X, Y, Z  which shaped the complexities and challenges for designing creative relationships with intelligent musical tools in her process. Hereby she offers fresh insights, inspiration and incentive for designers and musicians who are interested in working AI as a material, in the context of a musical creative process. 

Dus ik heb mijn hele process uitgeschetst en langzaam kon ik conclusies gaan trekken. Aangezien ik ze allemaal op post-its heb uitgeschreven, paste ik hier zo even een foto van het uitgeschetste process in. Die conclusies staan onder het kopje ‘reflective’ analysis. Het belagrijkste punt waar ik achter ben gekomen is dat mijn onderzoek een soort zoektocht naar authenticiteit is... Dat verklaard waarschijnlijk ook waarom ik van die DIY experimenten m’n eigen variant wil maken en zo graag perse mijn eigen data wil gebruiken. Ik probeer die authenticity heel erg te bereiken vanuit een technologisch perspectief en niet zo zeer vanuit een muzikaal perspectief. Technologische achievements zijn in dit project voor mijn belangrijker dan muzikale achievement: dat was een belangrijke realisatie voor mij waar ik nog niet zozeer over had nagedacht. Daarom leek het goed om ook nog een gedeelte van mijn onderzoek aan het muzikale perspectief te besteden. 

Daarom gaat mijn laatste en 3rde case study, één of meerdere nummer schrijven met de Nsynth (en eventueel de Infitinite Drum Machine) zijn. Ik kan natuurlijk niet alleen met Nsynth iets schrijven dus ik ga hem aan mijn Nord en de Elektron Digitakt hangen, en vervolgens de Nsynth samplen. Het liefst zou ik de muziek ook naar buiten (via het internet) willen brengen. Ik moet ook nog even overleggen met Stephan of het waardevol is om dan hier vervolgens een discussie over te voeren met een eventuele audience. Want dat zou weer hele andere perspectieven op het project schijnen. 

Ook had ik de paper van Angella Mackney over Dynamic Fabric gelezen en die opbouw was erg fijn. Er zit veel oplap in en ik denk dat ik een deel van haar opbouw ‘ga gebuiken’ in mijn paper. Ook het feit dat haar definitie van dynamic fabric over de course van haar onderzoek veranderd is iets wat ik eventueel ook zou kunnen gebruiken. Ook is Stephans paper over Prototyping heel interessant om in dit onderzoek te gebruiken. Ik ben eigenlijk Prototyping as a vehicle for inquiry aan het houden. Dus ik zou eventueel dat framework kunnen gebruiken als goede background literature

Meer info over de laatste 3 alineas kun je in de volgende post vinden waar ik de fotos van de brainstorm met mezelf plaats. Ik heb het gevoel dat ik alles weer voor 95% op een rijtje hebt staan en dat is fijn. :) 

ps. voor iemand die dit eventueel leest, sorry dat het zo lang was ;)

[intelligentmusicaltools]

vogeltjes fieldrecorden in het park

[intelligentmusicaltools]

Research update part 1

27//04//2020 14:45

Current research question

How do I realise a creative relationship with intelligent musical tools? An experimental autobiographical design approach?

Uitkomst onderzoek: een aantal thema’s die belangrijk zijn voor die relatie en hoe die thema’s samenhangen

Recommendations for further research

Uitkomst valt niet te generaliseren want het is specifiek hoe ik die heb ervaren, kan wel inspirational voor mensen zijn en mensen kunnen er hun eigen les uit trekken, mogen het designers, muzikanten of onderzoekers zijn. 

In het kopje ‘Need for a pivot’ beter beschreven waarom autobiographical design een goede fit is

In mijn research ben ik bezig met 3 experimenten die deels overlappen, om meer inzicht te krijgen in de achterliggende thema’s en hoe die relaten aan de onderzoeksvraag. 

Er is nu 1 experiment met de Nsynth afgerond. Experiment 1 ‘Training your own recommender system’ is nog wel een half geslaagd: het bouwen van de Nsynth en het conceptueel ontwerpen van de Reinforcement Learning ervan heeft heel wat reflecties over collaboration en intelligentie naar boven gebracht. 

Er zijn nu nog 2 experimenten in gaande. De concepten van deze experimenten zijn voortgekomen uit de thema’s die ik gehaald heb uit de anekdotische data die ik vergaard heb tijdens mijn interviews in de eerste weken.

Experiment 1 gaat over de combinatie Intelligentie en Creatieve proces: Mogelijkheden voor Sound Design en het vinden van een nieuwe esthetiek.

Experiment 2 gaat over een intelligentie als creatieve ‘jam partner’, sound qualities (meta sound design) en patten variatie. Ook roept experiment 2 vragen op wat er gebeurt als intelligent machines delen van het creatieve process simuleren en deels overnemen van de mens. 

Experiment 1: The Nsynth algoritme. 

Dit is het algoritme dat in de Nsynth zit. Het is verantwoordelijk voor de creatie van alle nieuwe gesynthetiseerde geluiden. De reden dat ik het zo tof vind (en dus ook de motivatie waarom ik in eerste instantie koos om de Nsynth the bouwen) was omdat het iets compleet nieuws deed. Het simuleerde niet wat de mens al kon, nee het gebruikte de aesthetics van computation om ook iets te maken. Het meer een avant-garde idee. Nu zitten er ook wel heel veel beperkingen aan de synth en dan met name aan het algoritme. Het is dan ook moeilijk om het algoritme aan te passen, vanwege technische limitations. Desalniettemin,  ben ik op dit moment wel de Nsynth veel aan het gebruiken om te kijken hoe meer ik het instrument leer kennen, hoe mijn relatie ermee veranderd en hoe ik het integreer in mijn muzikale proces.

Experiment 2: Organische patroon variaties in intelligente drum sequencers

Er zijn al best veel experimenten en diy apparatuur op de markt die ‘intelligentie’ in drum sequencers verwerken. Je kan op zo’n manier jammen met je intelligentie dat het net voelt alsof je met een AI aan het jammen bent. Je speelt bij een drum patroontje in en de intelligentie maakt daar vervolgens variaties op. Het ‘cringy’ hiermee vind ik altijd dat het niet super organisch is en dat je niet super veel controle hebt over hoe de variatie tot stand komt. Het kan zijn dat jij bijv de variatie niet chill vind of dat het niet goed aansluit bij het muziekstuk dat je aan het maken ben. Daarom vond ik het een uitdaging om te kijken of ik zoiets zou kunnen maken voor mezelf waarbij ik patronen ‘organischer’ kan laten klinken terwijl ik er wel meer controle over uit kan oefen. Dit zou natuurlijk voor mij een grote uitdaging zijn want ik wil nog steeds streven naar die creatieve relatie, en dus daarom zou de drum sequencer af en toe ook nog met verrassende elementen moeten komen.

Ik heb gekozen om een bestaand experiment ‘the Infinite Drum Machine’ (ook van Google) https://experiments.withgoogle.com/drum-machinete pakken. Het is een drum sequencer die werkt met field recordings. Je kan dus je eigen field-recordings inladen en aan de hand daarvan worden ze geclusterd via machine learning (t-SNE mapping). Je cloud van field-recordings word uiteindelijk gevisualiseerd en aan de hand van de waardes in de cloud kan ik gaan kijken hoe ik tijdens het jammen de parameters wil gaan veranderen (meer over de parameters soon). Zo zou ik tot een meer organischere patroonvariatie kunnen komen, zonder dat ik controle verlies en nog steeds een element of surprise heb.

Ik ga dit compleet digitaal doen, dus de interface en de interactie zou ook digitaal zijn. Ik ga komende week mijn eigen geluiden field-recorden omdat ik dat leuk vind. Dan ga ik ze door de pipeline halen en de UI verder ontwerpen. Ik heb daar al wat eerste ideetjes en flowcharts voor die ik binnenkort ga posten.

Mijn algemene motivatie voor dit project

Ik weet het niet zo goed. Het zijn gekke tijden en ik mis mijn mede studenten en creatieve inspiratie. Ik ervaar dit op dit moment als een van de moeilijkste projecten die ik tot nu toe gehad heb. Persoonlijk wil ik graag dat ik experiment 2 kan volbrengen en dat ik interessante uitkomsten genereer. Daarnaast merk ik dat het heel belangrijk is, vooral nu dat ik iets doe wat ik leuk vind. Want vooral als de motivatie laag is en je ritme anders, wil je wel ergens mee bezig zijn op dagelijkse basis waar je energie uit haalt. Dat is de reden dat ik ben gaan field-recorden en dat ik heb gekozen om ook iets te gaan progameren. Want dat vind ik leuk, en ik geloof dat het bijdraagt aan het project. Desalniettemin zal ik van dit project heel veel leren en hoop ik dat ik uiteindelijk het ook gewoon haal. Dat laatste vooral.

[intelligentmusicaltools]

Personen die betrokken zijn bij het project

Desondanks dit project een 1st pers perspective project is, leek het me handig om een lijstje te maken van de mensen die er tot nu toe bij betrokken zijn en welke rol ze spelen/hebben gespeeld.

Coaches: 

Stephan Wensveen

Mathias Funk

Bart Hengeveld

Kristina Andersen

Mede-studenten

Bart Bolluijt

Thomas van de Moosdijk

Selim Haase

Max Frimout

Overige

Joep Elderman

Luke Noothout

Bart Versteeg

Maas Goudswaard

Lei Nelissen

Emma van Zoelen

[intelligentmusicaltools]

Nieuwe ideeën

Ik heb zin om te gaan field-recorden en dat te gaan gebruiken voor mijn synth. Ik weet nog niet precies wat de toepassingen gaan zijn hiervan, maar ik heb gewoon zin om naar buiten te gaan en van de ‘stilte’ van de corona tijden een nummer te gaan maken. Of een soundscape. Door alleen samples van de field-recorder te gebruiken limiteer ik mezelf al op zo’n manier dat ik alleen maar keuze heb uit de samples van de field recorder. 

Wat daarbij komt is dat ik nog wel moet kijken of er een manier is dat die ook door de audio pipeline van de Nsynth te knallen

Ik kan,.çm, ook nog met het bestaande algoritme van de Nsynth een soort onderzoek gaan doen. Misschien heeft Luke hier ideeën voor.

Fieldrecorden en een pallet maken zoals de infinite drum machine en kijken of je AI kunt gebruiken om geluiden zoals ‘houterig’ ‘glazig’ etc kan beschrijven. --> Ook kijken of er al zoiets bestaat. 

Leap motion X Wekinator: Wekinator (ff aan Felix vragen voor tips) is een tool die het heel makkelijk kan gebruiken om een AI te trainen. Zo kun je bijvoorbeeld met de leap motion bewegingen koppelen aan instrumenten door hem maar zo vaak mogelijk te trainen op die specifieke beweging. Heeft ook een beetje weg van dit project: https://bjoernkarmann.dk/objectifier 

https://ml4a.github.io/guides/ConvnetClassifier/ Met gebruik van   

Misschien moet ik ook maar eens met Mathias gaan praten over het ding dat hij had gemaakt voor die techno-producer in Eindhoven. Het was ook een intelligente agent. 

AI in music op 3 verschillende levels: recommender systems, sound design, … agent.

Die … zou misschien mijn laatste stap worden en daarbij zou ik eventueel kunnen kijken of dat misschien is dat ik zelf ook zou kunnen bouwen.  

[intelligentmusicaltools]

Coach meeting Stephan 10.04.2020

Feedback:

Ga kijken welke soort thema’s je eruit kan halen --> eingelijk is je onderzoek een soort van groot thematic analysis. Je kan beginnen bij de basis themas: collaboration en creativity en die dan onderverdelen in sub-themas. 

Een agent is geen losse entiteit. Het is onderdeel van een geheel ecosysteem. 

Je kan binnen collaboration gaan kijken hoe je vannuit welke rol collaboration benaderd en dit dan linken aan litratuur over human-agent collaboration

Je moet goed in je begin je standpunt beschrijven over hoe jij een relationship with an intelligent agent aankijkt. Zolang je hier eerlijk over bent kun je je standpunt veranderen en daar motivaties voor geven. 

[intelligentmusicaltools]

undefined

Nsynth door een analoge delay stompbox + digital reverb

[intelligentmusicaltools]

A need for a pivot

The situation

Ik heb op dit moment niet de middelen om de hoeveelheid audio samples te produceren die ik zou willen produceren. Dat komt door 2 dingen: mijn gear en tijdsgebrek. Ik heb een computer met een kleine hoeveelheid RAM geheugen en een relatief kleine CPU en GPU. Daarbij komt dat ik niet het aantal weken tot mijn beschikking heb om de geluiden door de pipeline te laten gaan.

Ik begon ook het gevoel te krijgen dat ik meer dacht van: ik moet een goede toepassing van AI laten zien. Het idee kwam meer voort vanuit een soort technology-push attitude, i.p.v. dat het echt mijn ‘needs’ als muzikant vervulde. Ik vervulde in het process meer de rol van een designer en programmer, i.p.v. dat ik in de rol van de muzikant kroop.

Ik begon ook twijfels te hebben hoe goed mijn agent daadwerkelijk zou werken. Normaal gezien bij agents ben je samen naar een bepaald doel aan het werken. En de agent is geoptimaliseerd voor dat bepaalde doel. Zo’n doel is meestal een concreet iets wat is vastgesteld van tevoren. Mijn muzikale process heeft ook wel een doel, namelijk een stuk muziek maken, maar concreet is het totaal niet. Er is niet 1 bepaald pad dat ‘optimaal’ is. Juist de happy accidents en de onverwachtse dingen dragen het meest bij aan mijn creativiteit. Dit is heel impliciet en schuurt dus heel erg met de expliciete nature van een agent die een duidelijk doel moet hebben.  

The pivot

Het ideetje dat ik gisteren beschreef:  

I want to report on the autoethnographical and autobiographical research through design of developing and using concepts of AI applications in my musical creative process. 

Autoethnographical reseach 

Critically reflect on this process. E.g: where it has an added value, what are the underlying motivaties for doing this, how does it make me feel from a design, research and musician perspective?

Why this is a good idea

Since research on AI in a musical, creative process is still relatively new design research niche, and mostly focuses . Though the interviews and literature I did I formed a particular vision on integrating AI in a musical creative process. This vision has shaped over time into a towards a more left-field idea on where AI should have its place in music.  Hereby, I emphasize that the potential of applying emerging technologies in the context of music, in particular AI, should not simulate existing musical techniques and processes. Rather, it should do something completely unique. I like to think about it as some sort of avant gard AI. Since most tool on the market simulate musical processes such making the process more convenient (producing beats, coming up with chord progressions), less attention is is drawn to AI that does something completely different than we already used to do in a musical process. 

Autobiographical and autoethnographical research through design is well suited for exploratory systems that fill a new design niche, i.e, where there was no established system or established culture of use. 

General objective is to search and create new ways wherein AI can flourish in the creative process. This requires both a relatively deep understanding of the concepts of a creative musical process, the technology itself and the practices it is involved with.  Next to that, creative process are shaped by intimate experiences with the relation you have with your tools and how they affect emotional state, feelings and thoughts. (source).Through the autobiographical and autoethnographical research through design approach, I acknowledge this and take the responsibility to go through such an intimate experience.

In addition, an autoethnographical approach takes a longitudinal perspective, which seemed a necessary feature, when it is about studying the creation and adoption of new practices for your creative process. Practically, an autoethnographical approach supports continuous tinkering, change, and improvement. Moreover, it is a way to deal with the frailty of prototypes. 

Ultimately I want to find ways to inspire people to engage in certain practices, with the focus on the left-field idea on the integration of AI in musical context. 

The method

Combination of autobiographical and autoethnographical research through design

Example paper:  Wei-Chi Chien & Marc Hassenzahl (2020) Technology-Mediated Relationship Maintenance in Romantic Long-Distance Relationships: An Autoethnographical Research through Design, Human–Computer Interaction, 35:3, 240-287, DOI: 10.1080/07370024.2017.1401927

Bill Gaver over autobiographical research through design: “Talking about a particular experience... I feel like people can draw their own lesson from that in a way you do from any particular study”. 

Best suited for exploratory systems that fill a new design niche, i.e, where there was no established system or established culture of use. 

AI applied in creative musical processes is a relatively new 

Outsider perspectives are useful

Experts interview, or experts interviewing me

Co-designers/co-users involvement 

Autobiographical design makes implications real

Using knowledge from auto-ethnographical research to put it in a valid research perspective.