AI/ neuronale Netzwerke für Effekte, Mixing

[Worst guitarist]

Hi, habe keinen Thread dazu gefunden:
Ich wette, Plugins mit AI sind 'the next big thing' nach den ganzen Hardware-Simulationen, allein weil neuronale Netzwerke akuell massiv weiterentwickelt werden. Ist ja auch nett, wenn Routine-Aufgaben vom Computer ausgeführt werden können. Was kennt ihr schon an Effekten, die über künstliche Intelligenz gesteuert sind?

Mir sind bisher aufgefallen
- EQs mit AI
- Reverb mit AI

An sich wären die Netzwerke doch optimal für Noise Reduction (wenn man das googelt, wird man von Photoshop Plugins überrollt).
Was habt ihr so ausprobiert? Wie haben euch die Programme gefallen?

Was glaubt ihr, wird es mittelfristig geben? Vielleicht sogar AI-Mixing?

Sehr gespannt
Viele Grüße

 

[Signalschwarz]

 

[Worst guitarist]

Müssen wir uns wirklich streiten?

Oder habt ihr schon einen Thread dazu?

 

[exoslime]

Ich finde den Vergleich mit Photoshop sehr interessant, weil da Adobe ganz stark dahinter ist, und auch die Ergebnisse, die von der Adobe Sensei AI ausgehen, wirklich sehr sehr gut sind. Ich bin seit über 20 Jahren beruflich im Grafikbereich tätig, und was heute mit wenigen Mausklicks bewerkstelligt ist, war vor wenigen Jahren noch sehr zeitaufwendig oder auch gar unvorstellbar. Es wird auch von uns Grafikern sehr gut angenommen, weil es eben extreme Zeitersparnisse und Arbeitserleichterungen sind. dh. man kann sich mehr auf das kreative an sich konzentrieren.

Als Platzhirsch im Audiobereich fällt mir als allererstes Izotope ein, die mit ihren "AI" basierten Tools sich schon einiges an Beliebtheit gesichert haben, wobei ja Izotope keine neue Firma am Markt ist.

Ich persönlich, verwende im Audio Bereich noch keine solchen smarten Mixplugins (Ausser Oeksound Soothe, was vielleicht ein wenig in die Richtung fällt, aber irgendwie auch nicht??), würde mir aber sehr wohl einen AI-Assistenten Wünschen, der mir die Audiodaten in mein Template importiert, farbkodiert, und die Routings so hinterlegt wie ich es gerne habe, Stille rausschneidet, und die Spuren genau so benennt und in entsprechende Folder ablegt, und zwar genauso wie ich das möchte und gleich noch passende Referenz Tracks für den Song in Metric AB lädt also eben genau die Dinge erledigt, die ich immer und immer wieder tun muß und zeitauwendig und langweilig sind.

Mixen selbst hingegen ist für mich nicht langweilig, daher möchte ich hier kaum etwas abgeben wollen.

 

[Signalschwarz]

Müssen wir uns wirklich streiten?

Wie kommst Du darauf? Holst Du dir Popcorn, wenn Du Lust auf Stress hast? Ich nicht.

würde mir aber sehr wohl einen AI-Assistenten Wünschen, der mir die Audiodaten in mein Template importiert, farbkodiert, und die Routings so hinterlegt wie ich es gerne habe, Stille rausschneidet, und die Spuren genau so benennt und in entsprechende Folder ablegt, und zwar genauso wie ich das möchte und gleich noch passende Referenz Tracks für den Song in Metric AB lädt

Wie lange dauert das?

 

[exoslime]

Wie lange dauert das?

kommt ganz aufs Projekt darauf an, wieviele Spuren, wie gut bereits vorsortiert, aber so zwischen einer halben Stunde und Stunde grob

 

[Worst guitarist]

würde mir aber sehr wohl einen AI-Assistenten Wünschen, der mir die Audiodaten in mein Template importiert, farbkodiert, und die Routings so hinterlegt wie ich es gerne habe, Stille rausschneidet, und die Spuren genau so benennt und in entsprechende Folder ablegt, und zwar genauso wie ich das möchte und gleich noch passende Referenz Tracks für den Song in Metric AB lädt also eben genau die Dinge erledigt, die ich immer und immer wieder tun muß und zeitauwendig und langweilig sind.

Geht sowas technisch schon? Bin kein Informatiker, aber dann wäre ja die ganze DAW AI gesteuert

Mixen selbst hingegen ist für mich nicht langweilig, daher möchte ich hier kaum etwas abgeben wollen.

Ja, vielleicht wenn man bei einem Mix mal festhängt oder so

Wie kommst Du darauf? Holst Du dir Popcorn, wenn Du Lust auf Stress hast? Ich nicht.

Ok, ja, nichts für ungut ^^

 

[Worst guitarist]

Oha, das Thema scheint ja noch nicht so ergiebig zu sein xD

 

[SNUMeN-Gary]

Das Google Research project „Magenta“ hat hier einige interessante Ansätze. https://magenta.tensorflow.org/

Noch nichts was schon vst Plugin mäßig verfügbar ist, aber auf jeden Fall coole Ideen.

andere interessante AI Music Tools etc. : Atlas - AI Sample Sortierung
Amper Music - AI Komposition
Mixing mäßig hauptsächlich die Sachen von Izotope
Und natürlich diverse Mastering Services wie Landr

 

[Worst guitarist]

Amper Music - AI Komposition

Hat jemand schon sowas ausprobiert?

Träume ja von einem Programm, wo man seinen Musikkatalog reinwirft und das dann neue Songs in dem jeweiligen Stil ausgibt ^^

Noch nichts was schon vst Plugin mäßig verfügbar ist, aber auf jeden Fall coole Ideen.

also im Prinzip ist für Informatiker schon vieles möglich, für Endverbraucher aber noch nicht?

 

[Signalschwarz]

Träume ja von einem Programm, wo man seinen Musikkatalog reinwirft und das dann neue Songs in dem jeweiligen Stil ausgibt ^^

DAS würde doch die ganze Musik-machen-Geschichte ad absurdum führen. Musik ist ein Ausdruck von Kreativität, es sollen eigene Gefühle und Gedanken ausgedrückt werden, man erzählt von eigenen Erfahrungen, äußert eigene Meinungen und das auf eine individuelle Art und Weise. Reine Reproduktion aus einem Mischmasch von Vorlagen ist doch das genaue Gegenteil. Und ja ja, ich weiß, die Thematiken sind, über Jahrzehnte betrachtet, teilweise nicht unbedingt zahlreich und gerade im Mainstream wiederholen sie sich ständig, aber ein kleiner Rest (vom Zeitgeist geprägter) Individualität bleibt auch hier.

 

[SNUMeN-Gary]

Hat jemand schon sowas ausprobiert?

Träume ja von einem Programm, wo man seinen Musikkatalog reinwirft und das dann neue Songs in dem jeweiligen Stil ausgibt ^^

Ja das Ampermusic habe ich mal kurz getestet, denke für "Hintergrundmusik" für Videos etc. ist es nicht schlecht, oder für Inspiration, falls man eine "Schreibblockade" hat und einen Anfang braucht.

Dein Traum ist aber gar nicht sooo weit entfernt, schau dir mal solche Sachen von "Open AI Jukebox" an:


Selbst konnte ich das leider noch nicht Testen, da meine Grafikkarte zu schlecht ist, kommen aber laut den Youtube Videos teilweise ganz witzige Sachen raus.

Ich muss hier aber auch @Signalschwarz zustimmen: Wahrscheinlich macht unser Hirn ähnliche Sachen und verwurstet auch die Musik, die wir so den ganzen Tag hören und macht daraus etwas "neues", aber bei der AI fehlt halt der Faktor Kreativität, Gefühl, Ausdruck. Und das wird sich mMn auch nie? ändern. Wie oben schon gesagt, für ein Hintergrund Atmo-Gedüdel reicht das natürlich (Hier werden mich jetzt Hintergrund Atmo-Gedüdel Komponisten verprügeln wollen), aber das Gefühl einer echten Vocal Performance oder eines Jimi Hendrix Gitarrensolos lässt sich so (zum Glück) nicht reproduzieren.

also im Prinzip ist für Informatiker schon vieles möglich, für Endverbraucher aber noch nicht?

Nicht unbedingt, für viele Sachen gibt es bereits relativ einfach zu verwendene Web-Oberflächen (Wenn die Berechnung dann "in der Cloud" stattfindet, hat man auch nicht das Problem mit der schlechten Grafikkarte.
Und von diesen Magenta Tools gibt es sogar schon Standalone Anwendungen und Ableton Plugins (leider kein VST..) (https://magenta.tensorflow.org/studio). Hier kann man schon ganz lustige Sachen machen, zB. eine Midi Melodie laden und die AI "weiterkomponieren" lassen oder einen Midi Drum Beat fortsetzen. Sind schon lustige Spielzeuge, aber mMn wieder eher zum Kreativität anfeuern geeignet.

Ein weiterer Interessanter Ansatz ist das Mischen von Sounds, vor allem für Sounddesigner tun sich hier unglaubliche neue Möglichkeiten auf, wieder ein Beispiel von Google (jo die sind echt Fit in den Themen):
Hier kann man einen Sound als Input wählen zB. Vogelgezwitscher oder eigene und mit einer "angelernten" Artikulation versehen, zB. Trompete, Geige, gibt Spannende Sounds: https://sites.research.google/tonetransfer
Ähnlich wie das Plugin "Morph", das arbeitet aber denke ich ohne AI: http://www.zynaptiq.com/morph/

 

[Telefunky]

Die meisten Zynaptiq Produkte setzen in irgendeiner Form ANNs (künstliche neuronale Netze) ein.
Der „Chefentwickler“ S. Bernsee gehört zu den Pionieren auf diesem Gebiet.
(seit Jahrzehnten, ua bereits bei Prosoniq und beim Hartmann Neuron Synthesizer)
Der Morph Prozess selbst ist allerdings eine reine Rechengeschichte, unter IOS gibt es von Apesoft Sparkle, was nach dem gleichen Prinzip Spektren moduliert.

 

[Worst guitarist]

DAS würde doch die ganze Musik-machen-Geschichte ad absurdum führen. Musik ist ein Ausdruck von Kreativität, es sollen eigene Gefühle und Gedanken ausgedrückt werden, man erzählt von eigenen Erfahrungen, äußert eigene Meinungen und das auf eine individuelle Art und Weise. Reine Reproduktion aus einem Mischmasch von Vorlagen ist doch das genaue Gegenteil. Und ja ja, ich weiß, die Thematiken sind, über Jahrzehnte betrachtet, teilweise nicht unbedingt zahlreich und gerade im Mainstream wiederholen sie sich ständig, aber ein kleiner Rest (vom Zeitgeist geprägter) Individualität bleibt auch hier.

Finde ich nicht, gerade weil Musik ja immer wieder Sachen neu kombiniert.
Wenn z.B. eine AI meine eigene Musik mit x kreuzt, fände ich das unfassbar geil - wie als wenn man dafür einen weiteren Komponisten beschäftigt

Selbst konnte ich das leider noch nicht Testen, da meine Grafikkarte zu schlecht ist, kommen aber laut den Youtube Videos teilweise ganz witzige Sachen raus.

Wie benutzt man denn sowas? Gibt es da einfache Anleitungen?

 

[Telefunky]

Wenn z.B. eine AI meine eigene Musik mit x kreuzt, fände ich das unfassbar geil - wie als wenn man dafür einen weiteren Komponisten beschäftigt

Kannst du mit Band in a Box schon seit Jahren
Wenn man AI nicht auf das in den letzten Jahren gehypte machine learning und Neuronale Netze reduziert, fällt es auch in diese Kategorie (regelbasierte Systeme, meist Lisp oder Prolog orientiert).
Früher wurde das auf der PG Music website explizit hervorgehoben, aber irgendwann haben sie es vermutlich aus Marketing-Gründen weggelassen.
Der grösste Teil der Apple Software (jenseits von Treibern und Unix-Services) wurde übrigens in Lisp entwickelt und später (nach praktischer Bewährung) in Objective C quasi eingefroren.

 

[SNUMeN-Gary]

Wie benutzt man denn sowas? Gibt es da einfache Anleitungen?

Hier ist eine Anleitung wie man das in Google Collab ausführen kann:



(Der Typ kommt wohl auch aus Österreich/Bayern, seinem Englisch Slang nach )

Um es lokal auszuführen muss man sich eine Conda / Python Umgebung einrichen, das Open Jukebox AI Projekt von Github runterladen und dann den Python Code lokal entsprechend wie in der Anleitung anpassen

 

[Worst guitarist]

Um es lokal auszuführen muss man sich eine Conda / Python Umgebung einrichen

Ich lese den Satz und verstehe schon kein Wort ^^
Ob es irgendwann fertige exe Dateien für sowas gibt?

Kannst du mit Band in a Box schon seit Jahren

gucke gerade: fügt das eher halb-automatisch Phrasen aneinander?

Ihr kennt das sicher: Jemand sagt: 'Bass wie Tool, Drums wie The Haunted, Synths wie Dj-Krush'. Sowas müsste ja eigtl bald automatisch möglich sein

 

[Signalschwarz]

Ihr kennt das sicher: Jemand sagt: 'Bass wie Tool, Drums wie The Haunted, Synths wie Dj-Krush'. Sowas müsste ja eigtl bald automatisch möglich sein

Ja, und diesem Wesen muss man dann nicht selten erstmal klar machen, wie Musik bzw. ein Mix funktioniert.

Wesen: "Die Drums sollen luftig und groß sein, mit viel Raum wie bei X!"

Siggi: "Und wo soll sich die Luftigkeit ausbreiten und der Raum bemerkbar machen, wenn der Song mit einem Dutzend Gitarrenspuren daherkommt wie bei Y?"

 

[Telefunky]

gucke gerade: fügt das eher halb-automatisch Phrasen aneinander?

So könnte man es (bezogen auf den reinen Ablauf) nennen, aber es steckt eben ein Regelwerk dahinter, was sich zum einen an der Musiktheorie orientiert, zum anderen aber auch den „Ausdruck“ bestimmter Stilrichtungen und/oder Musiker berücksichtigt.
(letzteres je nach Genre mal mehr, mal weniger überzeugend - aber das System ist offen und man kann spezielle Eigenschaften abändern oder auch seinen eigenen persönlichen „Stil“ hinterlegen)

Es ist (wie erwähnt) 100% klassische KI, früher wurde so etwas meist als Experten-System bezeichnet.
Das lässt sich natürlich auch mit „wenn-dann-sonst...“ Programmierung umsetzen, ist aber bei der Datenmenge samt (vielen) spezifischen Strukturen nicht nur unübersichtlich, sondern auch uneffizient.

Was den praktischen Ansatz angeht, sind die „Phrasen“ uU nur Sekundenbruchteile lang.
Zu den Audiodateien gehören jeweils diverse Indexdateien mit deren Hilfe aus dem Material kopiert und neu zusammengesetzt wird. Jeder Durchlauf ergibt eine leicht andere Version, wie bei einem realen Musiker.

Dass da manches extrem cheesy rüberkommt, ist teilweise Absicht... ein grosser Teil der Kundschaft braucht eben genau das...
Es ist aber keineswegs darauf beschränkt - man muss sich drauf einlassen und sich damit beschäftigen, was vermutlich eher nicht deinen Wünschen entspricht.
Von nix kommt eben nix, da hilft auch keine IT.

Den Mix überlässt das Programm aber dem Anwender, da hält es sich komplett raus.

 

[Worst guitarist]

Siggi: "Und wo soll sich die Luftigkeit ausbreiten und der Raum bemerkbar machen, wenn der Song mit einem Dutzend Gitarrenspuren daherkommt wie bei Y?"

gut, hat dann schon was, selber zu mischen

man muss sich drauf einlassen und sich damit beschäftigen, was vermutlich eher nicht deinen Wünschen entspricht.

dann kannste nämlich schon fast die Zeit wieder nutzen, selber zu komponieren ^^