Kompositions KI - Was gibt es?

[Leitgeb]

Hallo!

Ich bin gleich mal an der passenden Rubrik gescheitert ;-)
Modedit: Aus Bereich Notation in Bereich Aufgabenunterstützung verschoben

Also: Was gibt es denn schon an nutzbaren Programmen/ Anbietern für KI basierte Komposition?

Ich habe gerade die Idee, man könnte damit einfach und schnell mit ein paar Vorgaben zu Themen, Tonumfang, Instrumenten etc. passende individuelle Arrangements für Instrumentalschülergruppen erstellen lassen...

Wer hat denn mit sowas schon rumgespielt, hat Erfahrungen oder sogar Tipps...?

Danke und Grüße!

 

[abolesco]

View: https://youtu.be/nW7r7fjwVBY?feature=shared

 

[MS-SPO]

Ich würde mir da nicht zu viel Hoffnung machen. Alles, was ich dazu themenübergreifend sah, lässt sich so zusammenfassen:

• beeindruckt Laien der Sache (Musik, Texte, Programmcode, Bilder, ...)
• lässt den Sach-Fachmann Beißhölzer dringendstenst ordern (Musik, Texte, Programmcode, Bilder, ...)
  
  
• Musik, die nicht klingt
• Texte, die merkwürdig bleiben
• Code, der nicht kompilliert
• Bilder, die der gesuchten Person nicht annähernd ähnlich sind
• selbstfahrende Taxis, die Menschen überfahren
• usw.

Sicher kann man KI-Ergebnisse als Anregungen oder Startpunkte verstehen. Mehr allerdings nicht.

(Was die Masse nicht daran hindern wird, weiter darauf abzufahren ...)

 

[Leitgeb]

Zunächst suche ich mal nach Anwendungen, die Notentext erzeugen, und nicht soundfiles....

 

[MS-SPO]

Wird keinen Unterschied im beschriebenen Ergebnis machen.

 

[Leitgeb]

Naja - Noten kann man lesen und spielen, soundfiles anhören... deutlicher Unterschied...

Aber zurück zum Thema....

 

[MS-SPO]

Ok, hier ein Beispiel, nach 3 Versuchen. Wenigstens ist diese KI ehrlich und sagt "das kann ich nicht" ...

Ich neige dazu, meine grauen Zellen zu trainieren, statt die Eingabezeile einer Künstlichen Inkompetenz

 

[McCoy]

ChatGPT kann ein bisschen Lilypond, aber die Ergebnisse sind fragwürdig.

Vorgabe war: Schreibe in Lilypond ein Stück für Klarinette im Tonumfang g bis g' im 4/4-Takt, 8 Takte lang (ich mußte das aber 2 Oktaven rauf transponieren).

\relative c''' {
  \key g \major
  \time 4/4
  \tempo 4=80
  g4 g8 a4 g8 | f4 e8 d4 c8 | b4 a8 g4. | a8 b4 c8 d4 |
  e4 d8 c4 b8 | a4 g8 f4 e8 | d4 c8 b4. | c8 d4 e8 f4 |
}

Auf Hacklily.org sieht das dann so aus:

Fazit: Unbrauchbar ...

Viele Grüße,
McCoy

 

[opa_albin]

ChatGPT kann ein bisschen Lilypond, aber die Ergebnisse sind fragwürdig.

Vermutlich wurde es auch nicht auf gute Melodien trainiert.
Die KI kann hier also nicht beurteilen, was sie dir liefern soll. Immerhin kommt ein kompilierbarer Code raus. Du hast ja auch keinen Welthit gefordert sondern nur "ein Stück".
Das dürfte so in etwa dem Niveau eines blutigen musikalischen Anfängers entsprechen.
Aber mit mehr Training sollte da viel machbar sein.

Das wäre mal spannend, wenn man ein paar hundert gute / schlechte Melodien als Trainingsdaten hätte.
Im Moment scheint es mir noch zu komplex zu sein, richtige Songs / Orchesterwerke schreiben zu lassen - aber das dachten wir bei Sprache ja auch.
Es steht wahrscheinlich nicht so die Motivation (sprich Geld) dahinter, sowas zu machen.

 

[MS-SPO]

Zur Erinnerung, ChatGPT nutzt ein Sprachmodell, kein Wissensmodell.

Im Moment scheint es mir noch zu komplex zu sein, richtige Songs / Orchesterwerke schreiben zu lassen - aber das dachten wir bei Sprache ja auch.

Was ist komplexer als Echtzeit-Videodaten? Und deren Erfolge?

Besser ist es, sich nicht vom Namen "Künstlich", "Intelligenz" usw. blenden zu lassen. Wir Menschen neigen dazu, mit Begriffen auch bestimmte Dinge zu verbinden ... und die sind beim Blick in die Technik hinter KI/AI ... schlicht nicht zu entdecken, weil ... schlicht nicht da ... wir lenken uns also selbst in Denkfallen sowie Erwartungsfallen ...

"Keine Hoffnung" ist hier der bessere Ansatz, denn es führt einen vielleicht wirklich zum Komponieren.

Nebenbei wäre das Selberdenken, Selberkomponieren usw. ein hübsches Gegengewicht zum allgemeinen Verfall der Bildung, wie wir ihn seit Jahrzehnten eindrucksvoll etwa an Schülern beobachten können. Ja, es gibt Ausnahmen, aber der Durchschnitt ist mittlerweile ... nicht mehr dort.

 

[opa_albin]

Zur Erinnerung, ChatGPT nutzt ein Sprachmodell, kein Wissensmodell.

Der Unterschied ist mir hier nicht ganz klar.

GPT kann ja auch gut Software erstellen, das hatte ich ähnlich eingeschätzt wie den obigen Musik-Code.
Kannst Du ja vielleicht nochmal erklären.

Aber muss ja nicht ChatGPT sein, am Ende nimmt man eben eine andere KI, die darauf zugeschnitten ist.

Nebenbei wäre das Selberdenken, Selberkomponieren usw. ein hübsches Gegengewicht zum allgemeinen Verfall der Bildung, wie wir ihn seit Jahrzehnten eindrucksvoll etwa an Schülern beobachten können.

Absolut richtig. Ohne Selberdenken wäre auch KI nicht möglich.
Nur scheint es eine immer deutlichere Trennung zu geben in diejenigen, die noch Denken und den wahrscheinlich größeren Teil, die Software nur benutzen, um ihre Zeit totzuschlagen.

Am Ende kommt es aber immer darauf an, kreativ damit umzugehen. Ein Keyboard mit Arpeggio-Automatik wird auch von den "echten" Musikern verachtet, ermöglicht aber auch Leuten das Musizieren, die das sonst nicht machen würden.

 

[Claus]

Aber muss ja nicht ChatGPT sein, am Ende nimmt man eben eine andere KI, die darauf zugeschnitten ist.

Solche Unternehmungen gab es schon vor Jahren. Dabei wurde aber auch das Problem mangelnder Kreativität von Computern deutlich, da half keine "fuzzy logic".
Soll heißen, das Ergebnis konnte in trivialer Weise nach Mozart oder Bach klingen, aber das war es dann auch.

Klar ist, dass eine regelgeleitete Komposition in Maßen "errechnet" werden kann, ein Beispiel wäre z.B. der Soloist in Band in A Box.
Bei einer Fuge könnte ich mir am ehesten verblüffende Ergebnisse vorstellen, bei "klingt wie" Mahler oder Strauss fiele mir das nicht so leicht.

Gruß Claus

 

[x-Riff]

Ich gehe davon aus, dass bei KI dem breiten Publikum nicht das gezeigt wird, was möglich ist. Derzeit das Publikum einzubeziehen, dient dem Zweck, KI in das Normalleben einzuführen, Ängsten zu begegnen - und natürlich dazu, die KI zu schulen, die demnächst auf das Publikum zugeschnittene Dienstleistungen erbringen soll. Das ist gerade im Bereich der Suchmaschinen zu beobachten. Und auf diesen Wegen sammelt diese KI auch allerhand nützliche Informationen über das, was demnächst als einträglicher Markt herhalten soll.

Dazu zählt aber die zur-Verfügung-Stellung von musikalischen Kompositionen nicht.
Der dafür interessante Markt befindet sich einerseits im Bereich von Kino- und Filmmusik, der andere Markt bei Drehbüchern, Filmplots etc. Dass gerade in dem dementsprechenden Bereich in den USA - zusammen mit den Autor*innen von Drehbüchern - ein monatelanger Streit befriedet worden ist, zeigt, dass KI dort Einzug hält - und natürlich haufenweise Arbeitsplätze bzw. Aufträge kostet und die menschliche Arbeit entwertet, weil sie industriell viel besser planbar ist und natürlich Kosten spart. Das ist ja alles nichts Neues und ist genau so in den vergangenen industriellen Revolutionen (Manufaktur, Dampfmaschinen, Computer) gelaufen. Und immer hält diese Art von Revolution dort Einzug, wo Dinge schon standarisiert sind und wo über große Mengen bzw. große Absätze Kostenersparnisse und Planungsvorteile besonders zu Buche schlagen. In Zeiten globalisierter Märkte reichen schon relativ kleine Margen als Anreiz aus - und besonders in den ganzen sozialen Netzwerken, wo die Verbraucher nicht mal mit barer Münze zahlen müssen (was natürlich ein Markteinführungshemmnis wäre), sondern bekanntlich mit ihren Daten und ihrer geopferten Zeit für Werbeeinblendungen.

Jenseits dieser breiten Märkte für das weltweite Publikum in sozialen Medien gibt es, wie angesprochen, schon die begrenzten Märkte der Produktion von Dehbüchern und Musik, vor allem im Filmbusiness. Was macht es da schon, dass von zehn oder zwanzig vorgeschlagenen Filmmusiken oder -drehbüchern neunzig Prozent Schrott sind - solange noch jemand drüber schaut, der Ahnung hat und dort Verbesserungen vornimmt, wo sie nötig sind? Allemal mehr Arbeit gespart als sich hundert unverlangt eingesendete Manuskripte durchzuschauen auf der Suche nach dem goldenen Kelch. Und genau dort geht die Reise hin.

Und wenn das alles ordentlich eingeführt und erprobt ist, dann fällt das runter in den Bereich von "Otto-Normal-Verbraucher": Wer sollte denn ernsthaft Interesse haben, es Leitern von Schulorchestern oder Laien-Chören einfacher zu machen, musikalisches Übungsmaterial in die Hand zu bekommen? Was wäre daran zu verdienen, wo läge - jenseits der klingenden Münze - der Vorteil?

Das ist zumindest meine derzeitige Sicht, die ich allerdings angesichts nicht wirklich harter Betroffenheit - früher hätte man gesagt: tangiert mich nur peripher - eher aus dem Seitenblick hinaus abschätze.

x-Riff

 

[MS-SPO]

Gerne noch ein paar Erklärungen.

Der Unterschied ist mir hier nicht ganz klar.

Sprachmodell:

• man bietet eine Reihe von Tokens an (=Worte, Silben, Textfragmente ...)
• typischerweise gibt man das auf ein Rekursives Neuronales Netz (RNN) (berücksichtigt zeitliche Vorgänger)
• baut noch ein paar Selbstkorrekturen ein (Feedback; verringert "halluzinieren")
• Ergebnis: so etwas wie "nach dieser Token-Folge sind am wahrscheinlichsten diese neuen Token"
• anders betrachtet: ein Riesenmodell bedingter Token-Wahrscheinlichkeiten
• (sieht man sehr gut in den verschiedenen Auto-Vervollständigungen)

In diesem Sinne ist ein Sprachmodell "dumm". Es weiß absolut nichts über unsere menschlichen Kategorien, wie etwa gut-schlecht, richtig-falsch, usw. Ergebnisse daher oft nicht von denen eines Kindes im Krabbelalter zu unterscheiden .... und manchmal, oder auch oft, halluziniert's ... klingt gut, ist aber näher betrachtet falsch oder Kraut-und-Rüben ...

Es ist unerheblich für die Arbeitsweise (und generellen Ergebnisse), was diese Tokens denn nun sind, zB.:

• Texte
• Noten
• Töne, Geräusche
• Bilder, Videosequenzen
• usw.
• Schnipsel für Schnipsel wird's prozessiert
• und Konstanten (Parameter) ausgeknobelt

Wissensmodell:

• DAS wäre genau das noch fehlende Korrektiv für obigen Brabbelkasten
  
• man arbeitet noch daran, sowie an einer Synthese

GPT kann ja auch gut Software erstellen, das hatte ich ähnlich eingeschätzt wie den obigen Musik-Code.
Kannst Du ja vielleicht nochmal erklären.

Sollte nun eigentlich klar sein. Programmcodes vieler Programmiersprachen flossen offenbar in GPT4 mit ein, bei Musiknoten, Akkordfolgen usw. bin ich mir nicht sicher. Nun ja, auf Token-Ebene sind diese Daten hier ja auch gleich:

• Alle meine Entchen
• Amaj7 Bb5, D7 :||

Aber muss ja nicht ChatGPT sein, am Ende nimmt man eben eine andere KI, die darauf zugeschnitten ist.

Tja, nur sind RNN's, technisch aus gutem Grund, halt der heutige Standard. Einige andere Ansätze aus den letzten ca. 80 Jahren:

• regelbasierte KI (Lisp uva.)
• machine learning (also im Grunde multidimensionaler Polynomfit)
• statistische Modelle (Bayes u.v.a.)

Erinnern möchte ich daran, wie alt dieser Menschheitstraum schon ist:

• schon in der Antike
• ersonn man Androide, oder wenigstens Geschichten drumherum,
• die später als Arbeiter (rabotti, robot) in frühen Hollywood-Streifen wiederkehrten

Der Weg war lang, und vermutlich werden die Versprechungen (und Ver-Sprecher) noch eine ganze Weile der Wirklichkeit vorauseilen ... falls jene jemals folgen sollte.


Nebenbei, wg. Gefahren: Um uns alle aus Dummheit auszulöschen, braucht man keine KI. Das ging auch schon seit der ersten Kopplung von Interkontinentalraketen mit Computern. Und auch ohne das .... Pandemien sind geschichtlich nicht neu ...

 

[opa_albin]

Solche Unternehmungen gab es schon vor Jahren. Dabei wurde aber auch das Problem mangelnder Kreativität von Computern deutlich, da half keine "fuzzy logic".

Mit fuzzy logic haben die heutigen Modelle nichts mehr zu tun. Mit dem was vor Jahren aktuell war, sollte man die nicht vergleichen.

"Kreativ" muss die KI ja gar nicht in dem Sinne sein, dass sie neue Musikstile erschafft. Es reicht, wenn sie gutes Handwerk abliefert.

• Ergebnis: so etwas wie "nach dieser Token-Folge sind am wahrscheinlichsten diese neuen Token"
• anders betrachtet: ein Riesenmodell bedingter Token-Wahrscheinlichkeiten

Die Wahrscheinlichkeiten sind ja durch die Trainingsdaten gelernt, richtig?

Nun ja, auf Token-Ebene sind diese Daten hier ja auch gleich:

... heißt das, es spricht nichts gegen gut komponierende KI ..? oder verstehe ich Dich falsch?

ebenbei, wg. Gefahren: Um uns alle aus Dummheit auszulöschen, braucht man keine KI. Das ging auch schon seit der ersten Kopplung von Interkontinentalraketen mit Computern.

Das stimmt. Da sind die Computer wohl weniger das Problem ...

 

[Claus]

Was macht es da schon, dass von zehn vorgeschlagenen Filmmusiken oder -drehbüchern neun Schrott sind - solange noch jemand drüber schaut, der Ahnung hat und dort Verbesserungen vornimmt, wo sie nötig sind?

Der war gut!

Der aktuelle Blockbuster "South Park - Joining the Panderverse" klärt zum Betrieb in Hollywood am Beispiel des Untergangs von Disney dank Bob Iger und Kathleen Kennedy auf.
Epic quote KK: Is there a problem? Board: We are just discussing what to do with the Prince Eric movie. KK: Put a chick in it and make her gay...
Wird absehbar leider nicht auf der Homepage gestreamt, aber YT hilft weiter, solange die Klage der "bad guys" Bob Iger und Kathleen Kennedy nicht durch ist.


View: https://www.youtube.com/watch?v=_qCcf7IYXaE

Gruß Claus

 

[x-Riff]

... sprich, es spricht nichts gegen gut komponierende KI ..? oder verstehe ich Dich falsch?

Ich habe es für mich in folgendes Bild verpackt: Eine KI geht nur nach der Häufigkeit schon vorhandener Werke (und wenn KI für´s Komponieren noch nicht geübt wurde, macht sie´s schon alleine aus mangelnder Materialfülle schlecht) und entwickelt Wahrscheinlichkeiten wie: oft folgt auf das und das jenes oder jenes ... Da KI nicht versteht, was es macht, simuliert es.

Und diese Simulation kann eben ein Treffer sein oder weit ab liegen oder eben manche schöne Stellen enthalten und manche oder viele, die eben seltsam anmuten oder häßlich tönen. Und je länger oder komplexer ein Werk ist, desto unwahrscheinlicher ist es, dass diese unschönen Stellen selten vorkommen. Wenn man die Elemente von tausend beliebten Parfüms nimmt und diese neu mischt, muss dabei kein Wohlgeruch entstehen ...

Heißt: es ist sehr unwahrscheinlich, dass eine KI gut komponiert. Erstens, weil sie gar nicht komponiert, sondern Komponieren simuliert. Zweitens, weil sie dafür noch nicht trainiert wurden. Es kann aber sein, dass eine von vielen Simulationen dem menschlichen Gehör sehr gefällig erscheint.

x-Riff

 

[opa_albin]

Erstens, weil sie gar nicht komponiert, sondern Komponieren simuliert. Zweitens, weil sie dafür noch nicht trainiert wurden.

Erstens sehe ich nicht als Hinderungsgrund. Ob der Vorgang im menschlichen Hirn stattfindet oder woanders ist unerheblich.

Zweitens schon, dem ließe sich aber abhelfen, theoretisch.

Dann würde ich Musik erwarten, die in etwa dem Niveau der jetzigen Chat-GPT Texte im Vergleich zu einem menschlich gemachten Text entspricht.

Einen Text im Niveau von Goethes Faust oder einem Agatha-Christie-Roman kommt nicht heraus, aber bei Limericks habe ich echt schon gelacht.
Analog dazu denke ich, überschaubare Formate wie Blues oder ein Menuett sollten problemlos machbar sein, eine Bruckner-Sinfonie eher nicht ...

Vermutlich würde es erstmal dahin gehen, dass Songschreiberlinge sich von ComposeGPT Melodieschnipsel vorschlagen lassen und dann damit weiterarbeiten. Oder man lässt orchestrieren, harmonisieren, Hintergrundklänge für bestimmte Stimmungen generieren ... also mehr als Zuarbeit für "Routinearbeiten".

Ähnlich wie derzeit ja schon viele Textschnipsel mit ChatGPT entworfen werden und dann weiterbearbeitet.

Es kann aber sein, dass eine von vielen Simulationen dem menschlichen Gehör sehr gefällig erscheint.

Interessant wäre, ob man dieses "gefällig" wiederum für eine (zB nachgeschaltete) KI regelbasiert erkennbar machen kann oder diese anlernen, so dass aus x "Simulationen" die gefälligsten ausgewählt werden könnten.

Ein Problem bei den Trainingsdaten für größere Werke vermute ich auch darin, dass es da nicht so viele gibt wie bei Worten. Beethoven hat nun mal nur 9 Sinfonien geschrieben. Da stecken natürlich viele zB achttaktige Phrasen drin, aber als Ganzes sind es eben nur neun. Kürzere Formen wie Volkslieder, "Songs" u.ä. gibt es dagegen viel mehr.

Das ganze ist natürlich nur meine laienhafte Sicht...

 

[MS-SPO]

Die Wahrscheinlichkeiten sind ja durch die Trainingsdaten gelernt, richtig?

"Gelernt" ist wieder so ein Wort, dass einen auf falsche Fährten führt. Man sieht vor seinem geistigen Auge so etwas wie:

• Schaltkreise auf der Bank, die gebannt dem fütternden Lehrer folgen
• usw.

Alles quatsch. Was passiert, ist eine Anpassung an die zugeführten Daten. Das ist vom Vorgang nicht viel anders als beim Excel-Fit (linear, quadratisch, Polynom, expo, ...) ... mit allen damit einhergehenden bekannten Problemen (Vorhersagbarkeit, Fehler durch Überanpassung usw.).

Adaption (von Parametern) ist das, was geschieht.

Neuronale Netze zeichnen sich als mathematisches Objekt dadurch aus, dass man sie im Prinzip an jede Datenvielfalt anpassen kann. Nicht weniger, nicht mehr.

"Wahrscheinlichkeit" in meiner Ausführung oben ist beschreibend gemeint:

• die Ergebnisse aus so einem Adaptionsprozess
• sind von einem rein statistisch gebauten Modell kaum zu unterscheiden
• (nur wäre letzteres handwerklich viel unpraktischer aufzuziehen)

... heißt das, es spricht nichts gegen gut komponierende KI ..? oder verstehe ich Dich falsch?

Im Prinzip Ja, mit allen guten wie schlechten Begleiterscheinungen. Vielleicht sollte ich einmal das technische Prinzip bei den Tokens beispielhaft erläutern.

Nehmen wir an, wir bieten o.g. beide "Sätze" für die Adaption an:

• Alle meine Entchen
• Amaj7 Bb5, D7 :||

Was können Rechner am besten? Binär. Also Zahlen. Es muss also beliebige Datenströme auf Zahlen abbilden. So könnte ein KI-Algorithmus diese beiden Sätze vorbereiten / vorhechseln:

• A lle mei ne Ent chen
• A maj 7 Bb 5 , D 7 :||

Und dann im Grunde wahllos Ziffern zuordnen, z.B. mit ukn=unknown=unbekannt=0

• A lle mei ne Ent chen
• 1 2 15 37 44 9
• A maj 7 Bb 5 , D 7 :||
• 1 12 8 55 7 33 18 8 ukn

Dann bieten wir diesen Token-Strom an:

• 1 2 15 37 44 9
• 1 12 8 55 7 33 18 8 ukn

All diese Token-Ströme werden dann irgendwie auf Parameter eines mehr oder weniger komplex gestalteten NNs (mit vielen Ebenen, Teilgruppen, Ebenenverknüpfungen, zeitliche Rückkopplungen usw.) abgebildet im Rahmen der Adaption.

Bieten wir dann zB als Fragedaten an (wie im ChatGPT), was es sich dann vom script in Ziffernfolge so übersetzt

• 55 12 18

dann antwortet es vielleicht mit

• 55 12 18 ukn 18

oder rückübersetzt

• Bb maj D :|| D

So in etwa funktioniert das mit allen beliebigen Daten. Ob das Ergebnis dann sinnvoll ist ... es kommt darauf an ... ist halt nur ein Sprachmodell ...

Und es kommt auch auf uns an, denn wir überhören, überlesen, ergänzen gerne auch Unsauberkeiten. Z.B. verstehen wir o.g. Output schon "richtig" als:

• Bbmaj7 D Bbmaj7 D D

In diesem Sinne

 

[LordB]

Also: Was gibt es denn schon an nutzbaren Programmen/ Anbietern für KI basierte Komposition?

Ich habe gerade die Idee, man könnte damit einfach und schnell mit ein paar Vorgaben zu Themen, Tonumfang, Instrumenten etc. passende individuelle Arrangements für Instrumentalschülergruppen erstellen lassen...

Wer hat denn mit sowas schon rumgespielt, hat Erfahrungen oder sogar Tipps...?

Für mich liest sich das so, sass Du eben Instrumente und Tonumfang vorgeben willst und als Ausgabe dann gerne Noten hättest.

Bei der ganzen Diskussion über KI frage ich mich, was hat Jean-Michel Jarre denn 1990 mit Waiting for Cousteau gemacht?
Für diesen Track wird genau das von Dir benannte beschrieben.
Er hat Computergestützt komponiert. Sowas muss es doch nach 34 Jahren zu kaufen geben?

Oder die EōN App ebenfalls von JMJ? Da werden fertige Sounds komplett neu per Algorithmen arrangiert… könnte sowas nicht auch bei Deinem Problem helfen?