Ausgelagert: Allgemeine Aspekte von "KI zum Lernen? Gitarre, Musiktheorie?"

[Murenius]

Voriger Beitrag im Ursprungsthema: https://www.musiker-board.de/threads/ki-zum-lernen-gitarre-musiktheorie.757760/post-9797099
Hier bitte schön allgemein bzw. KI-technologisch bleiben, aber nicht politisch werden.

KIs sind genauso aufgebaut wie unsere eigenen Gehirne

Nein, sind sie nicht. Sie verwenden Datenstrukturen, die dem nachempfunden sind, was wir von der Funktionsweise menschlicher Gehirne verstehen. Das ist nicht das Gleiche.

und teilen deshalb alle unsere Stärken und Schwächen. Sie lernen nicht durch Logik, sondern durch Intuition, und sie sind gut im Schätzen, aber miese Kopfrechner.

Du vermenschlichst hier Algorithmen und Datenstrukturen, das trifft so leider nicht zu.

Anstatt nun krampfhaft zu versuchen, den KIs das logische Denken beizubringen, wird es effektiver sein, ihnen zu zeigen, wie man einen Taschenrechner oder Compiler für die dafür geeigneten Probleme verwendet.

Man zeigt da nichts. Man stellt Trainingsdaten zur Verfügung und erzeugt einen Prädiktor, der für einen konkreten Satz an Inputparametern den Satz an Outputparametern erzeugt, die am wahrscheinlichsten so passen, wie es durch die Trainingsdaten positiv bewertet wurde.

Dazu noch Arthur C. Clarke: „Jede hinreichend fortschrittliche Technologie ist von Magie nicht zu unterscheiden.“ Denn das erklärt, warum "AI" im Moment so gehyped und als Heil der Menschheit propagiert wird.

 

[MaxJoy]

Sie verwenden Datenstrukturen, die dem nachempfunden sind, was wir von der Funktionsweise menschlicher Gehirne verstehen. Das ist nicht das Gleiche.

Es ist das Gleiche und die Ähnlichkeiten sind kein Zufall. Unterschiede sehe ich lediglich darin, dass der Datenaustausch zwischen den Neuronenschichten bei KIs nicht durch Synapsen ausgebremst wird und dass es keine physikalischen Grenzen für die Größe von KIs gibt.

 

[KickstartMyHeart]

Zum einen hierzu

(deepseek-r1 14b)

unkommentiert nur soviel

Zum anderen bin ich immer wieder baff erstaunt, mit wieviel Selbstsicherheit hier Meinung als Ahnung verkauft werden will.

KIs sind genauso aufgebaut wie unsere eigenen Gehirne und teilen deshalb alle unsere Stärken und Schwächen. Sie lernen nicht durch Logik, sondern durch Intuition, und sie sind gut im Schätzen, aber miese Kopfrechner.

Ehrlich? Ja, aber nein ... das hast Du an anderer Stelle schon laut und trotzdem unkorrekt postuliert.


Zuletzt: Gern einmal ein wenig Gedanken machen, wie hier "gelernt" worden ist. Denn es fand hier lediglich stichtagsbezogenes Training statt und kein laufendes. Dann wird auch relativ schnell klar, inwieweit Konfabulation hier ein Thema ist (auch KI-Halluzination genannt). Die wahre DeepSeek-Story ist nicht im Ergebnis, sondern lediglich, wie dieses Ergebnis zustande kommt: Mit nahezu haushaltsüblichen Rechenleistungen und billigen Chips, was Jen-Hsun Huang, CEO bei Nvidia, schmerzhaft zu spüren bekam.

Ein Modell ist immer nur so gut wie seine Trainingsdaten. Genau deshalb entwickelt hier jede Firma für ihre F&E ein gekapseltes Trainingsumfeld (natürlich auch wegen des Datenschutz), um vernünftige Ergebnisse zu bekommen.

 

[MaxJoy]

Ja, aber nein ... das hast Du an anderer Stelle schon laut und trotzdem unkorrekt postuliert.

Du postulierst auch nur und machst dir nicht einmal die Mühe, deine Meinung wenigstens ansatzweise zu begründen.

Ich sehe keine grundsätzlichen Einschränkungen für die zukünftige Entwicklung von besseren KI-Modellen, sondern ein riesiges Optimierungspotential in alle möglichen Richtungen. Wichtig ist erst einmal, dass wir selber kapieren, mit was wir es zu tun haben. Das verhindert enttäuschte Erwartungen, dann verschwindet auch dieser Jammersound von ganz alleine.

 

[Murenius]

Es ist das Gleiche und die Ähnlichkeiten sind kein Zufall. Unterschiede sehe ich lediglich darin, dass der Datenaustausch zwischen den Neuronenschichten bei KIs nicht durch Synapsen ausgebremst wird und dass es keine physikalischen Grenzen für die Größe von KIs gibt.

Du kennst dich in dem Bereich leider offensichtlich nicht aus. Nur weil Simulated Annealing von Abkühlungsprozessen inspiriert ist IST es noch lange kein Abkühlungsprozess, der hat in der Natur extrem viel mehr Parameter. Für mich ist die Diskussion dann auch leider erst mal beendet, denn wenn man sich nicht an den Fakten orientiert kann man sich die Diskussion auch sparen.

 

[Omega Minus]

3Blue1Brown machte eine ganz nette Erklärung zum Thema LLMs:

View: https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi
(8 Videos)

Hat da jemand noch besser auf Lager?

Grüße
Omega Minus

 

[LUF]

Zum einen hierzu

unkommentiert nur soviel

Anhang anzeigen 975218

Ich denke das waren die Finanzleute die in Panik eine Ausrede finden mussten wenn sie ihren Investoren beichten wollen wie an einem Tag 1bn - Billion nicht Mrd. Aktienwerte verschwunden sind. Dass das nicht "fliegt" wussten sie selbst denn nach paar Tagen war dieses Bild Geschichte. Erfrischend ehrlich fand ich die Antwort von ChatGPT. Diese Geschichte wird OpenAI nichts nützen.

Zuletzt: Gern einmal ein wenig Gedanken machen, wie hier "gelernt" worden ist. Denn es fand hier lediglich stichtagsbezogenes Training statt und kein laufendes. Dann wird auch relativ schnell klar, inwieweit Konfabulation hier ein Thema ist (auch KI-Halluzination genannt). Die wahre DeepSeek-Story ist nicht im Ergebnis, sondern lediglich, wie dieses Ergebnis zustande kommt: Mit nahezu haushaltsüblichen Rechenleistungen und billigen Chips, was Jen-Hsun Huang, CEO bei Nvidia, schmerzhaft zu spüren bekam.

Ein Modell ist immer nur so gut wie seine Trainingsdaten. Genau deshalb entwickelt hier jede Firma für ihre F&E ein gekapseltes Trainingsumfeld (natürlich auch wegen des Datenschutz), um vernünftige Ergebnisse zu bekommen.

Ich denke KI wird oft missverstanden als Wissensmaschine aber das will und kann sie nicht sein.

Gerade aktuell wird Meta beschuldigt 82TB raubkopierte Bücher für Training genutzt zu haben. Llama 3.1 405b belegt 243GB. Selbst wenn Meta nur diese geklaute Bücher als Trainingsmaterial genutzt haben sollte, Daten von 82,000GB auf 243GB verlustfrei herunterzudampfen halte ich für schwer. Erst recht wenn man diese Daten auf 8b mit weniger als 5GB schrumpft um sie auf dem eigenen Rechner laufen zu lassen.

Daher schwant mir, dass das Material primär dazu diente das "Denken" zu lernen und da die KI irgendetwas in den im Vergleich zum Originalmaterial winzigen Trainingsmodell gespeichert hat plappert sie munter drauf los und je nach "Temperament" korrigiert sie sich wenn sie auf eine Ungenauigkeit aufmerksam gemacht wird oder versteift sich darauf, die Korrekte Antwort geliefert zu haben.

Wobei, in den Firmen könnte ich mir aber schon vorstellen, dass man sie auch gezielt als Wissensspeicher trainiert. Quasi eine Datenbank mit der man sich nicht mehr mit SQL unterhält welche nur die Spezialisten gut genug beherrschen, um sinnvolle Antworten zu bekommen sondern in Deutsch, die jeder beherrscht.

 

[MaxJoy]

KIs speichern Wissen nicht 1:1 ab, sondern erkennen die Muster, Regeln und Strukturen in den Eingangsdaten und merken sich die. Das ist in der Tat ein verlustbehafteter Kompressionsalgorithmus, der die Basis für intelligente und kreative Entscheidungen bildet. Damit ist eine KI ziemlich genau das Gegenteil von einer Datenbank. Man kann einer KI aber beibringen, Webrecherchen und damit Datenbanken für das Finden von 'harten' Fakten zu benutzen.

 

[LUF]

Und andere, wie ich, die beruflich mit "AI" zu tun haben müssen, aber nicht davon profitieren, ihre Kapazitäten hochzujazzen, halten sie für das was es ist: glorifizierte Wahrscheinlichkeitstabellen, die von dem Punkt, an dem wir sind, nicht gut skalieren und den Peak der Verfügbarkeit von Trainingsdaten schon hinter sich haben.

Was bilden wir uns alles ein weil wir den Würmern, Insekten, Hunde, Affen einen winzigen Schritt voraus sind.
Oder einem Kind. Wie weit sind wir da voraus? Können wir mit etwas mehr Aufwand dieses entscheidendes, winziges Stückchen weiter kommen? Oder sollen wir das gar nicht versuchen weil Aufwand/Nutzen in keinem Verhältnis steht?

Das Mär mit endlichem Trainingsmaterial als unüberwindliche Grenze ist denke ich der US zentrische Sichtweise geschuldet die den Luxus genießen Zugriff auf 50% der existierenden textuellen Informationsmaterial zu haben. Spanisch und Deutsch jeweils um 6% laut Statista. Die genaue Zahl wird man bestreiten können aber bei der Tendenz wird man sich wohl recht einfach einigen können. Dennoch gibt es Bemühungen KIs nur mit Material in Deutsch zu trainieren. Auch die Koreaner werden es sich nicht nehmen lassen ihre eigene KI zu trainieren.

Wenn sich die Erkenntnis durchsetzt, dass man die Daten erschöpft hat, wird man sich den nächsten am niedrigsten hängenden Früchte widmen da die Frucht Daten bereits gepflückt ist.

 

[MaxJoy]

Das Mär mit endlichem Trainingsmaterial als unüberwindliche Grenze

Ich halte das auch für einen besonders putzigen Witz. Die Idee, man müsste KIs immer größer machen und mit noch mehr Daten bewerfen, um noch mehr Leistung zu bekommen, führt nur zu gigantischer Energieverschwendung. Die Chinesen haben gerade vorgemacht, wie man mit veralteter Hardware, einem Bruchteil der Trainingskosten und ein paar Kniffen den Branchenprimus schlagen kann. Entscheidend ist also, wie mit den Daten umgegangen wird, und damit gerät die Organisation des Denkorgans in den Fokus. Vorbild ist wieder das Gehirn mit seinen spezialisierten Regionen. Man könnte sich z. B. an Rabenvögeln orientieren, die aus einem nur nussgroßen Denkorgan ähnliche Leistungen wie Primaten herausholen.

 

[mirabilos]

Sie verwenden Datenstrukturen, die dem nachempfunden sind, was wir von der Funktionsweise menschlicher Gehirne verstehen.

Nichtmals mehr.

The most iconic of such innovations is improperly named "artificial neural network", after a wrong model of the human brain that inspired their creation back in the sixties.

Das sind nur Vektorkürzungen von Wahrscheinlichkeitstabellen. (Quelle: http://www.tesio.it/2021/09/01/a_decompiler_for_artificial_neural_networks.html (auch wenn die ursprüngliche These hinter dem Artikel nicht mehr stimmt, so stimmen doch die ganzen Erklärungen, die er vorher schreibt als Vorbereitung dazu), und https://explainextended.com/2023/12/31/happy-new-year-15/ ist auch immer gut.)

Den Vorposter habe ich wegen Unwissenheit in anderen Threads schon länger ignoriert, daher sehe ich dessen Posts nicht und gehe da gar nicht erst drauf ein.

Beitrag automatisch zusammengefügt: 19.02.25

Wobei heute Meldungen durchliefen, dass man für bestimmte Aufgaben wie Programmieren keine Trainingsdaten mehr braucht weil der menschliche Faktor den sie impliziert die KI ausbremst.

Dir ist bei solchen Aussagen aber schon klar, dass hinter entsprechenden "Meldungen" knallharte wirtschaftliche Interessen stehen, soweit es keine Neuromancer-Fanfiction ist? […]

Exakt! Solchen Meldungen bitte einfach keine Beachtung schenken, auch da guter Journalismus fast tot ist und hier einfach Werbung regurgitiert wird von welchen, die hoffen, ihre Investitionen noch rausziehen zu können, bis alle merken, daß die Blase schon längst geplatzt ist. (Bisher verdienen vorallem Stromanbieter, RZ-Anbieter (Microsoft) und Hardwarehersteller (Nievida) daran.)

AlphaGo wurde erst der beste Go Spieler der jedem Menschen überlegen ist als man ihr die menschlichen Trainingsdaten strich und sagte, hier sind die Regeln und nun spiel gegen dich selbst. Sieg, Belohnung, gelernt.

Beim Programmieren sagt man hier ist der Syntax, hier die Bibliotheken, lege los. Produziert sie funktionsfähigen Code, dann gibt es Belohnung und sie hat was gelernt.

Das geht aber nicht mit einem LLM. Ein LLM hat nur Wahrscheinlichkeiten für passende Autovervollständigung, wie beim Tippen aufm Händi.

Hingegen sehr gut geht dies ganz ohne „KI“ und mit klassischen Algorithmen — die dann auch noch wartbar sind und wo man Fehler ceteris paribus (bzw. überhaupt) korrigieren kann.

 

[LUF]

Um auf die ursprüngliche Frage zurückzukommen:

Da hier offenbar keiner Erfahrung mit auf Musiktheorie spezialisierte lokale KI hat, habe ich die KI Qwen gefragt. Sie schätzt ca 320 Arbeitsstunden, um so ein Modell zu bauen.

Vielleicht findet sich ja jemand der bereit ist die 320 Stunden Arbeit reinzustecken.

 

[Claus]

Vielleicht findet sich ja jemand der bereit ist die 320 Stunden Arbeit reinzustecken.

"Die" Musiktheorie gibt es nicht, da es ein Sammelbegriff für verschiedene, sich teilweise sogar widersprechende Konzepte und deren Anwendungen ist.
Streitet eine KI dann mit sich selbst und bittet um das Urteil des Ratsuchenden oder verkündet sie einfach irgendwelchen Quatsch aus Foren und veralteteter Literatur als "Fakten", schlimmstenfalls sogar politisch oder rassistisch gefärbt?

Was das für Hobbymusiker sinnvolle Wissen an Musiktheorie betrifft, das umfasst zunächst die elementare Musiklehre. Bei Nowak sind das rund 65 übersichtlich gedruckte Seiten samt Aufgaben und Grafiken, eine (aktuelle) Ausgabe von Ziegenrücker ist als "Allgemeine Musiklehre" freilich umfassender und bereits als Nachschlagewerk angelegt. Fühlt man sich mit diesem Stoff soweit sicher und hat weiteres Interesse, dann kann man sich mit der eigentlichen Harmonielehre beschäftigen. Je nach Neigung wird mit deren Konzepten (Generalbass, Stufentheorie, Funktionsharmonik...) klassische Musik untersucht oder Jazz/Blues/Pop(/Rock, schon seit Jahrzehnten überwiegend anhand der Akkordskalentheorie.
Wissen allein trägt da aber nicht mehr weit, wenn es an der praktischen Erfahrung des Spielens dieser Musik und der zum Verstehen, Analyiseren und Prüfen erforderlichen Gehörbildung hapert.
Musiktheorie umfasst außerdem noch weitere Gebiete, z.B. Musikgeschichte, Instrumentenkunde, Kompositionslehre, Orchestration usw.

Ein Laie sollte sich dazu von der KI noch nicht zuviel versprechen, ich meine ein "naiver Laie". Der Pferdefuß der Fragen solcher Menschen an eine KI ist, dass es schnell an der Kompetenz mangelt, die Gültigkeit von Antworten überhaupt einschätzen zu können.

Gruß Claus

 

[opa_albin]

Vielleicht findet sich ja jemand der bereit ist die 320 Stunden Arbeit reinzustecken.

Ich definitiv nicht

Außerdem gibt es vermutlich an diversen Hochschulen/Unis schon Leute, die sich mit sowas beschäftigen. Da kannst Du erstmal rumfragen.

Und ist das sinnvoll? Es gibt doch eine Vielzahl von gutem Material in Form von Literatur, bei Wikipedia und Hunderte, wenn nicht Tausende gute Videos auf youtube.
Was genau soll da Deiner Meinung der Vorteil einer textbasierten KI sein?

 

[LUF]

Und ist das sinnvoll? Es gibt doch eine Vielzahl von gutem Material in Form von Literatur, bei Wikipedia und Hunderte, wenn nicht Tausende gute Videos auf youtube.
Was genau soll da Deiner Meinung der Vorteil einer textbasierten KI sein?

Hattest du nie das Gefühl, ich habe mich auf der Suche nach Antworten durch das Buch gekämpft und meine Frage wurde nicht mal angeschnitten.

Oder ein Buch in die Hand genommen und kenne ich, kenne ich, kenne ich, kenne ich, alter Hut, hätte ich vor drei Jahren gerne gewusst, ah endlich was neues?

Oder du kämpfst an zwei Fronten. Unbekannte Konzepte werden mit unbekannter Terminologie erklärt.

Mit KI? Du stellst einfach die Frage schaust ob du mit der Antwort was anfangen kannst. Gegebenenfalls nachhaken. Vielleicht spuckt die KI etwas sinnvolles aus aber oft ist man einen riesigen Schritt weiter wenn man die Frage einmal komplett ausformuliert. Oft genug ertappe ich mich dabei wie ich die Frage systematisch formuliere und noch vor dem abschließenden Fragezeichen die Antwort selbst gefunden habe.

 

[Claus]

Welches "Buch" meinst Du und um welche "Frage" geht es?
Was Fragen an eine KI (welches der Modelle?) betrifft: wie will man Antworten bewerten, wenn man deren Gültigkeit gar nicht einschätzen kann?

Bislang kann man einer KI weder ein musikalisch relevantes Hören beibringen noch die für (gesunde) Menschen selbstverständliche Fähigkeit, selbst produzierte Antworten in ihrer Bedeutung zu verstehen.

Wie schon früher ich zum Abgewöhnen der Projektion menschlicher Eigenschaften auf "KI"-Produkte den intelligenten Sci-fi "Ex Machina", er glänzt mit eisigen Pointen für KI-Romantiker.

View: https://www.youtube.com/watch?v=WR46DcBXIp8

Gruß Claus

 

[opa_albin]

Hattest du nie das Gefühl, ich habe mich auf der Suche nach Antworten durch das Buch gekämpft und meine Frage wurde nicht mal angeschnitten.

So kenne ich das eigentlich nicht.
Bei Büchern schaue ich mir das Inhaltsverzeichnis an.
Bei konkreten Fragen suche ich eher im Netz nach dem Begriff und wurde auch meistens fündig. Sonst frage ich jemanden. Die Dinge, die mich bei Musiktheorie interessieren, lassen sich auf Textebene wahrscheinlich schwer erklären, aber das kann für Leute, die die Basics lernen natürlich anders aussehen.
Wahrscheinlich bin ich deshalb auch nicht repräsentativ.

Was für eine Art von Fragen stellst Du Dir denn vor, die eine KI besser beantworten könnte? Ich denke da eher an Anwendung von Konzepten auf konkrete Dinge ... Sowas wie eine harmonische Analyse, oder welche Pentatonik kann ich über A alteriert spielen ..? Das wären Sachen, die zwar als Konzept im Buch stehen, aber in der konkreten Anwendung durch eine KI kontrolliert oder auch ausgeführt werden könnten. Allerdings müsste man sich da auch sicher sein, dass es stimmt.

Hast Du mal zwei drei Beispiele, was Dir da vorschwebt?

 

[LUF]

Welches "Buch" meinst Du und um welche "Frage" geht es?
Was Fragen an eine KI (welches der Modelle?) betrifft: wie will man Antworten bewerten, wenn man deren Gültigkeit gar nicht einschätzen kann?

Es ging um Musiktheorie. Ich schätze in meinem Leben werde ich nicht mehr als 10 Bücher zu diesem Thema durcharbeiten.

Die Onlineversionen von ChatGPT, Grok, Deepseek, Qwen, Gemini, Mistral liefern Antworten die über dem Niveau liegen was ich jemals über Theorie lernen will weil es mir in erster Linie um Gitarre geht.

Allerdings merke ich bei eigedampften Modellen, die klein genug gemacht wurden, um auf eingener Hardware laufen zu lassen, wie ihre Musiktheoriewissen flöten gehen. Daher hatte ich auf Antworten gehofft, die KI x schmeisst beim Eindampfen ihr Wissen über Musiktheorie nicht als unwichtiges Rauschen über Board. Oder die KI y wurde als Musiktheorieexperte trainiert und da sie nicht gleichzeitig Astrophysiker, Architekt und Chirurg sein muss, funktioniert sie auch auf einem Notebook.

 

[LUF]

Was für eine Art von Fragen stellst Du Dir denn vor, die eine KI besser beantworten könnte? Sowas wie eine harmonische Analyse, oder welche Pentatonik kann ich über A alteriert spielen ..?
Hast Du mal zwei drei Beispiele?

Was soll ich mit der riesigen Menge an Gitarrenlernmaterial über Griffbrettmuster bei Tonleitern anfangen? Was bedeutet diese Menge?

Ist das relevant wenn man von der Geige kommt und die Tonleiter bereits im Kopf hat?

Wie funktioniert slawische Gesang die so charakteristisch dissonant klingen und dennoch entgegen Erwartungen funktionieren. Welche Intervalle sind da beteiligt? Warum funktioniert er?

Warum ist die asiatische (China, Korea, Japan) Musik in Petatonik obwohl sie gar keine Akkorde entwickelten und damit keine Notwendigkeit gab die Spannungstöne die in Zusammenhang mit Akkorden zu dissonanten Intervallen führen, von vornherein zu eliminieren?

Wie ist Guqin gestimmt und wenn sie nicht auf A=440Hz gestimmt ist, wie funktioniert sie im Ensemble?

Warum funktioniert das Aufeinderschichten von Frequenzen?

Warum entdeckte man Akkorde erst so spät?

Wie haben andere Kultur ihre Kreativität ausgelebt bevor die westliche Musik dominant wurde dank Harmonie?

Wie gehe ich damit um, dass der schöne Song der mich meine Jugend begleitete mit wachsender Englischkenntnis die Zehennägeln hochklappen lässt?

 

[opa_albin]

Das sind so unkonkrete Fragen... Wundert mich nicht, dass man dazu nichts in Büchern findet.

Was bedeutet diese Menge? ...
Ist das relevant wenn man von der Geige kommt und die Tonleiter bereits im Kopf hat? ...
Wie gehe ich damit um, dass der schöne Song der mich meine Jugend begleitete mit wachsender Englischkenntnis die Zehennägeln hochklappen lässt?

Für mich klingt das wie als wenn Du die KI als eine Art "Geist aus der Flasche" oder Orakel empfindest, das alles weiß und kann.
Wie soll eine KI Dir Fragen zu den Emotionen Deiner Jugend beantworten oder was für Dich relevant ist, weil Du dies oder jenes schon weißt?

Da verstehe ich ehrlich gesagt Deine Motivation nicht so richtig. Ich würde da keine sinnvollen Antworten erwarten und mich lieber mal mit einem menschlichen Partner austauschen.

Wenn Du fragen würdest, WANN wurden Akkorde relevant, oder welche Frequenzen klingen dissonant/konsonant, darauf kann man antworten.
Auch wie eine Guqin gestimmt ist, oder welche Pentatonik für Dich die wichtigsten sind, finde ich relevante Fragen. Aber der Rest ... weiß nicht, was eine KI darauf antworten soll außer Allgemeinplätzen.
Wie haben Leute ihre Kreativität im Mittelalter ausgelebt ... ist doch eher Alltagsgeschichte / Kulturgeschichte ...