Ausgelagert: Allgemeine Aspekte von "KI zum Lernen? Gitarre, Musiktheorie?"

[Murenius]

Voriger Beitrag im Ursprungsthema: https://www.musiker-board.de/threads/ki-zum-lernen-gitarre-musiktheorie.757760/post-9797099
Hier bitte schön allgemein bzw. KI-technologisch bleiben, aber nicht politisch werden.

KIs sind genauso aufgebaut wie unsere eigenen Gehirne

Nein, sind sie nicht. Sie verwenden Datenstrukturen, die dem nachempfunden sind, was wir von der Funktionsweise menschlicher Gehirne verstehen. Das ist nicht das Gleiche.

und teilen deshalb alle unsere Stärken und Schwächen. Sie lernen nicht durch Logik, sondern durch Intuition, und sie sind gut im Schätzen, aber miese Kopfrechner.

Du vermenschlichst hier Algorithmen und Datenstrukturen, das trifft so leider nicht zu.

Anstatt nun krampfhaft zu versuchen, den KIs das logische Denken beizubringen, wird es effektiver sein, ihnen zu zeigen, wie man einen Taschenrechner oder Compiler für die dafür geeigneten Probleme verwendet.

Man zeigt da nichts. Man stellt Trainingsdaten zur Verfügung und erzeugt einen Prädiktor, der für einen konkreten Satz an Inputparametern den Satz an Outputparametern erzeugt, die am wahrscheinlichsten so passen, wie es durch die Trainingsdaten positiv bewertet wurde.

Dazu noch Arthur C. Clarke: „Jede hinreichend fortschrittliche Technologie ist von Magie nicht zu unterscheiden.“ Denn das erklärt, warum "AI" im Moment so gehyped und als Heil der Menschheit propagiert wird.

 

[MaxJoy]

Sie verwenden Datenstrukturen, die dem nachempfunden sind, was wir von der Funktionsweise menschlicher Gehirne verstehen. Das ist nicht das Gleiche.

Es ist das Gleiche und die Ähnlichkeiten sind kein Zufall. Unterschiede sehe ich lediglich darin, dass der Datenaustausch zwischen den Neuronenschichten bei KIs nicht durch Synapsen ausgebremst wird und dass es keine physikalischen Grenzen für die Größe von KIs gibt.

 

[KickstartMyHeart]

Zum einen hierzu

(deepseek-r1 14b)

unkommentiert nur soviel

Zum anderen bin ich immer wieder baff erstaunt, mit wieviel Selbstsicherheit hier Meinung als Ahnung verkauft werden will.

KIs sind genauso aufgebaut wie unsere eigenen Gehirne und teilen deshalb alle unsere Stärken und Schwächen. Sie lernen nicht durch Logik, sondern durch Intuition, und sie sind gut im Schätzen, aber miese Kopfrechner.

Ehrlich? Ja, aber nein ... das hast Du an anderer Stelle schon laut und trotzdem unkorrekt postuliert.


Zuletzt: Gern einmal ein wenig Gedanken machen, wie hier "gelernt" worden ist. Denn es fand hier lediglich stichtagsbezogenes Training statt und kein laufendes. Dann wird auch relativ schnell klar, inwieweit Konfabulation hier ein Thema ist (auch KI-Halluzination genannt). Die wahre DeepSeek-Story ist nicht im Ergebnis, sondern lediglich, wie dieses Ergebnis zustande kommt: Mit nahezu haushaltsüblichen Rechenleistungen und billigen Chips, was Jen-Hsun Huang, CEO bei Nvidia, schmerzhaft zu spüren bekam.

Ein Modell ist immer nur so gut wie seine Trainingsdaten. Genau deshalb entwickelt hier jede Firma für ihre F&E ein gekapseltes Trainingsumfeld (natürlich auch wegen des Datenschutz), um vernünftige Ergebnisse zu bekommen.

 

[MaxJoy]

Ja, aber nein ... das hast Du an anderer Stelle schon laut und trotzdem unkorrekt postuliert.

Du postulierst auch nur und machst dir nicht einmal die Mühe, deine Meinung wenigstens ansatzweise zu begründen.

Ich sehe keine grundsätzlichen Einschränkungen für die zukünftige Entwicklung von besseren KI-Modellen, sondern ein riesiges Optimierungspotential in alle möglichen Richtungen. Wichtig ist erst einmal, dass wir selber kapieren, mit was wir es zu tun haben. Das verhindert enttäuschte Erwartungen, dann verschwindet auch dieser Jammersound von ganz alleine.

 

[Murenius]

Es ist das Gleiche und die Ähnlichkeiten sind kein Zufall. Unterschiede sehe ich lediglich darin, dass der Datenaustausch zwischen den Neuronenschichten bei KIs nicht durch Synapsen ausgebremst wird und dass es keine physikalischen Grenzen für die Größe von KIs gibt.

Du kennst dich in dem Bereich leider offensichtlich nicht aus. Nur weil Simulated Annealing von Abkühlungsprozessen inspiriert ist IST es noch lange kein Abkühlungsprozess, der hat in der Natur extrem viel mehr Parameter. Für mich ist die Diskussion dann auch leider erst mal beendet, denn wenn man sich nicht an den Fakten orientiert kann man sich die Diskussion auch sparen.

 

[Omega Minus]

3Blue1Brown machte eine ganz nette Erklärung zum Thema LLMs:

View: https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi
(8 Videos)

Hat da jemand noch besser auf Lager?

Grüße
Omega Minus

 

[LUF]

Zum einen hierzu

unkommentiert nur soviel

Anhang anzeigen 975218

Ich denke das waren die Finanzleute die in Panik eine Ausrede finden mussten wenn sie ihren Investoren beichten wollen wie an einem Tag 1bn - Billion nicht Mrd. Aktienwerte verschwunden sind. Dass das nicht "fliegt" wussten sie selbst denn nach paar Tagen war dieses Bild Geschichte. Erfrischend ehrlich fand ich die Antwort von ChatGPT. Diese Geschichte wird OpenAI nichts nützen.

Zuletzt: Gern einmal ein wenig Gedanken machen, wie hier "gelernt" worden ist. Denn es fand hier lediglich stichtagsbezogenes Training statt und kein laufendes. Dann wird auch relativ schnell klar, inwieweit Konfabulation hier ein Thema ist (auch KI-Halluzination genannt). Die wahre DeepSeek-Story ist nicht im Ergebnis, sondern lediglich, wie dieses Ergebnis zustande kommt: Mit nahezu haushaltsüblichen Rechenleistungen und billigen Chips, was Jen-Hsun Huang, CEO bei Nvidia, schmerzhaft zu spüren bekam.

Ein Modell ist immer nur so gut wie seine Trainingsdaten. Genau deshalb entwickelt hier jede Firma für ihre F&E ein gekapseltes Trainingsumfeld (natürlich auch wegen des Datenschutz), um vernünftige Ergebnisse zu bekommen.

Ich denke KI wird oft missverstanden als Wissensmaschine aber das will und kann sie nicht sein.

Gerade aktuell wird Meta beschuldigt 82TB raubkopierte Bücher für Training genutzt zu haben. Llama 3.1 405b belegt 243GB. Selbst wenn Meta nur diese geklaute Bücher als Trainingsmaterial genutzt haben sollte, Daten von 82,000GB auf 243GB verlustfrei herunterzudampfen halte ich für schwer. Erst recht wenn man diese Daten auf 8b mit weniger als 5GB schrumpft um sie auf dem eigenen Rechner laufen zu lassen.

Daher schwant mir, dass das Material primär dazu diente das "Denken" zu lernen und da die KI irgendetwas in den im Vergleich zum Originalmaterial winzigen Trainingsmodell gespeichert hat plappert sie munter drauf los und je nach "Temperament" korrigiert sie sich wenn sie auf eine Ungenauigkeit aufmerksam gemacht wird oder versteift sich darauf, die Korrekte Antwort geliefert zu haben.

Wobei, in den Firmen könnte ich mir aber schon vorstellen, dass man sie auch gezielt als Wissensspeicher trainiert. Quasi eine Datenbank mit der man sich nicht mehr mit SQL unterhält welche nur die Spezialisten gut genug beherrschen, um sinnvolle Antworten zu bekommen sondern in Deutsch, die jeder beherrscht.

 

[MaxJoy]

KIs speichern Wissen nicht 1:1 ab, sondern erkennen die Muster, Regeln und Strukturen in den Eingangsdaten und merken sich die. Das ist in der Tat ein verlustbehafteter Kompressionsalgorithmus, der die Basis für intelligente und kreative Entscheidungen bildet. Damit ist eine KI ziemlich genau das Gegenteil von einer Datenbank. Man kann einer KI aber beibringen, Webrecherchen und damit Datenbanken für das Finden von 'harten' Fakten zu benutzen.

 

[LUF]

Und andere, wie ich, die beruflich mit "AI" zu tun haben müssen, aber nicht davon profitieren, ihre Kapazitäten hochzujazzen, halten sie für das was es ist: glorifizierte Wahrscheinlichkeitstabellen, die von dem Punkt, an dem wir sind, nicht gut skalieren und den Peak der Verfügbarkeit von Trainingsdaten schon hinter sich haben.

Was bilden wir uns alles ein weil wir den Würmern, Insekten, Hunde, Affen einen winzigen Schritt voraus sind.
Oder einem Kind. Wie weit sind wir da voraus? Können wir mit etwas mehr Aufwand dieses entscheidendes, winziges Stückchen weiter kommen? Oder sollen wir das gar nicht versuchen weil Aufwand/Nutzen in keinem Verhältnis steht?

Das Mär mit endlichem Trainingsmaterial als unüberwindliche Grenze ist denke ich der US zentrische Sichtweise geschuldet die den Luxus genießen Zugriff auf 50% der existierenden textuellen Informationsmaterial zu haben. Spanisch und Deutsch jeweils um 6% laut Statista. Die genaue Zahl wird man bestreiten können aber bei der Tendenz wird man sich wohl recht einfach einigen können. Dennoch gibt es Bemühungen KIs nur mit Material in Deutsch zu trainieren. Auch die Koreaner werden es sich nicht nehmen lassen ihre eigene KI zu trainieren.

Wenn sich die Erkenntnis durchsetzt, dass man die Daten erschöpft hat, wird man sich den nächsten am niedrigsten hängenden Früchte widmen da die Frucht Daten bereits gepflückt ist.

 

[MaxJoy]

Das Mär mit endlichem Trainingsmaterial als unüberwindliche Grenze

Ich halte das auch für einen besonders putzigen Witz. Die Idee, man müsste KIs immer größer machen und mit noch mehr Daten bewerfen, um noch mehr Leistung zu bekommen, führt nur zu gigantischer Energieverschwendung. Die Chinesen haben gerade vorgemacht, wie man mit veralteter Hardware, einem Bruchteil der Trainingskosten und ein paar Kniffen den Branchenprimus schlagen kann. Entscheidend ist also, wie mit den Daten umgegangen wird, und damit gerät die Organisation des Denkorgans in den Fokus. Vorbild ist wieder das Gehirn mit seinen spezialisierten Regionen. Man könnte sich z. B. an Rabenvögeln orientieren, die aus einem nur nussgroßen Denkorgan ähnliche Leistungen wie Primaten herausholen.

 

[mirabilos]

Sie verwenden Datenstrukturen, die dem nachempfunden sind, was wir von der Funktionsweise menschlicher Gehirne verstehen.

Nichtmals mehr.

The most iconic of such innovations is improperly named "artificial neural network", after a wrong model of the human brain that inspired their creation back in the sixties.

Das sind nur Vektorkürzungen von Wahrscheinlichkeitstabellen. (Quelle: http://www.tesio.it/2021/09/01/a_decompiler_for_artificial_neural_networks.html (auch wenn die ursprüngliche These hinter dem Artikel nicht mehr stimmt, so stimmen doch die ganzen Erklärungen, die er vorher schreibt als Vorbereitung dazu), und https://explainextended.com/2023/12/31/happy-new-year-15/ ist auch immer gut.)

Den Vorposter habe ich wegen Unwissenheit in anderen Threads schon länger ignoriert, daher sehe ich dessen Posts nicht und gehe da gar nicht erst drauf ein.

Beitrag automatisch zusammengefügt: Gestern um 02:05

Wobei heute Meldungen durchliefen, dass man für bestimmte Aufgaben wie Programmieren keine Trainingsdaten mehr braucht weil der menschliche Faktor den sie impliziert die KI ausbremst.

Dir ist bei solchen Aussagen aber schon klar, dass hinter entsprechenden "Meldungen" knallharte wirtschaftliche Interessen stehen, soweit es keine Neuromancer-Fanfiction ist? […]

Exakt! Solchen Meldungen bitte einfach keine Beachtung schenken, auch da guter Journalismus fast tot ist und hier einfach Werbung regurgitiert wird von welchen, die hoffen, ihre Investitionen noch rausziehen zu können, bis alle merken, daß die Blase schon längst geplatzt ist. (Bisher verdienen vorallem Stromanbieter, RZ-Anbieter (Microsoft) und Hardwarehersteller (Nievida) daran.)

AlphaGo wurde erst der beste Go Spieler der jedem Menschen überlegen ist als man ihr die menschlichen Trainingsdaten strich und sagte, hier sind die Regeln und nun spiel gegen dich selbst. Sieg, Belohnung, gelernt.

Beim Programmieren sagt man hier ist der Syntax, hier die Bibliotheken, lege los. Produziert sie funktionsfähigen Code, dann gibt es Belohnung und sie hat was gelernt.

Das geht aber nicht mit einem LLM. Ein LLM hat nur Wahrscheinlichkeiten für passende Autovervollständigung, wie beim Tippen aufm Händi.

Hingegen sehr gut geht dies ganz ohne „KI“ und mit klassischen Algorithmen — die dann auch noch wartbar sind und wo man Fehler ceteris paribus (bzw. überhaupt) korrigieren kann.

 

[LUF]

Um auf die ursprüngliche Frage zurückzukommen:

Da hier offenbar keiner Erfahrung mit auf Musiktheorie spezialisierte lokale KI hat, habe ich die KI Qwen gefragt. Sie schätzt ca 320 Arbeitsstunden, um so ein Modell zu bauen.

Vielleicht findet sich ja jemand der bereit ist die 320 Stunden Arbeit reinzustecken.

 

[Claus]

Vielleicht findet sich ja jemand der bereit ist die 320 Stunden Arbeit reinzustecken.

"Die" Musiktheorie gibt es nicht, da es ein Sammelbegriff für verschiedene, sich teilweise sogar widersprechende Konzepte und deren Anwendungen ist.
Streitet eine KI dann mit sich selbst und bittet um das Urteil des Ratsuchenden oder verkündet sie einfach irgendwelchen Quatsch aus Foren und veralteteter Literatur als "Fakten", schlimmstenfalls sogar politisch oder rassistisch gefärbt?

Was das für Hobbymusiker sinnvolle Wissen an Musiktheorie betrifft, das umfasst zunächst die elementare Musiklehre. Bei Nowak sind das rund 65 übersichtlich gedruckte Seiten samt Aufgaben und Grafiken, eine (aktuelle) Ausgabe von Ziegenrücker ist als "Allgemeine Musiklehre" freilich umfassender und bereits als Nachschlagewerk angelegt. Fühlt man sich mit diesem Stoff soweit sicher und hat weiteres Interesse, dann kann man sich mit der eigentlichen Harmonielehre beschäftigen. Je nach Neigung wird mit deren Konzepten (Generalbass, Stufentheorie, Funktionsharmonik...) klassische Musik untersucht oder Jazz/Blues/Pop(/Rock, schon seit Jahrzehnten überwiegend anhand der Akkordskalentheorie.
Wissen allein trägt da aber nicht mehr weit, wenn es an der praktischen Erfahrung des Spielens dieser Musik und der zum Verstehen, Analyiseren und Prüfen erforderlichen Gehörbildung hapert.
Musiktheorie umfasst außerdem noch weitere Gebiete, z.B. Musikgeschichte, Instrumentenkunde, Kompositionslehre, Orchestration usw.

Ein Laie sollte sich dazu von der KI noch nicht zuviel versprechen, ich meine ein "naiver Laie". Der Pferdefuß der Fragen solcher Menschen an eine KI ist, dass es schnell an der Kompetenz mangelt, die Gültigkeit von Antworten überhaupt einschätzen zu können.

Gruß Claus