Software um animierte Notation in Video einzubetten

[kalifrago]

Hi zusammen, habe da mal eine Frage und hoffe, ich poste das im richtigen Unterforum.
Ich möchte in einem von mir erstellten Video (in dem ich selbst etwas auf der Geige spiele) die Noten einblenden.
Die Noten sollen synchron mit meiner Aufnahme laufen, d.h. auch wenn ich unterbreche, weil ich falsch gespielt habe.
Ich weiß nicht, wie ich es besser erklären soll
Hier mal ein Bespiel von einer jungen Dame, wie ich das meine:



Ab Zeitpunkt 0:48 ungefähr.

Ich habe natürlich schon gegoogelt, aber nicht wirklich was gefunden.
Ausser diesem "Soundslice". Aber ich weiß nicht, ob das Tool das macht, was ich mir vorstelle.
Ich bin ja computer- und softwaremässig kein Dummy, aber ich habe absolut keinen Plan. Ich bin mir auch nicht sicher, mit welchen Schlagworten ich googeln soll

HILFE!!

Hat jemand von Euch da eine Idee?

 

[Earth616]

Hier sind zwei Tutorials (ich hab sie mir jetzt aber nicht genau angeschaut und weiß nicht ob es genau das ist was du suchst):

 

[kalifrago]

Hi Earth616, vielen Dank für Deine Rückmeldung
Die Tutorials habe ich auch gefunden, aber wenn ich das richtig sehe, dann ist das nicht was ich meine. Der nutzt außerdem Apple-Software für seine Videos, habe ich eh nicht
So was würde ich mit AfterEffects auch hinkriegen, aber das ist nicht was ich suche. Ich glaube auch nicht, dass sich das Mädel aus dem Beispielvideo mit Filmschnitt-Programmen rumgeschlagen hat dafür

Ich bin weiter auf der Suche. Vielleicht hat noch jemand eine zündende Idee. Ich habe die Frau aus dem Video auch mal angeschrieben und gefragt, wie sie das gemacht hat. Vielleicht bekomme ich eine Antwort.

Edit: Vielleicht habe ich auch eine völlig falsche Vorstellung von dem Ganzen. Womöglich geht das wirklich nur über ein Filmbearbeitungsprogramm

 

[Waljakov]

Hast du die Noten digital vorliegen?
Oder willst ein Programm, dass vollautomatisch dein Spiel transkribiert und die Noten dazu einblendet?

 

[exoslime]

Ich glaube das das was die Dame in dem oa gespostetem Video macht, dieses nicht automatisiert erstellt wurde, sondern das per Hand animiert wurde, wenn man sich in After Effects (oder einem anderen Videoprogramm) sich sein Template mal erstellt hat, kann man relativ einfach den Bogen so keyframen das es synchron mit der Musik läuft.
die Noten die sie verwendet dürften abfotografiert sein (aufgrund handschriftliche Notzen)

Natürlich ist das trotzdem ein ordentlicher Zeitaufwand. und dann auch die Glocke einbauen wenn sie einen Fehler macht und den Bogen so animieren das er runterfällt. Das hat sie sehr gut und mit viel Herz gemacht

Ich mache meine Gitarrenvideos alle in After Effects, aber ich verzichte auf so einen mitlaufenden Zeitbogen, ich tabbe zuerst die Songs in einem Textdokument und füge diese dann pro Sektion in AE ein und verschiebe die Position des Textblocks innerhalb einer Maske.


Ich habe aber auch schon oft gesehen, das Leute ihr Guitarpro mit einem Bildschirmrecorder aufnehmen und dort synchron dazuspielen, und dann dieses Screenrecorderaufnahme einfach unten im Videoprogramm dazu zu ihrem Performancevideo dazuschneiden
Das ist natürlich noch einfacher und geht schneller, wenn aber man aber Spielfehler so auch dokumentieren will, ist das natürlich aufwendiger und mit Schneidarbeit verbunden.
Ich weiss nicht ob es für Geige auch sowas gibt wie GuitarPro in der Gitarrenwelt?

Viel Erfolg bei deinem Vorhaben

 

[kalifrago]

Hast du die Noten digital vorliegen?
Oder willst ein Programm, dass vollautomatisch dein Spiel transkribiert und die Noten dazu einblendet?

Hi Waljakov, die Noten habe ich digital aber als pdf. Da ist schon glaube ich das erste Problem.
Transkribieren wäre nicht schlecht, wenn so was überhaupt geht.

@exoslime , Du hast wahrscheinlich Recht, dass sie das im Nachhinein gemacht hat. Aber mit AfterEffects habe ich keine Bock das zu machen. Ist mir zuviel Aufwand, dann lasse ich das lieber bleiben
So was wie GuitarPro wüsste ich jetzt nicht für Geigen
Aber vll könnte ich auch eine Screenrecorderaufnahme machen von meinem Tomplay. Aber dann habe ich, wie Du schon sagst auch einen Haufen Schneidarbeit. Ich möchte ja keine perfekten Aufnahmen zeigen, sondern mehr oder weniger wie ich ein Stück übe. Ist nicht für Youtube, sondern für eine Streichergemeinschaft.

Aber ich habe jetzt noch ein Video gefunden auf youtube, die macht das genauso, wie das Mädel aus dem ersten Video, das ich gepostet hatte
Das wäre doch jetzt echt Zufall, dass die beide das gleiche Vorgehen verwendet haben.



Ich habe beide Mädels mal angeschrieben, ich hoffe eine wird mir eine Antwort geben

 

[Claus]

Hier zeigt ein Drummer in einem Youtube Clip, wie der das macht und er meint, das ginge mit jeder Filmbearbeitungssoftware.
Ich habe mit so etwas schon ewig nicht mehr herumgespielt. Es gibt aber einige Freeware-Programme für Video-Editing und eigentlich wird von der Software für dein Vorhaben auch nicht viel verlangt.

Beim Video bitte nicht erschrecken, der Typ ist anfangs ein ziemlicher Hektiker, aber das gibt sich.
Im Grunde speichen die Bildet des Videos auch für sich, die Arbeitsschritte werden gut deutlich.



Gruß Claus

 

[kalifrago]

Hallo Claus. Danke für Deinen Beitrag. Aber das Video wurde schon im 2. Beitrag gepostet

 

[Waljakov]

Hi Waljakov, die Noten habe ich digital aber als pdf. Da ist schon glaube ich das erste Problem.

Leider ja, du bräuchtest die Noten eher als Midi, MusicXML oder einem ähnlichen Format, welches du in einem Notationsprogramm öffnen kannst. Es gibt Software, um das zu konvertieren, aber ich kann mir nicht vorstellen, dass das verlässlich ohne Nachkorrektur funktioniert https://scan-score.com/pdf-in-musicxml-konvertieren/

Transkribieren wäre nicht schlecht, wenn so was überhaupt geht.

Die Technik wird hier insbesonderen mittels Machine Learning immer besser, aber eine fehlerfreie Transkription ohne Nachkorrektur ist immer noch nicht möglich. Insbesondere wenn man einen Fehler spielt kann die Software ja nicht wissen, wie es richtig aussehen müsste.

In deinem letzten Video, was du gepostet hast, sieht man ja auch, dass die Animation nicht konstant mitläuft sondern mitten drin auch immer mal wieder kein Cursor da ist. Das spricht ihmo dafür, dass es nicht automatisch erstellt wurde.

Sofern du die Noten im richtigen Format bekommen kannst, würde ich so vorgehen:
Die Noten in MuseScore öffnen und den Modus 'Continous View' einstellen. Dann sind alle Takte in einer Zeile und scrollen automatisch beim Abspielen mit.
Dann stellst du ein Tempo ein, bei dem du gut mitspielen kannst und legst dir ggf. das Metronom von MuseScore noch auf Kopfhörer. Dann solltest du einigermäßen synchron sein mit dem Cursor. Das ganze dann Screen-Recorden und in ein Video von dir einbetten. Bei Fehlern dann manuell ein Schnitt machen.

 

[Nikkin]

Zum Transkibieren:
Das funktioniert bei mir in Cubase schon relativ gut. Einstimmige Audiospuren kann man in MIDI konvertieren und dann die Noten anzeigen und bearbeiten.
Insbesondere, wenn man dann etwas mit der Darstellungsquantisierung spielt, sieht es schon ganz brauchbar aus, weil man kleine Schlenker und unbeabsichtigte Minipausen damit weg bekommt.

 

[HaraldS]

Zum Transkibieren: Das funktioniert bei mir in Cubase schon relativ gut. Einstimmige Audiospuren kann man in MIDI konvertieren und dann die Noten anzeigen und bearbeiten.

Transkribieren würde am dem Zweck zuwiderlaufen, dass man zeigt, wie man übt. Es geht da ja gerade darum, einen vorgegebenen Notentext zu üben und nicht darum, dass das Gespielte aufgeschrieben wird.

Ich würde - vergleichbar zu Musescore - die Fortlaufende Ansicht in Finale als Video speichern und in einer Video Editing Software zu den aufgenommenen Videos vom Spiel synchronisieren.

 

[Claus]

Hallo Claus. Danke für Deinen Beitrag. Aber das Video wurde schon im 2. Beitrag gepostet

Sorry, nur ich frage mich, was dann noch unklar ist,
Ein aktuelles Shotcut o.ä.,sollte genügen, fertige Bilder der Notenzeilen an, sortiere sie in den erstellten Block am unteren Bildschirmrand, synchronisiere die Noten und Bild/Ton, platziere ggf noch einen halbtransparenten schmalen Block oder ein Symbol für den Fortschritt über die Noten und Du solltest bekommen, was Du willst.: das, was die Violinistin in deinem Beitrag #1 zeigt.

Gruß Claus

 

[kalifrago]

Vielen lieben Dank für Eure Bemühungen mir zu helfen. Find ich echt toll

Leider ja, du bräuchtest die Noten eher als Midi, MusicXML oder einem ähnlichen Format, welches du in einem Notationsprogramm öffnen kannst. Es gibt Software, um das zu konvertieren, aber ich kann mir nicht vorstellen, dass das verlässlich ohne Nachkorrektur funktioniert https://scan-score.com/pdf-in-musicxml-konvertieren/

Sofern du die Noten im richtigen Format bekommen kannst, würde ich so vorgehen:
Die Noten in MuseScore öffnen und den Modus 'Continous View' einstellen. Dann sind alle Takte in einer Zeile und scrollen automatisch beim Abspielen mit.
Dann stellst du ein Tempo ein, bei dem du gut mitspielen kannst und legst dir ggf. das Metronom von MuseScore noch auf Kopfhörer. Dann solltest du einigermäßen synchron sein mit dem Cursor. Das ganze dann Screen-Recorden und in ein Video von dir einbetten. Bei Fehlern dann manuell ein Schnitt machen.

Da hatte ich mich schon schlau gemacht mit dem Konvertieren in MusicXML. Leider funktioniert das, wie Du schon erwähnst, nicht so besonders gut. Man muss das dann schon nachbearbeiten.
Die von Dir beschriebene Vorgehensweise ist eine Überlegung wert, weil auch nicht so aufwändig

Transkribieren würde am dem Zweck zuwiderlaufen, dass man zeigt, wie man übt. Es geht da ja gerade darum, einen vorgegebenen Notentext zu üben und nicht darum, dass das Gespielte aufgeschrieben wird.

Ich würde - vergleichbar zu Musescore - die Fortlaufende Ansicht in Finale als Video speichern und in einer Video Editing Software zu den aufgenommenen Videos vom Spiel synchronisieren.

Genau, darum ging es mir auch nicht, ich möchte das Gespielte nicht aufschreiben

Sorry, nur ich frage mich, was dann noch unklar ist,
Ein aktuelles Shotcut o.ä.,sollte genügen, fertige Bilder der Notenzeilen an, sortiere sie in den erstellten Block am unteren Bildschirmrand, synchronisiere die Noten und Bild/Ton, platziere ggf noch einen halbtransparenten schmalen Block oder ein Symbol für den Fortschritt über die Noten und Du solltest bekommen, was Du willst.: das, was die Violinistin in deinem Beitrag #1 zeigt.

Gruß Claus

Es ist nichts unklar ich hatte nur erwähnt, dass das Video schon gepostet wurde und ich verstehe auch, wie das in den Videos umgesetzt wurde, das ist kein Problem für mich. Ich hatte gehofft, es kommen noch andere Vorschläge oder Ideen. Nichts für ungut

Ich werde mir Eure Vorschläge mal genauer anschauen und ausprobieren. Ich werde es Euch wissen lassen, wie ich es letztendlich umgesetzt habe. Danke für all Eure Vorschläge

 

[Blumi_guitar]

ich habe mich auch schon immer gefragt, wie die ganzen Online-Tutorials erstellt werden (allerdings im Gitarrenumfeld, wo fast ausschließlich Tablatur benutzt wird).

Im Zusammenhang mit Noten scheint mir https://www.soundslice.com/ ein brauchbares Tool zu sein. Ich kenne es allerdings nicht, hab's nur beim Googlen gefunden.
Unter https://www.soundslice.com/features/ gibt es auch ein Beispiel für Violine.
Hier gibts ein Video, wie Soundslice-Noten und Video synchronisiert werden https://www.soundslice.com/help/en/creating/syncing/163/overview/

Eventuell liefert die Suche nach Soundslice-Alternativen weitere brauchbare Tools...

 

[Klangbutter]

Also wenn Dir die Noten genügen, kannst Du die Puctures im Editor einfach ausschneiden und platzieren. Meistens reicht das




Wenn es wirklich mit laufendem Positionszeiger sein soll, dann filmst Du Deine DAW mit einem Captureprogramn ab.
OBS knn das zum Beispiel.
Dann spielst Du live vor der Kamera dazu.




Es gibt auch noch andere optisch reizvolle Zwischenvarianten die immer mit viel Editing verbunden sind.

 

[kalifrago]

Hi @Blumi_guitar und @Klangbutter. Vielen Dank für Eure Vorschläge
Das "Soundslice" hatte ich auch schon entdeckt. Ich habe mich damit nicht mehr länger beschäftigt, nachdem ich gelesen hatte, dass einige Features nur im Abonnement verfügbar sind. Aber ich schaus mir noch mal an.
Wahrscheinlich werde ich es so machen, wie es einige von Euch vorgeschlagen haben, mein Filmchen machen und den Rest per Videoschnitt reinbasteln. Das werde ich am WE mal versuchen. Danke Euch allen für die Unterstützung