360°-ambisonic Mix

[toni12345]

Ich hab hier mal was ganz anderes zu bieten. In einem anderen Thread hab ich schon mal kurz darüber berichtet, dass ich im Moment ein bisschen mit Virtual Reality, 360°-Videos und dem entsprechenden Sound dazu experimentiere. Jetzt habe ich mal ein neues Stück unserer Band so weit abgemischt und räumlich auf ein Standbild verteilt, dass man ungefähr hören kann, wo die Reise hingeht, wenn das Endprodukt ein komplettes 360°-3D-Musikvideo werden soll.

Es wäre toll, wenn ein paar von euch sich das folgende Video mal anschauen und ihre Meinung zum Mix abgeben, sowohl was den Gesamtsound als auch den 360°-Effekt angeht. Es ist sicher noch ein weiter Weg, bis da mal was richtig Gutes dabei rauskommt, und auch schon beim Recording kann man sicher noch viel verbessern, aber ich würde mich freuen, wenn ich auch in diesem Stadium schon möglichst viel Feedback von euch bekommen könnte, was gar nicht geht oder was vielleicht schon ganz gut wirkt. Vielleicht denkt ihr jetzt auch, wie sollen wir einen Mix an Hand eines Youtube-Videos beurteilen, aber das scheint im Moment abgesehen von Facebook die einzige Möglichkeit zu sein, eine derartige Sounddatei so zu veröffentlichen, dass man den Ambisonic-Effekt mit einfachen Mitteln nachvollziehen kann.



Am Besten kommt der Effekt mit Kopfhörern rüber, aber auch auf Boxen müsste man die räumliche Verteilung nachvollziehen können. Das Ideale wäre natürlich Google Cardboard oder eine andere VR-Brille, dann sollte sich der Sound entsprechend der Kopfbewegung verändern.

Also gebt euren Senf dazu ab, auch wenn ihr die ganze Geschichte völlig daneben findet. Ich bin mir tatsächlich auch nicht so sicher, ob das eine gute Möglichkeit ist, einen Song zu präsentieren.

 

[Hotspot]

Eigentlich finde ich das eine interessante Sache.
Was ich nicht ganz verstehe, soll der Sound ebenfalls 360° räumlich sein? Und sich je nach Blickrichtung ändern?
Also bei mir tut sich da gar nichts. Das klebt alles an seinen Stellen in den Headphones.
Die räumliche Abbildung ist etwas erschwert, weil im Raum viel rumpelt, da müsstest du noch etwas eingreifen, so wird das zu viel Matsch.
Wie soll es denn sein, einfach nur räumlich abgebildet oder tatsächlich je nach Blickwinkel?

Wenn nicht, soll das eine Surround oder nur einfach Stereo-Mischung werden?
Wahrscheinlich Surround, denn du willst ja die Orgel hinter dir haben, oder?
Wird dann natürlich auf 2er Systemen schwierig. Du solltest also in jedem Fall 2 Versionen machen.

 

[toni12345]

Der Sound sollte sich tatsächlich je nach Blickrichtung ändern, funktioniert bei mir auf dem PC mit Firefox und auf dem Android-Handy mit der Youtube-App. Wie hast du es abgehört? Wäre für mich interessant zu wissen, bei welchen Kombinationenn das funktioniert und wo nicht. Es ist wohl tatsächlich so, dass das Ganze auf dem Handy im Browser nicht funktioniert, ich konnte das aber noch nicht nachprüfen, weil der Android-Firefox nicht mal den 360°-Modus hinkriegt.

Mit den Hallräumen habe ich tatsächlich noch die meisten Probleme, denn da sollte sich bei der Bewegung ja weniger verändern als bei der primären Schallquelle, oder sehe ich das falsch? Ich hab auf jeden Fall inzwischen schon mal einen neuen Mix gemacht, in dem ich ziemlich viel Bass rausgeschmissen habe, das hilft wohl schon ein bisschen gegen den Matsch. Ansonsten experimentiere ich weiter, würde mich aber natürlich auch über noch mehr Feedback freuen.

 

[Hotspot]

Ich habe im Browser (Safari) hier angehört.

 

[Telefunky]

klingt bei bei auf dem iPad ähnlich wie es Hotspot beschreibt - aber auch eindeutig 'fehl-encodiert', die Raumeffekte stechen sehr unnatürlich heraus.

 

[Zelo01]

Ich hör mit Firefox, normal in Stereo, nix Surround, und es funktioniert bei mir Coool

Also ich finds ein sehr interessantes Experiment, allerdings zum Musikhören, würde ich ein ganz normalen Stereomix bevorzugen, der sich nicht verändert mit der Blickrichtung.
Für mich ist das absolutes Neuland. Wie funzt denn sowas? Kannst die Musiker im Kreis anordnen, anstatt nur im Panorama verteilen? Geht das in einer DAW, oder im Videoschnittprogramm?

Der Mix stimmt tatsächlich noch nicht so ganz. Für mich ist da allgemein zu viel Hall. Wenn ich das richtig raus gehört habe, hat das, was man direkt im Blickfeld hat, weniger Hall? Das was hinter einem steht sehr viel Hall?

Irgendwie unnatürlich. Der Hallanteil sollte sich ja eigentlich nicht verändern, bei Blickwinkelveränderung, lediglich das Panorama sich verschieben. Andererseits hebt das natürlich die Blickrichtung schön hervor, wenn alles was man nicht ansieht, mit Hall verwischt wird. Trotzdem das keiner natürlichen Umgebung entspricht, erreichst du damit genau was du damit vermutlich erreichen wolltest: Du lenkst damit den Fokus des Mixes auf das was im Video angeschaut wird. Von da her, eigentlich ganz geschickt gelöst. Nur vielleicht etwas zu extrem

 

[toni12345]

klingt bei bei auf dem iPad ähnlich wie es Hotspot beschreibt

Da scheint es in der Apfelwelt Probleme zu geben, leider hab ich im Moment keine Möglichkeit, das selbst nachzuvollziehen. ich werde mal versuchen, dem auf den Grund zu gehen.

Wie funzt denn sowas?

Das passiert im wesentlichen in der DAW und wird erst am Schluss zum fertigen Video hinzu gefügt. Ich versuche mal ganz grob zu beschrieben, wie ich das gemacht habe, vor allem, weil ich mir selbst über die Details nicht so ganz im Klaren bin . Kernstück ist die Spatial Workstation von Facebook (!), was im Prinzip eine Reihe von VST ist, die zum einen in den einzelnen Tracks dafür sorgen, dass man sie räumlich anordnen kann und zum andern in einem 3D-Master-Track ein 10-kanaligees Endergebnis produzieren, dass dann einer Videodatei hinzugefügt werden kann. Für die Synchronisation zwischen Videobewegung und Audio sorgt dann Youtube beim Hochladen.

Glücklicherweise liefert die Spatial Workstation auch gleich ein Template für Reaper mit, bei dem das komplette Routing schon vorgegeben ist, so dass man im Prinzip nur noch die passenden Sounddateien auf die einzelnen Tracks ziehen muss, um ein funktionierendes Produkt zu erhalten.

Das tatsächliche Mischen eines Songs ist dann wieder eine ganz andere Sache. Ich suche eigentlich einen Kompromiss zwischen "cooler Effekt, aber eigentlich grauslicher Sound" (so empfinde ich das jetzt noch im wesentlichen) und "toller Song, aber warum soll ich das Bild hin und her schwenken, da passiert doch nichts". Im Idealfall sollte das Ganze eben so realistisch wie möglich klingen, als stünde man tatsächlich mitten zwischen den Musikern.

Von da her, eigentlich ganz geschickt gelöst.

Insofern eben noch nicht das, was ich gerne haben möchte, aber für andere Anwendungen solcher VR-Videos vielleicht schon mal eine ganz brauchbare Einstellung .

 

[Telefunky]

Kernstück ist die Spatial Workstation von Facebook (!), was im Prinzip eine Reihe von VST ist, die zum einen in den einzelnen Tracks dafür sorgen, dass man sie räumlich anordnen kann und zum andern in einem 3D-Master-Track ein 10-kanaligees Endergebnis produzieren, dass dann einer Videodatei hinzugefügt werden kann.

ok, der Verein hat meine vollste Antipathie... aber immerhin wird das dort verlinkte Demo Video direkt als 'nicht kompatibel zu diesem Browser' (Safari/iPad) identifiziert. Womit die og Frage erledigt wäre...

 

[toni12345]

Ok, das erklärt doch schon einiges. Ich bin auch nicht gerade ein Facebook-Fan, die Spatial Workstation war für mich jetzt mal die erstbeste Lösung. Es gibt auch noch andere Anbieter von solchen VST-Suites, vielleicht muss ich mich noch weiter umschauen. Vielleicht könnte einer von euch Safari-Usern sich mal das folgende Video anschauen und ausprobieren, ob da der entsprechende Effekt funktioniert:



Nach den Erklärungen unter diesem Video fürchte ich fast, dass Apple hier tatsächlich diese Möglichkeit nicht unterstützt oder einen eigenen Weg geht. Auf jeden Fall interessant zu wissen.

 

[Zelo01]

Nach den Erklärungen unter diesem Video fürchte ich fast, dass Apple hier tatsächlich diese Möglichkeit nicht unterstützt oder einen eigenen Weg geht.

Funktioniert mit Safari leider nicht. Mit FF schon. (beides unter OSX 10.10.5)

 

[toni12345]

Falls es jemanden interessiert: Ich hab jetzt mal eine komplette Version des Musikvideos ins Netz gestellt, inkl. ambisonic Sound und 3D-Video. Damit das nicht zweimal hier im Board rumfliegt, könnt ihr euch das hier anschauen:

[Sammelthread]: Eure Musikvideos