"Spatial audio" für 360°-Videos produzieren

[toni12345]

Ich habe mir vor kurzem eine 360-Kamera zugelegt (Samsung Gear 360) und habe auch schon erste Versuche gestartet, zu einem 360°-Video einen Audiotrack zu erstellen, der sich je nach Blickwinkel (bzw. Handyposition oder Kopfstellung bei der VR-Brille) verändert. Für alle hier, die sich gar nicht drunter vorstellen können, hier mal ein Beispielvideo:



Mich würde interessieren, ob hier jemand gibt, der auch schon mal in dieser Richtung was gemacht hat und ein paar Tipps auf Lager hat oder Interesse an einem Erfahrungsaustausch hat. Ich finde, diese Videos bieten faszinierende Möglichkeiten, vor allem, da 360-Kameras nicht mehr wahnsinnig teuer sind und eine Cardboard-VR-Brille fast gar nicht kostet.

Liveaufnahmen stelle ich mir allerdings relativ komplex vor, was ich bis jetzt geschafft habe ist, einzelne Spuren, die vorher aufgenommen wurden, so im Raum zu verteilen, dass sie sich mitbewegen. Alles aber noch auf einem sehr grundlegenden Level. Vielleicht gibt es ja jemanden, der da schon weiter ist.

 

[lightsrout]

Sennheiser hat dafür ein Mikro entwickelt: https://de-de.sennheiser.com/mikrofon-3d-audio-ambeo-vr-mic

Soviel ich weiß arbeiten sie auch gerade an einer Softwarelösung um das mit 360° Video zu verbinden.

 

[toni12345]

Interessant, aber natürlich auch nicht gerade kostengünstig!

Ich meine gelesen zu haben, dass das Zoom H2n einen entsprechenden Modus besitzt, das wäre für erste Gehversuche vielleicht eher interessant. Im Moment schwebt mir als Projekt eher vor, eine separat produzierte Mulittrackaufnahme so zu bearbeiten, dass die einzelnen Tracks dann im Raum verteilt sind. Die Basics habe ich wie gesagt schon mal hingekriegt, aber Sachen wie Hallräume etc. werden natürlich schnell sehr komplex.

 

[lightsrout]

Oh, ja, der kann das. Steht auf der Zoom Website. Wusste gar nicht das der 5 Mikros hat.

 

[open-g]

Ich meine gelesen zu haben, dass das Zoom H2n einen entsprechenden Modus besitzt, das wäre für erste Gehversuche vielleicht eher interessant.

Für den H2n gibt es ein taufrisches Firmware Update auf 3.0.
https://www.heise.de/newsticker/mel...keiten-3928692.html?wt_mc=rss.ho.beitrag.atom

https://www.zoom.co.jp/news/H2n_update

 

[toni12345]

Falls es noch jemanden interessiert: Ich hab mal ein kleines Demovideo mit einem animierten Clip von einem neuen Song meiner Band produziert. Das Audiomaterial ist nicht besonders hochwertig, es sind einzelene Tracks, die ich mehr oder weniger auf die Schnelle produziert habe, um eine Proben-Vorlage für die Band zu haben. Die 3D-Anordnung habe ich in Reaper mit der Spatial Workstation von Facebook ( ) gemacht. Facebook scheint im Moment diese 360°-Geschichte ein bisschen pushen zu wollen.



Man sollte das Video mit Kopfhörern anschauen, um den Effekt am besten einfangen zu können. ich würde mich natürlich über Feedback, Fragen und Anregungen freuen, falls es hier noch andere gibt, die sich für dieses Thema interessieren.

(Nebenbei habe ich bei diesem Clip auch noch mit 3D-Video experimentiert, falls ihr also noch eine alte rot/blau-Brille oder ein Google Cardboard rumliegen habt, könnt ihr das Video damit auch in 3D anschauen)

 

[sir stony]

Mit Surround/Atmo Mikrofonierung habe ich schon etwas gemacht, aber nicht zur Verwendung mit solchen 360° Videos. Das erfordert ja dann wohl auch eine Multichannel Wiedergabe Engine die die Verhältnisse der Perspektive anpasst...
Ein nach meiner Erfahrung sehr sorgenfreies Surround Mikro ist z.B. das Holophone H3 D. Das liefert quasi gebrauchsfertigen 5.1 Sound, kostet aber noch mehr als das genannte Sennheiser.
Als günstigere Alternative zum Sennheiser käme z.B. das Oktava 4012 auf den Plan, aber mit vier Kapseln dazu kommt man da auch schon über 1000 Mäuse. Vor allem, weil man für diesen Einsatz besser selektierte Kapseln wählen sollte.
Ich würde mir dann eher etwas basteln mit mehreren Mikros, denen ich da mehr Vertrauen schenke, ist aber natürlich mehr Aufwand und nicht so elegant, und vier brauchbare Mikros kosten in jedem Fall ein paar Hunderter, selbst wenn man keine großen Ansprüche stellt.
Solche "Surround" Aufnahmen mit dem Zoom habe ich auch schon gehört, aber ich muss sagen, begeistert hat mich das wahrlich nicht. Aber Preis/Leistung ist natürlich enorm, und der Rasierapparat ist auch sonst kein schlechter Begleiter für den modernen Musikkreativling.

Ein grundlegendes Problem haben alle diese zentral mikrofonierten Surroundtechniken: der Raumklang wird gnadenlos mit aufgenommen, und die allermeisten Räume sind sowas von akustisch eklig, wenn man es in einer Aufnahme hört... von daher ist der Ansatz der Nahfeldaufnahmen in Einzelspuren und dem daraus erstellten Mix musikalisch eindeutig im Vorteil. Das sieht und hört man auch in dem Beispielvideo im Eingangspost, da ist alles nahmikrofoniert.
Quintessenz: schätzungsweise bist du mit deinen Einzelspuren schon auf dem richtigen Weg, es braucht nur mehr Feinschliff und eben Erfahrung, die du noch zu sammeln hast. Find das ganze aber grundsätzlich ein sehr spannendes Thema!

 

[lightsrout]

Falls es noch jemanden interessiert: Ich hab mal ein kleines Demovideo mit einem animierten Clip von einem neuen Song meiner Band produziert. Das Audiomaterial ist nicht besonders hochwertig, es sind einzelene Tracks, die ich mehr oder weniger auf die Schnelle produziert habe, um eine Proben-Vorlage für die Band zu haben. Die 3D-Anordnung habe ich in Reaper mit der Spatial Workstation von Facebook ( ) gemacht. Facebook scheint im Moment diese 360°-Geschichte ein bisschen pushen zu wollen.



Man sollte das Video mit Kopfhörern anschauen, um den Effekt am besten einfangen zu können. ich würde mich natürlich über Feedback, Fragen und Anregungen freuen, falls es hier noch andere gibt, die sich für dieses Thema interessieren.

(Nebenbei habe ich bei diesem Clip auch noch mit 3D-Video experimentiert, falls ihr also noch eine alte rot/blau-Brille oder ein Google Cardboard rumliegen habt, könnt ihr das Video damit auch in 3D anschauen)

Spannend! Der Effekt ist mit Kopfhörern schon da. Wie groß würdest du den Zeitaufwand beschreiben?

 

[toni12345]

Wenn man die einzelnen Tracks schon aufgenommen hat und auch den Film fertig, geht das mit dem Paket von Facebook eigentlich relativ flott, zumindest, bis mal die Basis steht. Ich habe mit Reaper gearbeitet, und bei der Spatial Workstation ist ein Template dabei, bei dem das komplette Routing schon angelegt ist. In einer halben Stunde ist da viel passiert, vor allem, wenn man sich mal ein bisschen in die grundlegende Arbeitsweise eingedacht hat.

Wie dann der Mix am Ende richtig gut klingt ist sicher nochmal was ganz anderes, denn man muss die Abmischung ja im Prinzip auch aus verschiedenen Positionen beurteilen, Aber da bin ich auch noch ganz in den Anfängen. Aber insgesamt geht das doch einfacher, als ich gedacht hätte.