Software gestützte 3D Konvertierung mit Hilfe von KI

Hallo!

Auf mixed.de war ein Beitrag zu einer Firma, welche halbautomatisch 2D Filme in 3D konvertieren möchte. ( mixed.de/chaplin-3d-film-ki/ )
Dabei setzt sie scheinbar auf KI Algorithmen, was angeblich die Dauer einer Konvertierung erheblich verkürzt.
Im Artikel verlinkt ist ein Youtube Video mit einem konvertierten Chaplin Film.
Ich habe mir die Mühe gemacht die rot / cyan Kanäle zu trennen und mir den Film als 3D Bluray zu brennen.
Lohnt sich nicht. Auch diese Konvertierung ist wie fast alle nicht wirklich eine Bereicherung. Zu viele Fehler, speziell wenn Hintergründe um Personen herum dazuerfunden werden mussten. Dennoch erstaunlich, wie sicher die KI scheinbar herausfindet, was vorne hin gehört, und was nach hinten muss. Vielleicht wird das ja noch was? (Und wünsche ich mir das überhaupt  )

Viele Grüße
Michael


 

Wie hast du es geschafft, die anaglyphe Version in eine Blu-ray 3D umzuwandeln? Ich bin immer davon ausgegangen, das sowas gar nicht funktionieren kann.
Mich würde das Ergebnis, auch wenn es nicht lohnenswert aussehen sollte, sehr interessieren. 

Interessante Frage, wünscht man sich das überhaupt. Früher hätte ich jede Veränderung an den Originalfilmen als respektlos abgetan, mittlerweile habe ich selber gemerkt, das es durchaus eine Bereicherung darstellen kann. 

Der Film ist ja schwarz-weiß. Da ist die Trennung der Bilder kein Problem. Bei einem Farbfilm klappt das natürlich nicht.
Ich habe mit Hilfe von AviSynth zwei Farbkanäle extrahiert und nebeneinander wieder ausgegeben.
Das hier war das Skript:

FFVideoSource("\Test\Chaplin_Immigrant_3D.mkv",cache=false)
ConvertToRGB
VideoL=ShowRed
VideoR=ShowBlue
VideoS=StackHorizontal(VideoL,VideoR)
ConvertToRGB(VideoS)

Dieses Skript habe ich in VirtualDUB in ein AVI konvertiert, welches ich anschließend in Cyberlink Powerdirector als 3D Bluray gebrannt habe.

Viele Grüße
Michael

>>> Der Film ist ja schwarz-weiß. Da ist die Trennung der Bilder kein Problem.

Richtig!
Für COSIMA-Anwender: Anaglyphenbild mit StereoImageInput = 4 laden. Ausgabe dann beliebig (Ergebnis ist klar nur schwarz-weiß

Und zur 2D-3D-Konvertierung mit KI: Das kann man inzwischen auch zu Hause am eigenen PC: Zu diesem Thema gab es im Juli in der DGS-Regionalgruppe Ulm einen Workshop: Zuerst die Tiefenmasken generieren, z.B mit MiDaS ( github.com/isl-org/MiDaS ) oder mit DepthAnything ( github.com/LiheYoung/Depth-Anything ) und anschließend mit den Originalframes und den Tiefenmasken mit COSIMA das Video erzeugen (StereoImageInput = 5). Je nach Szene kann das richtig gut aussehen (aber nicht immer). In jedem Fall braucht es aber einen schnellen Rechner und etwas Geduld!

Gruß, Gerhard