Untertitel vertonen
Der erste Lauf lädt das Sprachmodell und den Phonemisierer herunter — zusammen etwa 98 MB, von dieser Seite bereitgestellt und danach vom Browser zwischengespeichert. Die Untertitel- oder Textdatei, die Sie ablegen, verlässt diesen Tab nie. Die Wahl von MP3 oder M4A lädt weitere 31 MB Encoder herunter, deshalb ist WAV der Standard.
Optionen
Eine Stimme entscheidet über Akzent und Klangfarbe und — weniger offensichtlich — darüber, mit welchem Lautsystem der Text gelesen wird. Eine spanische Stimme mit einem englischen Satz zu kombinieren schlägt nicht fehl: Sie liest englische Wörter mit spanischen Lauten, was schlimmer ist als eine Fehlermeldung. Sieben Sprachen werden angeboten, nicht zwölf, weil der mit dieser Seite gebündelte Phonemisierer keine Stimme für Japanisch oder Chinesisch hat. Hören Sie sich eine kurze Datei an, bevor Sie sich auf eine lange festlegen; jede Stimme trägt dasselbe Modell, ein Wechsel kostet also eine Synthese, keinen Download.
Wie schnell die Stimme liest, angewendet zusätzlich zu dem Tempo, das das Modell als natürlich ansieht. Langsam ist 0,8×, schnell ist 1,2× — bewusst milde, weil das Modell ab etwa 1,5× beginnt, Silben zu verschlucken, und das Ergebnis klingt wie jemand, der es eilig hat, statt wie jemand, der schnell spricht. Wenn ein Untertitelblock für seine Zeile zu kurz ist, erhöht diese Seite die Geschwindigkeit selbst bis 1,4×, bevor sie abschneidet, und dieser Schub multipliziert sich mit der hier gewählten Einstellung.
WAV ist unkomprimiertes 24-kHz-Mono, hier ganz ohne Encoder geschrieben — deshalb ist es der Standard und deshalb wird dafür nichts Zusätzliches heruntergeladen. MP3 und M4A brauchen die 31 MB große Video-Engine zum Komprimieren, kommen aber ungefähr zehnmal kleiner heraus: Zehn Minuten Sprache sind etwa 28 MB als WAV und etwa 2,8 MB als MP3. Wählen Sie WAV, um eine Stimme anzuhören, MP3, um die Datei jemandem zu schicken.
Diese Seite macht aus einer Untertiteldatei eine Sprachspur, die ihr folgt. Jeder Block wird gesprochen und in dem Moment platziert, in dem er beginnt, sodass eine einzige Audiodatei – film.wav – entsteht, in der die Wörter unter den Untertiteln liegen statt übereinander. Stille füllt die Lücken zwischen den Blöcken, und die Gesamtlänge entspricht dem Ende des letzten Blocks, das Audio lässt sich also gegen dasselbe Bild legen, für das die Untertitel gemacht wurden.
Der Grund, warum diese Seite getrennt von der reinen Vorleseseite existiert, ist das Timing. Ein Satz, der vier Sekunden zum Sprechen braucht, aber einen Zwei-Sekunden-Block hat, lässt sich nicht einfach einsetzen: Er liefe unter den nächsten, und zwei Stimmen gleichzeitig sind Lärm, keine Vertonung. Jede Zeile wird deshalb in der gewählten Geschwindigkeit synthetisiert, gemessen und – wenn sie nicht passt – noch einmal in einer schnelleren Rate bis 1,4× synthetisiert. Was immer noch nicht passt, wird am Start des nächsten Blocks abgeschnitten, und die Zahl der betroffenen Blöcke erscheint als Verlust, statt verschluckt zu werden.
Die Stimmliste umfasst zehn Stimmen in sieben Sprachen: Englisch aus den Vereinigten Staaten und Großbritannien, Spanisch, Französisch, Italienisch, Hindi und brasilianisches Portugiesisch. Eine Stimme ist nicht nur ein Timbre – sie entscheidet, mit welchen Lauten einer Sprache der Text gelesen wird, deshalb erzeugt eine spanische Stimme mit englischem Text etwas, das weder das eine noch das andere ist. Japanisch und Chinesisch fehlen absichtlich: Der mitgelieferte Phonemisierer hat für beide keine Stimme, und sie zu listen würde selbstsicheren Unsinn statt einer Fehlermeldung erzeugen.
Die Arbeit ist lokal. Etwa 98 MB Modell und Phonemisierer werden einmal von dieser Seite geladen und danach vom Browser zwischengespeichert; die Untertiteldatei selbst verlässt den Tab nie. Die Ausgabe ist standardmäßig WAV, weil das gar keinen Encoder braucht – MP3 oder M4A lädt einen 31 MB großen ffmpeg-Kern zum Komprimieren, was sich für alles lohnt, das an jemanden geschickt werden soll.
Häufige Fragen
Warum schneidet das WAV dieser Seite manchmal einen Satz ab, obwohl die SRT-Datei in Ordnung ist?
Weil der Schnitt vom Untertitelblock verursacht wird, nicht von der Datei. Ein Block, der 1,8 Sekunden sichtbar bleibt, kann keine Zeile tragen, deren Sprechen drei Sekunden dauert, es sei denn, die Stimme wird über 1,4× hinaus beschleunigt – und ab dort sind die Wörter nicht mehr verständlich. Die Seite versucht zuerst die gewählte Geschwindigkeit und synthetisiert dann einmal mit der Rate neu, die passen würde, begrenzt auf 1,4×. Reicht auch das nicht, wird das Audio am Start des folgenden Blocks abgeschnitten, damit nie zwei Zeilen gleichzeitig klingen, und die Zahl der betroffenen Blöcke erscheint im Verlustbericht unter der Warteschlange.
Was passiert mit ASS-Gestaltung, Farben und Bildschirmpositionen bei der Vertonung von Untertiteln?
Sie werden verworfen, und das ist hier richtig – eine Audiodatei hat keine Farbe und keine Bildschirmposition. Erhalten bleibt der Text jedes Blocks sowie Anfang und Ende, genau das, was die Platzierung braucht. Fett, Kursiv, Karaoke-Zeiten und {anN}-Positionsüberschreibungen werden von der Format-Schicht vor der Synthese weggeparst, eine im ASS kursiv markierte Zeile wird also mit derselben Stimme gelesen wie der Rest. Muss die Gestaltung erhalten bleiben, zuerst die Untertitel konvertieren; das Produkt dieser Seite ist Klang.
Lässt sich ein zweizeiliger SRT-Block als ein durchgehender Satz sprechen?
Ja, und das geschieht immer. Ein harter Zeilenumbruch innerhalb eines Blocks ist eine typografische Entscheidung – eine Stelle, an der die Untertitlerin die Zeile auf dem Bildschirm für zu lang hielt –, keine Pause des Sprechers. Die beiden Zeilen werden also mit einem Leerzeichen verbunden und als eine Äußerung synthetisiert, weshalb ein über zwei Zeilen geteilter Block wie ein Atemzug klingt und nicht wie zwei abwechselnde Sprecher. Nur eine Blockgrenze erzeugt eine Pause in der Ausgabe.
Welche Sprachen kann die vertonte Untertitelspur tatsächlich sprechen, und was passiert mit japanischen Untertiteln?
Sieben: en-US, en-GB, es, fr, hi, it und pt-BR. Japanisch und Chinesisch sind nicht dabei, weil der mitgelieferte Phonemisierer (espeak-ng) für beide keine Stimme hat, obwohl das Sprachmodell selbst auf ihnen trainiert wurde. Eine japanische .srt an eine englische Stimme zu geben scheitert nicht laut – die lateinischen Buchstaben werden als Englisch gelesen, Kanji übersprungen oder verstümmelt. Der ehrliche Weg für diese Sprachen ist, auf eine Fassung mit japanischem oder chinesischem Phonemisierer zu warten, statt eine Spur zu akzeptieren, die plausibel klingt und falsch ist.
Lohnt sich MP3 gegenüber dem standardmäßigen WAV dieser Vertonung?
Für alles, was länger als ein paar Minuten ist, ja. WAV ist unkomprimiertes 24-kHz-Mono-PCM, zehn Minuten Vertonung sind also rund 28 MB, während dasselbe Audio als MP3 mit 128 kbit/s etwa 2,8 MB groß ist. Der Preis ist, dass MP3 und M4A den ffmpeg-Kern einmal herunterladen müssen, deshalb ist WAV der Standard: Wer nur hören will, wie eine Stimme klingt, lädt nichts Zusätzliches. Ist der Encoder zwischengespeichert, geht das erneute Konvertieren derselben Untertitel mit denselben Einstellungen schnell.