Website-Suche

Epub-Ebooks mit Audiblez und Kokoro in Hörbücher umwandeln

Müde, darauf zu warten, dass Ihr Lieblings-eBook vorgelesen wird? Nicht mehr! Sie können Audiblez verwenden, ein Python-Programm, um Ihre Lieblings-Epub-eBooks in Audiobooks zu konvertieren unter Linux, macOS und Windows.

Einführung

Haben Sie sich jemals dabei erwischt, voller Vorfreude auf die Hörbuchveröffentlichung eines neuen Buches zu warten, nur um von der langen Wartezeit enttäuscht zu sein?

Oder vielleicht interessieren Sie sich für einen Nischentitel, der von Hörbuchplattformen noch nicht aufgegriffen wurde?

Wenn sich das vertraut anhört, könnte Audiblez die Lösung sein, nach der Sie gesucht haben.

Audiblez ist ein Python-basiertes Werkzeug, das es Ihnen ermöglicht, eigene Hörbücher aus E-Books zu erstellen unter Verwendung von Text-zu-Sprache-Technologie. Angetrieben vom Kokoro v0.19-Modell liefert Audiblez eine bemerkenswert natürlich klingende Erzählstimme und verwandelt Ihr digitales Leseerlebnis.

Was ist Kokoro?

Kokoro ist ein hochwertiges, relativ kleines Text-zu-Sprache (TTS) Modell, das unter der Apache 2.0 Lizenz veröffentlicht wurde und in der Lage ist, Hörbücher zu erstellen.

Kokoro zeichnet sich durch seine geringe Größe (82 Millionen Parameter) und die bemerkenswert hochwertige Ausgabe aus, die sogar Modelle übertrifft, die viele Male größer sind.

Kokoro nutzt eine Kombination aus innovativen Architekturen, einschließlich:

  • StyleTTS 2: Eine Methode zur hochpräzisen und ausdrucksstarken Sprachsynthese.
  • ISTFTNet: Eine neuronale Netzwerkarchitektur, die für die effiziente Verarbeitung von Audiosignalen entwickelt wurde.

Kokoro wird ausschließlich mit permissiven/nicht urheberrechtlich geschützten Audiodaten trainiert, um sicherzustellen, dass ethische Überlegungen berücksichtigt werden. Beispiele für solche Daten sind Audioaufnahmen aus der Public Domain und synthetische Audiodaten, die von kommerziellen TTS-Modellen erzeugt werden.

Hauptmerkmale von Kokoro

  • Hohe Elo-Bewertung: Es erreichte die #1 Platzierung in der TTS Spaces Arena, einem wettbewerbsorientierten Maßstab für TTS-Modelle. Dies zeigt seine überlegene Leistung im Vergleich zu anderen Modellen, selbst zu solchen mit deutlich mehr Parametern und Trainingsdaten.
  • Effizientes Training: Kokoro v0.19 wurde auf A100 80GB VRAM-Instanzen für ungefähr 500 GPU-Stunden trainiert, mit geschätzten Gesamtkosten von 400 $.
  • Begrenzte Datenanforderungen: Das Modell wurde mit weniger als 100 Stunden Audiodaten trainiert, was seine Effizienz beim Lernen aus relativ kleinen Datensätzen demonstriert.
  • Mehrsprachige Fähigkeiten: Kokoro unterstützt derzeit amerikanisches und britisches Englisch, mit der Möglichkeit, auf andere Sprachen erweitert zu werden.
  • Vielfältige Stimmoptionen: Das Modell bietet eine Auswahl an Stimm-Paketen, einschließlich männlicher und weiblicher Stimmen mit unterschiedlichen Akzenten.

Trotz seiner Stärken hat Kokoro v0.19 einige Einschränkungen, die hauptsächlich auf seine Trainingsdaten und architektonischen Entscheidungen zurückzuführen sind:

  • Fehlende Fähigkeit zur Stimmklonung.
  • Abhängigkeit von einem externen Graphem-zu-Phonem (g2p) Konverter, was potenzielle Fehlerquellen einführt.
  • Trainingsdaten, die sich auf langes Lesen und Erzählen konzentrieren, könnten die Leistung in Gesprächsumgebungen möglicherweise einschränken.

Was ist Audiblez?

Audiblez ist ein Python-Programm für die Kommandozeile. Es verwendet Kokoro, um epub-E-Books in m4b-Hörbücher zu konvertieren. Der Prozess umfasst das Extrahieren von Text aus dem epub, dann die Verwendung von Kokoro zur Sprachsynthese und schließlich das Zusammenfügen der Audio-Kapitel zu einer Hörbuchdatei mit ffmpeg.

Das Audiblez-Programm unterstützt mehrere Sprachen und Stimmen und bietet Anpassungsoptionen für Geschwindigkeit und Kapitelauswahl.

Bitte beachten Sie, dass Audiblez derzeit nur .epub-Dateien unterstützt.

Hauptmerkmale von Audiblez

  • Hochwertige Sprachsynthese: Audiblez nutzt Kokoro, ein TTS-Modell mit 82 Millionen Parametern, das für seine beeindruckende Ausgabequalität bekannt ist und in bestimmten Benchmarks sogar größere Modelle übertrifft. Dies stellt sicher, dass Ihre Hörbücher klar und ansprechend klingen.
  • Unterstützung für mehrere Sprachen: Audiblez unterstützt derzeit Englisch (sowohl amerikanischer als auch britischer Akzent), Französisch, Japanisch, Koreanisch und Mandarin, sodass Sie Hörbücher in verschiedenen Sprachen genießen können.
  • Vielfältige Stimmoptionen: Wählen Sie aus einer Vielzahl von Stimmen, um Ihr Hörerlebnis zu personalisieren. Entdecken Sie die verschiedenen verfügbaren Optionen für jede Sprache und finden Sie die perfekte Stimme, die Ihr Lesen begleitet.
  • Kapitel-Erkennung: Audiblez identifiziert automatisch Kapitel in Ihrem E-Book und rationalisiert so den Konvertierungsprozess. Dies hilft, Ihr Hörbuch zu organisieren und erleichtert die Navigation.
  • Einfach zu benutzen: Die Installation und Nutzung von Audiblez ist unkompliziert. Mit ein paar einfachen Befehlen können Sie beginnen, Ihre E-Books in Hörbücher zu konvertieren.

Unterstützte Sprachen

Audiblez unterstützt derzeit diese Sprachen:

  • Amerikanisches Englisch (en-us),
  • Britisches Englisch (en-gb),
  • Französisch (fr-fr),
  • Japanisch (ja),
  • Koreanisch (kr),
  • und Mandarin (cmn).

Sie können die Sprache mit der Option -l beim Ausführen von Audiblez angeben. Zum Beispiel würden Sie für die Verwendung von britischem Englisch den Befehl audiblez book.epub -l en-gb verwenden.

Unterstützte Stimmen

Sie können aus diesen Stimmen mit der Option -v wählen: af, af_bella, af_nicole, af_sarah, af_sky, am_adam, am_michael, bf_emma, bf_isabella, bm_george und bm_lewis.

Sie können sich Beispiele jeder Stimme auf der Kokoro-TTS-Demo anhören: https://huggingface.co/spaces/hexgrad/Kokoro-TTS.

Wie man Audiblez unter Linux installiert

Stellen Sie zunächst sicher, dass Sie ffmpeg installiert auf Ihrem System haben.

Sie können Audiblez mit jedem Python-Paket-Installer installieren, wie zum Beispiel conda, pip, pipx, pipenv oder uv.

Um zum Beispiel Audiblez mit pipx zu installieren, führen Sie den folgenden Befehl aus:

pipx install audiblez

Als Nächstes müssen Sie das Kokoro-Modell und die Sprachdateien herunterladen. Ich empfehle, sie in einem eigenen Ordner zur einfachen Verwaltung abzulegen.

mkdir My\ Audio\ Books
cd My\ Audio\ Books/
wget https://github.com/thewh1teagle/kokoro-onnx/releases/download/model-files/kokoro-v0_19.onnx

Dies wird das neueste Kokoro-Modell herunterladen.

Laden Sie als Nächstes die Sprachdateien mit dem Befehl herunter:

wget https://github.com/thewh1teagle/kokoro-onnx/releases/download/model-files/voices.json

Wir haben jetzt sowohl das Modell als auch die Sprachdateien. Es ist Zeit, Hörbücher aus EPUB-E-Books zu erstellen.

Epub mit Audiblez in Hörbuch umwandeln

Das Erstellen von Hörbüchern aus EPUB-Dateien ist sehr einfach und unkompliziert.

Um dies zu tun, verwenden Sie das Audiblez-Befehlszeilentool, um die E-Book-Datei, die gewünschte Sprache und die Stimme wie unten angegeben festzulegen:

audiblez book.epub -l en-us -v af_sky

Ersetzen Sie book.epub durch Ihr eigenes EPUB-E-Book und af_sky durch Ihr bevorzugtes Sprachmodell.

Audiblez erstellt für jedes Kapitel einzelne WAV-Dateien und kombiniert sie zu einer M4B-Hörbuch-Datei, die mit den meisten Hörbuch-Playern kompatibel ist.

Bitte beachten Sie: Um M4B-Dateien zu erstellen, müssen Sie ffmpeg auf Ihrem Computer installiert haben.

Audio-Geschwindigkeit anpassen

Sie können die Geschwindigkeit des von Audiblez erzeugten Audios anpassen. Standardmäßig erzeugt Audiblez Audio in normaler Geschwindigkeit.

Sie können jedoch die Audioausgabe bis zu zweimal langsamer oder schneller machen, indem Sie ein Geschwindigkeitsargument zwischen 0,5 und 2,0 mit der -s-Option angeben.

Zum Beispiel würden Sie, um Audio 1,5-mal schneller als die normale Geschwindigkeit zu erzeugen, den Befehl verwenden:

audiblez book.epub -l en-gb -v af_sky -s 1.5

Audiblez auf der GPU ausführen

Standardmäßig läuft Audiblez auf der CPU und verwendet die CPU-fähige ONNX-Runtime, die automatisch installiert wird.

Um Audiblez auf einer GPU für eine schnellere Leistung auszuführen, müssen Sie die GPU-fähige ONNX Runtime installieren und einen Runtime-Anbieter mit dem --providers Flag angeben.

Hier ist, wie man es macht.

1. Installieren Sie die GPU-fähige ONNX Runtime. Dies muss manuell durchgeführt werden. Sie können sie mit pip oder pipx installieren:

pip install onnxruntime-gpu

2. Geben Sie ONNX-Anbieter an mit dem --providers-Tag beim Ausführen von Audiblez.

Um eine NVIDIA-GPU zu verwenden, nutzen Sie CUDAExecutionProvider:

audiblez book.epub -l en-gb -v af_sky --providers CUDAExecutionProvider

3. Sie können eine Anbieterhierarchie angeben, indem Sie mehrere Hierarchien durch Leerzeichen getrennt angeben. Zum Beispiel:

audiblez book.epub -l en-gb -v af_sky --providers CUDAExecutionProvider CPUExecutionProvider

Dieser Befehl wird versuchen, zuerst den CUDAExecutionProvider zu verwenden, und falls dieser nicht verfügbar ist, wird er auf den CPUExecutionProvider zurückgreifen.

Um eine Liste der verfügbaren Anbieter auf Ihrem System zu sehen, führen Sie aus:

audiblez --help

oder

python -c "import onnxruntime as ort; print(ort.get_available_providers())"

Dies zeigt die ONNX-Anbieter an, die verwendet werden können.

Fazit

Mit Audiblez können Sie Ihre bestehende E-Book-Bibliothek mit einfachen Befehlen problemlos in eine Audio-Bibliothek umwandeln.

Während Audiblez noch in der Entwicklung ist, bietet es bereits eine einfache und effiziente Möglichkeit, Hörbücher aus E-Books zu erstellen.

Zukünftige Updates könnten Verbesserungen bei der Kapitelerkennung, die Möglichkeit, Kapitelnavigation innerhalb der M4B-Datei hinzuzufügen, und sogar eine Vertonung von Bildern mithilfe von Bild-zu-Text-Technologie umfassen.

Verwandte Lektüre:

  • Pocket TTS: Lokale, latenzarme Text-zu-Sprache ohne GPU oder Cloud
  • Audiogenipy: Erstellen Sie Hörbücher mühelos mit Python und gTTS unter Linux
  • Sprachnotiz: Eine Offline-Spracherkennung, Text-zu-Sprache und Übersetzungs-App für Linux
  • eSpeak NG – Ein Text-zu-Sprache-Synthesizer für Linux

Ausgewähltes Bild von Stas Knop von Pexels.