OpenAI startet GPT-4o und die ChatGPT-Desktop-App

Am 13. Mai 2024 hat OpenAI die Einführung von GPT-4o, ihrem neuen Flaggschiff-KI-Modell, angekündigt. Das "o" in GPT-4o steht für "omni" und spiegelt die Fähigkeit des Modells wider, verschiedene Eingabe- und Ausgabemodalitäten nahtlos zu verarbeiten.

GPT-4o bringt fortschrittliche KI-Fähigkeiten, die mit GPT-4 vergleichbar sind, einem breiteren Publikum, einschließlich kostenlosen Nutzern. Es bietet verbesserte Leistung in den Bereichen Text, Bild, Audio und Echtzeit-Interaktion.

OpenAI hat auch eine neue ChatGPT-Desktop-App für macOS gestartet, die eine einfache Tastenkombination für Anfragen und die Möglichkeit bietet, Screenshots direkt in der App zu besprechen.

Einführung von GPT-4o

GPT-4o stellt einen bedeutenden Fortschritt dar, um natürlichere und intuitivere Interaktionen zwischen Menschen und Computersystemen zu ermöglichen.

Dieses fortschrittliche Modell kann jede Kombination aus Text-, Audio- und Bildeingaben akzeptieren und Ausgaben in einer dieser Modalitäten erzeugen.

Eine der Hauptmerkmale von GPT-4o ist seine Fähigkeit, auf Audioeingaben mit extrem niedriger Latenz zu reagieren. Es kann Audioaufforderungen in nur 232 Millisekunden verarbeiten und darauf reagieren, mit einer durchschnittlichen Reaktionszeit von 320 Millisekunden.

Diese Reaktionszeit ist ähnlich der durchschnittlichen menschlichen Reaktionszeit in einem typischen Gespräch und ermöglicht natürlichere und nahtlosere Audiointeraktionen.

In Bezug auf die Leistung entspricht GPT-4o den Fähigkeiten von GPT-4 Turbo bei der Textverarbeitung in Englisch und der Codegenerierung. Es zeigt jedoch erhebliche Verbesserungen im Umgang mit Texten in nicht-englischen Sprachen im Vergleich zu früheren Modellen.

Außerdem ist GPT-4o auf Geschwindigkeit und Kosteneffizienz optimiert, bietet eine Reduzierung der API-Preise um 50 % und ist gleichzeitig viel schneller als seine Vorgänger.

Wo GPT-4o wirklich glänzt, ist in seinen verbesserten Fähigkeiten im Bereich des Sehens und der Audioverarbeitung, wobei es bestehende Modelle in diesen Bereichen übertrifft.

Seine Fähigkeit, verschiedene Datenformate wie Text, Audio und Bilder nahtlos zu verarbeiten und zu erzeugen, ermöglicht natürlichere und intuitivere Interaktionen und überbrückt somit effektiv die Lücke zwischen der traditionellen Kommunikation von Menschen und Computern.

GPT-4o Fähigkeiten

Vor GPT-4o konnten Benutzer über den Sprachmodus mit ChatGPT interagieren, der auf einem mehrstufigen Prozess beruhte, bei dem separate Modelle für verschiedene Aufgaben verwendet wurden.

Ein Modell würde Audioeingaben in Text transkribieren, ein anderes Modell (entweder GPT-3.5 oder GPT-4) würde den transkribierten Text verarbeiten und eine Textantwort generieren, und ein drittes Modell würde diese Textantwort wieder in Audioausgabe umwandeln.

Dieser Prozess führte zu durchschnittlichen Latenzen von 2,8 Sekunden für GPT-3.5 und 5,4 Sekunden für GPT-4.

Diese Multi-Modell-Ansatz hatte jedoch Einschränkungen. Das Kern-Sprachmodell (GPT-3.5 oder GPT-4) konnte Audiohinweise wie Tonfall, mehrere Sprecher oder Hintergrundgeräusche nicht direkt verarbeiten.

Ähnlich konnte es keine Audioausgaben erzeugen, die menschliche Eigenschaften wie Lachen, Singen oder emotionale Ausdrucksformen vermittelten.

Im Gegensatz dazu ist GPT-4o ein einzelnes End-to-End-Modell, das darauf trainiert wurde, Text-, Bild- und Audiodaten nahtlos zu verarbeiten und zu erzeugen.

Dieser integrierte Ansatz ermöglicht es GPT-4o, alle Eingabemodalitäten zu verarbeiten und Ausgaben in verschiedenen Formaten mit demselben neuronalen Netzwerk zu erzeugen.

Da GPT-4o das erste Modell ist, das diese mehreren Modalitäten kombiniert, erkundet OpenAI noch das volle Ausmaß seiner Fähigkeiten und potenziellen Einschränkungen.

Hauptmerkmale

Besser als bestehende Modelle:

GPT-4o übertrifft bestehende Modelle darin, Bilder zu verstehen und darüber zu diskutieren.

Zum Beispiel können Sie jetzt ein Foto von einer Speisekarte in einer Fremdsprache machen und es mit GPT-4o teilen. Das Modell wird nicht nur die Speisekarte übersetzen, sondern auch Einblicke in die kulturelle Bedeutung und Geschichte der aufgeführten Gerichte geben. Zusätzlich kann GPT-4o basierend auf den Speisekartenartikeln personalisierte Empfehlungen anbieten.

In Zukunft wird GPT-4o Verbesserungen erhalten, die natürlichere, Echtzeit-Sprachgespräche ermöglichen. Nutzer werden in der Lage sein, mit ChatGPT über Echtzeit-Videoübertragungen zu kommunizieren. Zum Beispiel könnten Sie ein Sportspiel live an ChatGPT streamen und das Modell bitten, Ihnen die Regeln und das Spielgeschehen in Echtzeit zu erklären.

OpenAI plant die Einführung einer neuen Sprachmodus-Funktion, die diese fortgeschrittenen Fähigkeiten integriert. Dieser Sprachmodus wird zunächst in den kommenden Wochen als Alpha-Version verfügbar sein, mit Frühzugang für Plus-Nutzer. Im Laufe der Zeit beabsichtigt das Unternehmen, diese Funktion breiter für alle Nutzer auszurollen.

Einheitliches Verarbeitungsmodell:

GPT-4o kann Text-, Audio- und visuelle Eingaben und Ausgaben nahtlos verarbeiten, was natürliche und multimodale Interaktionen ermöglicht.

Konversations-KI:

GPT-4o ermöglicht natürlichen Dialog und Echtzeit-Spracherkennung im Gespräch ohne wahrnehmbaren Verzögerung.

Emotionale Intelligenz:

Das Modell kann Emotionen aus Audioeingaben wahrnehmen und ausdrucksstarke synthetisierte Sprachausgabe erzeugen.

Visuelles Verständnis:

GPT-4o kann während Gesprächen mit Bildern, Dokumenten und Diagrammen interagieren und visuelles Verständnis in seine Antworten integrieren.

Mehrsprachige Unterstützung:

Das Modell bietet mehrsprachige Fähigkeiten mit Echtzeitübersetzung zwischen Sprachen.

Emotionserkennung:

GPT-4o kann Emotionen anhand von Gesichtsausdrücken in visuellen Eingaben erkennen.

Zugang und Verfügbarkeit

Kostenlose Nutzer werden Zugang zu den fortschrittlichen Fähigkeiten von GPT-4o haben, die Intelligenz auf GPT-4-Niveau bieten.

Bezahlte Nutzer haben höhere Nutzungslimits, mit bis zu 80 Nachrichten alle 3 Stunden auf GPT-4o und bis zu 40 Nachrichten alle 3 Stunden auf GPT-4 (Limits können während der Stoßzeiten reduziert werden).

GPT-4o ist über eine API verfügbar, die es Entwicklern ermöglicht, Anwendungen im großen Maßstab zu entwickeln.

Im Vergleich zum vorherigen Turbo-Modell ist GPT-4o 2-mal schneller, 50 % kosteneffektiver und bietet 5-mal höhere Ratenlimits.

Während der standardmäßige GPT-4o-Textmodus bereits für Plus-Nutzer eingeführt wird, wird der neue Sprachmodus in den kommenden Wochen in der Alpha-Version verfügbar sein, zunächst für Plus-Nutzer zugänglich, mit Plänen, die Verfügbarkeit später auf kostenlose Nutzer auszuweiten.

ChatGPT-Desktop-App für macOS

Neben der Einführung von GPT-4o stellt OpenAI eine neue ChatGPT-Desktopanwendung für macOS-Nutzer vor, die sowohl für kostenlose als auch für zahlende Abonnenten verfügbar ist. Diese spezielle App ist darauf ausgelegt, sich nahtlos in Ihren täglichen Computerarbeitsablauf zu integrieren.

Eine der wichtigsten Funktionen der ChatGPT-Desktop-App ist ihre Zugänglichkeit über eine einfache Tastenkombination. Durch Drücken von Option + Leertaste können Sie die App sofort aufrufen und ChatGPT eine Frage stellen, ohne zwischen verschiedenen Fenstern oder Anwendungen wechseln zu müssen.

Zusätzlich ermöglicht die App Ihnen, Screenshots direkt innerhalb ihrer Benutzeroberfläche zu erfassen und zu besprechen. Diese Funktionalität ermöglicht es Ihnen, visuelle Informationen einfach mit ChatGPT zu teilen und kontextbezogene Antworten oder Einblicke in Bezug auf die erfassten Bildschirminhalte zu erhalten.

Sprachmodus

Die neue ChatGPT-Desktop-App führt die Möglichkeit ein, direkt von Ihrem Computer aus Sprachgespräche mit dem Sprachmodell zu führen.

Dieses Feature baut auf dem bereits vorhandenen Sprachmodus auf, der seit dem ersten Start in der webbasierten ChatGPT-Oberfläche verfügbar ist. In Zukunft wird die App auch die erweiterten Audio- und Videofunktionen von GPT-4o integrieren.

Um ein Sprachgespräch zu starten, tippen Sie einfach auf das Kopfhörer-Symbol, das sich in der unteren rechten Ecke der Desktop-App befindet.

Diese Funktionalität eröffnet eine breite Palette von Anwendungsfällen, egal ob Sie Ideen für Ihr Unternehmen entwickeln, sich auf ein bevorstehendes Vorstellungsgespräch vorbereiten oder jedes beliebige Interessengebiet durch natürlichen gesprochenen Dialog besprechen möchten.

Die erste Einführung der macOS-App begann am 13. Mai 2024 und richtete sich an Plus-Abonnenten. Eine breitere Einführung für alle Nutzer, einschließlich Nicht-Abonnenten, wird in den kommenden Wochen stattfinden. Eine Windows-Version der Desktop-App ist für die Veröffentlichung später in diesem Jahr geplant.

Wichtige Erkenntnisse

1. GPT-4o („o“ für „omni“) ist das neue Flaggschiff-AI-Modell von OpenAI, das einen bedeutenden Fortschritt bei der Ermöglichung natürlicherer und intuitiverer Interaktionen zwischen Mensch und Computersystemen darstellt.
2. Im Gegensatz zu früheren Modellen, die auf separate Komponenten für verschiedene Modalitäten angewiesen waren, ist GPT-4o ein einzelnes, durchgängiges Modell, das darauf trainiert ist, Text-, Bild- und Audiodaten nahtlos mit demselben neuronalen Netzwerk zu verarbeiten und zu erzeugen.
3. GPT-4o erreicht die Leistung von GPT-4 Turbo bei Texten auf Englisch und Code, zeigt jedoch erhebliche Verbesserungen im Umgang mit Texten in nicht-englischen Sprachen und ist zudem schneller und kostengünstiger.
4. Das Modell zeichnet sich darin aus, Bilder zu verstehen und zu besprechen, indem es Einblicke in kulturelle Bedeutung, Geschichte und personalisierte Empfehlungen auf der Grundlage visueller Eingaben bietet.
5. GPT-4o kann auf Audioeingaben mit extrem niedriger Latenz reagieren, ähnlich wie die menschliche Reaktionszeit in Gesprächen, was natürlichere und nahtlosere Audiointeraktionen ermöglicht.
6. OpenAI führt eine neue ChatGPT-Desktop-App für macOS ein, die zunächst für Plus-Abonnenten verfügbar sein wird, mit Plänen für eine breitere Veröffentlichung und eine Windows-Version später im Jahr.
7. Die Desktop-App verfügt über eine praktische Tastenkombination, um sofort auf ChatGPT zuzugreifen, sowie über die Möglichkeit, Screenshots direkt in der App zu erfassen und zu besprechen.
8. Sprachkonversationsfunktionen werden eingeführt, die es den Nutzern ermöglichen, über natürlichen gesprochenen Dialog mit ChatGPT zu interagieren, mit zukünftiger Integration der fortschrittlichen Audio- und Videofunktionen von GPT-4o.

Fazit

GPT-4o von OpenAI und die neue ChatGPT-Desktop-Anwendung markieren einen bedeutenden Fortschritt bei der Ermöglichung nahtloserer und natürlicherer Mensch-KI-Interaktionen.

GPT-4o bringt fortschrittliche multimodale KI-Fähigkeiten kostenlos für die Allgemeinheit. Seine einheitliche, multimodale Architektur ermöglicht es, Text-, Bild- und Audioeingaben und -ausgaben durch ein einziges Modell zu verarbeiten und die Kommunikationslücke zwischen Mensch und Maschine zu überbrücken.

Die offizielle ChatGPT-Desktop-App, mit Funktionen wie Sprachzugang und Screenshot-Integration, zielt darauf ab, die Integration dieser leistungsstarken KI in tägliche Arbeitsabläufe zu vereinfachen.

Für weitere Details empfehle ich Ihnen, die offiziellen Ankündigungen in den folgenden Links zu prüfen.

Ressourcen:

• Hallo GPT-4o
• Einführung von GPT-4o und weiteren Tools für kostenlose ChatGPT-Nutzer

Verwandte Lektüre:

• OpenAI stellt GPT-4o Mini vor, ein kostengünstiges KI-Modell