Führen Sie Sprachmodelle auf Ihrem Smartphone mit PocketPal AI aus

PocketPal AI ist ein Open-Source-KI-Assistent, der es Ihnen ermöglicht, direkt auf Ihrem Smartphone mit verschiedenen kleinen Sprachmodellen (SLMs) zu interagieren, sogar ohne Internetverbindung. Es bietet eine Reihe von Funktionen, wie die Möglichkeit, verschiedene SLMs herunterzuladen und zwischen ihnen zu wechseln, Inferenz-Einstellungen für maßgeschneiderte Leistung anzupassen und Leistungsmetriken in Echtzeit einzusehen. PocketPal AI unterstützt derzeit die Plattformen Android und iOS.

In diesem Blogbeitrag werden wir die Funktionen, Vorteile und den Einstieg in PocketPal AI besprechen.

PocketPal KI-Funktionen

PocketPal AI wird mit einer Reihe von Funktionen geliefert, darunter:

• Offline-Funktionalität: Der Hauptvorteil von PocketPal AI ist seine Fähigkeit, Sprachmodelle direkt auf Ihrem Gerät auszuführen, ohne eine Internetverbindung zu benötigen. Dies macht es ideal für den Einsatz in Gebieten mit begrenztem oder keinem Internetzugang.
• Modellanpassungsfähigkeit: Benutzer können verschiedene SLMs herunterladen und zwischen ihnen wechseln, einschließlich beliebter Modelle wie Danube 2 und 3, Phi, Gemma 2 und Qwen. Diese Flexibilität ermöglicht es den Benutzern, das beste Modell für ihre Bedürfnisse auszuwählen.
• Speicherverwaltung: PocketPal AI verwaltet den Speicher automatisch, indem Modelle ausgelagert werden, wenn die App im Hintergrund ist, und sie wieder geladen werden, wenn Sie zur App zurückkehren.
• Anpassbare Einstellungen: Die App ermöglicht es den Nutzern, Modellparameter wie die Systemaufforderung, Temperatur, BOS-Token und Chat-Vorlagen anzupassen.
• Leistungskennzahlen: PocketPal AI zeigt Echtzeit-Leistungskennzahlen an, die Tokens pro Sekunde und Millisekunden pro Token während der KI-Antwortgenerierung anzeigen.

Wie man PocketPal AI auf Android und iOS verwendet

Laden Sie zuerst PocketPal AI auf Ihr Smartphone herunter und installieren Sie es.

• iOS: Lade PocketPal AI aus dem App Store herunter.
• Android: Holen Sie sich PocketPal AI auf Google Play.

Herunterladen eines Modells

Nach der Installation können Sie Ihr bevorzugtes Modell herunterladen. Zum Zeitpunkt des Schreibens ist PocketPal AI mit den folgenden SLMs vorkonfiguriert:

• Donau 2 und 3
• Phi
• Gemma 2
• Qwen

Bitte beachten Sie, dass Sie Ihr bevorzugtes SLM auf Ihrem Handy herunterladen müssen, um es zu verwenden. Öffnen Sie dazu die PocketPal AI App und tippen Sie auf das Menü-Symbol (☰). Gehen Sie zur Modelle-Seite, wählen Sie dann ein Modell aus der Liste aus und tippen Sie auf Herunterladen.

Ein Modell laden

Nach dem Herunterladen tippen Sie einfach auf Laden neben dem Modellnamen, um es in den Speicher zu laden.

Mit dem Modell chatten

1. Stellen Sie sicher, dass ein Modell geladen ist.
2. Gehe über das Menü zur Chat-Seite.
3. Beginnen Sie, Ihre Fragen oder Aufforderungen einzugeben!

Benutzer können auf erweiterte Einstellungen zugreifen, indem sie auf das Chevron-Symbol (v) neben einem Modell tippen.

Benutzererfahrung und Funktionalität

Ich weiß nicht, wie lange diese App in Entwicklung ist, aber der Entwickler von PocketPal AI hat sie erst gestern als Open Source veröffentlicht.

Benutzer haben positive Erfahrungen mit PocketPal AI gemeldet und loben seine Geschwindigkeit und Benutzerfreundlichkeit. Einige Benutzer bemerkten schnellere Geschwindigkeiten auf iPhones im Vergleich zu Android-Geräten, möglicherweise aufgrund der Nutzung von Apples Metal GPU-API. Es gab jedoch Berichte über Abstürze der App beim Laden bestimmter Modelle, insbesondere auf Pixel-Geräten.

Eine von den Nutzern hervorgehobene Einschränkung ist die Schwierigkeit, Texte aus den generierten Antworten zu kopieren, während die Formatierung, insbesondere Markdown, beibehalten wird. Der Entwickler erkannte dieses Problem an und sucht nach Lösungen.

Fazit

PocketPal AI scheint ein leistungsstarkes und praktisches Werkzeug zu sein, das die Fähigkeiten von Sprachmodellen direkt zur Hand bringt. Seine Offline-Funktionalität, Modellflexibilität und benutzerfreundliches Design machen es zu einer ausgezeichneten Wahl für jeden, der KI auf seinem mobilen Gerät erleben möchte.

Wenn Sie ein gutes Smartphone haben, installieren Sie PocketPal AI, testen Sie es ein wenig und teilen Sie Ihre Erfahrungen mit uns über den Kommentarbereich unten.

Ressource:

• PocketPal AI GitHub-Repository