Canonical startet Data-Science-Stack für ML-Anfänger

Datenwissenschaft ist die Untersuchung von Daten. Es umfasst das Sammeln, Analysieren und Interpretieren großer Mengen an Informationen. Datenwissenschaftler nutzen diese Informationen, um Entscheidungen zu treffen, Probleme zu lösen und zukünftige Trends vorherzusagen.

Datenwissenschaftler verwenden verschiedene Werkzeuge und Techniken, um komplexe Datensätze zu analysieren und zu interpretieren. Dies hilft Unternehmen und Organisationen, bessere Entscheidungen zu treffen.

Wenn Sie ein Anfänger sind, der gerade mit Data Science beginnt, werden Sie wahrscheinlich auf mehrere Herausforderungen stoßen, wenn Sie eine geeignete Data-Science-Umgebung einrichten.

Hier sind einige Gründe, warum das Einrichten einer Data-Science-Umgebung für Anfänger herausfordernd sein kann:

1. Softwareinstallation: Anfänger haben oft Schwierigkeiten bei der Installation der notwendigen Software, wie Programmiersprachen (wie Python oder R), Bibliotheken und Werkzeuge (wie Jupyter Notebooks oder RStudio).
2. Verstehen von Abhängigkeiten: Software erfordert oft bestimmte Versionen anderer Software, um korrekt zu funktionieren. Dies kann verwirrend sein und zu Fehlern führen, wenn es nicht richtig verwaltet wird.
3. Lernkurve: Datenwissenschaft beinhaltet das Erlernen neuer Fähigkeiten, einschließlich Programmierung, Statistik und maschinellem Lernen. Dies kann für Anfänger überwältigend sein.
4. Datenverarbeitung: Die Arbeit mit Daten kann komplex sein, besonders wenn man mit großen oder unordentlichen Datensätzen zu tun hat. Es ist entscheidend, zu verstehen, wie man Daten bereinigt, speichert und verarbeitet, aber dies kann anfangs schwer zu erfassen sein.
5. Versionskontrolle: Das Verfolgen von Änderungen im Code und in Daten ist wichtig, kann aber schwierig einzurichten und zu verwalten sein, insbesondere für diejenigen, die neu in Versionskontrollsystemen wie Git sind.
6. Die richtigen Werkzeuge auswählen: Es gibt viele Werkzeuge und Frameworks, und die Auswahl der richtigen für ein bestimmtes Projekt kann für Anfänger einschüchternd sein.

Indem sie diese Herausforderungen verstehen, können sich Anfänger besser vorbereiten und die richtigen Ressourcen und Unterstützung suchen, um sie zu überwinden.

Die anfänglichen Hürden können für neue Datenwissenschaftler herausfordernd sein, aber mit Ausdauer und kontinuierlichem Lernen wird die Reise reibungsloser.

Dank des Data Science Stack (DSS) von Canonical ist das Einrichten von Data Science jetzt viel einfacher geworden. In diesem Tutorial werden wir besprechen, was der Data Science Stack ist und wie man ihn verwendet, um eine Data-Science-Umgebung einfach und schnell unter Ubuntu-Betriebssystemen einzurichten.

Was ist der Data Science Stack (DSS)?

Der Data Science Stack (DSS) von Canonical ist eine sofort einsatzbereite Lösung für Data Scientists und Machine-Learning-Ingenieure.

Der Data-Science-Stack vereinfacht den Einrichtungsprozess, indem er eine vorkonfigurierte Umgebung bereitstellt, die alle notwendigen Werkzeuge und Bibliotheken für maschinelles Lernen und Datenanalyse umfasst.

Durch die Auslegung für den Betrieb auf Ubuntu-Arbeitsstationen und die Optimierung der Nutzung von GPUs kann DSS die Leistung von Machine-Learning-Modellen verbessern, was insbesondere bei rechenintensiven Aufgaben von Vorteil ist.

DSS ermöglicht es den Nutzern, sich mehr auf die Entwicklung und Optimierung ihrer Modelle zu konzentrieren, anstatt auf die technischen Details der Umgebungsplanung.

Dies kann eine erhebliche Menge an Zeit sparen, die sonst für die Installation und Konfiguration einzelner Komponenten aufgewendet würde.

Was ist im Data-Science-Stack enthalten?

Der Data-Science-Stack (DSS) bietet eine umfassende und integrierte Umgebung für Data Scientists und Machine-Learning-Ingenieure. Folgendes wird angeboten:

1. Vorinstallierte Werkzeuge: DSS enthält beliebte Open-Source-Tools wie MicroK8s, JupyterLab und MLflow, die für die Datenexploration, Modellentwicklung und Experimentverfolgung unerlässlich sind.
2. Machine-Learning-Frameworks: Standardmäßig wird es mit zwei weit verbreiteten Machine-Learning-Frameworks geliefert, PyTorch und TensorFlow, die bereit sind, für den Aufbau und das Training von Modellen verwendet zu werden.
3. Befehlszeilenschnittstelle (CLI): DSS bietet eine intuitive CLI zum Bereitstellen dieser Tools und Frameworks, was die Verwaltung und Skalierung der Umgebung erleichtert.
4. Benutzeroberflächen: Nach der Bereitstellung können Benutzer auf die UIs der Tools zugreifen, um an ihren Data-Science-Projekten zu arbeiten, ohne sich um die manuelle Einrichtung kümmern zu müssen.
5. Verpackungsabhängigkeiten: DSS übernimmt die Verpackungsabhängigkeiten und stellt sicher, dass alle Werkzeuge, Bibliotheken und Frameworks miteinander kompatibel sind und reibungslos zusammenarbeiten.
6. Hardware-Kompatibilität: Es ist darauf ausgelegt, mit der Hardware der Maschine kompatibel zu sein und die Leistung der Werkzeuge und Frameworks zu optimieren
7. Vereinfachte Konfiguration: Traditionell kann das Einrichten von Machine-Learning-Umgebungen auf Arbeitsstationen komplex sein und schwer rückgängig gemacht werden. DSS geht dies an, indem es zugängliche, produktionsbereite, isolierte und reproduzierbare ML-Umgebungen bereitstellt, die die GPUs einer Arbeitsstation effizient nutzen.
8. GPU-Konfiguration: DSS vereinfacht die GPU-Konfiguration, indem es den GPU-Operator einbezieht, der die Einrichtung und Nutzung von GPUs für maschinelle Lernaufgaben verwaltet und deren Rechenleistung effektiv nutzt.

Insgesamt zielt DSS darauf ab, eine problemlose und optimierte Umgebung für Data Science und maschinelles Lernen bereitzustellen, sodass sich die Benutzer auf ihre Kernaufgaben konzentrieren können, anstatt sich um die technische Einrichtung und Wartung ihrer Werkzeuge zu kümmern.

Data Science Stack (DSS) in Ubuntu installieren

Um den Data Science Stack (DSS) für Machine Learning und Data Science zu verwenden, folgen Sie diesen Schritten, um Ihre Umgebung einzurichten:

Voraussetzungen

• Betriebssystem: Stellen Sie sicher, dass Sie Ubuntu 22.04 LTS oder Ubuntu 24.04 LTS auf Ihrem System installiert haben.
• Internetverbindung: Sie benötigen eine aktive Internetverbindung, um die erforderliche Software herunterzuladen und zu installieren.
• Snap: Stellen Sie sicher, dass Snap auf Ihrem System installiert ist, da es für die Installation von MicroK8s und DSS erforderlich ist.

Einrichten von MicroK8s

DSS verwendet MicroK8s als Container-Orchestrierungssystem, das es Arbeitslasten ermöglicht, auf die GPUs des Hosts zuzugreifen.

Um MicroK8s auf Ubuntu zu installieren, führen Sie Folgendes aus:

$ sudo snap install microk8s --channel 1.28/stable --classic

Als Nächstes aktivieren Sie die erforderlichen Dienste:

$ sudo microk8s enable storage dns rbac

Installation des DSS CLI

Der Data-Science-Stack wird über eine Kommandozeilenoberfläche (CLI) verwaltet.

Installieren Sie DSS CLI mit folgendem Befehl:

$ sudo snap install data-science-stack --channel latest/stable

Mit diesen abgeschlossenen Schritten haben Sie die grundlegenden Komponenten von DSS installiert und einsatzbereit. Sie können nun fortfahren, Ihre Machine-Learning-Umgebungen einzurichten und Ihre ersten Notebooks über die DSS-CLI auszuführen.

Erste Schritte mit dem Data-Science-Stack

Nach der Installation von MicroK8s und der DSS-CLI besteht der nächste Schritt darin, DSS auf MicroK8s zu initialisieren und MLflow für die Nutzung vorzubereiten.

Initialisierung von DSS und MLflow

Um DSS zu initialisieren, müssen Sie den Befehl dss initialize verwenden, der die notwendigen Ressourcen innerhalb des MicroK8s-Clusters einrichtet.

$ dss initialize --kubeconfig="$(sudo microk8s config)"

Das --kubeconfig-Flag wird verwendet, um den Pfad zur von MicroK8s generierten Kubernetes-Konfigurationsdatei anzugeben.

Der Befehl dss initialize kann einige Minuten dauern, bis er abgeschlossen ist. Während dieser Zeit zeigt die DSS-CLI Nachrichten an, die den Fortschritt der Bereitstellung anzeigen. Sie werden Nachrichten ähnlich den folgenden sehen:

[INFO] Waiting for deployment my-tensorflow-notebook in namespace dss to be ready...

Diese Nachricht zeigt an, dass DSS auf die Bereitstellung des TensorFlow-Notebooks wartet, um einsatzbereit zu sein. Seien Sie geduldig, während das System die Umgebung einrichtet und sicherstellt, dass alle Komponenten korrekt konfiguriert sind.

Sobald die Initialisierung abgeschlossen ist, sehen Sie eine Ausgabe wie unten:

[INFO] Executing initialize command
[INFO] Storing provided kubeconfig to /home/ostechnix/snap/data-science-stack/16/.dss/config
[INFO] Waiting for deployment mlflow in namespace dss to be ready...
[INFO] Deployment mlflow in namespace dss is ready
[INFO] DSS initialized. To create your first notebook run the command:

dss create

Examples:
  dss create my-notebook --image=pytorch
  dss create my-notebook --image=kubeflownotebookswg/jupyter-scipy:v1.8.0

Jetzt werden Sie bereit sein, den MLflow-Tracking-Server und andere von DSS bereitgestellte Komponenten zu verwenden.

Sie können dann fortfahren, Ihr erstes Machine-Learning-Notebook innerhalb der DSS-Umgebung zu erstellen und auszuführen.

Starten Ihres ersten Jupyter-Notebooks

Um Ihr erstes Jupyter-Notebook mit dem Data Science Stack (DSS) zu starten, müssen Sie den Befehl dss create verwenden, der es Ihnen ermöglicht, den Typ des Notebooks anzugeben, das Sie erstellen möchten.

Hier erstellen wir ein TensorFlow-Notebook mit dem Namen my-tensorflow-notebook mit CUDA-Unterstützung:

$ dss create my-tensorflow-notebook --image=kubeflownotebookswg/jupyter-tensorflow-cuda:v1.8.0

Nach erfolgreicher Erstellung des Notebooks sehen Sie eine Ausgabe wie unten:

[INFO] Executing create command
[INFO] Waiting for deployment my-tensorflow-notebook in namespace dss to be ready...
[INFO] Waiting for deployment my-tensorflow-notebook in namespace dss to be ready...
[INFO] Waiting for deployment my-tensorflow-notebook in namespace dss to be ready...
[INFO] Deployment my-tensorflow-notebook in namespace dss is ready
[INFO] Success: Notebook my-tensorflow-notebook created successfully.
[INFO] Access the notebook at http://10.152.183.253:80.

Sobald das Notebook fertig ist, zeigt der Befehl eine URL an, die Sie verwenden können, um auf die JupyterLab-Benutzeroberfläche zuzugreifen.

Um mit Ihrem Notebook zu arbeiten, öffnen Sie einen Webbrowser und geben Sie die bereitgestellte URL in die Adressleiste ein.

Wie Sie in der obigen Ausgabe sehen, können wir auf das neu erstellte Notebook unter http://10.152.183.253:80 von einem Webbrowser aus zugreifen. Ersetzen Sie die URL durch Ihre eigene.

Dies führt Sie zur JupyterLab-Oberfläche, wo Sie neue Notebooks erstellen, Daten hochladen und Ihre Aufgaben im maschinellen Lernen mit TensorFlow und CUDA beginnen können.

Denken Sie daran, dass die IP-Adresse und die Portnummer in der URL je nach Ihrer spezifischen Konfiguration variieren können.

Das ist es. Sie können nun beginnen, mit Ihrem Notebook zu interagieren.

DSS-Status anzeigen

Um den Status Ihrer Data Science Stack (DSS)-Umgebung schnell zu überprüfen, einschließlich des Status von MLflow und der Verfügbarkeit von GPU-Beschleunigung, können Sie den Befehl dss status wie unten verwenden.

$ dss status

Der dss status Befehl gibt Ihnen eine Zusammenfassung des aktuellen Zustands Ihrer DSS-Umgebung. Hier ist ein Beispiel dafür, wie die Ausgabe aussehen könnte:

[INFO] MLflow deployment: Ready
[INFO] MLflow URL: http://10.152.183.157:5000
[INFO] GPU acceleration: Disabled

Erklärung der Ausgabe:

• MLflow-Bereitstellung: Bereit bedeutet, dass der MLflow-Tracking-Server läuft.
• MLflow-URL bietet die URL, unter der Sie auf die MLflow-Benutzeroberfläche zugreifen können, um Ihre Experimente im Bereich maschinelles Lernen zu verfolgen.
• GPU-Beschleunigung: Deaktiviert zeigt, dass keine GPU verfügbar oder für die Nutzung in der aktuellen DSS-Umgebung konfiguriert ist.

Um dies zu überprüfen, öffnen Sie die MLflow-URL http://10.152.183.157:5000 in Ihrem Webbrowser.

Dies wird das MLflow-Dashboard in Ihrem Webbrowser öffnen.

Experimente-Tab im MLflow-Dashboard:

Da es unsere neue Installation ist, gibt es noch keine Experimente. Um ein Experiment zu erstellen, verwenden Sie die mlflow experiments CLI.

Modelle-Tab im MLflow-Dashboard:

Auflisten von DSS-Befehlen

Um die Liste der verfügbaren Befehle für den Data Science Stack (DSS) anzuzeigen, können Sie den dss-Befehl mit der --help-Option verwenden.

Führen Sie den folgenden Befehl in Ihrem Terminal aus:

$ dss --help

Dies wird eine Liste von Befehlen zusammen mit einer kurzen Beschreibung ihres Zwecks anzeigen.

Wenn Sie detailliertere Informationen zu einem bestimmten DSS-Befehl benötigen, können Sie den Befehl gefolgt von der Option --help verwenden.

Zum Beispiel, um Details über den Befehl initialize zu erhalten, würden Sie Folgendes ausführen:

$ dss logs --help

Entfernen des Data-Science-Stacks aus MicroK8s

Wenn Sie DSS nicht mehr benötigen, können Sie den Befehl dss purge verwenden, um den Data Science Stack aus Ihrem MicroK8s-Cluster zu entfernen.

Um DSS zu entfernen, führen Sie den folgenden Befehl in Ihrem Terminal aus:

$ dss purge

Dieser Befehl entfernt alle DSS-Komponenten vollständig, einschließlich Jupyter Notebooks, des MLflow-Servers und aller im DSS-Umfeld gespeicherten Daten.

Es ist wichtig zu beachten, dass diese Aktion irreversibel ist und alle Daten innerhalb der DSS-Umgebung dauerhaft verloren gehen. Stellen Sie sicher, dass Sie alle wichtigen Daten sichern, bevor Sie mit der Löschung fortfahren.

Entfernen Sie DSS CLI und MicroK8s

Während der Befehl dss purge die DSS-Komponenten aus dem MicroK8s-Cluster entfernt, entfernt er nicht die DSS-CLI oder den MicroK8s-Cluster selbst. Wenn Sie diese ebenfalls entfernen möchten, müssen Sie deren jeweilige Snaps löschen:

Um die DSS-CLI zu entfernen, verwenden Sie den folgenden Befehl:

$ sudo snap remove data-science-stack

Um MicroK8s zu entfernen, verwenden Sie den folgenden Befehl:

$ sudo snap remove microk8s

Wenn Sie diese Schritte befolgen, können Sie den Data Science Stack (DSS) und seine zugehörigen Komponenten vollständig von Ihrem System entfernen.

Häufig gestellte Fragen (FAQ)

F: Was ist der Data Science Stack (DSS)?

A: Der Data Science Stack (DSS) ist eine umfassende, sofort einsatzbereite Umgebung für maschinelles Lernen und Data Science. Er ist darauf ausgelegt, die Einrichtung und Verwaltung von Data-Science-Tools und -Frameworks zu vereinfachen, sodass sich die Benutzer auf ihre Kernaufgaben konzentrieren können, anstatt auf die Feinheiten der Konfigurationsumgebung.

F: Welche Werkzeuge sind in DSS enthalten?

A: DSS umfasst eine Vielzahl von Open-Source-Tools wie Jupyter Notebook, MLflow und beliebte Machine-Learning-Frameworks wie TensorFlow und PyTorch. Es bietet auch ein Container-Orchestrierungssystem, MicroK8s, zur Verwaltung von Workloads.

F: Wie installiere ich DSS?

A: Um DSS zu installieren, benötigen Sie Ubuntu 22.04 LTS oder Ubuntu 24.04 LTS, eine Internetverbindung und Snap. Dann können Sie MicroK8s und die DSS-CLI mit Snap-Befehlen installieren. Für detaillierte Anweisungen konsultieren Sie die offizielle Dokumentation oder das Installationshandbuch.

F: Wie starte ich ein Jupyter Notebook mit DSS?

A: Sie können ein Jupyter-Notebook mit DSS über den Befehl dss create starten, wobei Sie das gewünschte Image für Ihr Notebook angeben. Zum Beispiel, um ein TensorFlow-Notebook zu starten, würden Sie dss create my-tensorflow-notebook --image=kubeflownotebookswg/jupyter-tensorflow-cuda:v1.8.0 verwenden.

F: Was ist der Zweck des dss status-Befehls?

A: Der dss status-Befehl bietet einen schnellen Überblick über den aktuellen Zustand Ihrer DSS-Umgebung, einschließlich des Status von MLflow und der Verfügbarkeit der GPU-Beschleunigung. Er hilft Ihnen, zu überprüfen, dass alle Komponenten korrekt funktionieren.

F: Wie entferne ich DSS aus meiner Umgebung?

A: Um DSS zu entfernen, können Sie den Befehl dss purge verwenden, der alle DSS-Komponenten entfernt, einschließlich Jupyter-Notebooks und des MLflow-Servers. Beachten Sie, dass diese Aktion irreversibel ist und zum Verlust aller Daten innerhalb der DSS-Umgebung führt.

F: Wo kann ich mehr Informationen über DSS-Befehle finden?

A: Detaillierte Informationen zu DSS-Befehlen finden Sie, indem Sie den Befehl dss --help verwenden, um alle verfügbaren Befehle aufzulisten, und dss <Befehl> --help, um die detaillierte Verwendung eines bestimmten Befehls zu erhalten.

F: Ist DSS kostenlos nutzbar?

Ja, DSS basiert auf Open-Source-Tools und ist kostenlos nutzbar.

F: Ist DSS für Anfänger in der Datenwissenschaft geeignet?

A: Ja, DSS ist darauf ausgelegt, benutzerfreundlich zu sein, und kann ein großartiges Werkzeug für Anfänger sein, da es die Komplexität der Einrichtung einer Data-Science-Umgebung reduziert. Es bietet eine fertige und optimierte Umgebung, die es den Nutzern ermöglicht, schnell mit Data-Science-Projekten zu beginnen.

Fazit

Zusammenfassend vereinfacht der Data Science Stack (DSS) die Einrichtung für Data-Science-Aufgaben. Er stellt eine Sammlung von Werkzeugen zur Verfügung, die gut zusammenarbeiten und es einfacher machen, Projekte schnell zu starten.

Egal, ob Sie neu im Bereich Data Science sind oder erfahren, DSS hilft Ihnen, sich auf Ihre Arbeit zu konzentrieren, indem es die technische Einrichtung übernimmt. Es ist ein zuverlässiges Werkzeug, das effiziente Datenanalyse und Modellbildung unterstützt.

Ressource:

• Dokumentation des Data Science Stack (DSS)

Verwandte Lektüre:

• So installieren Sie Anaconda auf Linux
• So installieren Sie Miniconda unter Linux