Anleitung: Paperless-GPT mit Ollama auf einem Desktop-Rechner unter WSL einrichten

[BoBBer446]

Anleitung: Paperless-GPT mit Ollama auf einem Desktop-Rechner unter WSL einrichten

1. Voraussetzungen

• Ein Desktop-PC mit NVIDIA-GPU
• WSL2 installiert (Windows Subsystem für Linux)
• Internetverbindung

---

2. Schritt-für-Schritt-Anleitung

1. WSL installieren

1. Öffne PowerShell als Administrator.
2. Installiere WSL2:

   wsl --install

3. Nach der Installation starte das System neu.

2. NVIDIA Container Toolkit installieren

1. Installiere die erforderlichen NVIDIA-Treiber:

   • Gehe auf die [NVIDIA-Treiber-Seite](https://www.nvidia.de/Download/index.aspx) und lade die aktuellen Treiber für deine GPU herunter.

2. Öffne die WSL-Distribution und folge der Anleitung auf [NVIDIA Container Toolkit Install Guide](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html).

   Kurzfassung für Ubuntu in WSL:

   distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
   curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
     sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
     sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update
   sudo apt-get install -y nvidia-container-toolkit
   sudo nvidia-ctk runtime configure --runtime=docker
   sudo systemctl restart docker

3. Docker installieren und Docker Desktop für WSL aktivieren

1. Installiere Docker:

   sudo apt update
   sudo apt install -y docker.io

2. Aktiviere Docker Desktop in WSL:
   • Installiere [Docker Desktop für Windows](https://www.docker.com/products/docker-desktop/).
   • Aktiviere in den Docker-Settings die Integration mit deiner WSL-Distribution.

4. Ollama in WSL installieren

1. Lade Ollama für Linux herunter:

   curl -fsSL https://ollama.com/install.sh | sh

2. Verifiziere die Installation:

   ollama --version

5. Modell mit Ollama herunterladen

1. Lade das Modell llama2 herunter:

   ollama pull llama2

2. Finde den Speicherort des Modells:

   ls -R /usr/share/ollama/.ollama/models

6. Docker Compose-Datei vorbereiten

1. Erstelle ein Verzeichnis für die Konfiguration:

   mkdir -p ~/docker-projects/paperless-gpt
   cd ~/docker-projects/paperless-gpt

2. Speichere die folgende docker-compose.yml:

   services:
     paperless-gpt:
       image: icereed/paperless-gpt:latest
       container_name: paperless-gpt
       pull_policy: always
       restart: always
       environment:
         PAPERLESS_BASE_URL: 'http://IP:PORT' #Von deinem Server. Homelab oder externer Server, ist eigentlich egal. Hauptsache du kommst ran.
         PAPERLESS_API_TOKEN: 'TOKEN'
         LLM_PROVIDER: 'ollama'
         LLM_MODEL: 'llama2'
         OLLAMA_HOST: 'http://ollama:11434' #Läuft im selben Stack im gleichen Netzwerk. Also kannst du den Service angeben
         LLM_LANGUAGE: 'German'
         LOG_LEVEL: 'info'
       volumes:
         - ./prompts:/app/prompts
       ports:
         - '8081:8080'
       depends_on:
         - ollama
       networks:
         - paperless-network
   
     ollama:
       image: ollama/ollama:latest
       container_name: ollama
       pull_policy: always
       restart: always
       environment:
         - OLLAMA_KEEP_ALIVE=24h
         - OLLAMA_HOST=0.0.0.0
       ports:
         - '11434:11434'
       volumes:
         - ./ollama_data:/root/.ollama
         - /usr/share/ollama/.ollama/models:/root/.ollama/models #Hier binden wir das auf dem Host befindliche Modell ein.
       deploy:
         resources:
           reservations:
             devices:
               - driver: nvidia
                 count: 1
                 capabilities: [gpu]
       networks:
         - paperless-network
   
   networks:
     paperless-network:
       external: true

7. Docker-Netzwerk erstellen

1. Erstelle das externe Netzwerk:

   docker network create paperless-network

8. Docker-Container starten

1. Starte die Dienste:

   docker-compose up -d

---

3. Hinweise

• Warum Ollama lokal installiert?
  Damit das Modell nur einmal heruntergeladen wird und beim Neustart des Containers nicht erneut heruntergeladen werden muss.

• GPU-Support prüfen:
  Teste den Zugriff auf die GPU im Container:

  docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi

• Logs prüfen:

  docker logs paperless-gpt
  docker logs ollama

Fertig! Dein Paperless-GPT-System ist nun bereit.

[BoBBer446]

Für OCR auf dem Host

ollama pull minicpm-v

ausführen.
Danach in der Compose File die ergänzenden Einträge machen:

      VISION_LLM_PROVIDER: 'ollama' # Optional für OCR
      VISION_LLM_MODEL: 'minicpm-v' # Optional für OCR

Danach den Stack neu starten:

docker compose down
docker compose up -d

Die Ergebnisse sind ziemlich gut. Kann man super mit arbeiten.
Mit einer 1050 TI dauert es aber alles relativ lange. Da geht's auf dem N100 zum Teil besser / schneller. Das Liegt aber an der Art wie paperless-ngx OCR anwendet und wie minicpm-v das macht.

Wer gute / bessere Ergebnisse möchte, braucht eben potente Hardware. Da lässt sich nichts dran rütteln.

[icereed]

Tolle Anleitung!!! Vielen lieben Dank! 🤗

[joerg-hermanns]

Danke für die Anleitung. Gibt es Erfahrungen wie performant sowas auf einer RTX 3060ti ist?
Ich hab hier son Ding rumliegen - vielleicht käme das dann mal wieder zum Einsatz ...

[BoBBer446]

Naja da meine 1050Ti deutlich Unterlegen ist in absolut allen Belangen gehe ich von einer passablen Leistung aus.

I h kann nachher mal die Zeit messen oder in den logs schauen aber für Titel und tags braucht es schon eine Weile. Allerdings auch nicht so lange das ich es nicht verwenden würde.

Auf meinen rp3 oder Homeland Servern mit reiner cpu n100 geht's z.b. auch aber da rödelt das Ding halt Tage von daher nicht zu verwenden.

Ich gehe davon aus das du eine gute Performance haben wirst.

[icereed]

Ich empfehle dazu auch noch das Ollama Modell phi4. Ist relativ neu und sehr effizient für seine 9 Gigabyte.