BrillianzeHomelab
Vergleich
BsN-Ochsenkopf in Schwarz-Rot-Gold mit goldenem C

llama.cpp RPC: mehrere GPUs auf mehreren Hosts

Zwei Grafikkarten im selben Rechner und zwei Rechner mit je einer Grafikkarte sind unterschiedliche Probleme. Für lokale Mehrkarten-Systeme dokumentiert llama.cpp mehrere Split-Modi; layer ist dort die voreingestellte Verteilung auf zusammenhängende Schichten.[1] Über Rechnergrenzen hinweg gibt es stattdessen das RPC-Backend: Ein Hauptprozess verbindet sich mit ggml-rpc-server auf entfernten Hosts.[2] Das ist eine experimentelle technische Option, keine pauschale Empfehlung für jedes Heimnetz.

Wann RPC überhaupt sinnvoll sein kann

Der mögliche Nutzen liegt im gemeinsamen Zugriff auf Geräte, wenn ein Modell nicht bequem auf einem einzelnen Host unterzubringen ist. Die RPC-Dokumentation sagt, dass der Server standardmäßig vorhandene Beschleuniger eines Hosts verfügbar macht; ohne Beschleuniger wird ein CPU-Gerät angeboten. Der Hauptprozess kann lokale und entfernte Geräte verwenden und verteilt Modellgewichte sowie KV-Cache standardmäßig nach verfügbarem Gerätespeicher.[2] Das ist keine einfache Addition aller VRAM-Angaben zu einer einzigen virtuellen Karte. Verteilung erzeugt Datenverkehr und erhöht die Zahl möglicher Ausfälle.

Bevor du einen zweiten Host einplanst, prüfe den einfacheren Weg: eine einzelne passende GPU oder mehrere GPUs im selben Host. Bei lokaler Mehrkarten-Nutzung erklärt der Projektleitfaden, dass die Verbindungsbandbreite den Effekt beeinflusst und eine zweite GPU die Leistung sogar verschlechtern kann.[1] Für verteilte Hosts kommt das Netzwerk hinzu. Ohne eigene Messung ist daher weder ein Geschwindigkeitsgewinn noch eine bestimmte Tokengeschwindigkeit seriös zu versprechen.

Sicherheitsgrenze ist keine Nebensache

Die Projekt-Dokumentation bezeichnet RPC ausdrücklich als Proof of Concept, fragil und unsicher; sie warnt davor, den RPC-Server in einem offenen Netzwerk oder einer sensiblen Umgebung zu betreiben.[2] Ein offener RPC-Port im Heimnetz ist deshalb nicht schon durch das Wort „lokal“ abgesichert. Für Geräte mit vertraulichen Modellen oder fremden Nutzern ist ein produktiver Einsatz unter dieser Warnung nicht angemessen. Selbst in einem isolierten Testnetz solltest du Zugriffe einschränken und keine Portfreigabe ins Internet vornehmen.

Das Backend muss laut Anleitung auf Haupt- und Remote-Host beim Bau aktiviert sein. Der Hauptprozess erhält die Adressen der Remote-Server über --rpc; die Dokumentation zeigt auch mehrere Endpunkte in einer Liste.[2] Diese Angaben sind Orientierung für einen Laboraufbau, keine blind zu übernehmende Konfiguration. Prüfe Versionsstand, Geräte-Backend und Erreichbarkeit separat, bevor ein echtes Modell geladen wird.

Prüfschritte vor jeder Bewertung

Inventarisiere zuerst die auf jedem Host tatsächlich erkannten Geräte und den freien Speicher. Vergleiche danach einen Einzelhost-Lauf mit einem isolierten RPC-Test bei identischem Modell, Kontext und Aufgaben. Halte Modell-Ladephase und eigentliche Antwortphase getrennt fest. Laut RPC-Dokumentation kann ein lokaler Cache große Tensoren vorhalten und Netzübertragungen beim wiederholten Laden verringern; das ändert jedoch nichts an der grundsätzlichen RPC-Sicherheitswarnung.[2]

Wenn der entfernte Host ausfällt, prüfe, ob die Anwendung einen klaren Fehler meldet und ob sich der Einzelhost-Betrieb wiederherstellen lässt. Miss Netzwerkbelastung und Ausgabekorrektheit selbst, statt Benchmarkzahlen Dritter zu übernehmen. Die Entscheidungsfrage bleibt: Ist die zusätzliche Komplexität für dein konkretes Modell notwendig, oder löst bereits eine lokale Schichtverteilung das Speicherproblem? Ein Test im isolierten Labor kann diese Frage beantworten; eine ungeschützte Dauerinstallation nicht.

Quellen

  1. llama.cpp: lokale Multi-GPU-Modi
  2. llama.cpp: RPC-Backend und Sicherheitswarnung