Die besten Grafikkarten für lokale KI 2026 — gebraucht vs. neu

Lokale KI-Modelle wie Llama, Mistral oder Qwen laufen heute zuverlässig auf dem eigenen Rechner. Der wichtigste Faktor ist dabei nicht die Prozessorleistung, sondern der Grafikspeicher (VRAM). In diesem Artikel erkläre ich, worauf es ankommt, und vergleiche vier Grafikkarten, die 2026 das beste Preis-Leistungs-Verhältnis für lokale KI bieten.

Warum VRAM entscheidet

Ein Sprachmodell muss vollständig in den Grafikspeicher passen, damit es ohne Auslagerung läuft. Als Faustregel gilt: Ein 7B-Modell belegt in 8-Bit-Quantisierung rund 7 bis 8 GB, ein 13B-Modell etwa 13 bis 14 GB, ein 27B-Modell 27 bis 28 GB und ein 70B-Modell gut 70 GB. Wer mit 4-Bit-Quantisierung arbeitet, kommt mit etwas weniger aus, verliert aber minimal an Qualität.

Dazu kommt ein Puffer für den Kontext — die Textmenge, die das Modell gleichzeitig verarbeitet — und für das Betriebssystem. Als grobe Richtschnur: Plane mindestens 2 bis 4 GB zusätzlich ein.

Die vier Kandidaten im Überblick

• GTX 1080 Ti (11 GB) — der Klassiker. Für rund 150 bis 200 Euro gebraucht erhältlich, aber ohne moderne Tensor-Kerne und ineffizient bei größeren Modellen.
• RTX 3060 12 GB — der beliebteste Einstieg. Gebraucht etwa 200 bis 250 Euro, neu rund 280 bis 320 Euro. 12 GB VRAM bei niedrigem Stromverbrauch.
• RTX 3090 (24 GB) — das Arbeitstier für größere Modelle. Gebraucht etwa 550 bis 700 Euro, neu nicht mehr sinnvoll erhältlich.
• RX 6900 XT (16 GB) — die AMD-Alternative. Gebraucht rund 350 bis 450 Euro, aber die Software-Unterstützung (ROCm) ist unter Windows noch holprig.

Gebraucht oder neu — was lohnt sich?

Bei Grafikkarten für lokale KI ist der Gebrauchtmarkt oft die bessere Wahl. Der Grund: KI-Lasten beanspruchen die Karte anders als Gaming — langsame, konstante Auslastung statt kurzer Spitzen. Das schont die Hardware. Trotzdem gelten ein paar Regeln:

• Kaufe nur bei Händlern mit Rückgaberecht oder nach einem Funktionstest.
• Prüfe die Kühlung: Drei Lüfter halten eine RTX 3090 deutlich kühler als ein Referenzdesign.
• Achte bei der RTX 3090 auf die Speichertemperatur — die GDDR6X-Chips auf der Rückseite wurden bei den ersten Revisionen heiß.
• Neuware lohnt sich vor allem bei der RTX 3060, weil hier Garantie und niedriger Preis zusammenkommen.

Welche Karte für welches Modell?

• 7B-Modelle (z. B. Mistral 7B, Llama 3.1 8B): Eine RTX 3060 mit 12 GB reicht völlig aus. Auch die GTX 1080 Ti kommt zurecht, ist aber langsamer.
• 13B-Modelle (z. B. Llama 2 13B): Hier brauchst du mindestens 12 GB, komfortabler sind 16 GB. Die RX 6900 XT ist theoretisch geeignet, die RTX 3090 ist die sorgenfreie Wahl.
• 27B-Modelle (z. B. Gemma 2 27B): Mindestens 24 GB VRAM. Nur die RTX 3090 schafft das in dieser Liste ohne Auslagerung.
• 70B-Modelle (z. B. Llama 3 70B): Eine einzelne Karte reicht nicht. Du brauchst zwei RTX 3090 oder ein System mit mindestens 64 bis 96 GB VRAM — das sprengt den Rahmen dieses Vergleichs.

Ehrliche Empfehlung für Einsteiger

Wenn du gerade anfängst und lokale KI ohne Frust ausprobieren willst, kaufe eine gebrauchte RTX 3060 mit 12 GB. Sie ist günstig, sparsam, wird von allen gängigen Frameworks (llama.cpp, Ollama, LM Studio) sofort unterstützt und reicht für alle 7B- und viele 13B-Modelle. Erst wenn du regelmäßig 13B- oder 27B-Modelle nutzt, lohnt der Aufstieg auf eine RTX 3090.

Die RTX 3090 bleibt 2026 die einzige Karte in diesem Vergleich, die 24 GB VRAM zu einem vertretbaren Preis bietet — ideal für alle, die größere Modelle lokal betreiben wollen. Die RX 6900 XT ist preislich verlockend, aber unter Windows nur für Nutzer mit Geduld und technischem Verständnis zu empfehlen. Die GTX 1080 Ti ist 2026 nur noch etwas für absolute Minimalisten, die ausschließlich kleine Modelle mit llama.cpp nutzen.

Hinweis: Alle Preise sind Richtwerte (Stand Anfang 2026) und können je nach Marktlage schwanken. Affiliate-Links sind in diesem Artikel nicht enthalten.