Power-PC auf Dope: Dr. Dopes neuer Ryzen-Rechner

[Frozen]

Ich überlege ja 128 GB Ram zu holen bzw. meine 64 GB auf 128 GB aufzuwerten und dazu eine RTX 6000 Pro Blackwell mit 96 GB Speicher (dafür die 128 GB Hauptspeicher ...)
Aber die Preise sind erst jetzt von ~8k auf ~10k gestiegen für die GPU und der RAM macht auch kein Spaß ...
Da bin ich dann doch raus, so 8k€ für Beides wäre gerade für mich vertretbar.

[Fonte Randa]

*hust*

[xAn]

Spendenaufruf für Frozen.

[Frozen]

Ich würde gerne so Modelle wie:

https://huggingface.co/Qwen/Qwen3-Coder-Next-GGUF
Lokal sinnvoll hosten können, da braucht es VRAM und Speicherbandbreite

Gibt einige spannende Modelle, die ich bereits mit 24 GB VRAM laufen lassen kann (Qwen Image Edit, oder Mistral 24B, etc.),
einige Spannende, die man mit 96 GB VRAM nutzen könnte (Qwen3 Coder Next oder allg. die meisten Modelle bis ~120B),
und natürlich genügend, die man auch damit nicht lokal nutzen kann oder nicht frei verfügbar sind.

[drdope]

Schau auch mal abseits von PCs in Richtung Apple Mac Studios, da kommt bald was neues (M5 Ultra).
Durch den „unified Memory“-Ansatz, hast du viel mehr schnelles „VRAM“ verfügbar, als es mit klassischen PC-Setups aktuell geht.

[Frozen]

Mit Mac, Digits oder den AMD Halo Sachen hat man das einigermaßen, das ist schon korrekt, aber die Bandbreite ist trotzdem eher so lala ...

Beispiel: Nvidia DGX-Sparks hat 273 GB/s Speicherbandbreite, eine 5090 hat über 1700GB/s, der Apple M5 153.6 GB.
Und die Teile kosten auch alle nicht wenig.

Heißt: Ich kann mit denen größere Modelle nutzen, bin dann aber so langsam, dass ich es evtl. gar nicht mehr will
Wäre RAM billiger (letztes Jahr) hätte man sich auch einfach ein Threadripper holen können mit 8 memory Channels, damit hat man grob die 4x Geschwindigkeit und Ram wie auf einem normalen Desktop,
da gehen dann auch easy 32*8=256 GB RAM.
Aber der Speicher kostet heute ja ein Vermögen

Und im Gegensatz zu Gaming macht es da sehr wohl etwas aus, ob ich 6400er oder 5600er nehme

[Shakka]

Der M2 Ultra kommt auf 800GB/s. Der M5 Ultra wird deutlich mehr erreichen.

Für (persönlichen Einsatz von) LLMs sind die Teile sehr brauchbar. Wenn es um Bildgeneration geht ist die Performance aber weit hinter großen Grafikkarten. Da fehlen dann auch die Ausführungseinheiten.