Rechnerberatung, die einundelfzigste...

[Frozen]

Außerhalb von high end (Sprich: X3D Varianten) ist auch Intel gerade bzgl. Preis Leistung top, z.B:
Core Ultra 5 250K Plus

Da sollte dann auch Energieverbrauch und co. gefixt sein gegenüber den älteren Generationen.

[gruenmuckel]

ist aber immer noch dieser Big/little-Mist

[GraAingeal]

Diese beiden Punkte beißen sich allerdings, vielleicht wesentlich. Mit nur 16 MB L3-Cache ist der 8700F noch ein gutes Stück langsamer als der 7700 ohne X. Der 9800X3D hingegen ist in Spielen grob 33% schneller als der 7700X. Relativ zum 8700F also grob 50% schneller. Für in diesem Fall 243 Euro Mehrpreis erkaufst du dir also Mehrleistung, die 3 bis 6 zusätzliche Jahre reicht. Es hat schon seinen Grund, weshalb X3D den direkten Endkundenmarkt dominiert.

Braucht halt fast doppelt so viel Strom. Sollte sich aber trotzdem lohnen, oder?


Noch eine andere Frage. die 9070XT habe ich seit Ende November, die alte Karte, die ich davor verwendet habe, habe ich noch immer. Und zwar die 5700XT. Kann ich die zusammen verwenden oder müssten es wenn dann zwei 9070XT sein?

[justanick]

Braucht halt fast doppelt so viel Strom. Sollte sich aber trotzdem lohnen, oder?

Relativ zur Rechenleistung sollte der Mehrverbauch der CPU eher moderat sein. Aber wenn die GPU dadurch besser ausgelastet wird, wird die natürlich mehr Strom verbrauchen. Wenn GPU und CPU sich weniger langweilen, dann verbrauchen sie mehr, weil sie mehr leisten.

Noch eine andere Frage. die 9070XT habe ich seit Ende November, die alte Karte, die ich davor verwendet habe, habe ich noch immer. Und zwar die 5700XT. Kann ich die zusammen verwenden oder müssten es wenn dann zwei 9070XT sein?

Was meinst du mit zusammen verwenden? 2 gleiche GPUs mit Crossfire zu verbinden ist schon lange nicht mehr üblich.

https://de.wikipedia.org/wiki/AMD_Crossfire

[GraAingeal]

Was meinst du mit zusammen verwenden? 2 gleiche GPUs mit Crossfire zu verbinden ist schon lange nicht mehr üblich.

Also geht mir genau genommen darum sie zu zusammen für lokale KI zu verwenden, mehr VRam würde da halt deutlich helfen. Ich kenne mich nicht damit aus mehrere GPUs in einem PC zu verwenden, habe das noch nie gemacht.
Aber wenn ich das jetzt richtig gelesen habe, dann geht das sowieso nicht mit der 9070XT.

[Frozen]

Noch eine andere Frage. die 9070XT habe ich seit Ende November, die alte Karte, die ich davor verwendet habe, habe ich noch immer. Und zwar die 5700XT. Kann ich die zusammen verwenden oder müssten es wenn dann zwei 9070XT sein?

Wenn du nachfragen musst, dann "Nein".

Es gibt ein paar Programme/Situationen, fast ausschließlich außerhalb von gaming, wo dies funktionieren könnte.
Aber da sind dann die Generationen soweit auseinander, dass es mit der Kompatibilität des Programmes mit einer ROCm Version in aller Regel nichts werden wird.

[Frozen]

Also geht mir genau genommen darum sie zu zusammen für lokale KI zu verwenden, mehr VRam würde da halt deutlich helfen. Ich kenne mich nicht damit aus mehrere GPUs in einem PC zu verwenden, habe das noch nie gemacht.
Aber wenn ich das jetzt richtig gelesen habe, dann geht das sowieso nicht mit der 9070XT.

Lokale KI wäre ein Anwendungsfall, wo sowas sogar gehen könnte/würde,
hier müsste man checken, ob zum Beispiel lamacpp die alte GPU supported:
https://github.com/lemonade-sdk/llam...ported-devices

Hier wird leider ab RDNA2 gelisted, deine alte GPU wäre RDNA1.
Das wäre so die Standardbibliothek/Backend für Windows und Einsteiger lokale KI.

Gut möglich, dass es da noch irgendeine Implementierung gibt, die mit beiden gleichzeitig arbeiten kann, da müsste man aber erstmal genauer schauen.
Für Linux gäbe es etwas:
https://github.com/myusername68/ollama-rdna1
Hier wird quasi llamacpp mit Vulkan gebaut.

Ob es dann aber im Zusammenspiel mit der neuen GPU schneller wird oder an sich stabil läuft, ist unsicher, den Speicher würde es aber auf jeden Fall erhöhen.

€: Hir wäre die Anleitung für llamca.cpp mit Vulkan:
https://github.com/ggml-org/llama.cp...uild.md#vulkan

[GraAingeal]

Ich verwende llamacpp über einen Docker container auf Linux mit dem llama.cpp:server image. Kann sein, dass das llama.cpp:server-vulkan war, ich kann das jetzt nicht nachsehen, aber das ging eben auch mit der 5700XT.
Laut dem müsste es gehen: https://github.com/ggml-org/llama.cp...s/multi-gpu.md

Aber du meinst, dass es nicht unbedingt schneller läuft?

Ich denke gerade darüber nach weil ich ja ein neues Netzteil kaufen sollte. Wenn ich die zwei GPUs verwenden möchte, dann brauche ich natürlich ein Netzteil das beide versorgen kann.
Ist halt die Frage ob ich dann so ein starkes Netzteil kaufen will wenn das dann vielleicht gar nicht viel besser funktioniert...

[Frozen]

Für eine fundierte Antwort bräuchte ich mehr Informationen bzw. müsste man es letztendlich auch einfach testen, was ich aber nicht kann.

Ob es schneller läuft, ist schwierig vorher zu sagen. Die 9070 XT sollte mit aktuellem ROCM 7 kompatibel sein, das wäre für single GPU die bevorzugte, stabilste und vermutlich schnellste Variante.
Was genau im Docker Container läuft, wird hieraus nicht ersichtlich:
https://github.com/ggml-org/llama.cp...docs/docker.md

Es gibt TheRock und mehr, was evtl. laufen könnte, offizieller support ist bis RDNA2:
https://github.com/ROCm/TheRock/blob/main/RELEASES.md
Sollte aber auch mit RDNA1 funktionieren:
https://github.com/ROCm/TheRock/blob...PORTED_GPUS.md

Über Performance und Stabilität kann ich dir nur etwas zu CDNA X sagen.

Das könnte alles relativ problemlos funktionieren, entweder mit Vulkan API und Docker (wäre aber vermutlich etwas langsamer) oder falls Docker mit beiden GPUs native läuft über TheRock/ROCm.
Ich weiß aber nicht, wie viel Erfahrung du damit hast und in wie weit du es selbst fixen kannst, wenn es nicht native geht.
Normalerweise sind Memory Bandwidth der limiterende Faktor bzgl. Geschwindigkeit bei LLMs Inferenz (Bei Bild/Video-Generierung sieht das wieder anders aus), Speicher für das Laden der Modelle und je nach Split Kommunikation über PCIe.

Nicht wirklich relevant, aber zur Vollständigkeit:
Dein Mainboard wird nicht beide GPUs mit voller Bandbreite anschließen können, sondern auf 8 lanes zurückfallen, das sollte aber in vielen Bereichen nichts oder wenig ausmachen.

Wenn du bereits auf Linux bist, dann wäre vLLM evtl. die bessere Variante, je nach Anwendungsfall:
https://docs.vllm.ai/en/latest/

24GB Videospeicher würden dir zumindest erlauben einigermaßen sinnvoll Gemma4 31b und Qwen 3.6 27b etc. laufen zu lassen, was schon ein ordentlicher Gewinn wäre, Stand heute.

[GraAingeal]

Also, auf meine Fähigkeit das zu fixen würde ich mich jetzt erstmal nicht verlassen.
Ich habe zwar meine 5700XT vor ein paar Jahren mit Stable Diffusion web-ui von automatic zum Laufen gebracht obwohl sie nicht unterstützt wird, habe aber eine Weile dafür gebraucht...
Wobei das Hauptproblem hier eher die ganzen dependencies im Docker Container waren.

Ich habe geschaut wegen dem Netzteil und habe mir den hier ausgesucht: be quiet! Pure Power 13 M 1000W ATX 3.1
Der kostet nicht viel mehr als die 850w Variante. Würde das reichen mit beiden GPUs?

Das wäre der ganze neue PC wenn ich beide GPUs drinnen hätte: https://pcpartpicker.com/list/TdJ8H3
Die Seite sagt dass das insgesamt 840w brauchen würde.

Vom Hersteller wird für die 9070XT ein Netzteil von mindestens 750w empfohlen und für die 5700XT ein Netzteil von 650w.

[Frozen]

1000w Markennetzteil sollte ausreichen,
im Notfall kannst du die 5070 XT auch runtertakten, das kostet kaum Performance, reduziert aber den Stromverbrauch (Bandbreite bliebt identisch und ist entscheidend für AI LLM Inferenz, Stable Diffusion kann wieder anders aussehen).

Der 9800X3D reizt das thermal limit per Design aus, wenn du da nicht irgendwie rumoptimieren willst, empfehle ich einen guten Lüfter, der auch ohne voll aufzudrehen die CPU kühlt.

Dein Ram scheint mir überteuert. 6400er DDR5 ist der sweetspot für Zen5, das hat man unübertaktet bei den Server CPUs, sollte also stabil mit aktuellem Mainboard laufen.
Die Timings/Latenzen sind bei einem X3D nicht so relevant, als dass ich dafür einen großen Aufpreis zahlen würde. 6400 würde ich aber mitnehmen, falls du 1-3 Layer bei LLMs auf die CPU auslagerst, macht sich die zusätzliche Bandbreite bemerkbar, die Timings aber nicht.

[justanick]

Dein Ram scheint mir überteuert. 6400er DDR5 ist der sweetspot für Zen5, das hat man unübertaktet bei den Server CPUs, sollte also stabil mit aktuellem Mainboard laufen.
Die Timings/Latenzen sind bei einem X3D nicht so relevant, als dass ich dafür einen großen Aufpreis zahlen würde. 6400 würde ich aber mitnehmen, falls du 1-3 Layer bei LLMs auf die CPU auslagerst, macht sich die zusätzliche Bandbreite bemerkbar, die Timings aber nicht.

Es kann sinnvoll sein, nur bis 6000 hoch zu gehen. Das ist im Zweifelsfall noch stabil. 6400 sind es wahrwahrscheinlich auch, aber ob das beispielsweise 7 Jahre später noch ist, ist ungewiss. Bis etwa 6400 sind IF und Speicher im 1:1 Betrieb. Das ist gut für die Leistung, erhöht aber auch den Stromverbrauch.