[Hardware] Vorstellungen, Fragen, Tipps, Bemerkungen

[Tiramisu]

Muss das unbedingt so eine gute KI sein. Selbst 12 GB KIs sollten doch ganz ok sein zur Text-Extraktion.

[Frozen]

Für ganz simple Aufgaben kannst du auch Gemma4 12B oder Qwen 3.5 9B oder sowas nutzen, aber da habe ich schon einen ordentlichen Unterschied gemerkt, wenn die Sachen minimal komplexer wurden oder mit mehreren Dateien/Aufträgen zu tun hatten.

Dann ist die weitere Frage: Stellst du eine Quelle/ein File zur Verfügung, oder willst du einfach einen Projektordner zur Verfügung stellen und die KI soll aus diesen die gewünschten Daten extrahieren oder gar eine Internetrecherche oder beides oder oder ...

Mit 16GB kannst du auch mit Einschränkungen die größeren Modelle nutzen (Q3 Quantifizierung, quantifizierter Cache, geringer Kontext-Cache).

[Tiramisu]

Es können mehrere größere Files sein, aber bisher habe ich nicht so recht damit herumexperimentiert. Ich dachte mit klugem KI-Engineering könnte man auch mit kleinen Modellen ganz gut zurecht kommen. Da gibt es doch sicher gute Tricks, wie man z.B. mit einer kleinen Kontextlänge arbeiten kann.

[Frozen]

Tricks gibt es mehrere.
Wichtig dafür ist, dass die Modelle bereits für agentic work trainiert worden sind --> Modelle von vor 2026 kann man vergessen.
Von Qwen 3.5 auf Qwen 3.6 und jetzt auch zu Qwen 3.8 war ein gewaltiger Sprung in agentic work.
Dadurch sind die Modelle relativ zuverlässig dabei zum Beispiel mittels grep oder Ähnlichem Files zu durchsuchen und dann genau die Treffer zu lesen und nicht das komplette file.

Du kannst Skills oder workflows definieren, wo du der KI eine Arbeitsweise vorgibst.

Das Problem:
Qwen 3.5-9B ist noch eine Qwen 3.5 Reihe, also darauf nicht spezialisiert. Eine Zusammenfassung oder so eines langen Files schreibt es dir aber problemlos.
Gemma4 12b hat mit agentic work leider etwas Probleme

Da müsste man ausprobieren ob eines der beiden Modelle mit Q4 und mehr Kontext
oder Qwen 3.8-27B oder Agent World in ~Q3, Q4 KV Cache, 1-2 Layer auf der CPU und dann die Kontextsize maximieren besser ist.


Meine Erfahrung war, dass Qwen 3.5 35B-A3B für komplexe Suche innerhalb eines Folders mit Abgleichen von anderen Arbeiten und dann darauf reagieren immer wieder Fehler machte.
Qwen AgentWorld ging meistens.
Qwen 3.6 27B hat mich bei sowas eigentlich fast nie im Stich gelassen.