Masterclass "KI-Server"

Proxmox
1

Hallo zusammen,

ich habe auf ein paar HP Prodesk SFF einen Proxmox-Cluster am laufen.
Ich hatte damals von kleineren Mini-PCs auf diese umgestellt, weil ich in einen davon eine Nvidia A2 GPU einbauen wollte - geringer Strombedarf - passt rein - wenig Abwärme…
Das ist leider am BIOS von HP gescheitert, da hier Grafikkarten ohne Ausgang “weggepiept werden”

Jetzt überlege ich aktuell, mir einstweilen einen kleinen PC für obige Graka zusammen zustellen.
Mein Cluster mit PBS soll irgendwann mal in ein Rack umziehen. Jetzt muss man ehrlicherweise sagen dass DDR5 (ECC) Speicher aktuell preislich völlig fern ab vom Schuss ist…
Kann man abschätzen wieviel Perfomance-Einbußen man mit DDR4 RAM hat?

Vorteil wäre ich könnte die Hardware mit DDR4 ECC RAM später für einen PBS weiterverwenden.
Reingepackt hätte ich folgendes:

  • AMD Ryzen 5 PRO 5655G
  • ASUS Pro B550M-C/CSM
  • 16GB ECC RAM 2666
  • SSD / Netzteil / 19” Gehäuse

Vielleicht hat ja wer noch einen guten Einfall oder kann einen Schätzwert abgeben.

Was möchte ich damit machen? :

  • Paperless-”KI”
  • Anything LLM
  • n8n / openclaw
  • Danswer / Onyx

Beste Grüße

2

Wenn du wie im Titel angedeutet damit die KI-Masterclass durcharbeiten willst (und andere KI-Anwendungen nutzen möchtest), spricht absolut nichts gegen DDR4-RAM.

Für die reine Inferenz mit den LLMs verlierst du nahezu gar keine Leistung, weil hier ausschließlich mit dem VRAM gearbeitet wird.

Aus meiner Sicht also: Absolutes Go, einfach bauen und sich über „günstigen“ RAM freuen :wink:

3

Hört sich mach einem guten Plan an.

So aus Erfahrung braucht BGE-M3 und Tei-Ranker zusammen etwa 3,5-4 GB VRam. Zusätzlich dann eben noch das LLM.

Nicht am Vectormodell sparen. Kostet Nerven. Suchergebnisse werden deutlich besser mit Dense/Sparse/Multi-Vector.

Muss aber auch mal QWen 3 embedding testen.