Hallo Stefan, werde ich dann doch mal testen. Der Kurs ist auf jeden Fall schonmal sehr informativ und auch sehr gut verständlich.
Habe hier allerdings zum Ollama eine Frage, nach jeden Neustart des Server (habe den LLM-Server auf einem Proxmox als VM installiert und diesem die Grafikkarte durchgereicht) wird anstatt der GPU die CPU verwendet. Nach dem erneuten Befehl: curl -fsSL https://ollama.com/install.sh | sh läuft es dann wieder wie es soll über die GPU. Kann man das noch fix einstellen?
Das liegt möglicherweise am Passthrough. Hast du es als RAW Device durchgereicht?
Falls das nicht die Lösung war, erstell gern in der Gruppe “Lokale LLMs” ein neues Thema dazu. Ich habe es auf einem Server ebenfalls über Proxmox + VM mit Passthrough gemacht und hatte dieses Problem nicht.
Hallo Stefan, vielen Dank für die die schnelle Antwort. Ich stelle hierzu ein neues Thema. Vielen Dank schonmal. Gruß Thomas