Hallo Stefan, werde ich dann doch mal testen. Der Kurs ist auf jeden Fall schonmal sehr informativ und auch sehr gut verständlich.
Habe hier allerdings zum Ollama eine Frage, nach jeden Neustart des Server (habe den LLM-Server auf einem Proxmox als VM installiert und diesem die Grafikkarte durchgereicht) wird anstatt der GPU die CPU verwendet. Nach dem erneuten Befehl: curl -fsSL https://ollama.com/install.sh | sh läuft es dann wieder wie es soll über die GPU. Kann man das noch fix einstellen?
Das liegt möglicherweise am Passthrough. Hast du es als RAW Device durchgereicht?
Falls das nicht die Lösung war, erstell gern in der Gruppe “Lokale LLMs” ein neues Thema dazu. Ich habe es auf einem Server ebenfalls über Proxmox + VM mit Passthrough gemacht und hatte dieses Problem nicht.
Hallo Stefan, vielen Dank für die die schnelle Antwort. Ich stelle hierzu ein neues Thema. Vielen Dank schonmal. Gruß Thomas
Gibt es eigentlich noch andere Hardware-Alternativen? Ich denke da an ein Komplettsystem mit kleinem Gehäuse.
Ich hatte mir den Kurs gekauft weil ich weg von paperless-gpt wollte. Die Qualität von OCR via Vision LLMs ist nochmal besser, als die Qualität des paperless-ngx OCR. Ich habe zusammen mit Claude Code einen kleinen API Server erstellt, den man mit einem webhook an paperless-ngx anbinden kann und der dann das Dokument an ein LLM übergibt und den erkannten Text dann in dem Inhalt-Feld in Paperless-ngx abspeichert. Man kann den Prompt pro Dokumenttyp individuell gestalten, wenn man möchte. Ich habe das Projekt auf github zur Verfügung gestellt: GitHub - andreas071101/pl-llm-ocr: PDF to Markdown conversion service using a local vision LLM, with paperless-ngx webhook integration · GitHub
Hallo Zusammen,
in dem YouTube Beitrag zum Kurs gab’s auch die Info das ganze über einen europäischen Ki-Server ohne eigene Hardware zu beziehen.
was ist da konkret gemeint? Wird das im Kurs behandelt? Ich möchte keine eigene Hardware in der aktuellen Preisblase kaufen aber trotzdem einen sicheren privaten Zugang wenn möglich Datenschutz Konform aufbauen. Im Video wurde auch erwähnt das da die Tokenkosten günstiger wären. Was kann man sich darunter vorstellen.
für mein Szenario möchte ich vorrangig eine Verbindung zu Obsidian aber lokal. Dazu habe ich schon gute Erfahrungen mit Claude gemacht aber ich möchte das meine Daten bei mir sind. Für mein Verständnis brauche ich da auch nicht die besten Modelle aber die Möglichkeit für Kontext und auch in der CT gab’s da schon gute Erfahrungen.
Ist der Kurs dann für mich geeignet wenn ich derzeit keine Hardware zur Verfügung habe .
Viele Grüße
ich würde mich da jetzt erst einmal auf das versprochene Update zur Paperless-Masterclass freuen…
Eher nein.
Ist sowas gemeint? - GPU Server: Für Ihre KI- und Machine-Learning-Projekte
Scheint mir Kostenmäßig für nebenher bischen drüber.
Bin jetzt auf nen Laptopt mit AMD Ryzen 395+ und 128GB “RAM” gewechselt. Das ist sehr zufriedenstellend. Vielleicht so nen alten mac mini kaufen?