Paperless Upload - Bug?

[scofield]

Hallo,
folgendes ist mir beim Dokumentenupload aufgefallen:
Die Dokumente verschwinden auf der Startseite erst beim Aktualisieren der Seite, bis dahin schaut es so aus:

In der Rubrik „Dateiaufgaben“ werden die Dokumente jedoch als abschlossen angezeigt, eine weitere Verarbeitung (Hinzufügen von Tags etc.) ist ebenfalls problemlos möglich.

Dies betrifft sowohl den Upload mittels „Dateien auswählen“, also auch beim Upload via Drag&Drop. Paperless läuft in der aktuellen Version 2.13.5. Ist dies ein (bekannter) Bug oder eine falsche Einstellung?

[scofield]

Ein Bug in der aktuellen Version 2.13.5 scheint es nicht zu sein, da das Problem auch unter 2.13.2 auftritt.

Hat noch jemand eine Idee ob es an einer fehlerhaften Konfiguration liegen könnte?

[Jake]

Hi,

Was steht denn in der LOG Datei?
Für die Jungs die sich damit auskennen.

[scofield]

Klar, in das Logfile könnte man auch schauen

Fehlermeldungen erscheinen auf den ersten Blick nicht. Auch einen anderen Browser habe ich bereits getestet, das Verhalten ist in Edge sowie Firefox identisch.

[2024-11-23 09:26:25,169] [DEBUG] [paperless.tasks] Skipping plugin CollatePlugin
[2024-11-23 09:26:25,169] [DEBUG] [paperless.tasks] Executing plugin BarcodePlugin
[2024-11-23 09:26:25,169] [DEBUG] [paperless.barcodes] Scanning for barcodes using PYZBAR
[2024-11-23 09:26:25,171] [DEBUG] [paperless.barcodes] PDF has 1 pages
[2024-11-23 09:26:25,171] [DEBUG] [paperless.barcodes] Processing page 0
[2024-11-23 09:26:25,320] [DEBUG] [paperless.barcodes] Image is at /tmp/paperless/tmpr6tkjdc5/barcoder2ufmdnr/39e1bcf1-466b-4f8e-9781-456f781ecd69-1.ppm
[2024-11-23 09:26:25,546] [INFO] [paperless.tasks] BarcodePlugin completed with no message
[2024-11-23 09:26:25,547] [DEBUG] [paperless.tasks] Executing plugin WorkflowTriggerPlugin
[2024-11-23 09:26:25,585] [INFO] [paperless.matching] Document did not match Workflow: Import
[2024-11-23 09:26:25,585] [DEBUG] [paperless.matching] ("Document source ApiUpload not in ['ConsumeFolder']",)
[2024-11-23 09:26:25,585] [INFO] [paperless.tasks] WorkflowTriggerPlugin completed with:
[2024-11-23 09:26:25,585] [DEBUG] [paperless.tasks] Executing plugin ConsumeTaskPlugin
[2024-11-23 09:26:25,593] [INFO] [paperless.consumer] Consuming HRM.pdf
[2024-11-23 09:26:25,594] [DEBUG] [paperless.consumer] Detected mime type: application/pdf
[2024-11-23 09:26:25,602] [DEBUG] [paperless.consumer] Parser: RasterisedDocumentParser
[2024-11-23 09:26:25,605] [DEBUG] [paperless.consumer] Parsing HRM.pdf...
[2024-11-23 09:26:25,617] [INFO] [paperless.parsing.tesseract] pdftotext exited 0
[2024-11-23 09:26:25,777] [DEBUG] [paperless.parsing.tesseract] Calling OCRmyPDF with args: {'input_file': PosixPath('/tmp/paperless/paperless-ngxzudhee20/HRM.pdf'), 'output_file': PosixPath('/tmp/paperless/paperless-ek96mn7h/archive.pdf'), 'use_threads': True, 'jobs': 4, 'language': 'deu', 'output_type': 'pdf', 'progress_bar': False, 'skip_text': True, 'clean': True, 'deskew': True, 'rotate_pages': True, 'rotate_pages_threshold': 12.0, 'pages': '1-1'}
[2024-11-23 09:26:25,915] [WARNING] [ocrmypdf._pipeline] This PDF is marked as a Tagged PDF. This often indicates that the PDF was generated from an office document and does not need OCR. PDF pages processed by OCRmyPDF may not be tagged correctly.
[2024-11-23 09:26:25,916] [INFO] [ocrmypdf._pipeline] skipping all processing on this page
[2024-11-23 09:26:25,923] [INFO] [ocrmypdf._pipelines.ocr] Postprocessing...
[2024-11-23 09:26:25,994] [INFO] [ocrmypdf._pipeline] Image optimization ratio: 1.00 savings: 0.0%
[2024-11-23 09:26:25,995] [INFO] [ocrmypdf._pipeline] Total file size ratio: 1.03 savings: 2.9%
[2024-11-23 09:26:26,023] [INFO] [paperless.parsing.tesseract] pdftotext exited 0
[2024-11-23 09:26:26,024] [DEBUG] [paperless.consumer] Generating thumbnail for HRM.pdf...
[2024-11-23 09:26:26,027] [DEBUG] [paperless.parsing] Execute: convert -density 300 -scale 500x5000> -alpha remove -strip -auto-orient -define pdf:use-cropbox=true /tmp/paperless/paperless-ek96mn7h/archive.pdf[0] /tmp/paperless/paperless-ek96mn7h/convert.webp
[2024-11-23 09:26:26,898] [INFO] [paperless.parsing] convert exited 0
[2024-11-23 09:26:26,923] [DEBUG] [paperless.consumer] Saving record to database
[2024-11-23 09:26:26,924] [DEBUG] [paperless.consumer] Creation date from st_mtime: 2024-11-23 09:26:25+01:00
[2024-11-23 09:26:27,060] [INFO] [paperless.matching] Document matched WorkflowTrigger 1 from Workflow: Benutzer xxx
[2024-11-23 09:26:27,060] [INFO] [paperless.handlers] Applying WorkflowAction 1 from Workflow: Benutzer xxx
[2024-11-23 09:26:27,125] [DEBUG] [paperless.consumer] Deleting file /tmp/paperless/paperless-ngxzudhee20/HRM.pdf
[2024-11-23 09:26:27,160] [DEBUG] [paperless.parsing.tesseract] Deleting directory /tmp/paperless/paperless-ek96mn7h
[2024-11-23 09:26:27,161] [INFO] [paperless.consumer] Document 2024-11-23 HRM consumption finished
[2024-11-23 09:26:27,166] [INFO] [paperless.tasks] ConsumeTaskPlugin completed with: Success. New document id 639 created

[Stefan]

Sieht für mich eher nach einem Berechtigungs-Problem aus. Bist du Admin?
Wenn nein, melde dich mal als Admin an und schaue, ob du das Dokument jetzt siehst.

[scofield]

Hallo Stefan,
ja, als Admin bin ich angemeldet. Die hochgeladenen Dokumente werden mir auch korrekt angezeigt, es bleibt jedoch auf der Startseite bei folgender Anzeige:

@scofield

Die Dokumente verschwinden auf der Startseite erst beim Aktualisieren der Seite, bis dahin schaut es so aus:

Hast du noch eine Idee woran das liegen könnte?

[scofield]

Nun möchte ich nochmal kurz einen Beitrag schreiben um zu verhindern, dass der Thread geschlossen wird.
Ein deaktivieren der Plugins (Tika/ Gotenberg) sowie das Testen verschiedener älterer Paperless-Versionen brachte keine Änderung.

Gibt es noch Ideen @Stefan wo der Fehler zu suchen ist?

[Stefan]

Nach welcher Anleitung hast du denn paperless-ngx installiert? Masterclass oder das Konfigurationsprofil aus dem Shop?

[scofield]

Natürlich nach der Masterclass

[Stefan]

Kann es sein, dass du in der Übersicht einen Filter gesetzt hast? Kannst du mal ein Bildschirmvideo aufnehmen und es ggf. hier verlinken?

[scofield]

Hier ein kurzes Video des Paperless-Verhaltens; das Fenster „Datei hochgeladen, warte“ verschwindet trotz erfolgreichen Uploads erst nach dem aktualisieren der Seite.

Paperless Upload

[Stefan]

Jetzt verstehe ich, was du meinst. Im ersten Beitrag hast du geschrieben, dass die Dokumente verschwinden, aber es ist nur die Statusanzeige des Uploads.

Ich habe mir das Problem angesehen und festgestellt, dass es am fehlenden Websocket-Support der Einstellungen des Reverse Proxies liegt. Also schlichtweg etwas, das ich in der Masterclass noch ergänzen muss. Ist nicht schwierig, ich baue einen Fix und gebe hier sowie über den Newsletter Bescheid, sobald er fertig ist.

Danke für den Hinweis!!

[scofield]

Stimmt, da hatte ich mich in der Tat etwas missverständlich ausgedrückt.
Dann lasse ich die Installation zunächst wie sie ist und warte auf den Fix

[Stefan]

Der Fix ist tatsächlich sehr einfach:

Wenn du den Synology Reverse Proxy laufen lässt, musst du lediglich folgendes machen:

Gehe in die Systemsteuerung > Anmeldeportal > Erweitert > Reverse Proxy und bearbeite den Eintrag für paperless-ngx:

Im Reiter „benutzerdefinierte Kopfzeile“ musst du auf „Erstellen“ und dann auf „WebSocket“ klicken:

Dann erscheinen zwei neue Zeilen:

Anschließend speichern und es funktioniert.

Wenn du den Kurs 2-Faktor-Authentifizierung für paperless-ngx gebucht hast und den Reverse Proxy von dort benutzt, musst du eine Datei bearbeiten:

nginx/conf/nginx.conf

Dort dann ganz am Ende der Datei in den „location“-Block die beiden Zeilen einfügen:

proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

Der Block sieht dann so aus:

# Letzte paar Zeilen der Konfiguration:

    location / {
        include /config/nginx/snippets/proxy.conf;
        include /config/nginx/snippets/authelia_authrequest.conf;
        proxy_pass $upstream;

        proxy_set_header Upgrade $http_upgrade; # Neu einfügen
        proxy_set_header Connection "upgrade"; # Neu einfügen
        
    }

}

Dann nginx neu starten:

cd /volume1/docker/nginx/
sudo docker-compose down && sudo docker-compose up -d

Und schon klappt es

[scofield]

Genau so funktioniert es @Stefan, besten Dank für die schnelle Lösung!

[Stefan]

Sehr gerne! Danke dir fürs Melden!