Dokumente im Archiv verschwinden nicht

paperless-ngx
1

Hey zusammen,

bin neu hier, ich habe ein kleines Problem mit dem Archiv-Ordner. Da sind noch zwei Dokumente drin, die ich über die Weboberfläche von Paperless NGX nicht mehr sehen kann weil ich diese gelöscht habe – auch im Papierkorb ist nichts zu finden, den hab ich schon komplett entleert. Laut dem Masterclass-Kurs soll man ja nichts direkt in den Ordnern ändern, aber mein innerer Monk lässt mich nicht in Ruhe :smiley: , weil diese zwei Dokumente da einfach rumliegen und nicht verschwinden wollen. :smiley:

Hat jemand eine Idee, wie ich das sauber lösen kann, ohne das System zu zerschießen?

Grüße

2

Woher weisst du dass sie noch da sind? Was sagen die Dateiaufgaben? Was sagt das log falls noch sichtbar? Was sagt der sanity_checker?

3

Hier sind die beiden Dokumente drin.:

Screenshot 2024-10-13 213958
Screenshot 2024-10-13 213958994×347 32.3 KB

Aber wie man sieht habe ich keine Dokumente mehr in Paperless ngx:
Screenshot 2024-10-13 214254

Screenshot 2024-10-13 214312
Screenshot 2024-10-13 2143121388×326 8.82 KB

Im Log finde ich das Dokument nicht wirklich, sondern es taucht unter einem anderen Datum auf. Das, was im Archiv gespeichert wurde, stimmt nicht mit dem Eintrag im Log überein.

Datenaufgabe hatte ich auch entleert daher sehe ich es nicht mehr.

Wie führe ich den Sanity Checker aus? Ich bin dabei, mich neu in die Python-Welt einzuarbeiten, wie kann ich den Sanity Checker in Paperless NGX ausführen ?

danke

4

Einfach per cd /dein-paperless-ngx-Verzeichnis in Dein Verzeichnis wechseln, in dem Paperless-ngx installiert ist. Anschließend per

docker compose exec -T webserver document_sanity_checker

den Sanity-Checker starten (je nach Betriebssystem „sudo docker-compose“ anstatt „docker compose“).

Weitere Details unter: https://docs.paperless-ngx.com/administration/#sanity-checker

Inhaltlich würde mich allerdings eine Lösung für dieses Thema auch interessieren. Ich habe auch ein paar solcher „Dateileichen“.

Viele Grüße

Tony

1 „Gefällt mir“
5

Sanity_checker

Ich ruf den lieber über docker auf, da ist es egal wo man sich im Verzeichnisbaum befindet und wenn man es über Portainer macht hat man die docker-compose.yml nicht so einfach im Zugriff. Auf der Kommandozeile:

sudo docker exec container-name document_sanity_checker

Aber da dein PLNGX eh leer ist kannst du auch den container stoppen und die verzeichnisse leeren. Dabei die Darenbank nicht vergessen.

1 „Gefällt mir“
6

Hallo huebi und Tony,

danke für eure Antworten, inzwischen habe ich das System neu aufgesetzt. Wenn ich das Problem nochmal haben sollte werde ich das ausprobieren danke euch.

7

So hab jetzt wieder den fall. Es sind wieder einige Dateien im Archiv und Originals die ich bereits über das Webinterface gelöscht habe ( auch Papierkorb geleert).

hier das Ergebnis von der sanity_checker:

adminLugano@Datenlager:/volume1/docker/paperless-ngx/config$ sudo docker exec paperless-webserver-1 document_sanity_checker
100%|██████████| 32/32 [00:00<00:00, 162.87it/s]
[2024-10-15 12:59:02,101] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-02-Özgür_01.pdf
[2024-10-15 12:59:02,101] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-15-Özgür.pdf
[2024-10-15 12:59:02,102] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-02-Özgür.pdf
[2024-10-15 12:59:02,102] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-02-Özgür_01.pdf
[2024-10-15 12:59:02,102] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-15-Özgür.pdf
[2024-10-15 12:59:02,103] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-06-01-Özgür.pdf
[2024-10-15 12:59:02,103] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-06-01-Özgür.pdf
[2024-10-15 12:59:02,103] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/.DS_Store
[2024-10-15 12:59:02,104] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-11-Özgür.pdf
[2024-10-15 12:59:02,104] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2022-05-10-Özgür.pdf
[2024-10-15 12:59:02,104] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/Rechnung/-Rechnung-2015-02-01-Özgür.pdf
[2024-10-15 12:59:02,105] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-11-Özgür.pdf
[2024-10-15 12:59:02,105] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-15-Özgür_01.pdf
[2024-10-15 12:59:02,105] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/Rechnung/-Rechnung-2015-02-01-Özgür.pdf
[2024-10-15 12:59:02,106] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-02-Özgür.pdf
[2024-10-15 12:59:02,106] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-15-Özgür_01.pdf
[2024-10-15 12:59:02,106] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2022-05-10-Özgür.pdf

Das wird aus dem log ausgespruckt:

[2024-10-15 12:55:39,049] [DEBUG] [paperless.handlers] Deleted file /usr/src/paperless/media/documents/thumbnails/0000040.webp.

[2024-10-15 12:55:39,054] [DEBUG] [paperless.handlers] Deleted file /usr/src/paperless/media/documents/thumbnails/0000039.webp.

[2024-10-15 12:55:39,059] [DEBUG] [paperless.handlers] Deleted file /usr/src/paperless/media/documents/thumbnails/0000038.webp.

[2024-10-15 12:55:39,065] [DEBUG] [paperless.handlers] Deleted file /usr/src/paperless/media/documents/thumbnails/0000032.webp.

[2024-10-15 12:55:39,071] [DEBUG] [paperless.handlers] Deleted file /usr/src/paperless/media/documents/thumbnails/0000031.webp.

[2024-10-15 12:55:39,076] [DEBUG] [paperless.handlers] Deleted file /usr/src/paperless/media/documents/thumbnails/0000030.webp.

[2024-10-15 12:55:39,081] [DEBUG] [paperless.handlers] Deleted file /usr/src/paperless/media/documents/thumbnails/0000029.webp.

[2024-10-15 12:59:02,101] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-02-Özgür_01.pdf

[2024-10-15 12:59:02,101] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-15-Özgür.pdf

[2024-10-15 12:59:02,102] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-02-Özgür.pdf

[2024-10-15 12:59:02,102] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-02-Özgür_01.pdf

[2024-10-15 12:59:02,102] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-15-Özgür.pdf

[2024-10-15 12:59:02,103] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-06-01-Özgür.pdf

[2024-10-15 12:59:02,103] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-06-01-Özgür.pdf

[2024-10-15 12:59:02,103] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/.DS_Store

[2024-10-15 12:59:02,104] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-11-Özgür.pdf

[2024-10-15 12:59:02,104] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2022-05-10-Özgür.pdf

[2024-10-15 12:59:02,104] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/Rechnung/-Rechnung-2015-02-01-Özgür.pdf

[2024-10-15 12:59:02,105] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-11-Özgür.pdf

[2024-10-15 12:59:02,105] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2024-10-15-Özgür_01.pdf

[2024-10-15 12:59:02,105] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/Rechnung/-Rechnung-2015-02-01-Özgür.pdf

[2024-10-15 12:59:02,106] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-02-Özgür.pdf

[2024-10-15 12:59:02,106] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/archive/Özgür/none/none/-none-2024-10-15-Özgür_01.pdf

[2024-10-15 12:59:02,106] [WARNING] [paperless.sanity_checker] Orphaned file in media dir: /usr/src/paperless/media/documents/originals/Özgür/none/none/-none-2022-05-10-Özgür.pdf

[2024-10-15 13:02:16,199] [INFO] [paperless.handlers] Assigning storage path None to 2024-10-13 Einzelhandel & Abos -Rechnung-2024-10-13-Özgür

[2024-10-15 13:02:16,814] [INFO] [paperless.handlers] Assigning storage path None to 2024-10-11 Einzelhandel & Abos --2024-10-11-Özgür

kann ich nicht den sanity_checker ausführen und anschließend mit einem Befehl die Datenbank wieder ausgleichen lassen also das er die Herrenlosen Daten automatisch löscht und das am besten Automatisiert ?

8

Nicht dass ich Hoffnung hätte das das das Problem ist, aber ich vermeide immer noch Umlaute in Ordnern

Ich wüsste jetzt nicht ob es ein repairtool gibt, IMHO nicht da PLNGX normalerweise alles sauber leerräumt.

Probier halt mal eine Datei hinzuzufügen ohne dass Umlaute im Pfas sind und einmal mit. Dann beide löschen. Wie siehts dann aus?

9

Ich habe gerade ein Dokument gelöscht, in dem auch Ös und Üs vorkamen. Daran scheint das Problem jedoch nicht gelegen zu haben. Ich habe das Problem nun teilweise gelöst, und zwar so:

  • Im Archiv lagen mehrere Dokumente, die nicht mehr in der Paperless-NGX-Weboberfläche sichtbar waren.
  • Ich habe dann den Befehl sudo docker exec container-name document_sanity_checker verwendet, der mir bestätigte, dass die Dateien fehlerhaft vorhanden waren.
  • Anschließend führte ich den Befehl sudo docker-compose exec webserver document_retagger -s -f aus, was jedoch nichts bewirkte. Deshalb habe ich die Dokumente manuell aus dem Archiv-Ordner gelöscht.
  • Als ich dann erneut sudo docker-compose exec webserver document_retagger -s -f ausführte, erschienen diese Dateien wieder.
  • Daraufhin habe ich die betroffenen Dateien sowohl im Archiv als auch im Originalordner gelöscht.
  • Der Sanity Checker zeigte mir dann nur noch eine Datei mit .DS_Store an, die versteckt war. Diese habe ich mit sudo rm .DS_Store im Verzeichnis gelöscht.

Jetzt ist alles wieder sauber, aber es kann doch nicht sein, dass ich diesen Prozess jedes Mal manuell durchführen muss. Es wäre hilfreich, wenn ein Automatismus die Datenbank überprüft und diese Probleme automatisch behebt.

10

Wie bereits gesagt bin ich mit sicher dass es einen Datenbank repair nicht gibt weil plngx normalerweise sauber arbeitet und sowas in der Regel daher nicht nötig ist. Wenn der retagger was tut dann heisst dass das du Arbeitsabläufe und filename Zuweisungen wohl noch in der Datenbank von früheren Installationen drin hast die jetzt nicht mehr ordentlich funktionieren. Ich würde ja ganz von scratch anfangen ohne Arbeitsabläufe und ohne Speicherpfade und schauen wann bei welcher config das auftritt.

11

Alles klar, ich werde es beobachten. Was aber auch sein kann, das ich die Dokumente gelöscht und schnell Papierkorb geleert habe. Wie gesagt ich werde es beobachten.

Danke

Weißt du zufällig wie man den Titel in der Weboberfläche von einem Dokument neu zuweisen lassen kann, wenn er manchmal die angegebenen Regeln nicht erkennt Schreibt er was anderes in den Titel rein, mit der Aktion -s -f werden die Namen der Dokumente im Archiv neu vergeben, doch auf der Weboberfläche bleiben die so wie es beim ersten mal vergeben wurde.

12

Hallo LuganoDiaz,

ich habe keine Lösung. Bei mir tritt das gleiche Problem aber auch auf (bei insgesamt rd. 6.000 Dateien in paperless-ngx sind rd. 8 Fehler dabei).

Aktuell lösche ich die Dateien auch aufwändig von Hand.

Hat jemand vielleicht noch eine Idee?

Viele Grüße

Tony

13

Was heißt 8 Fehler? Der sanity_checker sagt „alles gut“ aber. du siehst 8 Dokumente im Verzeichnisbaum die in PLNGX nicht da sind? Auch nicht im Papierkorb?

14

Was heißt 8 Fehler? Der sanity_checker sagt „alles gut“ aber. du siehst 8 Dokumente im Verzeichnisbaum die in PLNGX nicht da sind? Auch nicht im Papierkorb?

Genau - so ist es.

15

Schade dass du meine letzte Frage nicht beantwortet hast.

16

Ich hatte Dich so verstanden, dass Du bestätigt haben wolltest, ob sich inter „8 Fehler“ verbirgt, dass der sanity_checker sagt „alles gut“ aber 8 Dokumente im Verzeichnisbaum stehen, die in PLNGX nicht da sind. Auch nicht im Papierkorb.

Oder habe ich Dich falsch verstanden?

17

Also der sanity_checker sagt alles ok, und im Papierkorb sind sie nicht drin?

Ich würde dann folgendermassen versuchen, der Sache auf den Grund zu gehen. Eine der Datei umbenennen, zb „xxx_“ davor schreiben. Das kann man leicht wieder rückgängig machen.

Ideralerweise spuckt der sanity_checker nun 2 Fehlermeldungen aus: Ihm fehlt jetzt eine Datei, die in der Datenbank drin steht, aber nicht mehr im Filesystem. Und er hat nun eine Datei im Filesystem, für die es keine Entsprechung in der Datenbank gibt (orphaned). Evtl bringt das etwas Licht ins dunkel. Denn irrgendwo in der Datenbank müssen diese Datein ja noch referenziert werden, ansonsten würde er sanity_checker sie ja als orphaned kennzeichen. Die kann man dann erstmal aus dem Media Verzeichnis heraus verschieben, sich anschauen und kucken was das überhaupt ist.

18

Hallo,
hatte mal ein ähnliches Problem (es existierten noch Ordner mit Daten, die in der DB/Web-Oberfläche nicht zu finden waren). Nach längerem Grübeln kam ich dann darauf. Hatte einen Speicherpfad gelöscht, da er mir mit 0 Einträgen angezeigt worden war, aber auch vorherigen unsauberen Verhalten waren diese Ordner nicht leer. Das Löschen von Eintragen dauerte ewig und kam nicht zum Ende, da habe ich die Services einfach gestoppt und neu gestartet. Dabei müssen wohl die Datenbankeinträge schon weg gewesen sein, die Daten aber noch nicht.
Gruß Hartmut

19

Das würde der sanity_checker aber mit „orphaned fles“ anmeckern.

20

Hallo @huebi ich habe nun auch Files, die in der Filestruktur noch vorhanden sind und per Webinterface nicht mehr vorhanden sind. Auch nicht im Papierkorb. Der Sanity_Checker zeigt diese Files auch an. Was kann ich nun tun um wieder konsistent zu werden?