Kann keine Dateien mehr in Paperless importieren

marc · 9. Juni 2024 um 15:41

Hallo Zusammen

Habe folgendes Problem, es werden weder über den scaninput noch direkt über Paperless Dateien importiert. Paperless erkennt zwar die Dateien diese werden jedoch nicht verarbeitet. Was kann ich da machen?

Aus meiner Sicht habe ich alles richtig Installiert die Rechte richtig vergeben.

Im Protokoll in Paperless sieht es dann so aus.

[2024-06-09 17:37:53,750] [INFO] [paperless.management.consumer] Adding /usr/src/paperless/consume/Test Datei.pdf to the task queue.

[2024-06-09 17:37:54,076] [ERROR] [paperless.handlers] Updating PaperlessTask failed

Traceback (most recent call last):

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 89, in _execute

    return self.cursor.execute(sql, params)

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/psycopg/cursor.py", line 732, in execute

    raise ex.with_traceback(None)

psycopg.errors.IndexCorrupted: index "django_cele_task_na_08aec9_idx" contains unexpected zero page at block 0

HINT:  Please REINDEX it.

The above exception was the direct cause of the following exception:

Traceback (most recent call last):

  File "/usr/local/lib/python3.11/site-packages/celery/app/trace.py", line 443, in trace_task

    task.backend.store_result(

  File "/usr/local/lib/python3.11/site-packages/celery/backends/base.py", line 526, in store_result

    self._store_result(task_id, result, state, traceback,

  File "/usr/local/lib/python3.11/site-packages/django_celery_results/backends/database.py", line 147, in _store_result

    self.TaskModel._default_manager.store_result(**task_props)

  File "/usr/local/lib/python3.11/site-packages/django_celery_results/managers.py", line 42, in _inner

    return fun(*args, **kwargs)

           ^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django_celery_results/managers.py", line 164, in store_result

    obj, created = self.using(using).get_or_create(task_id=task_id,

                   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/query.py", line 916, in get_or_create

    return self.get(**kwargs), False

           ^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/query.py", line 633, in get

    num = len(clone)

          ^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/query.py", line 380, in __len__

    self._fetch_all()

  File "/usr/local/lib/python3.11/site-packages/django/db/models/query.py", line 1881, in _fetch_all

    self._result_cache = list(self._iterable_class(self))

                         ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/query.py", line 91, in __iter__

    results = compiler.execute_sql(

              ^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/sql/compiler.py", line 1562, in execute_sql

    cursor.execute(sql, params)

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 67, in execute

    return self._execute_with_wrappers(

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 80, in _execute_with_wrappers

    return executor(sql, params, many, context)

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 84, in _execute

    with self.db.wrap_database_errors:

  File "/usr/local/lib/python3.11/site-packages/django/db/utils.py", line 91, in __exit__

    raise dj_exc_value.with_traceback(traceback) from exc_value

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 89, in _execute

    return self.cursor.execute(sql, params)

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/psycopg/cursor.py", line 732, in execute

    raise ex.with_traceback(None)

django.db.utils.InternalError: index "django_cele_task_na_08aec9_idx" contains unexpected zero page at block 0

HINT:  Please REINDEX it.

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 89, in _execute

    return self.cursor.execute(sql, params)

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/psycopg/cursor.py", line 732, in execute

    raise ex.with_traceback(None)

psycopg.errors.NotNullViolation: null value in column "status" of relation "documents_paperlesstask" violates not-null constraint

DETAIL:  Failing row contains (99877, 5cf52129-ccd6-4b1c-be8e-5f9a3ae2fe34, f, 2024-06-09 15:37:53.752024+00, 2024-06-09 15:37:54.074761+00, 2024-06-09 15:37:53.997593+00, null, null, Test Datei.pdf, documents.tasks.consume_file).

The above exception was the direct cause of the following exception:

Traceback (most recent call last):

  File "/usr/src/paperless/src/documents/signals/handlers.py", line 852, in task_postrun_handler

    task_instance.save()

  File "/usr/local/lib/python3.11/site-packages/django/db/models/base.py", line 814, in save

    self.save_base(

  File "/usr/local/lib/python3.11/site-packages/django/db/models/base.py", line 877, in save_base

    updated = self._save_table(

              ^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/base.py", line 990, in _save_table

    updated = self._do_update(

              ^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/base.py", line 1054, in _do_update

    return filtered._update(values) > 0

           ^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/query.py", line 1231, in _update

    return query.get_compiler(self.db).execute_sql(CURSOR)

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/sql/compiler.py", line 1984, in execute_sql

    cursor = super().execute_sql(result_type)

             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/models/sql/compiler.py", line 1562, in execute_sql

    cursor.execute(sql, params)

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 67, in execute

    return self._execute_with_wrappers(

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 80, in _execute_with_wrappers

    return executor(sql, params, many, context)

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 84, in _execute

    with self.db.wrap_database_errors:

  File "/usr/local/lib/python3.11/site-packages/django/db/utils.py", line 91, in __exit__

    raise dj_exc_value.with_traceback(traceback) from exc_value

  File "/usr/local/lib/python3.11/site-packages/django/db/backends/utils.py", line 89, in _execute

    return self.cursor.execute(sql, params)

           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

  File "/usr/local/lib/python3.11/site-packages/psycopg/cursor.py", line 732, in execute

    raise ex.with_traceback(None)

django.db.utils.IntegrityError: null value in column "status" of relation "documents_paperlesstask" violates not-null constraint

DETAIL:  Failing row contains (99877, 5cf52129-ccd6-4b1c-be8e-5f9a3ae2fe34, f, 2024-06-09 15:37:53.752024+00, 2024-06-09 15:37:54.074761+00, 2024-06-09 15:37:53.997593+00, null, null, Test Datei.pdf, documents.tasks.consume_file).

Besten Dank für die Hilfe.

Verdi-Fan · 9. Juni 2024 um 19:09

Links unten im Menü unter Administration gibt es den EIntrag „Dateiaufgaben“ was steht denn dort unter den einzelnen Reitern?

marc · 10. Juni 2024 um 05:28

Da steht folgendes:

Stefan · 10. Juni 2024 um 06:42

Wie hast du paperless-ngx denn installiert?

Es sieht mir so aus, als würde es ein Problem mit der Datenbank-Beschreibung und dem geben, was paperless-ngx in die Datenbank schreiben will (Contstraint errors). Das sollte bei einer herkömmlichen Installation definitiv nicht vorkommen, da bräuchten wir noch etwas mehr Infos von dir.

marc · 10. Juni 2024 um 07:27

Alles klar gebe ich gerne.

Ich habe das Synology NAS gewechselt, danach hat es ein paar Tage super funktioniert. Danach konnten die Container nicht mehr gestartet werden.
Also habe ich alles gelöscht, und aus einem Backup wie beschrieben alles wieder installiert. Seit dort läuft es bis auf den Import der Dateien wieder einwandfrei. Das heisst die Container werden gestartet und es läuft ich komme auf paperless-ngx und sehe alle gescannten Dateien.

Was für Infos brauchst du noch?

Stefan · 10. Juni 2024 um 10:56

Dann scheint das Backup möglicherweise korrupt gewesen zu sein.
Wenn du aber noch auf die Daten zugreifen kannst, würde ich dir einen Export mit dem document_exporter empfehlen, dann die Datenbank löschen (Ordner pgdata leeren) und mit dem document_importer importieren.

marc · 10. Juni 2024 um 11:43

Das habe ich soeben probiert mit den folgenden Schritten übers Terminal:

Export mit document_exporter (nach Video - Anleitung in Dokumente exportieren / importieren)
gesamten Inhalt vom pgdata gelöscht (Fehler Container eine Meldung nach der andern)
Import mit document_importer (nach Video - Anleitung in Dokumente exportieren / importieren)

Import funktioniert nicht habe die Container mit down beendet

Was habe ich falsch gemacht?

marc · 11. Juni 2024 um 16:05

Soll ich einfach alles löschen die paperless-ngx neu installieren und den erstellten export dann wieder importieren?

Stefan · 12. Juni 2024 um 05:41

Ja, das würde ich vorschlagen.

Stelle unbedingt sicher, dass du noch ein Backup hast (Export) + Backup mit Hyperbackup (sicherstellen, dass du das Profil aus der Masterclass hast, das auch den Ordner pgdata beinhaltet).

Dann kannst du den ganzen Ordner paperless-ngx löschen (vorher den Export natürlich sichern) und neu entpacken aus dem ZIP.

Außerdem musst du noch schauen, ob es gestoppte Container gibt (auch Postgres und Redis). Diese ebenfalls löschen.
Das geht mit

docker container prune

Wichtig ist noch:
Wenn du den Export wieder importierst, muss das in der gleichen Version geschehen, mit der er erstellt wurde.
Dazu gibt es hier im Forum schon einige Beiträge, wo genauer darauf eingegangen wurde, wie das geht.

marc · 12. Juni 2024 um 17:25

Besten Dank, hat geklappt habe es neu Installiert jetzt läuft es wieder Einwandfrei.