Skip to content

Drive: KI-Funktionen D1–D5 (Drive 1.14) - #155

Merged
CallMeTechie merged 2 commits into
mainfrom
feature/drive-ki-d1-d5
Oct 30, 2026
Merged

CallMeTechie merged 2 commits into
mainfrom
feature/drive-ki-d1-d5

Conversation

@CallMeTechie

@CallMeTechie CallMeTechie commented Oct 30, 2026 •

Copy link
Copy Markdown
Owner

Setzt die abgenommenen Drive-KI-Funktionen D1–D5 im Android-Client um, gegen den Vertrag von Drive 1.14.0. Alles hängt an den Feature-Flags aus GET me (docAsk, scanDocs, photoSearch, deadlineCalendar; D4 an docAi). Ohne Flag bleibt alles wie bisher, deshalb kann der PR vor dem Plugin-Release gemergt werden.

D2 · Fristen und Familienkalender

  • Neue Fristarten warranty (Garantieende) und renewal (Vertragsverlängerung, „kündigen bis …“) werden gelesen; calendar { eventId, at } an der Frist.
  • Der Bildschirm „Fristen“ zeigt Karten wie im Mockup: nach Monat gruppiert, Art als Tag, Datum mit „in N Tagen“, „neu“ für Fristen, die beim letzten Besuch noch nicht da waren, Datei. Knöpfe „In den Familienkalender“ / „Im Familienkalender ✓“ (POST deadlines/<id>/calendar, nur mit deadlineCalendar) und „Erinnern“ / „Erinnerung N Tage vorher ✓“.
  • familie_unavailable (409, normal, solange Familie Drive nicht zulässt) und rate_limited haben verständliche Texte.
  • In den Drive-Einstellungen gibt es bei „KI für Dokumente“ pro Bereich den Schalter „Neue Fristen in den Familienkalender“ (PATCH areas/<id> { deadlinesToCalendar }, nur mit deadlineCalendar und Schreibrecht).

D4 · Ablegen gleich nach dem Scan/Upload

  • DriveFiling beobachtet, was die Person selbst hochlädt (Scans und Dokumente, keine Fotos/Videos, keine Tresore, nur Bereiche mit KI und Schreibrecht). Gewartet wird auf das Live-Event changed oder per Nachfragen, insgesamt etwa 60 s.
  • Ist die Insight ready und enthält einen Vorschlag, erscheint die Leiste „Vorschlag · Ablegen als … in …“, bei offener Zahlungsfrist zusätzlich „An die Zahlung am … erinnern“. Knöpfe: Übernehmen (insight/apply + remind), Anderer Ordner (Name übernehmen, dann Ordnerwahl), ✕.

D5 · Scan prüfen

  • Mit scanDocs öffnet sich nach dem Scan „Scan prüfen“ statt „Scan speichern“. Die Seiten werden auf dem Gerät gelesen (ML Kit, mit Positionen) und als Media hochgeladen; danach folgt scans/classify (Text zuerst).
  • Karte „Erkannt: “ mit Zusammenfassung und Frage. Format-Chips PDF · Word · Excel · Nur Bild (Excel nur bei Tabellen). Vorschau: Excel als Raster mit A/B/C und Zeilennummern aus der Texterkennung, Word als Textanfang, PDF bzw. Bild als erste Seite. Dazu Name und Ordner mit „Ändern“, „Original-Scan behalten“ (merkt sich die Einstellung), Hinweiszeile und Speichern-Knopf je nach Format.
  • PDF: durchsuchbar, auf dem Gerät ohne KI erstellt (DriveSearchablePdf). Die Scanner-JPEGs werden unverändert eingebettet (DCTDecode), darüber liegt der erkannte Text als unsichtbare Textebene (3 Tr, Helvetica/WinAnsi, per Tz auf die Zeilenbreite gestreckt).
  • Word/Excel: scans/convert (höchstens 8 Seiten, mit dem Text vom Gerät). Bei Whiteboard und Handschrift gehen zusätzlich verkleinerte JPEGs als images mit (zusammen unter 600 KB, bei 413 ein zweiter Versuch ohne). Die zurückgegebenen Bytes (file) werden per Medien-Upload hochgeladen und mit scans/save abgelegt; danach läuft das Dokument durch D4. Ist „Original-Scan behalten“ an (Vorgabe aus settings.scanKeepOriginal), kommen die Scanseiten zusätzlich als durchsuchbares PDF „ (Scan).pdf“ daneben.

D1 · Fragen an die Dokumente

  • Das Drive-Suchfeld heißt jetzt „Suchen oder fragen“ und hat die Chips „Dateien | Fragen“; ein „?“ am Ende schaltet auf Fragen. Gefragt wird über die Tastatur-Aktion oder den Knopf (POST ask).
  • Frage mit 3–300 Zeichen. Antwortkarte: Daten fett, Quellen mit Pfad und Zitat; ein Tipp öffnet die Datei. Die vom Server gelieferte Frist (deadline) erscheint als Zeile in der Karte, dazu der Knopf „Frist in den Familienkalender“ (mit deadlineCalendar). „Gesucht in“ nimmt die areas der Antwort.
  • Wenn nichts gefunden wird: „Dazu habe ich in deinen Dateien nichts gefunden.“ mit „Gesucht nach: … · in …“. Darunter der Hinweis „Antwort nur aus deinen Dateien. Tresore werden nie durchsucht.“

D3 · Fotos nach Inhalt finden

  • Beim Sichern liefert ML Kit Image Labeling die Bildbegriffe: die Labels ab 60 %, höchstens 20. Sie gehen per PUT nodes/<id>/labels { labels, source: 'device' } an Drive.
  • Nachtragen per WorkManager aus den Vorschaubildern über GET photos?unlabeled=1 (nur Fotos ohne Begriffe in Bereichen mit Schreibrecht), mit denselben Bedingungen wie die Sicherung (WLAN/Laden), 200 je Lauf, höchstens ein voller Durchgang am Tag. Angestoßen wird es beim Öffnen der Fotos. 403 und 400 bei labels werden still übersprungen.
  • Die Suche auf der Fotos-Seite öffnet „Fotos durchsuchen“ (GET photos?q=): Treffer-Chips, Anzahl, Raster und der Hinweis zu Fotos vom PC.

Abgleich mit dem Plugin (gatecontrol-plugins#118)

  • Gebaut gegen den tatsächlichen Stand von Drive 1.14.0: scans/convert liefert Bytes statt Knoten, dazu scans/save, images, photos?unlabeled=1, terms [{ term, label, count }] mit total, ask mit areas und deadline sowie deadlinesToCalendar und scanKeepOriginal.
  • KI-Aufrufe laufen über den Media-Client (60 s Lesezeit), mit Timeouts von 60 s für ask/classify und 180 s für convert.

Tests

  • DriveKiTest: Formate und Standardformat, Namen, Tabellenraster, Ablagevorschlag, Daten und passende Frist, Labels, Chips.
  • DriveJsonKiTest: Parser und Bodies.
  • DriveSearchablePdfTest: JPEG-Kopf, Escaping, Inhaltsstrom, vollständiges PDF mit geprüfter xref.
  • Lokal: testDebugUnitTest, lintRelease, assembleDebug.

https://claude.ai/code/session_016xX1efcZF1f6G9rhmaJNLD


Generated by Claude Code

Claude added 2 commits October 30, 2026 17:03
- D2: Fristen als Karten (Garantieende, Vertragsverlängerung, „neu“),
  „In den Familienkalender“ (deadlines/<id>/calendar) und „Erinnern“
- D4: Ablagevorschlag nach Scan/Upload (Insight abwarten, Übernehmen,
  Anderer Ordner, an die Zahlung erinnern)
- D5: „Scan prüfen“ mit Art-Erkennung (scans/classify), Format-Chips,
  Vorschau, durchsuchbarem PDF auf dem Gerät (unsichtbare Textebene)
  und Word/Excel über scans/convert
- D1: Fragen im Drive-Suchfeld (ask) mit Antwortkarte und Quellen
- D3: Bildbegriffe beim Sichern (labels), Nachtragen im Hintergrund,
  Fotosuche (photos?q=)

Alles hinter den Feature-Flags aus GET me (docAsk, scanDocs,
photoSearch, deadlineCalendar).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_016xX1efcZF1f6G9rhmaJNLD
- scans/convert liefert die Bytes: hochladen und mit scans/save ablegen,
  Whiteboard/Handschrift mit verkleinerten Bildern (images, < 600 KB,
  bei 413 ohne), höchstens 8 Seiten; Original-Scan bei Bedarf als PDF
  daneben, Vorgabe aus settings.scanKeepOriginal
- Bereichsschalter „Neue Fristen in den Familienkalender“
  (PATCH areas/<id> { deadlinesToCalendar })
- Nachtragen der Bildbegriffe über photos?unlabeled=1, 403/400 still
  übersprungen; Treffer-Chips aus terms [{ term, label, count }]
- ask: 3–300 Zeichen, Frist und Bereiche aus der Antwort
- verständliche Meldung bei familie_unavailable

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_016xX1efcZF1f6G9rhmaJNLD
@CallMeTechie
CallMeTechie merged commit b6fbab4 into main Oct 30, 2026
9 checks passed
CallMeTechie pushed a commit that referenced this pull request Oct 30, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants