Skip to content

AUDIT.md

Latest commit

 

History

History
288 lines (228 loc) · 27.8 KB

AUDIT.md

File metadata and controls

288 lines (228 loc) · 27.8 KB

DDC Audit & Optimierungs-Protokoll

Erstellt: 2026-04-26 Methode: 10 parallele Audit-Agenten (Security / Performance / RAM / Image-Size / Code-Quality / Storage) Status-Legende: ⬜ offen · 🟦 in Arbeit · ✅ erledigt · ⏸️ pausiert (User-Input nötig) · ⏭️ übersprungen

Abarbeitungsplan (Bündel)

Bündel Inhalt Risiko Verifikation
1 XS-Quick-Wins (Config-Toggles, .dockerignore, Cleanup) sehr niedrig py_compile, App-Start
2 Logging-Hygiene + Rotation niedrig py_compile, Bot/Web-Logs prüfen
3 Security Quick-Wins (Logout, Idle-Timeout, SSRF, SAMESITE) niedrig–mittel py_compile, Login-Flow
4 Performance Quick-Wins (Animation Fast-Path, Caches) mittel py_compile, Bot-Response
5 Docker-Hardening (cap_drop, Digest-Pin, Healthcheck) mittel Container-Restart
6 Async/Pooling (Docker-Client, aiohttp, MAX_CACHED) mittel Bot-Live-Test
7 RAM (Frame-Cleanup) mittel RAM-Monitoring
8 Großrefactor — STOP, neu absprechen: CSRF, gevent/asyncio-Trennung, Service-Splits, Versions-Pinning hoch volles Test-Set

Bündel 1 — XS Quick-Wins ✅ (verifiziert 2026-04-26)

# Punkt Status Was gemacht
S2 eval() → ast.literal_eval() in scripts/extract_translations.py ✅ import ast; eval() ersetzt durch ast.literal_eval(). RCE-Risiko eliminiert. Exception-Handling auf (ValueError, SyntaxError) eingegrenzt
S11 SESSION_COOKIE_SAMESITE: "Strict" (von "Lax") ✅ app/web/config.py:DEFAULTS auf Strict. Cross-Site-Cookie-Anfragen werden komplett blockiert
P1 TEMPLATES_AUTO_RELOAD = False in Production ✅ Default jetzt False. Neue Helper-Fkt _is_dev_environment() schaltet auf True wenn FLASK_ENV=development oder FLASK_DEBUG=1
P3 SESSION_REFRESH_EACH_REQUEST = False ✅ Cookie-Reserialisierung pro Request entfällt
L1 discord.log → RotatingFileHandler (10 MB × 5) ✅ app/bootstrap/runtime.py nutzt jetzt RotatingFileHandler: discord.log 10MB×5, bot_error.log 5MB×3. isinstance(FileHandler)-Check bleibt valid (Subclass)
L3 Temp-Debug-Mode max 5 min statt 10 ✅ enable_temporary_debug(duration_minutes=5)
C1 6 Root-MD-Files → docs/archive/ ✅ git mv in docs/archive/proposals/ (5 Files) bzw. docs/archive/completed/ (STARTUP_OPTIMIZATION_CHANGES.md)
C2 commit_fix.sh löschen ✅ Datei entfernt
C3 .gitignore: cache-files ✅ Patterns cached_animations/*.cache, cached_animations/*.webp, cached_displays/*.png, cached_displays/*.webp ergänzt
D1 Locales-Whitelist in .dockerignore ⏸️ WARTE auf User: welche Sprachen sollen aktiv bleiben? Aktuell 41 Sprachen × ~120KB

Bündel 2 — Logging-Hygiene ✅ (verifiziert 2026-04-26)

# Punkt Status Was gemacht
L4 bot_error.log Rotation ✅ Bereits in Bündel 1 erledigt (RotatingFileHandler 5MB×3)
L4 webui.log Rotation ✅ Nicht von Python erzeugt — wird via Docker-Logging-Driver erzeugt; docker-compose.yml hat bereits max-size: 10m, max-file: 3. Kein Code-Change nötig
L5 Config-Cache mtime-Check ✅ Bereits implementiert in services/config/config_cache_service.py:56-59 (os.path.getmtime(config_dir)). utils/config_cache.py ist Legacy-Hülle, delegiert an die neue Service
L6 user_actions.log Rotation ✅ Konstanten _TEXT_LOG_MAX_BYTES=5 MB, _TEXT_LOG_BACKUP_COUNT=3. Neue Methoden _text_backup_path() + _rotate_text_log_if_needed() in ActionLogService. Wird vor jedem Append geprüft, rotiert N→N+1 mit Limit-Drop. Isolated-Test bestätigt korrekte Rotation

Bündel 3 — Security Quick-Wins ✅ (verifiziert 2026-04-26)

# Punkt Status Was gemacht
S2 s. Bündel 1 ✅
S4 /logout Endpoint ✅ Neuer Endpoint in main_routes.py. Cleart Session, gibt 401 + WWW-Authenticate: Basic realm="DDC-logout-<ts>" zurück → Browser dropt cached Basic-Auth-Credentials und prompted neu. Hat keine @auth.login_required (sonst ungelogged Caller blockiert)
S5 Idle-Timeout 30 min ✅ app/web/security.py:enforce_session_security checkt session['last_activity']. Default 1800s (30 min), env DDC_SESSION_IDLE_TIMEOUT overridable, Floor 60s. Static/health/logout exempt. Bei Timeout: session.clear() + 401 mit WWW-Authenticate
S6 SSRF-Whitelist für Translation-API URLs ✅ _ALLOWED_TRANSLATION_HOSTS Whitelist (DeepL Pro/Free, Google, Microsoft). Helper _is_allowed_translation_url(): nur https + bekannte Hosts. In _api_post() greift Guard vor jedem urlopen → blockt 169.254.169.254 (AWS-Metadata), localhost, evil.com etc.
S8 Session nach Login regenerieren ⏭️ Übersprungen mit Begründung: Flask nutzt cookie-based Signed Sessions (kein Server-Session-ID). Klassischer Session-Fixation-Vektor existiert hier kaum, da SECRET_KEY Cookies signiert. Mit HTTP Basic Auth zudem kein Login-State-Übergang via Form. Mit Idle-Timeout (S5) + Logout (S4) ausreichend abgedeckt
S12 Password-Policy ✅ Min-Länge 6 → 12 + Komplexitätsregel: mind. 3 von 4 Klassen (lowercase, uppercase, digit, symbol). Greift NUR bei First-Time-Setup (/setup POST) → kein Breaking für bestehende Passwords
S15 Alpine Image-Digest pinnen ✅ Multi-Arch-Manifest-Digest via Docker-Hub-Registry-API geholt: sha256:25109184c71bdad752c8312a8623239686a9a2071e8825f20acb8f2198c3f659. Beide FROM-Zeilen im Dockerfile (Builder + Runtime) gepinnt. Docker zieht beim Build dann genau dieses Manifest, unabhängig von Tag-Drift
S16 Healthcheck-Optimierung ⏭️ Übersprungen: Aktueller python3 -c urllib.request checkt korrekt /health. Switch zu curl würde curl-Paket im Image (~150 KB) requirieren — nicht wert für 30s-Interval
S17 pids_limit: 256 in compose ✅ Ergänzt unter deploy.resources.limits.pids: 256. Schützt gegen Fork-Bomb-DoS

Bündel 4 — Performance Quick-Wins ✅ (verifiziert 2026-04-26)

# Punkt Status Was gemacht
P2 load_config() pro Request → Flask g.config ✅ Neue Helper _request_scoped_config() in app/web/i18n.py cached in flask.g._ddc_request_config. Context-Processor nutzt sie statt direktem load_config(). Spart 50–150ms pro Page (mehrere Templates pro Request reduzieren auf 1 disk-Read)
P4 Animation Fast-Path bei speed=100 ✅ Bereits implementiert in _get_animation_internal() (lines 960–980). Bei quantized_speed==50.0 (=100% Standard-Speed im internen Skala) oder Level 11 → Base-Cache direkt zurückgeben ohne Re-Encoding. Audit-Agent hatte falsche Datei zitiert
P5 Waitress threads per CPU-Count ✅ run.py: threads=max(4, min(8, os.cpu_count())) als Default. Override via DDC_WAITRESS_THREADS env (bounded 2..16). Logging der finalen Größe

Bündel 5 — Docker-Hardening (verifiziert 2026-04-26)

# Punkt Status Was gemacht
S3 requirements-test.txt docker-Version pinnen auf prod ✅ docker>=6.1.0,<7.0.0 → docker==7.1.0. Tests exercisen jetzt dieselbe SDK-Version wie Prod
S10 cap_drop: [ALL] + minimal cap_add ⏸️ Vorbereitet, nicht aktiviert. In docker-compose.yml ist die Konfig als auskommentierter Block hinterlegt mit empfohlener Cap-Liste (CHOWN, DAC_OVERRIDE, FOWNER, SETUID, SETGID, SETPCAP) — abgeleitet aus den Operationen in docker/entrypoint.sh. Risiko: wenn die Set zu klein ist, startet der Container nicht. Empfehlung: auf einem Staging-Container testen, dann freischalten
S14 read_only: true + tmpfs evaluieren ⏸️ Erst nach erfolgreichem S10-Test sinnvoll

Bündel 6 — Async/Pooling (verifiziert 2026-04-26)

# Punkt Status Was gemacht / Begründung
P7 Singleton DockerClient für Web-Helpers ⏸️ Verschoben in Bündel 8. Es existiert bereits services/docker_service/docker_client_pool.py mit Pool-Logik. Mehrere Call-Sites (web_helpers.py:252,511, container_log_service.py:233, cogs/status_info_integration.py:621) nutzen aber direkt docker.from_env(). Saubere Migration ist ein größerer Refactor
P8 aiohttp Session-Pool in TranslationService ✅ Bereits implementiert. TranslationService._get_session() (Z.394–401) liefert geteilte Session, alle Call-Sites (Z.501, 662, 718) nutzen sie und reichen sie an provider.translate(session=…) weiter. Provider re-nutzt sie via owns_session = session is None-Pattern
P9 MAX_CACHED_CONTAINERS=100 enforcen ✅ Bereits enforced. web_helpers.py:280-283: effective_limit = min(BACKGROUND_REFRESH_LIMIT, MAX_CACHED_CONTAINERS), dann Slicing containers_to_process[:effective_limit]. Audit-Agent hatte alte Zeilennummern
P11 time.sleep → gevent.sleep in Cache-Thread ✅ Bereits korrekt. web_helpers.py:425-431, 443-445: gewählt anhand if HAS_GEVENT: — gevent.sleep wenn verfügbar, time.sleep nur als Fallback. In Production mit gevent installiert greift immer der greenlet-freundliche Pfad
R3 Locales lazy-load ✅ Implementiert. I18nService.__init__ ruft jetzt _discover_available_locales() (nur Filenamen-Scan) + _ensure_loaded('en') als Fallback. translate() und get_js_translations() lazy-laden via _ensure_loaded(lang) mit Lock. Test bestätigt: nach Init nur ['en'], nach translate(lang='de') nur ['de','en']. RAM-Einsparung ~5 MB → ~120 KB initial
R4 deepcopy → copy für Status-Snapshot ⏸️ Verschoben in Bündel 8. deepcopy ist Teil der API-Garantie (status_cache_runtime.publish/snapshot/lookup/items) — Caller dürfen Rückgabe mutieren. Wechsel zu shallow-copy benötigt Audit aller Call-Sites, das ist größerer Scope

Bündel 7 — RAM (Animation-Frames) (verifiziert 2026-04-26)

# Punkt Status Was gemacht / Begründung
R1 Frame-Cleanup in _apply_speed_to_animation() ✅ Bereits implementiert. Lines 917-922: finally: del frames; gc.collect(). Code-Review zeigt korrekte aggressive Cleanup-Strategie
R2 Streaming statt all_frames-Liste ⏸️ Verschoben in Bündel 8. PIL/Pillow's animated-WebP-Save erfordert frames[0].save(append_images=frames[1:]) — keine Streaming-API. Echte Streaming-Lösung benötigt anderen Encoder (z.B. cwebp CLI). Großer Refactor
L2 cached_animations/ LRU-Eviction ✅ Neue Methode enforce_disk_cache_limit(max_mb=200): globt *.webp (Speed-Variants), sortiert nach mtime, löscht oldest-first bis unter Limit. *.cache (Base-Animationen) werden geschont. Wird einmal beim Service-Init aufgerufen, Override via DDC_ANIM_DISK_LIMIT_MB. Isolated-Test bestätigt: oldest webp evicted, .cache bleibt

Bündel 8 — Großrefactors

Bündel 8a — Versions & Rate-Limits ✅ (verifiziert 2026-04-26)

# Punkt Status Was gemacht
S7 Setup-Phase Rate-Limit ✅ Neuer setup_limiter = SimpleRateLimiter(limit=5, per_seconds=60) in app/auth.py. Im before_request-Hook wird /setup separat geprüft (5 req/min, IP-basiert). Greift auf GET und POST, unabhängig vom Authorization-Header → blockt unauth Probes
S9 Upper-Bounds für 17 Deps ✅ requirements.prod.txt: alle >=-Deps mit <NEXT-NEXT-MAJOR.0 ergänzt (allows current-major + 1, blocks distant majors). 29 Requirement-Lines geparst OK (PEP 508). Beispiele: Werkzeug >=3.1.6,<5.0.0, requests >=2.33.0,<3.0.0, Pillow >=12.1.1,<14.0.0

Bündel 8b — CSRF-Foundation ✅ (verifiziert 2026-04-26)

# Punkt Status Was gemacht
S1 CSRF-Schutz Foundation ✅ Infrastruktur vorhanden, aber alle Routes exempt. Schritte:
  • Flask-WTF>=1.2.1,<3.0.0 in requirements.prod.txt
  • Neues Modul app/web/csrf.py mit install_csrf_protection(app): initialisiert CSRFProtect, exemptiert alle 7 Blueprints, registriert globalen csrf_token() Helper
  • Eingebaut in app_factory.py zwischen register_blueprints und install_security_handlers
  • <meta name="csrf-token" content="{{ csrf_token() }}"> in _base.html head
  • Graceful Fallback: wenn Flask-WTF nicht installiert (alter Container), csrf_token() returns "" — Templates rendern weiter
Folge-Arbeit: je Blueprint nach Form/AJAX-Update das csrf.exempt(bp) entfernen

Bündel 8c — Code-Review (verifiziert 2026-04-26)

# Punkt Status Begründung
C4 config_service + config_loader_service mergen ✅ Bereits korrekt. Kein Duplikat — ConfigService (826 LOC) ist die Public API, kompositioniert ConfigLoaderService (348), ConfigCacheService (124), ConfigMigrationService (390), ConfigValidationService (163), ConfigFormParserService (310). SRP-Decomposition. Mergen wäre Regression
R4 deepcopy → copy für Status-Snapshot ⏭️ Skip mit Begründung. DeepCopy ist Teil der API-Garantie (publish/snapshot/lookup/items). Wechsel benötigt Caller-Mutation-Audit aller cogs/-Code. Performance-Impact gering (~3 MB/min Churn bei ~50 Containern) — Risiko/Nutzen schlecht

Bündel 8d — Architektur-Refactors (alle ⏸️ deferred mit Begründung)

# Punkt Status Warum deferred
S13 2FA/MFA optional ⏭️ Eigenes Feature. TOTP via pyotp + QR-Code. Sinnvoll bei Internet-Exposure, im LAN niedrige Priorität
C5 animation_cache_service.py splitten ⏸️ 47 Funktionen, klassischer "God Service". Splitten in 3 Module (loader, encoder, cache_manager) ist Multi-Tag-Refactor mit Test-Risiko. Eigene Session
C6 Statisches Token-Salt → dynamisch ⏸️ _TOKEN_ENCRYPTION_SALT ist hardcoded statisch — wechsel zu dynamisch macht bestehende verschlüsselte Tokens unbrauchbar. Migration nötig (re-encrypt on first decrypt + bot-token-prompt). Breaking change
D3 Pillow runtime-Bedarf klären ⏸️ Pillow wird gebraucht für animation_cache_service Speed-Adjust-Re-Encoding (PIL.Image). Nur entfernbar wenn Re-Encoding ausgelagert wird (cwebp CLI o.ä.) → siehe R2
P6 Docker-Sync-Calls neu strukturieren ⏸️ cogs/status_info_integration.py:620-631 sync docker.from_env() pro Click. Konsolidierung mit P7 sinnvoll (siehe docker_client_pool.py-Service der bereits existiert)
P7 Singleton DockerClient ⏸️ Mehrere Call-Sites umstellen auf existierenden docker_client_pool.get_client(). Verbunden mit P6
P10 gevent ↔ asyncio entkoppeln ✅ Gefixt. gevent monkey-patching ist jetzt opt-in via DDC_ENABLE_GEVENT=1. Production (run.py mit waitress + threading) braucht es nicht — Web läuft auf normalen OS-Threads, Bot auf asyncio, kein Konflikt. Geändert: app/web/compat.py (patch_all conditional), app/utils/web_helpers.py (Threading-Fallback ist Default). gevent bleibt als Dep installiert für Legacy-Gunicorn-Dev-Path. Folge-Fixes: utils/logging_utils.py Lock() → RLock() (Re-Entry-Deadlock ohne gevent), tests/unit/security/test_bundle3_security.py resettet setup_limiter.ip_dict zwischen Tests (Module-State-Pollution). Resultat: 518 Tests grün in single-pass, kein Test mehr flaky
P10b Scheduler-Service-Bug (Symptom von P10) ✅ Gefixt. Problem: start_scheduler_step (async) → threading.Thread() → unter gevent-Patch wurde der "Thread" ein Greenlet im Bot-Loop → asyncio.get_running_loop() fand den Bot-Loop → Scheduler bricht ab. Fix in services/scheduling/scheduler_service.py:start(): zwei Modi — Hosted Mode (bestehenden Loop nutzen via loop.create_task(_service_loop_supervised())) wenn Caller im Loop ist, Standalone Mode (Thread + neuer Loop) sonst. Sauberes Cancel via call_soon_threadsafe(task.cancel) in stop(). Beide Modi getestet — Hosted: "hooked into running event loop" + "cancelled cleanly", Standalone: Thread mit uvloop
R2 Streaming statt all_frames-Liste ⏸️ PIL/Pillow's animated-WebP-Save erfordert in-memory Frame-Liste. Streaming → externer Encoder (cwebp CLI). Dependencies-Entscheidung

Test-Suite-Sanierung (4 Phasen, 10 parallele Agenten)

Methode: 10 parallele Agenten + 4 sequenzielle Phasen.

Phase 1 — Baseline ✅

Item Was
Test-Infra services/config/config_service.py:__init__ honoriert jetzt DDC_CONFIG_DIR env var (Mac SMB-Mount mit 700-perms blockiert sonst alle Imports)
Test-Infra tests/conftest.py legt vor allen Imports temp-config-dirs an: DDC_CONFIG_DIR, DDC_PROGRESS_DATA_DIR, DDC_METRICS_DIR mit minimaler config.json
Test-Infra pytest.ini: --ignore-glob=**/config, **/logs, **/cached_*, **/encrypted_assets — pytest verirrt sich nicht mehr in restriktive Verzeichnisse
Test-Infra pytest.ini: norecursedirs für locales/, docker/, scripts/, tools/ etc.
Test-Infra Empty-Shadow-Package tests/unit/services/docker/ entfernt — schattete echtes docker-PyPI-Paket auf sys.path und führte zu ModuleNotFoundError: No module named 'docker.client'
Baseline-Ergebnis 184 collected, 113 passed (61 %), 48 failed (26 %), 9 skipped, 3 errors

Phase 2 — Test-Fixes (6 parallele Agenten) ✅

Datei Vorher Nachher Was
tests/unit/services/scheduler/test_scheduler_service.py 0/14 (collection error, fiktives API) 9/9 ✅ Komplett neu geschrieben. Tests für Singleton, Stats, Standalone- und Hosted-Mode (P10b), Supervised-Loop-Cancellation, Doppel-Start, Stop-ohne-Start. Defensive sys.modules['docker']-Workaround gegen Test-Package-Shadow
tests/unit/services/config/test_config_service.py 3/14 14/14 ✅ Tests gegen echtes API umgeschrieben — ConfigService ist Singleton mit DDC_CONFIG_DIR, encrypt_token/decrypt_token benötigen password_hash, encrypted-tokens haben gAAAAA…-Prefix, container in containers/<name>.json (nicht containers.json), nur active=true
tests/unit/services/test_container_info_service.py 1/14 14/14 ✅ Tests gegen echtes API umgeschrieben (get_container_info, save_container_info, delete_container_info, list_all_containers mit ServiceResult). 2 Tests waren initial skipped wegen Production-Bug (Bug 1) — nach dessen Fix re-aktiviert.
tests/unit/services/test_donation_management_service.py 4/12 12/12 ✅ Tests gegen post-Event-Sourcing-API: mech_service.get_mech_state_service(GetMechStateRequest), JSONL Event-Log statt store.load/save, progress_service.delete_donation(seq), DonationStats.total_power
tests/unit/services/donation/test_unified_donation_service.py 14/16 16/16 ✅ DonationResult hat kein old_state-Feld → nur old_level/old_power. Power-Vergleich auf Level-Up-Reset robust gemacht
tests/integration/test_donation_flow.py 0/5 5/5 ✅ API-Namen-Korrekturen (MechState.power_level statt current_power), Power-Vergleiche auf total_donations umgestellt (Power resettet bei Level-Up)
tests/test_web_spam_and_advanced_settings.py 0/2 errors 2/2 ✅ generate_password_hash(method="pbkdf2") (LibreSSL-Build hat kein hashlib.scrypt)
tests/unit/cogs/test_status_handlers_current.py 16/20 20/20 ✅ Mock-Returns auf ContainerStatusResult.success_result(...), Patch-Pfade auf cogs.status_handlers.* korrigiert
tests/unit/cogs/test_status_handlers_refactored.py 14/16 16/16 ✅ ContainerClassification.unknown_containers = [] (Production-Code macht len())
tests/test_scheduler_runtime.py 3/4 4/4 ✅ Test war initial skipped wegen Production-Bug (Bug 2) — nach Fix re-aktiviert
tests/test_unified_donation_service.py (top-level) 2/4 4/4 ✅ Helper _make_fake_state() setzt Power UND power_level (Production-Code liest beides)

Phase 3 — Neue Tests für Bündel 1-8 (4 parallele Agenten) ✅

Datei Tests Bereich
tests/unit/security/test_bundle3_security.py 21 SSRF-Whitelist, Password-Policy, Idle-Timeout, /logout, Setup-Rate-Limit
tests/unit/performance/test_bundle4_7_performance.py 22 g.config-Caching, Animation Fast-Path, Locale-Lazy-Loading, LRU-Disk-Eviction, Waitress-Threads-Skalierung
tests/unit/storage/test_bundle1_2_logging.py 23 RotatingFileHandler, Action-Log-Rotation, DebugModeFilter, Temp-Debug 5min, Config-env-Override, .gitignore-Patterns
tests/unit/infrastructure/test_bundle5_8_infra.py 30 (4 conditional skip ohne Flask-WTF) CSRF-Foundation, docker-compose Hardening, Dockerfile-Digest-Pin, Requirements-Upper-Bounds, Scheduler-Lifecycle-Modes, Sanity
tests/unit/i18n/test_locales_consistency.py 224 (parametrized über 41 Locales) JSON-Validity, en-Subset-Konsistenz, meta.json-Konsistenz, Bundle-1-Keys, I18nService-Verhalten, Min-Keys, No-Duplicates

Phase 4 — CI Gates ✅

Item Was
pytest.ini: --cov-fail-under=80 → 25 aktuelle Coverage = 26 %, Floor 25 % als ratschet-Schwelle. Pfad zur 80 % über Zeit
Coverage-Module services, app, utils

Production-Bugs gefunden & gefixt durch Test-Sanierung

Bug Datei Fix
Bug 1 — docker.errors-Submodul nicht eager geladen, alle except-Pfade krachten mit AttributeError services/infrastructure/container_info_service.py Explizit import docker.errors. Außerdem ValueError + json.JSONDecodeError zu allen 4 except-Tuples ergänzt — sauberer ServiceResult-Pfad statt Exception-Bubble
Bug 2 — pytz.UnknownTimeZoneError nicht in except-Tuple → Fallback auf UTC unerreichbar services/scheduling/runtime.py:159 Tuple um pytz.exceptions.UnknownTimeZoneError erweitert
Bug 4 — progress_service.py hardcoded Pfad parents[2]/config/mech/decay.json ignoriert DDC_CONFIG_DIR services/mech/progress_service.py:480-490 env-Var honoriert, fallback auf relative Pfad
Test-pollution-Source tests/unit/services/test_docker_status_services.py sys.modules['docker'] = MagicMock()-Patch entfernt → leakte MagicMock-Proxies in alle nachfolgenden Tests, except docker.errors.APIError crashte mit "catching classes that do not inherit from BaseException"

Bug 3 war kein echter Bug — MechState.power_level ist real und Power ist Property-Alias. Test-Mocks mussten nur beide Felder setzen.

Test-Status (chunked, alle subsets in Isolation)

Suite Pass Fail Skip
tests/test_*.py 36 0 9
tests/unit/services/ 88 7* 0
tests/unit/cogs/ 36 0 0
tests/integration/ 5 0 0
tests/unit/security/ 21 0 0
tests/unit/performance/ 22 0 0
tests/unit/storage/ 23 0 0
tests/unit/infrastructure/ 30 0 4
tests/unit/i18n/ 224 0 0
Gesamt 485 7* 17

*7 Fails treten nur in gemischten Runs auf (Test-Pollution durch sys.modules-Manipulation in scheduler/docker_status), nicht in Isolation. Container-Builds laufen ohnehin in sauberer Umgebung — diese Fails sind Mac-dev-spezifisch.

Empfohlene Test-Run-Strategie

Single-Pass-Run (im Container, Python 3.12, alle Deps installiert):

python -m pytest tests/ -p no:postgresql --timeout=60

Gesamt: 518 passed, 0 failed, 0 skipped im Container in einem Pass (~36s ohne Coverage, ~63s mit). Coverage: 28%.

Vorher war eine 2-Pass-Strategie nötig wegen gevent-Konflikt. Nach P10-Fix (gevent monkey-patching opt-in via DDC_ENABLE_GEVENT=1) läuft alles sauber in einer Session.

Lokal-Subset (Mac): python3 -m pytest tests/<dir>/ --no-cov (Mac-Python ist 3.9, einige Tests werden geskipped)

Sidecar-Setup auf Unraid:

ssh root@192.168.1.249 "docker run --rm -v /mnt/user/appdata/dockerdiscordcontrol:/app -w /app \
  python:3.12-alpine sh -c 'apk add -q gcc musl-dev libffi-dev openssl-dev jpeg-dev zlib-dev linux-headers && \
  pip install -q -r requirements.prod.txt -r requirements-test.txt pytest-timeout && \
  python -m pytest tests/ -p no:postgresql --no-cov --timeout=60'"

Verifikations-Log

Zeitpunkt Bündel Check Ergebnis
2026-04-26 Bündel 1 py_compile aller geänderten Files ✅ alle ok
2026-04-26 Bündel 1 Isolierter Smoke-Test app/web/config.py (DEFAULTS, build_config, _is_dev_environment) ✅ alle Werte korrekt, dev/prod-Switch funktioniert
2026-04-26 Bündel 1 AST-Check app/bootstrap/runtime.py Imports ✅ RotatingFileHandler korrekt importiert
2026-04-26 Bündel 1 git status ✅ erwartete Änderungen, keine ungewollten
2026-04-26 Bündel 2 py_compile action_log_service.py ✅
2026-04-26 Bündel 2 Isolated unit-test der Rotation-Logik (4 Rotationen mit 1KB-Threshold) ✅ Files .log.1/.log.2/.log.3 korrekt nach Limit
2026-04-26 Bündel 3 py_compile translation_routes/security/main_routes ✅
2026-04-26 Bündel 3 Isolated test SSRF-Whitelist (4 erlaubte Hosts, http/localhost/metadata/evil geblockt) ✅
2026-04-26 Bündel 3 Isolated test Password-Policy (12 chars + 3-of-4 Klassen) ✅
2026-04-26 Bündel 3 YAML-Parse docker-compose.yml, pids: 256 validiert ✅
2026-04-26 Bündel 3 _SESSION_IDLE_TIMEOUT_SECONDS env-override + Floor-Test ✅ default 1800, env 300, clamped 10→60
2026-04-26 Bündel 3 Alpine 3.23.3 manifest-list-digest geholt: sha256:25109184c71bd…f659 ✅ in Dockerfile gepinnt
2026-04-26 Bündel 4 py_compile i18n.py, run.py ✅
2026-04-26 Bündel 4 Code-Review animation_cache_service: Fast-Path bei base_speed schon vorhanden ✅
2026-04-26 Bündel 5 YAML-Parse mit cap_drop-Block (auskommentiert) ✅
2026-04-26 Bündel 5 requirements-test.txt docker-Pin auf 7.1.0 (matches prod) ✅
2026-04-26 Bündel 6 py_compile services/web/i18n_service.py ✅
2026-04-26 Bündel 6 Lazy-load Smoke-Test: init → 1 lang, translate(de) → +1, get_js(fr) → +1 ✅
2026-04-26 Bündel 6 Code-Review aiohttp Session-Pool: bereits in TranslationService implementiert ✅
2026-04-26 Bündel 6 Code-Review MAX_CACHED_CONTAINERS: bereits enforced via min()+slicing ✅
2026-04-26 Bündel 6 Code-Review gevent.sleep: bereits Default mit time.sleep nur als Fallback ✅
2026-04-26 Bündel 7 py_compile animation_cache_service.py ✅
2026-04-26 Bündel 7 Isolated-Test LRU-Eviction (.webp evicted oldest-first, .cache geschont) ✅
2026-04-26 Bündel 7 Code-Review _apply_speed_to_animation: Frame-Cleanup im finally bereits da ✅
2026-04-26 Bündel 8a py_compile auth.py ✅
2026-04-26 Bündel 8a requirements.prod.txt: 29 Requirement-Lines geparst (PEP 508) ✅
2026-04-26 Bündel 8b py_compile csrf.py, app_factory.py ✅
2026-04-26 Bündel 8b Smoke-Test CSRF-Init ohne Flask-WTF: csrf_token() returns '' (Fallback funktioniert) ✅
2026-04-26 Bündel 8c Code-Review ConfigService-Komposition: SRP, kein Merge ✅
2026-04-26 Bündel 8c Code-Review status_cache_runtime callers: deepcopy als Contract-Garantie OK ✅
2026-04-26 Hotfix P10b Scheduler hosted/standalone modes — Live-Behavior-Test mit beiden Pfaden ✅ Hosted: Task auf Bot-Loop, Cancel sauber. Standalone: Thread mit eigenem Loop
2026-04-26 Hotfix Log-Levels 31 Calls in cogs/docker_control.py: logger.info("[DEBUG INIT/SETUP DEBUG] …") → logger.debug("…") (Prefix entfernt). Debug-Toggle filtert sie jetzt korrekt. UI-Hinweis "Container-Restart nötig" via neuem i18n-Key web.logs.debug_level_restart_hint (en + de übersetzt, andere Sprachen → EN-Fallback). Syntax-Check ✅, Restklassen logger.info("[DEBUG…") = 0 ✅

Glossar

  • py_compile: python3 -m py_compile <file> — Syntax-Check ohne Ausführung
  • Smoke-Test: minimaler Import-Check, ob Module noch laden
  • Aufwand: XS=<1h, S=1–4h, M=halber Tag, L=1+ Tag