CHANGES.md — журнал сессий

Последние три рабочие сессии. Старше — в git history. Формат: дата + буква при нескольких сессиях в один день. Правила — CONTEXT.md. Статус — STATE.md. ТЗ — ARCHITECTURE.md.

2026-10-18 — Знимкарі Лабораторія, новый UI, отправка и чистка

Интерфейс Лаборатории (бывший Цех)

• ✅ Переименование в UI: «Знимкарі Лабораторія».
• ✅ Новый экран «Импорт»: таблица сопоставляет папки в zyn-festivals с ивентами в БД.
• ✅ Добавлена модалка создания ивента прямо из таблицы (с автозаполнением source_folder).
• ✅ Маска ввода даты ДД.ММ.ГГГГ в модалке создания.
• ✅ Новый экран «Отправка»: таблица готовых ивентов, упаковка (pack_event) и отправка (push_event) с логами и прогресс-баром.
• ✅ Экран «Чистка»: поиск и удаление папок-сирот, пустых ивентов, зависших задач импорта и старых архивов.
• ✅ На главную добавлен виджет «Проверить скорость» (Speedtest через Cloudflare).
• ✅ Сквозной скролл логов: если пользователь прокрутил вверх, лог больше не прыгает вниз.

Исправление багов

• ✅ Фикс «гонки потоков»: при отмене импорта фоновый поток больше не перезаписывает статус CANCELLED на DONE.
• ✅ Добавлен флаг -u для subprocess, чтобы логи push_event шли в реальном времени.
• ✅ Устранены ошибки CSRF при вызове pack_event и push_event из UI.
• ✅ Починено чтение даты из модалки (теперь строго %d.%m.%Y).

2026-10-17-б — Деплой цеха, Gunicorn, оптимизация импорта

Развёртывание znymkari-data на ноуте

• ✅ Создана БД znymkari_local и юзер, сделаны миграции, создан admin.
• ✅ Сгенерирован SSH-ключ на ноуте для push_event (добавлен в authorized_keys на VPS).
• ✅ Настроены права на HDD (/etc/fstab: umask=000), чтобы deploy мог писать.
• ✅ Создан и запущен gunicorn-oleg.service (1 воркер + 4 потока).
• ✅ Настроен WhiteNoise, добавлены иконка и стили.
• ✅ Создана страница /docs/, которая по SFTP читает .md файлы с VPS.

Интерфейс импорта

• ✅ Добавлен предохранитель: проверка свободного места на HDD и SSD перед стартом (с запасом 5% и 15%).
• ✅ Прогресс-бар обновлён: показывает ETA, прошедшее время, объём (ГБ/МБ) и три активных потока.
• ✅ Добавлен "пульс" (защита от залипания UI при обработке тяжелых видео).

Оптимизация import_service.py

• ✅ shutil.copyfile вместо copy2 — обход тормозов с метаданными на NTFS.
• ✅ Кэширование QR-кода в памяти, наложение в памяти (без чтения превью с диска).
• ✅ Извлечение постера видео из уже созданного превью (ускорение в 2 раза).
• ✅ ThreadPoolExecutor на 3 потока для параллельной обработки файлов.
• ✅ -preset ultrafast для ffmpeg.

Скрипты деплоя

• ✅ deploy_data.bat — создан (с бэкапом settings_local.py, стоп-кранами и очисткой "висящих" running задач).
• ✅ Исправлены зависания Windows ssh в бат-файлах (флаги < NUL и -T).
• ✅ Создан start_local_dev.bat для песочницы на 8001 порту.

2026-10-17 — Мини-админка цеха и рабочий транспорт

Мини-админка znymkari-data

• ✅ Модель ImportJob в apps/importer/models.py: статус, прогресс, лог, статистика. Админка. Миграция 0001.
• ✅ Пять страниц цеха: /, /import/, /import/<id>/, /storage/, /settings/. Прогресс — polling раз в секунду.
• ✅ Фоновый импорт в отдельном потоке (threading), кнопка «Отмена».
• ✅ Кнопка «Проверить связь с VPS» в /settings/: SSH-коннект, проверка наличия receive_event, вывод времени отклика.
• ✅ base.html, static/css/style.css — фирменные цвета, без витринных эффектов.

Транспорт ноут → VPS

• ✅ Команда pack_event <event_id> (ноут): сериализация ивента в data.json через django.core.serializers, копирование превью, сборка tar.gz.
• ✅ Команда push_event <event_id> (ноут): paramiko SFTP на VPS + запуск receive_event по SSH. Флаг --dry-run.
• ✅ Команда receive_event <slug> (VPS): распаковка, мягкий merge через ORM по естественным ключам, копирование превью в /srv/previews/.
• ✅ Транспорт переписан с pg_dump + ON CONFLICT на JSON + ORM. Причина: несовпадение pk, FK, M2M, множественные ключи. См. ARCHITECTURE.md §3.11.

Мягкий merge

• ✅ Правило: при создании ставим всё из JSON, при обновлении — только белый список полей.
• ✅ Хозяин поля — VPS: лайки, покупки, заморозка, разметка (block / category / performance), автор, прайс, organizer, staff_on_site — при merge не трогаются.
• ✅ Идемпотентность подтверждена на живом цикле: повторный push_event не создаёт дублей, Event обновляется, Media находит по (event, storage_path), превью с совпадающим размером пропускаются.

Справочники — только на VPS

• ✅ Organizer и TeamMember — источник данных один: VPS. На ноуте не заполняются и не показываются в админке.
• ✅ Event.source_folder — служебное поле, заполняется автоматически при импорте, спрятано в свёрнутый блок «Служебное».
• ✅ Команда assign_media_authors <event_id> (VPS): эвристика автора по ролям команды ивента.

Мелкие правки кода

• ✅ Из import_service.py убрана эвристика автора (перенесена на VPS).
• ✅ pack_event не шлёт Organizer / TeamMember.
• ✅ receive_event чистит NUL-байты из строк (Postgres их не принимает).
• ✅ receive_event не переносит id и event из JSON (Django назначает свои).

VPS

• ✅ Миграция 0012_drop_event_storage_root применена.
• ✅ Создана папка /srv/previews/ (владелец deploy:deploy).
• ✅ Почищены старые команды из web/apps/catalog/management/commands/.
• ✅ deploy.bat — прошёл, тесты 77 OK.

Доки

• ✅ ARCHITECTURE.md — §2.8, §3.11 полностью переписаны под реальность.
• ✅ STATE.md — обновлены план работ, «что не начато», техдолг, таблицы.
• ✅ CONTEXT.md — обновлён список management-команд.
• ✅ CHANGES.md — эта запись.

Отложено на будущее

• ⏳ gunicorn-oleg.service + деплой znymkari-data на ноут Олега.
• ⏳ Первый реальный импорт фестиваля.
• ⏳ Обратный канал VPS → ноут (pull_protected + файл чистки). Схема: VPS формирует JSON при чистке, ноут забирает командой, Олег согласует на /storage/.
• ⏳ Кнопка «Удалить из storage» на /storage/ — после pull_protected.

Техдолг

• Media при повторном merge показывает ~2 (обновление), хотя данные не меняются. Причина: exact_datetime из БД — объект datetime, из JSON — строка. Лишний UPDATE. Косметика.
• Страница доков /catalog/docs/<slug>/ на web устарела. Состав доков менялся, добавились SETUP_HOME.md, SETUP_VPS.md, COMMANDS.md. Сверить с docs.html.

2026-10-16 — Отказ от HOT/COLD

Хранилище

• Понятия HOT и COLD упразднены. Было: SSD = горячее, HDD = холодное. Стало: единое хранилище на HDD (/mnt/hdd/znymkari-storage/).
• Причина: SSD < 300 ГБ, ни один фестиваль (200–500 ГБ) целиком не влезает.
• content_shop_archive → znymkari-storage.
• SSD остаётся под ОС + PostgreSQL + venv + превью на время push.
• NTFS-3G → NTFS3 отложено до покупки новых винчестеров (Олег планирует).

Модель

• Event.storage_root — дропается. Миграции: 0012 в web/, 0010 в znymkari-data.

Доки

• ARCHITECTURE.md — §2.8, §3.3, §3.6, §3.10, §4.1, §4.2, §4.4, §4.6, §4.8, §5.1, §6, §7.1, §7.3.
• CONTEXT.md — §0, §2, §4 (модели, импорт, ноут, Samba).
• STATE.md — «Что не начато совсем», «Что в очереди», техдолг, таблицы.
• CHANGES.md — эта запись.

2026-10-15-б — Реструктуризация, znymkari-data, три поля в Event

Реструктуризация D:\content_shop

• Проблема: корневой D:\content_shop был одним git-репо — включая web/, старый мир (cli/, domain/, scripts/, services/, storage/) и deploy.bat. По ARCHITECTURE.md §7.1 должно быть: web/ — отдельный репо, корень без git.
• ✅ Бэкап: G:\My Drive\backups\content_shop_2026-10-15\ — 1290 файлов, 10.07 МБ, .git внутри. Верифицировано.
• Compress-Archive пропустил .git (1 МБ вместо 10 МБ, скрытые файлы).
• Переключились на robocopy /E /COPY:DAT /R:1 /W:1.
• ✅ Установлен git-filter-repo==2.47.0.
• ✅ Клон: git clone --no-local D:\content_shop _znymkari_filter_tmp — --no-local обязателен, иначе filter-repo отказывается работать.
• ✅ git filter-repo --subdirectory-filter web/ — 43 коммита переписаны, пути сокращены на один уровень (web/apps/… → apps/…).
• ✅ .git перенесён в D:\content_shop\web\.git через robocopy /MOVE.
• ✅ Старый .git в корне удалён.

Чистка

• Битые desktop.ini в .git/refs/, heads/, tags/, remotes/origin/ (~130 файлов) — Windows-артефакты от Проводника. Удалены. Из-за них клон падал с fatal: 'refs/remotes/origin/desktop.ini' has neither a valid OID nor a target.
• desktop.ini (~20 шт.) в web/ — удалены.
• __pycache__ — удалены.
• media/__init__.py (пустой) — удалён.
• Создан web/.gitignore (перенесён из корня, адаптированы пути).
• D:\_znymkari_filter_tmp\ — удалён.

znymkari-data — каркас

• ✅ D:\content_shop\znymkari-data\ — Django 6.1.1, отдельный git-репо.
• ✅ config/settings.py — INSTALLED_APPS: apps.core → apps.catalog, apps.importer, apps.dashboard. Убраны Telegram, accounts, issues, orders.
• ✅ config/settings_local.py — dev (SQLite), прод-пути в комментариях.
• ✅ requirements.txt: Django, psycopg2-binary, gunicorn, Pillow, requests, tzdata.
• ✅ apps/catalog/models.py — 10 моделей (Organizer, TeamMember, Event, ProgramScan, Expense, ExtraIncome, Block, Category, Performance, Media). Без Favorite, CartItem, UserEventDiscount — они только на VPS.
• ✅ Миграции 0001–0008 скопированы из web/ идентично — схема совпадает.
• ✅ apps/catalog/admin.py — все 10 моделей, Media через raw_id_fields.
• ✅ apps/importer/sanitize.py — транслит имён файлов и папок (§5.1-bis).
• ✅ apps/importer/apps.py — name = 'apps.importer'.
• ✅ apps/dashboard/apps.py — name = 'apps.dashboard'.

Три поля в Event — синхронизация ноут ↔ VPS

• ✅ external_id — UUIDField(default=uuid4, unique=True).
• ✅ storage_root — CharField, hot/cold, db_index.
• ✅ slug — CharField, {id:04d}_{sanitized_title}, unique, null=True.
• ✅ Миграция 0009 в znymkari-data — паттерн «nullable → RunPython fill → unique». Django предупреждает на Callable default on unique field; паттерн обходит.
• ✅ Миграция 0011 в web/ — та же, dependencies на 0010_usereventdiscount.
• ✅ В web/ нет save() — slug и storage_root заполняются только на ноуте, на VPS приходят через push_event.
• ✅ 77 тестов — OK.

Инцидент на VPS

• ⚠️ deploy.bat обновил код, но migrate не запускался → catalog_event.external_id does not exist → 500 на / и /catalog/events/.
• ✅ Применено вручную: ssh deploy@... "cd .../web && venv/bin/python manage.py migrate" → 0011 OK.
• ✅ Сайт восстановлен (200/200).
• ✅ deploy.bat — в шаг 5 добавлен manage.py migrate --noinput до collectstatic. Шапка-комментарий обновлена.

Техдолг

• znymkari-data — ещё нет apps/importer/: import_service.py, media_metadata.py, management/commands/. Плановый шаг 2.
• sanitize.py есть только в znymkari-data. В web/ не нужен — импорта нет.
• media/znymkari_logo.jpg — надо скопировать в znymkari-data/media/ для _apply_qr_watermark.
• Remote на GitHub — не настроен (ни для web/, ни для znymkari-data). Страховка — zip на G:\My Drive\backups\.
• D:\content_shop\.gitignore — не привязан ни к какому репо, кандидат на удаление.
• D:\content_shop\desktop.ini — мусор.

2026-10-15 — Webhook guard, чистка проекта, фикс логотипа

Webhook

• Слетел webhook бота (url пустой, pending_update_count: 7). Причина — Telegram отключает после длительных ошибок/недоступности (рестарты gunicorn при деплоях).
• ✅ Восстановлен через set_telegram_webhook --delete → set_telegram_webhook.
• ✅ Новая команда check_telegram_webhook — проверяет и переустанавливает если url пустой, pending >= 30, или есть last_error_message.
• ✅ Cron на VPS раз в 10 минут. Лог /var/log/znymkari/webhook_guard.log.
• ✅ Проверено: cron пишет «ОК, webhook живой» каждые 10 минут.

Баг логотипа

• import_service._apply_qr_watermark искал znymkari-logo.jpg (дефис), реально файл — znymkari_logo.jpg (подчёркивание). Превью генерились без вотермарка.
• ✅ Фикс: заменено на znymkari_logo.jpg.

Чистка проекта

• ✅ Удалены __pycache__ и .pyc (146 файлов).
• ✅ Удалены артефакты: content_shop.db, docs_upload.tar.gz, web_upload.tar.gz, fix_docs.py, find_cyr.py.
• ✅ .gitignore — разделены web/media/* и whitelist znymkari_logo.jpg, __init__.py.
• ✅ deploy.bat — авточистка локального и VPS-архива после деплоя; исключение desktop.ini из архива.

Техдолг

• Ubuntu 26.04 LTS — доступно обновление. НЕ делать сейчас — Broadcom DKMS, PostgreSQL 20, Python 3.15, nginx 1.30 → неделя работы.
• MOTD на SSH — отключены 90-updates-available и 91-release-upgrade.

2026-10-14-в — Samba, ревизия HDD, решение о znymkari-data

Удаление старого мира

• ✅ media_metadata.py перенесён из D:\content_shop\services\ в web/apps/catalog/services/ (1:1).
• ✅ web/apps/catalog/services/import_service.py — импорт переключён на apps.catalog.services.media_metadata.
• ✅ web/config/settings.py — убран sys.path.insert(0, BASE_DIR.parent) и import sys (если он был только для этого).
• ✅ Удалены папки: cli/, domain/, scripts/, services/, storage/.
• ✅ Удалены файлы в корне: .gitignore, start_shell.bat.
• ✅ Тесты web/ — 77 OK.
• ✅ Grep по web/ и znymkari-data/ — ни одного импорта из старого мира.
• ✅ Удалены из web/: apps/catalog/services/ (папка целиком), management/commands/import_media.py, management/commands/generate_video_posters.py. Импорт теперь только в znymkari-data.
• ✅ client_api.py — комментарий про import_service._apply_qr_watermark переписан.
• ✅ 77 тестов web/ — OK.

Samba на ноуте Олега

• Установлена samba. Юзер olegarh, отдельный SMB-пароль через smbpasswd -a.
• Шары: [zyn-festivals] → /mnt/hdd/zny-festivals, [zyn-heap] → /mnt/hdd/zny-heap.
• Порт 445, только LAN 192.168.31.0/24. Наружу не пробрасывается.
• Олег подключил Z: и Y: через Проводник Windows.
• System error 1219 — решена через net use * /delete /y + одну команду.
• ufw не включён. Правило для 445 добавлено. Техдолг.

HDD — ревизия и очистка

• HDD иногда монтируется «грязным» (Windows Fast Startup). ntfs-3g чинит сам.
• Все 10 фестивалей из _Work/BRAVO OleG/2026/ перенесены через mv в zyn-festivals/.
• Всё лишнее с корня HDD перенесено в zny-heap/ — bash-цикл с защитой 5 имён.
• В корне HDD: $RECYCLE.BIN, System Volume Information, content_shop_archive, zny-festivals, zny-heap.

Решение о znymkari-data

• Отказались от «полной копии сайта на ноуте». Отдельный Django-проект znymkari-data — только импорт, sanitize, превью, push.
• Модели catalog — общие с сайтом. Остальное (cart, favorites, telegram, issues, orders) — не переносится.
• Связь с сайтом — один endpoint POST /internal/receive-event/ + push_event.
• pg_dump / pg_restore — не JSON. Схема БД на VPS и ноуте одинакова.
• Админка для Олега — Django templates + минимум JS: /, /import/, /storage/, /settings/.
• Размещение: D:\content_shop\web\ + D:\content_shop\znymkari-data\. Два независимых git-репо рядом.
• web/docs/ — остаётся внутри сайта.

Ревизия доков

• Убрана нумерация сессий (С24, С25). Только даты + буква.
• ARCHITECTURE.md §7 — структура кода была выдумана. Переписана под реальность.
• Расхождения, зафиксированные для исправления:
• Event.external_id / storage_root / slug — нет в коде, только план.
• Media.width / height — нет.
• Category.block — есть в коде.
• sanitize.py — не существует, надо создать.
• import_service.py тянет services.media_metadata из старого мира.
• import_service не копирует оригиналы, только превью.
• _apply_qr_watermark — quality=100, не 85.
• STORAGE_ROOT = E:\images в dev-настройках.

Что дальше

1. Создать D:\content_shop\znymkari-data\ — каркас Django.
2. Перенести модели + import_service + generate_video_posters.
3. Написать sanitize.py — транслит.
4. Добавить копирование из zyn-festivals в HOT/COLD.
5. Мини-админка для Олега.
6. pack_event / push_event / receive_event.
7. Первый реальный импорт.