JEPA и другие модели мира
Предсказывать картинку, состояние и действие — одна задача?
Разные семейства отвечают на разные вопросы: понять фразу, сжать наблюдения, предсказать ряд, оценить последствия действия или выбрать политику.
Представление видео помогает распознавать происходящее, прогноз временного ряда — оценивать будущую температуру, а модель с явным действием — сравнивать последствия управления. Политика выбора действия использует эти результаты на следующем уровне.
Каждое семейство моделей рассматривается через задачу, необходимые данные и способ проверить пользу на датчиках Koobique. Для первого кабинета достаточно простых проверяемых моделей; крупная видеомодель остаётся отдельным исследованием.
JEPA: предсказывать представление#
В Joint-Embedding Predictive Architecture модель учится предсказывать внутреннее представление скрытой части данных по доступному контексту, а не обязательно восстанавливать каждый пиксель. V-JEPA 2 исследует понимание видео и действие-условное планирование в робототехнических задачах. Это не готовый контроллер комнатных реле. [121]
V-JEPA 2.1, опубликованная в марте 2026 года, развивает плотные пространственно-временные представления изображений и видео. Авторы описывают изменения функции обучения, самосупервизии и токенизации. [122] В официальном репозитории доступны код и модели; требования и лицензии необходимо проверять для выбранного checkpoint отдельно. [123]
Для первого Koobique камера не нужна. Загружать крупную видеомодель ради температуры и люксов — неподходящая исходная архитектура. Исследовательская альтернатива — небольшой энкодер временных окон наших сенсоров с масками пропусков и известными действиями. Это новая работа по обучению и проверке, а не автоматическая совместимость с весами V-JEPA.
Dreamer, TD-MPC2 и PETS#
DreamerV3 обучает модель среды и политику, используя предсказанные траектории. [124] TD-MPC2 сочетает латентную динамику и планирование для непрерывного управления. [125] PETS исследует вероятностные ансамбли динамики и планирование с учётом неопределённости. [126]
Для Koobique из этих направлений полезны действие-условная динамика, оценка расхождения моделей и разделение обучения/исполнения. Но их опубликованные результаты не измеряют безопасность нашего кабинета, работу с неизвестной нагрузкой или перенос из трёх домашних датчиков. Реальное обучение методом проб и ошибок на физических реле не становится приемлемым только потому, что политика успешно тренировалась в симуляторе.
Модели временных рядов#
Chronos-2 — пример предобученного вероятностного прогнозирования с несколькими рядами и ковариатами. [127] Такой подход можно проверить для прогноза температуры или фонового света. Он не доказывает причинное влияние команды: хороший прогноз при старом поведении пользователя может ошибаться после нового режима управления.
Первый эталон здесь — последнее значение, суточный профиль при достаточной истории и простая физическая модель. Большая модель имеет смысл, если на отложенных эпизодах улучшает нужный показатель с приемлемыми памятью и задержкой.
Активный вывод и ценность информации#
Active inference объединяет предпочтительные исходы и стремление получить информацию в одной вероятностной постановке. Исследования связывают её с байесовским выбором эксперимента и ожидаемой полезностью. [130] При этом вычислительная сложность и задание предпочтений — реальные инженерные вопросы, которым посвящены отдельные работы. [131]
Мы заимствуем практический принцип: иногда лучше сначала измерить, чем действовать. Для первого кабинета достаточно явного расчёта ценности дополнительного наблюдения; не нужно объявлять весь runtime реализацией свободной энергии.
Сравнение по роли в Koobique#
| Подход | Где проверять | Почему не единственный мозг |
|---|---|---|
| Правила/автоматы | Реле, ручные режимы, отказы | Ограниченная адаптация и семантика |
| Малый классификатор | Присутствие, намерение из фиксированных классов | Нужны разметка и отказ при новом режиме |
| Физика + остаточная модель | Свет, медленная температура | Структура и область применимости задаются явно |
| JEPA-подобный энкодер | Представления сложных потоков | Нужны собственные данные и обучение |
| Dreamer / TD-MPC2 | Симуляционный исследовательский стенд | Перенос и безопасное исследование не решены автоматически |
| Прогноз рядов | Фон, тренды, предупреждения | Прогноз не заменяет причинную модель |
| Языковая модель | RU/EN, объяснение, предложение плана | Нет полномочий на физический выход |
Базовый AI-профиль: локальное понимание намерений, оценка присутствия и небольшая гибридная модель динамики. JEPA и обучение политики — отдельная исследовательская ветка с более высоким порогом доказательств.
Чему должен научить опыт с JEPA#
В JEPA-подобных семействах предсказание представлений требует защиты от вырожденного решения, когда всё кодируется одинаково. В изучаемых реализациях используются конкретные target/online-энкодеры, stop-gradient, усреднение параметров и другие ограничения; точную комбинацию берём из выбранной работы и кода, не считаем четыре буквы универсальным алгоритмом.
Для нескольких медленных комнатных каналов первым соперником служат ручные признаки, линейная модель и небольшой временной предиктор. Допуск исследования — улучшение на независимых сценах с учётом ресурсов, качества данных и ошибки физического решения. Linear probe, прогноз скрытого канала и перенос размещения полезны как разные проверки, но ни одна отдельно не доказывает безопасное управление. [121][122][123]