- 28,203
- 46
- 8 Ноя 2022
Метод LMFT учит камеры замечать движение — и игнорировать всё остальное.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
ИИ, который анализирует видео, часто ошибается не из-за самого действия, а из-за того что детали вокруг сбивают с толку. Человек бежит по солнечной улице, и модель распознает бег без проблем. Камера показывает другого человека в темном парке под дождем, движение почти не меняется, но система уже хуже понимает происходящее.
Для машинного зрения разница между обучающими данными и реальной средой остается серьезной проблемой. Модель обучают на одних условиях, а затем запускают в других: меняются освещение, погода, фон, ракурс и качество записи. В научной литературе такой разрыв называют сдвигом домена. При распознавании действий по видео сдвиг домена мешает модели отличать важные признаки движения от случайных деталей сцены.
Метод Learnable Motion-Focused Tokenization, или LMFT, помогает модели сосредоточиться на движении. Название можно перевести как «обучаемая токенизация с фокусом на движении». Программа отбирает фрагменты видео, которые помогают распознать действие, и убирает участки кадра с малополезной фоновой информацией.
Современные модели компьютерного зрения часто делят изображение или видеоряд на небольшие элементы, токены. Затем система анализирует связи между этими элементами и ищет признаки нужного действия. Когда в обработку попадает слишком много фона, модель тратит ресурсы на лишние участки кадра и может привязаться к неважным признакам: погоде, освещению, предметам вокруг человека или особенностям места съемки. LMFT снижает долю таких фрагментов и оставляет больше внимания самому движению.
Фильтрация лишних токенов повышает точность и ускоряет анализ. Модель обрабатывает меньше данных, поэтому тратит меньше вычислительных ресурсов. Для задач с жесткими временными ограничениями разница особенно важна. В медицинских процедурах, робототехнике и беспилотном транспорте задержка даже на доли секунды влияет на решение системы. Если автомобиль распознает опасность за 0,1 секунды, более быстрый анализ дает шанс начать торможение раньше.
Снижение вычислительной нагрузки важно и для организаций без доступа к крупным дата-центрам. Передовые ИИ-модели требуют мощных ускорителей, дорогого оборудования и значительного энергопотребления. Когда модель получает меньше лишней информации на входе, запускать сложные системы локально становится проще. Такой подход может помочь небольшим командам и компаниям разворачивать компьютерное зрение на собственном оборудовании, а не переносить всю обработку в облако.
Локальная обработка особенно нужна там, где видеоданные нельзя свободно отправлять на внешние серверы. Медицинские записи, потоки с камер безопасности, промышленные системы контроля и автономная техника работают с чувствительной или непрерывно поступающей информацией. Более легкая модель может анализировать видео ближе к источнику данных, быстрее реагировать на изменения и меньше зависеть от удаленной инфраструктуры.
LMFT показывает направление, которое становится все заметнее в разработке ИИ. Большие модели по-прежнему требуют огромных ресурсов, но для реальных камер важна не только мощность. Видео из окружающего мира почти всегда содержит тени, шум, лишние предметы и непредсказуемый фон. Метод LMFT помогает модели отделять действие от обстановки и быстрее принимать решение там, где задержка и ошибка стоят слишком дорого.
<div class="articl-text-cover" style="position:relative;width:100%;max-width:800px;margin-left:auto;margin-right:auto;aspect-ratio:800/450;margin-bottom:2rem;overflow:hidden">
ИИ, который анализирует видео, часто ошибается не из-за самого действия, а из-за того что детали вокруг сбивают с толку. Человек бежит по солнечной улице, и модель распознает бег без проблем. Камера показывает другого человека в темном парке под дождем, движение почти не меняется, но система уже хуже понимает происходящее.
Для машинного зрения разница между обучающими данными и реальной средой остается серьезной проблемой. Модель обучают на одних условиях, а затем запускают в других: меняются освещение, погода, фон, ракурс и качество записи. В научной литературе такой разрыв называют сдвигом домена. При распознавании действий по видео сдвиг домена мешает модели отличать важные признаки движения от случайных деталей сцены.
Метод Learnable Motion-Focused Tokenization, или LMFT, помогает модели сосредоточиться на движении. Название можно перевести как «обучаемая токенизация с фокусом на движении». Программа отбирает фрагменты видео, которые помогают распознать действие, и убирает участки кадра с малополезной фоновой информацией.
Современные модели компьютерного зрения часто делят изображение или видеоряд на небольшие элементы, токены. Затем система анализирует связи между этими элементами и ищет признаки нужного действия. Когда в обработку попадает слишком много фона, модель тратит ресурсы на лишние участки кадра и может привязаться к неважным признакам: погоде, освещению, предметам вокруг человека или особенностям места съемки. LMFT снижает долю таких фрагментов и оставляет больше внимания самому движению.
Фильтрация лишних токенов повышает точность и ускоряет анализ. Модель обрабатывает меньше данных, поэтому тратит меньше вычислительных ресурсов. Для задач с жесткими временными ограничениями разница особенно важна. В медицинских процедурах, робототехнике и беспилотном транспорте задержка даже на доли секунды влияет на решение системы. Если автомобиль распознает опасность за 0,1 секунды, более быстрый анализ дает шанс начать торможение раньше.
Снижение вычислительной нагрузки важно и для организаций без доступа к крупным дата-центрам. Передовые ИИ-модели требуют мощных ускорителей, дорогого оборудования и значительного энергопотребления. Когда модель получает меньше лишней информации на входе, запускать сложные системы локально становится проще. Такой подход может помочь небольшим командам и компаниям разворачивать компьютерное зрение на собственном оборудовании, а не переносить всю обработку в облако.
Локальная обработка особенно нужна там, где видеоданные нельзя свободно отправлять на внешние серверы. Медицинские записи, потоки с камер безопасности, промышленные системы контроля и автономная техника работают с чувствительной или непрерывно поступающей информацией. Более легкая модель может анализировать видео ближе к источнику данных, быстрее реагировать на изменения и меньше зависеть от удаленной инфраструктуры.
LMFT показывает направление, которое становится все заметнее в разработке ИИ. Большие модели по-прежнему требуют огромных ресурсов, но для реальных камер важна не только мощность. Видео из окружающего мира почти всегда содержит тени, шум, лишние предметы и непредсказуемый фон. Метод LMFT помогает модели отделять действие от обстановки и быстрее принимать решение там, где задержка и ошибка стоят слишком дорого.
- Источник новости
- www.securitylab.ru
