Любая бортовая ИИ-функция — это компромисс между тремя величинами, которые нельзя максимизировать одновременно: возможностями модели, задержкой вывода и мощностью, рассеиваемой внутри герметичного модуля. Нагрузка, заявляющая детекцию крупной моделью на 30 Гц в корпусе массой 500 г, утверждает про минимум одну из них нечто маловероятное.
Ключевые выводы
- Вывод должен выполняться на борту, потому что канал связи — самая ненадёжная часть системы, а сопровождение не переносит его задержки.
- Пространство компромисса — точность против мощности против теплового запаса; оптимизировать все три сразу невозможно.
- Настоящий потолок — тепло. Длительный вывод в герметичном подвесе упирается в троттлинг задолго до предела по вычислениям.
- Проверяйте сопровождение на значимых сценариях отказа — перекрытие, передача цели, повторный захват — прежде чем полагаться на него в реальной задаче.
На этой странице
Почему вывод должен выполняться на борту
Передача видео вниз, детекция на земле и отправка команд обратно добавляют полный круг: кодирование, передача, декодирование, вывод, кодирование команды, передача, исполнение. Даже на хорошем канале это 150–400 мс. Контур слежения подвеса, замыкающийся с такой задержкой, не сопровождает, а раскачивается.
Бортовой вывод замыкает контур за единицы миллисекунд, потому что пиксели вообще не покидают модуль. В этом весь архитектурный аргумент, и именно поэтому качество сопровождения зависит от того, где работает модель, а не от того, насколько она хороша.
Второй аргумент — независимость от канала. Нагрузка, сопровождающая на борту, продолжает вести цель при пропадании видео; та, что зависит от наземного вывода, теряет цель в момент ухудшения связи.
Пространство компромисса
| Конфигурация | Типичная задержка | Потребляемая мощность | Что умеет | Практическое ограничение |
|---|---|---|---|---|
| Классический корреляционный трекер | 1–3 ms | < 0.5 W | Вести выбранный фрагмент | Теряет цель при перекрытии |
| Лёгкий свёрточный детектор, квантованный | 10–25 ms | 1.5–3 W | Классы «человек» / «транспорт» | Ограниченный набор классов |
| Средний детектор на NPU | 25–40 ms | 3–6 W | Многоклассовый, многообъектный | Тепловой предел в герметичном модуле |
| Крупный детектор | 80–200 ms | 8–15 W | Детализированные классы | Неприменим в микромодуле |
| Детектор + повторная идентификация | 40–70 ms | 5–9 W | Повторный захват после перекрытия | Ограничен пропускной способностью памяти |
| Вывод на наземной стороне | 150–400 мс на полный круг | 0 Вт на борту | Любой размер модели | Непригоден для замкнутого сопровождения |
Настоящий потолок — тепло
В герметичном модуле с защитой по IP нет потока воздуха. Каждый ватт, рассеиваемый процессором, должен уйти теплопроводностью через корпус в наружный воздух, а наружный воздух в жаркий день на малой скорости — плохой радиатор. Именно поэтому ИИ-возможности нагрузки обычно ограничены теплом, а не кремнием: чип потянул бы модель побольше, но модуль не может отвести тепло.
Поэтому же производительность ИИ часто падает именно на тех задачах, где она нужнее всего: длительное барражирование, жара, малая скорость. Тепловой троттлинг снижает частоту вывода раньше, чем что-либо заметное оператору, поэтому первый симптом — начинающий отставать трекер.
Проектировать с учётом этого — значит закладывать длительный, а не пиковый вывод и прямо указывать температуру окружающего воздуха, при которой заявленная частота достижима.
Из чего на самом деле состоит конвейер сопровождения
- Обнаружение — поиск объектов-кандидатов в каждом кадре или каждом N-м кадре ради экономии энергии.
- Ассоциация — сопоставление детекций между кадрами в треки, обычно с моделью движения.
- Выбор — трек выбирает оператор или правило.
- Уточнение — быстрый корреляционный трекер работает между кадрами детектора, чтобы контур оставался плотным без запуска сети на каждом кадре.
- Выдача на привод — отклонение сопровождения в пикселях или углах подаётся в контур управления подвесом. Практически значима именно задержка выдачи; см. ИИ-сопровождение целей на нагрузках БПЛА.
Как это проявляется в наших нагрузках
Наши модули с ИИ указывают частоту обновления отклонения сопровождения и задержку выдачи отдельно от задержки детекции, потому что именно эти цифры определяют, плавно ли идёт подвес за целью. На OP-90A частота обновления 30 Гц при задержке выдачи менее 5 мс; детектор работает медленнее, а корреляционная ступень заполняет промежутки. Микромодули, такие как MV-4X используют более лёгкую модель в более жёстких рамках по питанию — честное следствие форм-фактора.
Читайте также
Технологии: тракт обработки тепловизионного изображения и синхронизация времени между сенсорами.
Практика применения: как на самом деле работает ИИ-сопровождение, бюджеты задержки видео по типам задач и бюджет питания нагрузки.
Что проверить, прежде чем доверять сопровождению в реальной задаче
Демонстрации ИИ-сопровождения обычно снимают в идеальных условиях: высокий контраст, медленная цель, прохладный воздух, короткий полёт. Реальные условия не таковы, и именно в разрыве между демонстрацией и задачей программы теряют доверие к этой возможности.
Проверяйте границы отказа намеренно. Самая частая — перекрытие: цель уходит за дерево или машину. Одни системы захватывают заново, другие цепляются за перекрывающий объект и уже не восстанавливаются. Вторая — изменение масштаба: быстро приближающаяся или удаляющаяся цель меняет размер быстрее, чем некоторые трекеры обновляют модель. Третья специфична для инфракрасного диапазона — тепловой переход: на рассвете и закате цель и фон проходят через одинаковую кажущуюся температуру, и контраст на короткое время исчезает полностью.
Проверяйте и тепловой троттлинг. Отработайте нагрузкой полную продолжительность полёта в жаркий день и сравните задержку сопровождения на сороковой минуте с пятой. Если они различаются, вы купили пиковую характеристику, а не длительную.
- Перекрытие: захватывает ли трекер цель заново после того, как она прошла за препятствием?
- Изменение масштаба: удерживает ли он быстро приближающуюся или удаляющуюся цель?
- Тепловой переход: что происходит на рассвете и закате, когда контраст схлопывается?
- Помеховый фон: как он ведёт себя над водой, колышущейся растительностью или толпой?
- Длительная нагрузка: одинакова ли задержка сопровождения в конце жаркого вылета и в начале?
- Передача управления: может ли оператор мгновенно перейти на ручное, когда трекер сбоит?
FAQ
Почему не запускать ИИ-модель на наземной станции, где больше вычислений?
Задержка. Полный круг — кодирование, передача, декодирование, вывод и команда обратно — обычно 150–400 мс, что слишком медленно для замкнутого контура сопровождения: он раскачивается вместо того, чтобы вести цель. Наземный вывод годится для последующего анализа и непригоден для сопровождения в реальном времени.
Что ограничивает размер модели, которую может запустить нагрузка?
Тепло, и обычно раньше вычислений. В герметичном модуле нет потока воздуха, поэтому каждый ватт рассеивания процессора должен уйти теплопроводностью через корпус. Большинство нагрузок ограничены теплом, а не кремнием, и производительность падает на жарких, медленных, длительных барражирующих задачах.
Какую характеристику сравнивать между нагрузками?
Частоту обновления отклонения сопровождения и задержку его выдачи, а не «сырые» кадры в секунду детектора. Именно эти две величины определяют, насколько плотно подвес идёт за движущейся целью, — а это то, что чувствует оператор.