Synchronisation temporelle multi-capteurs : alignement des images dans la charge utile

Une nacelle multi-capteurs fait tourner un cœur thermique à 30 Hz, un canal EO à 25 ou 30 Hz, un laser tirant à quelques hertz et une centrale inertielle échantillonnant à plusieurs centaines de hertz. Rien dans cette liste n'est naturellement aligné. Chaque image fusionnée, chaque piste incrustée et chaque coordonnée restituée dépendent d'une architecture temporelle dont la fiche technique ne parle jamais.

Points clés

  • Le décalage entre données thermiques, EO et d'attitude devient visible dès que l'on cherche à géolocaliser une cible mobile.
  • Les architectures temporelles diffèrent par l'endroit où l'horodatage est appliqué — au capteur, à l'encodeur ou à l'enregistreur — et seul le premier est défendable.
  • L'écart de cadence entre thermique et EO signifie qu'un flux est toujours interpolé ; il faut savoir lequel et de combien.
  • Demandez au fournisseur la source de l'horodatage et le décalage mesuré entre capteurs, pas une affirmation selon laquelle les flux sont synchronisés.

Pourquoi le décalage se voit

If the thermal and EO frames used for a picture-in-picture overlay are 40 ms apart and the gimbal is slewing at 30 °/s, the two images are looking 1.2° apart. At 30x zoom that is most of the field of view. The overlay separates, and operators report it as « boresight drift » when it is actually a timing error.

La géolocalisation en souffre de la même façon. La solution de coordonnée combine les angles du gimbal, l'attitude de l'aéronef et la distance laser. Si l'échantillon d'attitude utilisé est plus ancien de 50 ms que le retour laser, l'aéronef s'est déplacé et a tourné entre-temps, et cette erreur entre directement dans la coordonnée.

Le suivi par IA est la troisième victime. Un traqueur alimenté par des images aux horodatages irréguliers produit des estimations de vitesse instables, ce qui fait à son tour osciller la boucle de poursuite du gimbal.

Les options d'architecture temporelle

ApprocheErreur résiduelle typiqueCoûtOù c'est utilisé
Horodatage logiciel à l'arrivée5–40 msAucuneIntégrations d'entrée de gamme
Horodatage matériel à la capture0,5–2 msUn peu de logique FPGA/MCULa plupart des charges utiles modernes
Domaine d'horloge commun, un seul SoC< 0.5 msArchitecturaleNacelles multi-capteurs intégrées
Discipline PPS issue du GNSS< 100 µs par rapport à UTCEntrée GNSS requiseCharges utiles ayant besoin d'un temps absolu
Déclenchement genlocké des capteurs< 1 image, déterministePrise en charge par le capteur requisePhotogrammétrie et cartographie
PTP / IEEE 1588 sur Ethernet10–100 µsPile EthernetSystèmes multi-charges utiles répartis
Erreur résiduelle après synchronisation. Ce qui compte en opération, c'est l'erreur entre canaux, pas la précision absolue de l'horloge.

Le problème de l'écart de cadence

Un canal thermique à 30 Hz et un canal EO à 25 Hz entrent et sortent de phase en permanence. Aucun appariement n'est simultané ; le mieux que vous puissiez faire est de choisir le plus proche voisin et de noter l'écart. Les charges utiles qui exposent ce décalage permettent au logiciel aval de compenser ; celles qui apparient silencieusement l'image la plus récente de chaque flux introduisent une erreur non bornée que l'utilisateur ne peut pas voir.

Il en va de même pour le laser. Un télémètre tirant à 4 Hz doit être associé à un échantillon d'attitude précis du gimbal. L'associer à l'attitude au moment où le résultat arrive, plutôt qu'au moment où l'impulsion est partie, ajoute toute la latence de mesure dans la solution de géolocalisation.

Interpoler les données inertielles à l'horodatage de l'image — plutôt que de prendre l'échantillon le plus proche — supprime l'essentiel du résidu. C'est peu coûteux, et son absence est l'un des marqueurs les plus nets d'une intégration bâclée.

Ce qu'il faut demander à un fournisseur de charge utile

  • Les horodatages d'image sont-ils capturés en matériel ou attribués en logiciel à l'arrivée ?
  • Le thermique, l'EO et le laser partagent-ils un même domaine d'horloge ?
  • L'horodatage est-il exposé dans les métadonnées du flux vidéo ou en SEI, pour que les outils aval puissent l'exploiter ?
  • La charge utile peut-elle consommer un signal PPS ou une référence de temps absolu pour s'aligner sur d'autres systèmes ?
  • Les données inertielles sont-elles interpolées à l'heure de l'image, ou simplement prises au plus proche voisin ?

Comment cela se manifeste dans nos charges utiles

Les nacelles multi-capteurs telles que OP-125A et OP-90A font tourner leurs canaux thermique, EO et télémétrique dans un seul domaine de traitement, ce qui supprime entièrement le décalage d'horloge entre appareils — l'erreur la plus difficile à caractériser et la plus facile à éviter par l'architecture. Les métadonnées du flux portent la coordonnée du point de prise de vue, de sorte que les outils aval héritent de l'alignement au lieu de le recalculer.

Technologie : fusion EO/IR et alignement des axes de visée et budget d'erreur de géolocalisation de cible.

Pratique de terrain : la latence vidéo dans les systèmes de charge utile, les modes incrustation et fusion et ONVIF et vidéo IP.

Tester la synchronisation sans matériel de laboratoire

Les problèmes temporels passent facilement inaperçus au banc et sautent aux yeux en vol, ce qui est la pire combinaison. Deux tests de terrain simples en attrapent la plupart sans aucun équipement particulier.

Le test de rotation sépare le temporel de la ligne de visée. Pointez la charge utile sur une cible très contrastée et vérifiez l'incrustation thermique/EO à l'arrêt, puis recommencez en tournant à cadence modérée. Un décalage constant dans les deux cas est une erreur de ligne de visée, corrigée par calibration. Un décalage qui croît avec la vitesse de rotation est une erreur temporelle, et la calibration n'y changera rien.

Le test sur cible mobile vérifie la chaîne de géolocalisation. Télémétrez un objet fixe et géoréférencé depuis plusieurs positions et caps de l'aéronef. Si la coordonnée restituée se groupe étroitement, la chaîne est alignée ; si elle se disperse dans le sens du déplacement de l'aéronef, les échantillons d'attitude et de distance ne proviennent pas du même instant.

Les deux tests prennent dix minutes et devraient faire partie de la mise en service de toute charge utile multi-capteurs, et pas seulement d'un diagnostic auquel on recourt quand quelque chose cloche déjà.

  • Test de rotation : comparez l'alignement de l'incrustation à l'arrêt et en rotation pour distinguer l'erreur temporelle de l'erreur de ligne de visée.
  • Test sur cible géoréférencée : télémétrez un point connu depuis plusieurs positions et observez la dispersion des coordonnées.
  • Demandez si les horodatages sont capturés en matériel et s'ils sont exposés dans les métadonnées du flux.
  • Si vous consommez la vidéo dans un VMS tiers, vérifiez que les métadonnées SEI survivent au transcodage.
  • Refaites les deux tests après toute mise à jour du firmware touchant la chaîne vidéo ou capteur.

FAQ

Mon incrustation thermique et visible se dédouble quand le gimbal tourne. Est-ce un problème de ligne de visée ?

Le plus souvent c'est un problème temporel. Si les deux images sont séparées de dizaines de millisecondes et que le gimbal bouge, les images regardent réellement dans des directions différentes. L'erreur de ligne de visée est constante avec la vitesse de rotation ; l'erreur temporelle croît avec elle — cette distinction identifie la cause.

La synchronisation temporelle affecte-t-elle la précision de géolocalisation ?

Directement. La solution de coordonnée combine attitude, angle de gimbal et distance ; si ces échantillons ne proviennent pas du même instant, le déplacement de l'aéronef entre les deux entre dans le résultat. Sur un aéronef rapide, 50 ms de décalage peuvent représenter plusieurs mètres.

Ai-je besoin d'une synchronisation PPS ?

Seulement s'il faut vous aligner sur des systèmes extérieurs à la charge utile — données cartographiques externes, autres aéronefs, capteurs au sol. Pour l'alignement entre canaux d'une même nacelle, une horloge interne partagée est à la fois suffisante et plus précise.