Architektur der Onboard-KI-Inferenz: das Dreieck aus Rechenleistung, Latenz und Energie

Jede KI-Fähigkeit an Bord ist ein Aushandeln zwischen drei Größen, die sich nicht alle zugleich maximieren lassen: Modellleistung, Inferenzlatenz und die im dichten Pod abgeführte Verlustleistung. Eine Nutzlast, die Erkennung mit großem Modell bei 30 Hz in einem 500-g-Gehäuse verspricht, behauptet über mindestens eine davon etwas Unwahrscheinliches.

Kernaussagen

  • Die Inferenz muss an Bord laufen, weil die Funkstrecke der unzuverlässigste Teil des Systems ist und die Verfolgung ihre Latenz nicht verträgt.
  • Der Zielkonflikt lautet Genauigkeit gegen Leistungsaufnahme gegen thermische Reserve — alle drei zugleich lassen sich nicht optimieren.
  • Die eigentliche Grenze ist die Wärme. Dauerhafte Inferenz drosselt in einem dichten Gimbal lange bevor die Rechengrenze erreicht ist.
  • Prüfen Sie die Verfolgung gegen die relevanten Fehlerfälle — Verdeckung, Zielübergabe und Wiedererfassung —, bevor Sie ihr im Einsatz vertrauen.

Warum die Inferenz an Bord stattfinden muss

Video herunterzusenden, die Erkennung am Boden laufen zu lassen und Befehle zurückzuschicken addiert den gesamten Umlauf: kodieren, senden, dekodieren, inferieren, Befehl kodieren, senden, ausführen. Selbst auf einer guten Strecke sind das 150–400 ms. Eine Gimbal-Nachführschleife, die mit dieser Latenz schließt, schwingt, statt zu verfolgen.

Inferenz an Bord schließt die Schleife in einstelligen Millisekunden, weil die Pixel den Pod nie verlassen. Das ist das gesamte architektonische Argument, und deshalb hängt die Verfolgungsqualität davon ab, wo das Modell läuft, und nicht davon, wie gut es ist.

Das zweite Argument ist die Unabhängigkeit von der Funkstrecke. Eine Nutzlast, die an Bord verfolgt, verfolgt auch durch einen Videoausfall hindurch weiter; eine, die auf Bodeninferenz angewiesen ist, verliert das Ziel in dem Moment, in dem die Strecke schlechter wird.

Der Zielkonflikt

KonfigurationTypische LatenzLeistungsaufnahmeWas sie leistetPraktische Grenze
Klassischer Korrelationstracker1–3 ms< 0.5 WEinen gewählten Bildausschnitt verfolgenVerliert das Ziel bei Verdeckung
Leichter CNN-Detektor, quantisiert10–25 ms1.5–3 WKlassen Person / FahrzeugBegrenzter Klassensatz
Mittelgroßer Detektor auf NPU25–40 ms3–6 WMehrklassig, mehrobjektigThermische Grenze im dichten Pod
Großer Detektor80–200 ms8–15 WFeingranulare KlassenIn einem Mikro-Pod nicht tragfähig
Detektor + Wiedererkennung40–70 ms5–9 WWiedererfassung nach VerdeckungDurch Speicherbandbreite begrenzt
Inferenz am Boden150–400 ms Umlauf0 W an BordBeliebige ModellgrößeFür geschlossene Verfolgungsschleifen unbrauchbar
Repräsentative Werte für SoCs in Luftfahrzeugnutzlasten. Die bindende Grenze ist weit häufiger die Leistungsaufnahme als die Rechenleistung.

Die eigentliche Grenze ist die Wärme

Ein dichter Pod mit IP-Schutzgrad hat keine Luftströmung. Jedes Watt, das der Prozessor abgibt, muss durch das Gehäuse an die Außenluft geleitet werden, und die Außenluft ist an einem heißen Tag bei geringer Fluggeschwindigkeit kein guter Kühlkörper. Deshalb ist die KI-Fähigkeit einer Nutzlast meist thermisch und nicht durch das Silizium begrenzt — der Chip könnte ein größeres Modell rechnen, aber der Pod bekommt die Wärme nicht los.

Deshalb bricht die KI-Leistung auch oft genau bei den Einsätzen ein, die sie am meisten brauchen: langes Verweilen, heiße Umgebung, geringe Fluggeschwindigkeit. Thermisches Drosseln senkt die Inferenzrate, bevor es etwas für den Bediener Sichtbares senkt, weshalb das erste Anzeichen ein Tracker ist, der nachzuhinken beginnt.

Dafür zu konstruieren heißt, mit dauerhafter statt mit Spitzeninferenz zu rechnen und offenzulegen, bei welcher Umgebungstemperatur die genannte Rate erreichbar ist.

Was die Verfolgungskette tatsächlich enthält

  • Detektion — Kandidatenobjekte in jedem Bild finden, oder in jedem n-ten Bild, um Energie zu sparen.
  • Zuordnung — Erkennungen über Bilder hinweg zu Spuren verknüpfen, meist mit einem Bewegungsmodell.
  • Auswahl — der Bediener wählt eine Spur aus, oder eine Regel tut es.
  • Verfeinerung — ein schneller Korrelationstracker läuft zwischen den Detektorbildern, damit die Schleife eng bleibt, ohne das Netz in jedem Bild zu rechnen.
  • Ausgabe an die Servos — die Verfolgungsabweichung in Pixeln oder Winkel geht in den Gimbal-Regelkreis. Betrieblich entscheidend ist hier die Ausgabeverzögerung; siehe KI-Zielverfolgung auf UAV-Nutzlasten.

Wie sich das in unseren Nutzlasten zeigt

Unsere KI-fähigen Pods geben Aktualisierungsrate und Ausgabeverzögerung der Verfolgungsabweichung getrennt von der Erkennungslatenz an, weil diese Werte bestimmen, ob das Gimbal weich nachführt. Beim OP-90A liegt die Aktualisierungsrate bei 30 Hz mit einer Ausgabeverzögerung unter 5 ms; der Detektor läuft darunter, und die Korrelationsstufe füllt die Lücken. Mikro-Pods wie MV-4X rechnen ein leichteres Modell in engerem Leistungsrahmen — die ehrliche Folge des Formfaktors.

Technologie: die Wärmebild-Verarbeitungskette und Zeitsynchronisation mehrerer Sensoren.

Feldpraxis: wie KI-Verfolgung tatsächlich funktioniert, Videolatenzbudgets nach Einsatzart und Leistungsbudget der Nutzlast.

Was zu prüfen ist, bevor man der Verfolgung im Einsatz vertraut

Vorführungen der KI-Verfolgung werden meist unter Idealbedingungen gefilmt: hoher Kontrast, langsames Ziel, kühle Umgebung, kurzer Flug. Einsatzbedingungen sind nichts davon, und im Abstand zwischen Vorführung und Einsatz verlieren Programme das Vertrauen in die Fähigkeit.

Prüfen Sie die Fehlergrenzen gezielt. Verdeckung ist die häufigste — ein Ziel, das hinter einem Baum oder Fahrzeug vorbeizieht. Manche Systeme erfassen wieder, andere rasten auf dem verdeckenden Objekt ein und erholen sich nie. Die zweite ist Maßstabsänderung: ein schnell näherkommendes oder sich entfernendes Ziel ändert seine Größe schneller, als manche Tracker ihr Modell nachführen. Die dritte ist der thermische Übergang und betrifft nur das Infrarot — in Dämmerung und Morgengrauen durchlaufen Ziel und Hintergrund dieselbe scheinbare Temperatur, und der Kontrast verschwindet kurzzeitig vollständig.

Prüfen Sie auch das thermische Drosseln. Betreiben Sie die Nutzlast an einem heißen Tag über die volle Flugdauer und vergleichen Sie die Verfolgungslatenz in Minute vierzig mit der in Minute fünf. Stimmen sie nicht überein, haben Sie einen Spitzenwert gekauft und keinen Dauerwert.

  • Verdeckung: erfasst der Tracker wieder, nachdem das Ziel hinter einem Hindernis vorbeigezogen ist?
  • Maßstabsänderung: hält er ein schnell näherkommendes oder sich entfernendes Ziel?
  • Thermischer Übergang: was passiert in Morgengrauen und Dämmerung, wenn der Kontrast zusammenbricht?
  • Störhintergrund: wie verhält er sich über Wasser, bewegter Vegetation oder einer Menschenmenge?
  • Dauerlast: ist die Verfolgungslatenz am Ende eines Einsatzes an einem heißen Tag dieselbe wie am Anfang?
  • Übergabe: kann der Bediener sofort auf Handsteuerung übernehmen, wenn der Tracker versagt?

FAQ

Warum das KI-Modell nicht auf der Bodenstation rechnen, wo mehr Rechenleistung vorhanden ist?

Die Latenz. Der volle Umlauf aus Kodieren, Senden, Dekodieren, Inferieren und Befehl zurück liegt typisch bei 150–400 ms und ist damit viel zu langsam für eine geschlossene Gimbal-Verfolgungsschleife — sie schwingt, statt zu verfolgen. Inferenz am Boden taugt für die nachträgliche Auswertung und ist für Live-Verfolgung unbrauchbar.

Was begrenzt, wie groß ein Modell sein darf, das eine Nutzlast rechnet?

Die Wärme, meist noch vor der Rechenleistung. Ein dichter Pod hat keine Luftströmung, also muss jedes Watt Prozessorverlustleistung durch das Gehäuse geleitet werden. Die meisten Nutzlasten sind thermisch und nicht durch das Silizium begrenzt, und die Leistung fällt bei heißen, langsamen Einsätzen mit langem Verweilen ab.

Welche Angabe sollte ich zwischen Nutzlasten vergleichen?

Aktualisierungsrate und Ausgabeverzögerung der Verfolgungsabweichung, nicht die rohen Detektorbilder je Sekunde. Diese beiden bestimmen, wie eng das Gimbal einem bewegten Ziel folgt — und genau das erlebt der Bediener.