3.5. Tracking
Das Tracking Tool analysiert die Bewegung eines Ausgangsbildes. Diese Bewegungsinformation kann auf ein anderes Bild übertragen werden. Ein Beispiel ist ein Auto das kurvenreich auf die Kamera zufährt. Statt des Nummernschildes soll der Firmenname der Automarke an dieser Stelle zu sehen sein.
Dazu wird die Bewegung des Autos analysiert und dann auf das Bild mit dem Firmennamen übertragen.
Zu diesem Zweck muß ein geeigneter Punkt am Auto ausgesucht werden der vom Tracker Tool erkannt werden kann.
In einem vorgegebenen Bereich um den Punkt den man 'tracken' (verfolgen) möchte herum untersucht das Tool die Pixel. Analysiert werden meist die Helligkeitswerte. Der entsprechende Punkt kann also keine Farbfläche sein, da sie kein wiederzuerkennendes Muster enthält. Im nächsten Frame sucht das Tool den Bereich der vorgegeben war ab um das selbe Muster wie im ersten Bild zu finden. Ist das Tool erfolgreich setzt es an dieser Stelle einen Positionskeyframe.
Der Bereich den der Tracker wiedererkennen soll wird Search Area (Suchbereich) genannt. Der Bereich in dem das Tool das Pixelmuster der Search Area im nächsten Frame wieder finden soll wird Target Area (Zielbereich) genannt. Üblicherweise ist die Target Area 2/3 oder doppelt so groß wie die Search Area, abhängig von der Geschwindigkeitdes Objektes das getrackt werden soll.
In der Abbildung werden beide Bereiche zur Verdeutlichung größer dargestellt als in der Praxis nötig.
Je schneller das Objekt ist desto größer muß die Target Area sein, da über die Zeitspanne zum nächsten Frame eine größere Strecke zurückgelegt wird, je höher die Geschwindigkeit ist. Ist das Objekt zu schnell wird das Pixelmuster innerhalb eis Frames also mehr verschoben als die Target Area groß ist, bricht der Tracker ab. In diesem Fall hat man zusätzlich Probleme mit der Bewegungsunschärfe des Objekts, die einen Trackpunkt nicht mehr erkennen läßt, weil er zu stark verwischt ist. Hier bleibt nur eine manuelle Einstellung derTrackpunkte.
Im Beispiel des Nummernschildes ist es rechteinfach ein Muster wiederzuerkennen. Das Muster in sich bewegt sich nicht.Auf dem Nummernschild gibt es einen hohen Kontrast. Ein schwarzer Buchstabeder senkrechte und waagerechte Linien enthält ist ein gut geeigneterTrackpunkt (z.B. T, X, H). Der Buchstabe I ist nicht so gut geeignet. Bewegtsich der Buchstabe auf und ab, ändert sich das Pixelmuster nicht. ImGegenteil, der Tracker erkennt das vorgegebene Muster über und unterdenen des Suchbereichs, das Tracker Tool wird wild vertikal hin- und herspringen.Wählt man einen Punkt an der Außenkante des Autos, so das vielvom Hintergrund in dem Suchbereich mit erfaßt wird, kann der Trackerebenfalls nicht korrekt arbeiten. Das Auto bewegt sich relativ zum Hintergrund,Das Pixelmuster wird sich ändern und das Trackingtool kann nicht mehrerkennen welche Pixel den gemeint waren. Die des Autos oder die des Hintergrunds.
Ein Suchmuster kann sich zum Beispiel durch perspektivische Verzerrung nach und nach ändern, das Tracker Tool hat eine Option die sich 'Update Search Area' nennt. Ein Pixelmuster wird als Trackpunkt festgelegt, im nächsten Frame erkennt der Tracker das leicht geänderte Muster und legt dies als neue Referenz fest und so weiter. Oft lassen sich dannauch leichte Bewegungsunschärfen tracken.
Ein weiteres Problem ist, wenn der Trackpunkt durch Dinge im Vordergrund verdeckt wird (zum Beispiel Bäume, wenn das Auto durch den Wald fährt). Hier wird der Tracker zu nächst abbrechen, weil sein Suchmuster auf dem Auto völlig durch den Baum abgedeckt wird. Man hat die Möglichkeit einen Punkt manuell einzugeben, wenn der Punkt später auf der anderen Seite des Baumes wieder sichtbar ist. Geht man dann wieder an eine Stelle, bevor das Auto hinter dem Baum verschwindet,ist der Tracker in der Lage die Position des Trackpunktes hinter dem Baumzu interpolieren.
Das Trackingproblem ist damit gelöst, fährt das Auto mit dem Firmennamen aber dann rasant an dem Baum vorbei wird der Firmenname vor dem Baum sichtbar sein, da der Firmenname als Bild über dem des Autos liegt. In diesem Fall muß ein Teil des Bildes mit dem Auto und Bäumen als Oberstes, drittes Layer im Compositing diesen Fehler beheben. Genau der Teil des Baums der Im Vordergrund zu sehen ist wird als Maske ausgeschnitten und überlagert den gleichen Teil des Hintergrunds. So kann das Schild mit dem Firmennamen zwischen diesen Layern 'durch'-fahren und erzeugt dann die realistische Illusion des Firmennamens am Auto.
Weitere Probleme ergeben sich bei komplexer Bewegung. Nehmen wir an das Auto überschlägt sich über die Längsachse, der Punkt des Trackers kann dieser Bewegung folgen, eine Drehung wird der Firmenname aber nicht nachvollziehen.
Die mathematische Grundlage ist ein Punkt, der nach Definition so klein ist, das er keine Ausrichtung hat, infolgedessen auch nicht in der Lage ist ein sich drehendes Objekt zu erkennen. Zu diesem Zweck braut man einen 2 Punkt Tracker, je einen rechts und links am Nummernschild. Mit diesen zwei Punkten kann man eine Drehung auf ein anderes Bild übertragen. Zwischen den zwei Punkten ist eine Linie, die als geometrisches Objekt sehr wohl in der Lage ist eine Drehung nachzuvollziehen.
Kommt das Auto auch noch sehr nah an die Kamera heran wird das Nummernschild immer größer, mit Kurve und Überschlag entsteht eine komplexe Bewegung. Das Objekt dreht sich, es wird perspektivisch verzerrt und es wird größer. Für eine solche Bewegung braucht man ein 4-Point Trackertool. Rechts und links, unten und oben am Nummernschild. Als mathematische Grundform entsteht eine Fläche, ein Viereck, dessen Winkel und Seitenlängen abhängig von dem Grad der perspektivischen Verzerrung sind. Überträgt man diese Informationen auf das statische Bild des Firmennamens, kann dieses Bild nicht nur der Bewegung des Autosfolgen. Eine korrekte Skalierung wird ebenso erreicht wie eine perspektivischeVerzerrung, falls das Nummernschild nicht genau gerade zur Kamera steht.
Um einen brauchbaren Trackpunkt zu haben, muß in vielen Fällen beim Drehen am Objekt Trackpunkte befestigt werden. Idealerweise haben sie die Form von vier Feldern eines Schachbretts. BeiCrashtests von Autos findet diese Form auch aus dem selben Grund Verwendung,hier werden vor und nachher die exakte Länge zwischen den Punkten gemessen.
Dieses grafische Muster ist eindeutig definiert und unabhängig davon wie groß es ist, oder in welchen Winkel es zur Kamera steht. Es verfügt außerdem über den höchst möglichen Kontrast (schwarzweiß). Der Punkt in dem die Flächen zusammenlaufen ist immer eindeutig definiert, es handelt sich um einen mathematischen Punkt. Ein aufgemalter 'Punkt' ist selbst wenn der Kontrast hoch ist ausmathematischer Sicht ein Kreis. Das Trackergebnis wird innerhalb des Durchmessersdieses Kreises ungenau sein.
Informationen zur Größe und zum Drehwinkel des Objektes ergeben sich für den Tracker aus der Position verschiedener Trackpunkte. Das Anbringen von realen Trackpunkten am ganzen Wagen vor dem Dreh ist wichtig, dabei sollte darauf geachtet werden, daß die Punkte nicht zu nah am Wagenäußeren angebracht werden. Zu leicht versucht der Tracker hier einen Teil des Hintergrundes in die Search Area mit einzubeziehen. Wenn der Wagen zum Beispiel rechts abbiegt ist die Front nicht mehr sichtbar, anhand von Trackpunkten an der Seite des Wagens kann trotzdem der Wagen weiter getrackt werden. Bei einer solchen Bewegung ist es nicht mehr sinnvoll die Bewegungsinformation auf ein zweidimensionales Bild zu übertragen. Wenn sich das Auto um 90 Grad dreht (rechts abbiegt), ist ein zweidimensionales Videobild nicht mehr sichtbar. In diesem Fall wird man eine 3D Computeranimation verwenden. Für einen Agentenfilm soll zum Beispiel auf dem Dach desAutos ein Raketenantrieb zu sehen sein. Dieser Antrieb wird als Computeranimation erstellt. Front und Seitenansicht kann nicht von einem Videobild wiedergegeben werden. Ein Modell oder eine Computeranimation, die auf ein existierendes Bild animiert werden kann ist die Lösung für solche Probleme die ein Tracker nicht lösen kann,
Hierzu liefern die Computeranimationsprogramme Möglichkeiten die erstellten Objekte an eine reale Bewegung anzupassen.
Die Trackinformation kann auch bereits beim Drehen erstellt werden. Gespeichert wird nicht der Ort eines Punktes im Bild, sondern die Bewegung, welche die Kamera ausgeführt hat. Dieses Verfahren heißt Motion Control. Die Daten lassen sich speichern und dann auf Grafiken oder Bilder übertragen
Ein klassisches Beispiel für eine häufige Anwendung eines 4 Punkt Trackers sind zweidimensionale Flächen im Bild auf denen ein anderes Bild zu sehen sein soll.
Ein Fernseher, eine Plakatwand, Postkarte, Fotoalbum, Buch oder wie in den Abbildungen auf einem Oraganizer.
Die Person sitzt in einem Boot und braucht Informationen zum Angelköder.
Das Boot schaukelt hin und her. Auf dem Bilderkennt man einen 4-Point Tracker.
Auf dieses Bild wird der Tracker angewandt.
Dieses Bild soll auf dem Oraganizer zu sehensein. Die Trackinformation aus dem vorigen Bild wird auf dieses übertragen. Dadurch bewegt sich das Bild mit den Ködern entsprechend dem erstenBild. Eine Anpassung in Größe und Position des Köderbildsist noch erforderlich.
Das fertige Bild, die Information auf dem Oraganizer folgt nun den Bewegungen.
