App vergibt automatisch Tags an Fotos

Vom 1. Juli 2011 in Digitalkamera

US-Studenten haben eine Smartphone-App entwickelt, um für eine bessere Beschlagwortung von Fotos zu sorgen. Dabei setzt „TagSense“ darauf, nicht nur Sensordaten des eigenen Geräts zu nutzen. „Wenn ein Handy mit TagSense ein Foto schießt, erkennt es automatisch abgebildete Personen und den Umgebungskontext, indem es Sensordaten von nahen Telefonen sammelt“, so Xuan Bao, Informatik-Doktorand an der Duke University.

Indem fotografierte Freunde der App freiwillig Zugang zu den Daten gewähren, helfen sie, automatisch verschiedene Schlagworte etwa zu Wetter, Bilddynamik und Stimmung zu generieren. So bekommen Fotos mehr Tags als beispielsweise nur mithilfe einer Gesichtserkennung. Das hilft später dabei, in der eigenen Fotodatenbanken gezielter nach bestimmten Bildern zu suchen.

Viele Daten statt bestenfalls Namen

Die Stundenten haben festgestellt, dass existierende Lösungen für viele Fotos kaum oder keine Schlagworte liefern. So liefert Gesichtserkennung allenfalls den Namen einer Person – und das sicher nicht, wenn sie nur von hinten zu sehen ist. TagSense setzt daher darauf, dass Freunde Daten vom eigenen Smartphone freiwillig dem Fotografen zur Verfügung stellen. Schon allein, dass sich ihr Gerät in der Nähe befindet, ist dann ein Hinweis, wer auf einem Bild zu sehen ist. „Handys haben vielfältig Sensoren, die wir nutzen können“, betont zudem Chaun Qin, Informatik-Doktorand an der University of South Carolina.

So geben die Bewegungssensoren eines Smartphones Aufschluss darüber, ob sich ein Freund beispielsweise besonders in Pose wirft oder gerade tanzt. Das Mikrofon wiederum kann ermitteln, ob ein Nutzer lacht und somit Information zur Stimmung liefern. Die Lichtsensoren in den Geräten sowohl der Bildsubjekte als auch des Fotografen wiederum helfen zu beurteilen, ob eine Aufnahme im Freien entsteht und ob es bewölkt ist. GPS-Daten wiederum geben an, wo ein Foto entstanden ist – und liefern in Verbindung mit der Uhrzeit die Möglichkeit, über eine Online-Wetterinfo zu bestimmen, ob es beispielsweise schneit.

Informative Schlagworte

Mithilfe all dieser Sensordaten ist es möglich, Fotos mit einfachen, aber informativen Schlagworten zu versehen – etwa „lachend“ oder „tanzend“. „Wenn man beispielsweise auf einer Party war, wird es im Nachhinein leichter, nur nach Fotos fröhlich tanzender Menschen zu suchen“, sagt Qin. Freilich wäre es auch möglich, die Suche dabei auf Bilder einer bestimmten Person einzugrenzen. TagSense ist dabei nach Ansicht des Teams nicht zuletzt dafür interessant, existierende Beschlagwortungslösungen zu ergänzen

Die Studenten haben TagSense mittels acht Nexus One-Smartphones an über 200 Fotos erprobt. Dabei konnten sie nachweisen, dass der Ansatz Personen öfter korrekt als im Bild beschlagwortet als die Gesichtserkennung bei Apples iPhoto oder Googles Picasa. Allerdings gab es öfter fälschlich beschlagwortete zugeordnete Personen, da ihr Smartphone zwar in der Nähe, der Mensch aber nicht wirklich im Bild war. Vorläufig ist die App auch nur ein Prototyp – bis zum kommerziellen Produkt dürfte es noch einige Jahre dauern.