polaroids

Het internet telt steeds meer foto’s en dat is mooi: beelden zeggen immers meer dan duizend woorden. Maar met de snelle toename van het aantal foto’s wordt het wel steeds lastiger om foto’s te vinden, zeker omdat veel mensen hun foto’s niet taggen. Gelukkig schieten wetenschappers te hulp!

Prachtig toch, al die (verzamelingen) afbeeldingen op het internet? Hoe meer hoe beter! Dat zou u denken maar het juiste antwoord op die vraag is eigenlijk ‘ja’ en ‘nee’. ‘Ja’ omdat u dan meer keuze heeft en een grotere kans zou hebben om een geschikte afbeelding te vinden en ‘nee’ omdat u waarschijnlijk de geschikte afbeelding niet KUNT vinden, simpelweg omdat er in veel gevallen geen of weinig tags (z.g. metadata over de inhoud van de afbeelding) bij zijn.

Biljoenen afbeeldingen
De revolutie in de fotowereld begon met de digitale camera. Opeens konden we zoveel foto’s maken als we wilden, omdat de incrementele kosten van het maken van een extra foto feitelijk nul zijn.
Met de komst van de smartphone met (hoge kwaliteit) camera’s kwamen er nog meer digitale foto’s online. Het gevolg is dat het aantal afbeeldingen op het internet exponentieel stijgt. Alleen al op de fotosite Flickr staan zes miljard foto’s en er wordt geschat dat één biljoen foto’s per jaar worden geüpload naar Facebook.

Tags
Sommige van deze afbeeldingen hebben tags, andere weer niet. In het algemeen zijn de tags die gebruikers toekennen soms onvolledig, onbetrouwbaar en zeer persoonlijk. Dit maakt het vinden van bepaalde foto, zeker in een grote verzameling, moeilijk.

Foto: Chris_Parfitt (via Flickr.com).

Foto: Chris_Parfitt (via Flickr.com).

Hoe doen de specialisten dat?
Getty Images, een bekende leverancier van stockfoto’s heeft ‘slechts’ een verzameling van 80 miljoen afbeeldingen. Een heel team van experts is daar bezig om iedere foto te labelen, niet met één tag of label maar met vele tientallen. Neem bijvoorbeeld de foto hiernaast van een man met een hond in de sneeuw. Het aantal tags dat Getty Images aan deze afbeelding zou hangen ligt al gauw tussen de 20 en 40 aparte tags. Getty Images zou de volgende tags kunnen gebruiken: People, Cold Temperature, Casual Clothing, Friendship, Happiness, Enjoyment, Getting Away From It All, Deep Snow, Nature, Vacations, Horizontal, Full Length, Outdoors, Caucasian Ethnicity, Animal, Walking, Dog, Winter, Day, Snow, Woods, Forest, One Person, Adult, Mid Adult, 30-39 Years, Color Image, Frozen, One Animal, Weekend Activities, Men, Mid Adult Men, One Mid Adult Man Only, Only Men, One Man Only, Leisure Activity, Photography, Pets, Warm Clothing, Adults Only. En dan kunt u er zo nog wel een aantal bedenken, want een plaatje zegt meer dan duizend woorden.

Computers
Foto’s op Flickr en Facebook of welke andere fotosharingsite worden niet zo uitgebreid getagd. Het taggen is echter wel belangrijk omdat de waarde van de verzameling van Getty Images (of welke andere grote verzameling afbeeldingen) groter wordt naarmate er meer relevante tags worden gebruikt omdat mensen/klanten de afbeeldingen ook echt kunnen vinden. Helaas is het taggen van biljoenen afbeeldingen onmogelijk handmatig te doen. Zou dit door computers en software kunnen worden gedaan?

Software
Onderzoekers aan de Universiteit van Amsterdam hebben (in het COMMIT SEALINC project) software ontwikkeld waarmee automatisch kan worden vastgesteld welke door een gebruiker aangemaakte tags het meest relevant zijn. De software kan zelfs tags voorstellen op basis van de tags die in soortgelijke foto’s zijn gebruikt.

Automatisch taggen met behulp van tag relevantie. Afbeelding: COMMIT.

Automatisch taggen met behulp van tag relevantie. Afbeelding: COMMIT.

Automatisch foto’s taggen
Het hoofdprincipe achter het automatisch taggen van afbeeldingen is vrij simpel: neem een foto, bijvoorbeeld van een brug (zie hierboven). De tags die zijn toegevoegd zijn ‘bridge‘, ‘bicycle‘, ‘perfect‘ en ‘MyWinners‘. Kijk vervolgens met behulp van beeldherkenning naar afbeeldingen die lijken op deze afbeelding van een brug. Als deze afbeeldingen in de meeste gevallen ook dezelfde tags gebruiken dan is het zeer waarschijnlijk dat deze tag (of tags) de afbeelding het best beschrijft. In het geval van de afbeelding hierboven is dat ‘bridge‘. Hoe relevant iedere tag is, wordt bepaald op basis van het aantal keren dat een gelijksoortige afbeelding van die specifieke tag is voorzien. In de afbeelding hierboven ziet u dat vier gelijksoortige afbeeldingen gelabeld zijn met ‘bridge’. De ‘tag relevance’ van deze tag is dan 4 en de tag frequentie wordt verhoogd naar 4.

De giraf. Foto: Doug Wheller (cc via Flickr.com).

De giraf. Foto: Doug Wheller (cc via Flickr.com).

De software belazerd
Om de software goed te laten werken, moet er aan een aantal voorwaarden worden voldaan. Zo moet u bepaalde tags negeren. Bijvoorbeeld de tags die een jaar beschrijven zoals 2001 of 2012. Deze tags hebben een beperkte relevantie omdat ze niet zozeer de foto beschrijven maar wanneer deze genomen is. Ook moet de software ervan uit kunnen gaan dat gebruikers de juiste tags gebruiken. Als iedereen een brug altijd als ‘giraffe’ zou taggen dan neemt de software dat over en noemt ook iedere brug een giraffe.

De onderzoekers aan de Universiteit van Amsterdam onder leiding van Dr. Cees Snoek hebben een experiment uitgevoerd op 3,5 miljoen Flickr afbeeldingen om te zien om hun algoritmes de image ranking verbeterde en of een zoekopdracht naar ‘bridge’ (nadat de tag relevantie is bepaald) daadwerkelijk meer relevante testresultaten opleverde. In iedere setting van het onderzoek leverde hun algoritme inderdaad significant betere resultaten op ten opzichte van bestaande methodes zoals Google’s Visual Page Rank. Verwacht echter niet dat het algoritme tags zal genereren zoals die van Getty Images. Dat is nog steeds een handmatig en arbeidsintensief proces omdat niet alles kan worden vastgesteld door beeld herkenning. Speciale concepten als ‘samen’ of de leeftijd van de persoon in de afbeelding is extreem moeilijk zo niet onmogelijk via beeldherkenning vast te stellen. Maar de algoritmes die zijn ontwikkeld zijn een goed begin om te komen tot het automatisch taggen en door het vaststellen van tag relevance verbeteren van tags van afbeeldingen op het internet.

Het COMMIT-programma is een privaat-publieke samenwerking op het gebied van ICT-onderzoek. Het programma telt vijftien verschillende projecten, waaronder dus dit project over het taggen van afbeeldingen. Eerder verschenen op Scientias.nl ook al artikelen over andere COMMIT-projecten: TaSST, een apparaat dat aanrakingen op afstand mogelijk maakt en een onderzoek van de Erasmus Universiteit dat mensen meer grip moet geven op het immer uitdijende internet.