Videozoekmachine experimenteert met Pinkpop

Twee onderzoekers op Science Park Amsterdam die op twee grote beeldschermen ingespannen kijken naar beelden van Pinkpop. Dit is hele serieuze research. Het op Science Park Amsterdam gevestigde Intelligent Systems Lab Amsterdam (ISLA) houdt zich bezig met de ontwikkeling van een slimme zoekmachine voor digitale video.

Een van de onderzoekers is informaticaspecialist Cees Snoek, werkzaam bij de op Science Park Amsterdam gevestigde FNWI (Faculteit voor Natuurwetenschappen, Wiskunde en Informatica). Hij werkt aan optimalisering van zoekmachines voor beeldmateriaal dankzij een Veni-subsidie van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Onderdeel daarvan is de ontwikkeling van een zoekmachine voor digitale video.

‘Zoek je nu in YouTube naar een bepaald fragment of een thema, dan moet je net geluk hebben dat video’s gelabeld zijn met zoekwoorden. Anders vind je helemaal niets’, legt Snoek uit. ‘Een computer kan namelijk niet in beeld zoeken, die ziet slechts betekenisloze pixels. Wij zoeken manieren om die pixels betekenis te geven. Daarvoor heb je wiskundige modellen nodig.’

Het belang van zoekmachines voor digitaal beeldmateriaal gaat verder dan gemak voor muziekliefhebbers. ‘Na de mislukte vliegtuigaanslag van afgelopen Kerst moesten marechaussee tweehonderd uur beeldmateriaal van bewakingscamera’s doorploeteren’, legt Snoek uit. ‘Of neem onderzoek naar kinderporno, dat is voor rechercheurs mentaal enorm zwaar werk. Het zou veel schelen als we met goeie zoekmachines een voorselectie van het materiaal kunnen maken.’

De  onderzoekers stuiten daarbij op tal van problemen. Snoek: ‘Je kunt een algoritme van een zoekmachine zo ontwikkelen dat het bepaalde vormen en vlakken herkent. Je vertelt de computer bijvoorbeeld dat een gezicht ovaal is, met bepaalde kleurkenmerken. Maar wat nu als iemand een grote zonnebril of een baard draagt? Het duurt jaren om alle mogelijke vormen van gezichten apart te definiëren.’

Snoek en zijn collega’s hebben nu een methode gevonden om computers zelf concepten te laten ontwikkelen voor geautomatiseerde beeldherkenning: semanthic pathfinder. ‘Je voedt de computer met een groot aantal voorbeelden van een bepaald onderwerp. De computer analyseert zelf wat de gemeenschappelijke kenmerken zijn. Vervolgens test je dat met een stapel goede en foute voorbeelden. Zo verfijnt de computer het eigen zoekmodel zelf.’

Deze methode vraagt om een enorme database vol leer- en testmateriaal. Audiovisueel archief Beeld en Geluid stelde daarvoor het beeldmateriaal van veertig jaar Pinkpop ter beschikking aan de onderzoekers op Science Park Amsterdam. Hiermee kan de semanthic pathfinder worden getest.

In december vorig jaar hebben de onderzoekers het zoekmodel online gezet. Via internet kan iedereen die wil genieten van veertig jaar Pinkpop helpen aan de verdere ontwikkeling van de zoekmachine door het gelabelde beeldmateriaal te controleren.
 
‘Het is wereldwijd nog niet eerder vertoond dat het publiek meehelpt aan dit soort onderzoek’, vervolgt Snoek. ‘Met deze crowdsourcing kunnen we een enorme slag maken in de ontwikkeling van de zoekmachine voor digitaal beeldmateriaal.’

Meer informatie over het Pinkpoponderzoek:
www.hollandsglorieoppinkpop.nl