Bits&Chips

Neuraal netwerk traint zichzelf in herkennen mensen en katten

28 juni 2012 

Onderzoekers van Google en Stanford hebben de resultaten naar buiten gebracht van een onderzoek naar het gebruik van neurale netwerken om afbeeldingen te classificeren - meer specifiek, om een uitspraak te doen of er een gezicht in te vinden is. Dat op zich is niet zo bijzonder, maar de manier waarop is dat wel. Normaal zou een dergelijk netwerk getraind moeten worden met foto’s waarvan van tevoren is aangegeven welke er wel en geen gezicht bevatten, zodat het de twee types kan leren onderscheiden. Google voerde zijn netwerk echter een bibliotheek van willekeurige frames van eveneens willekeurige Youtube-filmpjes waarin niks was gelabeld. Het netwerk leerde zelf om veel voorkomende structuren te onderscheiden, zoals gezichten - en, tot veler vermaak, kattenkoppen.

De aanpak van Google en Stanford is niet fundamenteel anders dan methodes die AI-onderzoekers de afgelopen jaren al hebben geopperd. Het grote verschil is de schaal waarmee ze het probleem hebben aangepakt: in totaal kauwden zestienduizend processoren in Googles datacentrum gedurende drie dagen op tien miljoen plaatjes, die bovendien een pak groter waren dan wat typisch in dit soort onderzoek wordt gebruikt: 200 bij 200 pixels, tegen een typische afmeting van 32 bij 32 pixels. Het computercluster bootste drie miljoen ‘neuronen’ (die data met elkaar integreren) en een miljard onderlinge connecties daartussen na - de meeste onderzoeken tot nog toe gebruikten tussen de een en tien miljoen verbindingen. De onderzoekers ontwikkelden algoritmes om het probleem efficiënt op te delen over onafhankelijke processoren.

Het inzetten van grote hoeveelheden brute rekenkracht lijkt een beetje op smokkelen, net als met het schaakpartijtje tussen IBM’s supercomputer en Garri Kasparov in 1996. Toch is dat hier niet helemaal het geval. De menselijke visuele cortex is nog een miljoen keer groter dan het neurale netwerk van Google en deze veel grotere beschikbaarheid zou wel degelijk een fundamenteel verschil kunnen maken.

Het resultaat werd getest door met een bestaand pakket de verzameling te sorteren op plaatjes met en zonder gezicht erin. Het best presterende ‘neuron’ bleek met een nauwkeurigheid van 82 procent te kunnen voorspellen of een plaatje een gezicht bevat of niet. Het netwerk kan ook andere structuren leren classificeren, zeker als een deel van die plaatjes wel gelabeld is.

Het resultaat is niet alleen vanuit AI-oogpunt interessant. De systemen voor patroonherkenning zijn losjes gebaseerd op theorieën die onderzoekers hebben over hoe hersenen werken. Het neurale netwerk heeft bijvoorbeeld meerdere lagen die elkaars output gebruiken en steeds op een hoger abstractieniveau eigenschappen in het beeld identificeren. Dat deze architectuur - net als bij pasgeboren baby’s - zonder vooraf aangebrachte classificatie leidt tot het herkennen van veelvoorkomende structuren, geeft dus geloofwaardigheid aan deze ideeën.

Onderzoekers van Google en Stanford hebben de resultaten naar buiten gebracht van een onderzoek naar het gebruik van neurale netwerken om afbeeldingen te classificeren - meer specifiek, om een uitspraak te doen of er een gezicht in te vinden is. Dat op zich is niet zo bijzonder, maar de manier waarop is dat wel. Normaal zou een dergelijk netwerk getraind moeten worden met foto’s waarvan van tevoren is aangegeven welke er wel en geen gezicht bevatten, zodat het de twee types kan leren onderscheiden. Google voerde zijn netwerk echter een bibliotheek van willekeurige frames van eveneens willekeurige Youtube-filmpjes waarin niks was gelabeld. Het netwerk leerde zelf om veel voorkomende structuren te onderscheiden, zoals gezichten - en, tot veler vermaak, kattenkoppen. De aanpak van Google en Stanford is niet fundamenteel anders dan methodes die AI-onderzoekers de afgelopen jaren al hebben geopperd. Het grote verschil is de schaal waarmee ze het probleem hebben aangepakt: in totaal kauwden zestienduizend processoren in Googles datacentrum gedurende drie dagen op tien miljoen plaatjes, die bovendien een pak groter waren dan wat typisch in dit soort onderzoek wordt gebruikt: 200 bij 200 pixels, tegen een typische afmeting van 32 bij 32 pixels. Het computercluster bootste drie miljoen ‘neuronen’ (die data met elkaar integreren) en een miljard onderlinge connecties daartussen na - de meeste onderzoeken tot nog toe gebruikten tussen de een en tien miljoen verbindingen. De onderzoekers ontwikkelden algoritmes om het probleem efficiënt op te delen over onafhankelijke processoren. Het inzetten van grote hoeveelheden brute rekenkracht lijkt een beetje op smokkelen, net als met het schaakpartijtje tussen IBM’s supercomputer en Garri Kasparov in 1996. Toch is dat hier niet helemaal het geval. De menselijke visuele cortex is nog een miljoen keer groter dan het neurale netwerk van Google en deze veel grotere beschikbaarheid zou wel degelijk een fundamenteel verschil kunnen maken. Het resultaat werd getest door met een bestaand pakket de verzameling te sorteren op plaatjes met en zonder gezicht erin. Het best presterende ‘neuron’ bleek met een nauwkeurigheid van 82 procent te kunnen voorspellen of een plaatje een gezicht bevat of niet. Het netwerk kan ook andere structuren leren classificeren, zeker als een deel van die plaatjes wel gelabeld is. Het resultaat is niet alleen vanuit AI-oogpunt interessant. De systemen voor patroonherkenning zijn losjes gebaseerd op theorieën die onderzoekers hebben over hoe hersenen werken. Het neurale netwerk heeft bijvoorbeeld meerdere lagen die elkaars output gebruiken en steeds op een hoger abstractieniveau eigenschappen in het beeld identificeren. Dat deze architectuur - net als bij pasgeboren baby’s - zonder vooraf aangebrachte classificatie leidt tot het herkennen van veelvoorkomende structuren, geeft dus geloofwaardigheid aan deze ideeën.

Wilt u het volledige artikel lezen?

Abonneer direct op onze nieuwsbrief

abonneren

Topbanen in hightech

Software engineer

Promexx

Eindhoven

AGENDA

Cooling of electronics

29 mei - 31 mei

Eindhoven

System architect(ing)

17 juni - 21 juni

Eindhoven

Summer school Opto-mechatronics

24 juni - 28 juni

Eindhoven

Bits&Chips Hardware Conference 2013

12 juni

's-Hertogenbosch

Bits&Chips 2013 Embedded Systems

7 november

's-Hertogenbosch

Vul hieronder uw e-mailadres in om u aan te melden voor de digitale nieuwsbrief.


    


Mocht u al geabonneerd zijn en wilt u zich af melden van de nieuwsbrief, klik hier.