#neueNähe: Maschinelles Lernen schafft Inklusion

Aktion Mensch und Microsoft haben mit den #neueNähe-Hackathons eine Plattform geschaffen, in der sich Expertenteams aus verschiedenen Kreisen an Anwendungsideen rund um das Thema Inklusion, Teilhabe und Barrierefreiheit versuchen können. Nach dem erfolgreichen Auftakt 2016 in Berlin freue ich mich auch am kommenden Wochenende (30. Juni – 2. Juli 2017) in Erlangen dabei zu sein.

Diese #neueNähe-Initiative kommt genau zur rechten Zeit, denn es findet unter dem Titel „Deep Learning“ gerade eine regelrechte Revolution des Umgangs von Menschen mit Computern und umgekehrt statt. Dies wird auch erheblichen Einfluss auf die Entwicklung von Mensch-Maschine-Schnittstellen im Allgemeinen aber eben auch Inklusionsangeboten im Besonderen haben.

Beim ersten Hackathon letztes Jahr in Berlin waren bereits etliche Ideen vertreten, die sich explizit maschinellen Lernens bedient haben, um zum Beispiel Bildinhalte zu analysieren oder Sprache zu verstehen.

Eine moderne Interpretation von Mimik und Gestik

Maschinelles Lernen ermöglicht es Computern mit Hilfe neuer Algorithmen und entsprechender Sensorik, typisch menschliche Alltagssituationen zu Interpretieren und Hilfestellungen anzubieten. Dies kann zum Beispiel das Verstehen der menschlichen Sprache und der Intention hinter einer Äußerung, deren Übersetzung oder aber das Interpretieren von Mimik und Gestik sein.

In diese Richtung ging auch das Projekt vom Team Metrilus beim Hackathon 2016 in Berlin: Wir haben eine Software geschrieben, die Personen detektiert und versucht, an deren Mimik und Stimme den emotionalen Zustand der Personen zu bestimmen. Dies soll Menschen in Gesprächen helfen, die von sich aus mit der Erkennung von Emotionen Schwierigkeiten haben. Diese Anwendung verwendet als Sensor eine Microsoft Kinect-Kamera. Die liefert neben einem konventionellen Farbbild auch 3D-Informationen, anhand derer Personen detektiert werden können. Zudem kann über das Mikrofon auch Sprache zu verschriftlichen. Diese Daten verwenden wir, um die Gesichter zu extrahieren und an die Emotion API der Microsoft Cognitive Services zu schicken. Der Text wird vom Tone Analyzer der IBM Watson API analysiert.

Wer Erfahrung mit Programmierung hat, kann sich das Projekt hier herunterladen und selber ausprobieren. Natürlich ist auch jeder herzlich eingeladen, zur Weiterentwicklung beizutragen.

Deep-Learning ist für alle gemacht

Das ist nur ein Beispiel der vielen Möglichkeiten, die Deep Learning-Anwendungen bieten. Und das Beste dabei ist, dass diese Möglichkeiten nicht nur einigen wenigen großen Firmen vorbehalten sind: Praktisch alle großen Cloud-Anbieter stellen Dienste bereit, mit denen jeder mit Grundkenntnissen in Programmierung seine Ideen ausprobieren kann, ohne selbst einen Algorithmus entwickeln zu müssen.  Und das ist für experimentelle Zwecke meist gratis. Eine gute Gelegenheit zum Ausprobieren ist zum Beispiel der nächste #NeueNähe-Hackathon vom 30. Juni bis 2. Juli 2017 in Erlangen – sehen wir uns dort? Du kannst dich jetzt hier anmelden.

Ein Gastbeitrag von Michael Balda
Geschäftsführer der Metrilus GmbH, Erlangen