Auch wenn Algorithmen teilweise keine korrespondierende Erklärung in der abgebildeten Welt haben, beziehen sie sich auf diese Welt. Beim maschinellen Lernen versucht das System, die Muster (Bilder – darauf abgebildete Gegenstände) aus einem Satz von Lehrdaten zu „verstehen“, also es versucht, seine Millionen Parameter so zu setzen, dass sein Algorithmus möglichst oft ein Bild dem darauf abgebildeten Gegenstand zugeordnet wird.
Wenn nun ein solches System zur Bewerberauswahl (oder -vorauswahl) eingesetzt wird, dann werden ihm auch vorhandene Datensätze „gelehrt“ – also Paare von Bewerberprofilen und den Entschedungen zu diesen Bewerbern.
Das System wird daraufhin optimiert, möglichst oft so zu entscheiden, wie bei den Lehrdatensätzen entschieden wurde. Und dann ist es so , wie immer in der Datenverarbeitung: Die Qualität der Eingangsdaten (hier die Lehrdatensätze) bestimmt die Ergebnisse massgeblich – oder anders fomuliert: „Müll rein“ produziert auch nur wieder Müll („Garbage in – Garbage out“ : GIGO).
Wenn man sich nun vor Augen führt, dass
a) dem Algortithmus beim maschinellen Lernen keine Kausalketten der modellierten Welt zuzuordnen sind (er also „nicht erklärbar ist“)
b) Lehrdatensätze aus der realen Welt stammen, die bekanntlich nicht immer richtig ist
sieht man leicht, dass solche Systeme die Fehler, die man früher schon machte, ebenfalls lernen. Ein sehr deutliches Beispiel zeigt das System zur automatisierten Personalauswahl bei Amazon.
Das System wurde anhand früherer Personalauswahlentscheidungen trainiert und hatte dann die Entscheidungskriterien aus diesen früheren Entscheidungen mit Hilfe mathematischer Modelle herausgearbeitet. Dabei werden alle zur Verfügung stehenden Kriterien genutzt. Bspw. Zeugnisnoten, Soziales Engagement, Alter und Geschlecht. Im konkreten Fall bei Amazon stellte sich heraus, dass Frauen in der Vergangenheit im Bewerbungsprozeß benachteiligt wurden und deshalb wurde dieser Aspekt vom System auch so gelernt. (Das System ist rein datenbasiert und nimmt keinerlei moralische Wertung der gelernten Daten vor. Das geschlcht ist ein weiteres Kriterium wie Noten oder Softskills.) Als dieser Umstand offensichtlich wurde, hat man die Nutzung des Systems gestoppt.
Wegen des GIGO Prinzips gilt es, den Lehrdatensätzen beim Maschinelles Lernen noch mehr Bedeutung zuzumessen. Oder anderherum gesagt: Mit dieser Art Maschinen kann man die Fehler der Vergangenheit viel leichter wiederholen.

