Zentral für ein selbstlernendes System ist die Definition der Zielsetzung. Dieses wird üblicherweise durch einen Maßstab (mathematisch / technisch: eine „Zielfunktion“) erreicht.
Die selbstlernenden Systeme werden so programmiert, dass sie vornehmlich gelernte, offensichtlich gut passende Aktionen auf eine gegebene Situation anwenden und dann schauen, ob sich, gemessen in dem vorgegebenen Maßstab, die Situation verbessert hat. Wenn ja, wird diese Aktion in Zukunft häufiger bei ähnlichen Situationen gewählt. Wenn nein, dann nicht so häufig. Damit das System auch nicht immer das gleiche tut, werden zufällig andere Aktionen eingestreut und diese werden dann ins Repertoire und in die Bewertung aufgenommen.
Eine Zielfunktion ist also zentral für ein selbstlernendes System und bestimmt ganz wesentlich seine zukünftige Entwicklung. In der (fiktionalen) Literatur findet man bei Schätzing („Die Tyrannei des Schmetterlings“) und bei Olsberg („Mirror“) die Zielfunktion als wesentlichen Aspekt.
Der KI- und Zukunftsforscher Nick Bostrom hat die Bedeutung der Zielfunktion einmal so beschrieben: Wenn man einer (selbstlernenden) KI die Aufgabe stellt, die Büroklammer zu optimieren, würde sie (ohne andere Zielfunktion) alle ihr zugänglichen Ressourcen dieser Zielsetzung unterordnen. Am Ende würden dann alle irdischen (Energie-)ressourcen oder auch die Ressourcen anderer Planeten, sobald diese zugänglich werden, genutzt werden, um noch bessere Büroklammern zu erstellen. Falls erforderlich würde die KI, sofern sie es erlernt hat, andere, „störende“ (in Bezug auf die Zielfunktion) Einflüsse, wie bspw. „Energieverschwendung“ für private Haushalte oder den ÖPNV, abschalten um Ihrer Zielfunktion zu genügen.

