Will man künstliche neuronale Netze (KNN) aufbauen, muss man das natürliche neuronale Netz, also das Gehirn, verstehen. Denn die einfachste Definition eines künstlichen neuronales Netzes ist der Versuch, die Funktionen des Gehirns mit Hilfe von Computertechnik nachzubauen. Beeindruckende Fortschritte werden dabei erzielt, auch wenn wir technologisch gesehen von der kompletten Nachbildung noch weit entfernt sind. Dennoch können neuronale Netze in KI-Projekten heute schon erfolgreich genutzt werden, vorausgesetzt, sie werden in der Praxis richtig angewendet.
So funktioniert unser Gehirn
Die zentralen Fragen der Menschheit drehen sich seit Jahrhunderten um die Funktionsweise unseres Gehirns. Wie speichern wir Informationen? Wie denken wir? Wie lernen wir? Trotz intensiver Forschung in den letzten Jahrzehnten kann die Neurologie noch nicht komplett erklären, wie wir Menschen zu unserem Bewusstsein kommen. Was erforscht und modellhaft erklärt ist, sind die biochemischen Abläufe im Gehirn. Diese reduzieren sich auf die algorithmischen Muster, die in Gehirnen ablaufen. Subjektive Wahrnehmung und Bewusstsein, welche unser Denken und Handeln durchaus signifikant beeinflussen, sind nicht erklärt.
Vereinfacht gesagt, speichern wir elektrische Ladungen in unseren Nervenzellen. Reize aus der Umwelt oder aus vernetzen anderen Nervenzellen führen bei bestimmten Reizschwellen dazu, dass sich die involvierten Nervenzellen entladen. Dabei wird ihre Ladung und biochemische Botenstoffe, auch Neurotransmitter genannt, in das neuronale Netz abgegeben. Dabei justiert sich das System, indem es die Reizschwellen anpasst. So lernen wir beispielsweise, wie heiß oder kalt ein Objekt sein darf, so dass wir es schmerzfrei anfassen können.
Die Muster aus aktivierten Neuronen und die durch Neurotransmitter und Ladungen ablaufenden Algorithmen kann man als das gespeicherte Wissen betrachten. Warren McCulloch und Walter Pitts beschrieben diese Abläufe in ihrem Aufsatz „A logical calculus of the ideas immanent in nervous activity” 1943 erstmals mathematisch. Dieses mathematische Modell wurde im Laufe der Jahre in vielerlei Hinsicht verfeinert und erweitert, war aber die Grundlage zur Beschreibung und Implementierung künstlicher neuronaler Netze.
Künstliche neuronale Netze kommen (noch) an ihre Grenzen
Die mit bis zu 100 Milliarden Nervenzellen massiv parallel und asynchron arbeitenden menschlichen Hirne sind selbst mit heutiger modernster Hardware bei weitem nicht simulierbar. Das gilt auch für die rein algorithmischen Abläufe. Dennoch leisten KNN in bestimmten Bereichen heute schon Erstaunliches. Sie werden bereits bei algorithmisch abbildbaren Problemen, wie etwa Bilderkennung, Mustererkennung, Spracherkennung oder Zeitreihenprognosen eingesetzt.
Biologische neuronale Netze führen alle notwendigen Berechnungen parallel aus. Überträgt man diese Eigenschaft auf KNN, besteht bei heutigen Computern die Herausforderung, dass die Anzahl parallel verarbeiteter Berechnungen begrenzt ist. Allerdings sind moderne Prozessoren so schnell getaktet, dass im Vergleich zum Gehirn relativ gesehen weniger Prozessoren gebraucht werden. Jeder Prozessorkern ist in künstlichen neuronalen Netzen für n Units zuständig. Die Berechnung wird je nach Komplexität des Netzes und der Verfügbarkeit von Prozessorkernen serialisiert. Allerdings sind selbst Hochleistungsrechner noch relativ weit von den Verarbeitungsmöglichkeiten menschlicher Gehirne entfernt. Alleine die Rechengeschwindigkeit eines Gehirns ist heute noch etwa 100-mal so hoch wie die eines Computers.
Was muss beim Aufbau eines künstlichen neuronalen Netzes beachtet werden
„KI Projekte bringen neue Fragestellungen und viele Herausforderungen mit sich, weiß Jörg Kremer, Head of Consulting bei der mip Management Informationspartner GmbH, aus seiner Erfahrung. In neuronalen Netzwerken erfolgt die Speicherung von Informationen verteilt über alle oder zumindest über eine Vielzahl der Gewichte des neuronalen Netzes und nicht lokal, wie etwa bei einer Festplatte. Das erfordert zur schnellen Verarbeitung eine große Menge schnellen Speichers. In Kombination mit den je nach Einsatzziel notwendigen zahlreichen Iterationen der Berechnungen, sind heutige künstliche neuronale Netze typischerweise auf bestimmte Einsatzszenarien spezialisiert und dann auch nur dafür gut nutzbar.“
Viele weitere Faktoren müssen noch beachtet werden. KNN sind bis zu einem bestimmten Grad fehlertolerant. Jedoch geht dies nicht so weit wie die Fähigkeiten eines Gehirns, Funktionsverluste durch eine gesteigerte Lernfähigkeit auszugleichen, wenn die Gehirnstruktur geschädigt wird. Prozesse, die sich in einem solchen Fall abspielen, lassen sich in künstlichen Netzen nicht simulieren.
Bei der Kategorisierung von Bildern ist es relativ aufwendig, die notwendigen Sonderregeln zu trainieren. So muss beispielsweise bei einem Netz zur Kategorisierung von Tierbildern berücksichtigt werden, dass das Bild eines Hais korrekt der Kategorie Fische zugeordnet wird, das Bild eines Delfins jedoch der Kategorie Meeressäuger.
„Die algorithmischen Modelle sind teilweise nur sehr schwer und aufwendig trainierbar. Auf der einen Seite sollen komplexe Netze mit sehr vielen Daten trainiert werden, auf der anderen Seite aber auch in der Lage sein, genug Daten zu speichern. Der gesamte Trade Off, also das Verhältnis zwischen Einsatz von Ressourcen, Zeit und Qualität des Netzes, gelingt bisher nur für spezialisierte Anwendungsfälle,“ so Jörg Kremer.
Wie geht man am besten in der Praxis vor
Ist identifiziert, dass sich für das zu lösende Problem ein künstliches neuronales Netz eignet, beginnt die eigentliche Herausforderung. Neben einem KNN bieten sich oft auch Verfahren des maschinellen Lernens oder mathematisch/statistische Verfahren an. Die Vor- und Nachteile müssen analysiert und abgewogen werden. Entscheidet man sich für die Nutzung eines KNN, ist als erstes festzulegen, mit welchem Netztyp idealerweise gearbeitet wird und welche Lernmethode verwendet werden soll. Als nächstes wird überprüft, ob ein geeignetes Netz bereits schon einmal aufgebaut wurde und nach einem neuen Training verwendet werden könnte. Ist das nicht der Fall, muss ein neues Netz aufgebaut und trainiert werden. „Während der Trainingsphase und der damit gegebenenfalls einhergehenden Modifikation des Netzes, unterstützen in der Regel die KI Experten. Wenn das Netz gut trainiert ist und nur noch angewandt wird, dann kann es vom Anwender genutzt werden,“ erklärt Jörg Kremer.
Standard-Angebote vs. Individual-Entwicklung
Neuronale Netze werden heute schon in verschiedensten Szenarien eingesetzt. Sie liefern sehr gute Ergebnisse bei der Kategorisierung von Datenmustern, Bildern oder Texten. Sie eignen sich gut zur Bilderkennung oder auch für Prognoserechnungen. Dabei sind sie durch ihre Fehlertoleranz und ihre Lernfähigkeit zum einen deutlich mächtiger und flexibler als die auf statistischen Verfahren beruhende künstliche Intelligenz. Sie sind jedoch zum anderen sehr fordernd für die Hardware und wegen der systeminhärenten Probleme oft nur aufwendig umsetzbar. Zudem ist meistens eine große Anzahl an Trainingsdaten notwendig, um ein stabiles neuronales Netz zu entwickeln.
Es wird deutlich, dass für individuelle Probleme auch individuelle künstliche neuronale Netze aufgebaut werden müssen. Services von der Stange, wie sie auf verschiedenen Cloud Plattformen existieren, machen nur Sinn, wenn das dort angebotene neuronale Netz möglichst genau für die zu lösende Aufgabe entworfen wurde. Es ist typischerweise nicht möglich an den Lernparametern, Lernverfahren etc. etwas zu verändern. Normalerweise werden diese vorgefertigten Netze nur mit neuen Daten trainiert, beispielsweise mit Bildern im Falle einer Bilderkennung. Das sollte im Vorfeld eines Projektes auf alle Fälle berücksichtigt werden. „Bei uns steht die individuelle Beratung im Vordergrund anstelle der Nutzung von Standard-Lösungen. Einen Mehrwert in KI Projekten kann nur der erzielen, der sowohl die hinterlegten komplexen mathematisch-statistischen Verfahren als auch die Anforderungen des jeweiligen Unternehmens versteht“, weiß Jörg Kremer, Head of Consulting bei der mip Management Informationspartner GmbH.
Weitere Informationen unter https://mip.de/
Quellenangaben:
http://www.neuronalesnetz.de/...
https://www.uni-ulm.de/...
https://www.embedded-software-engineering.de/...
Society of Neuroscience, Das Gehirn, eine kurze Zusammenfassung über das Gehirn und das Nervensystem, Universität Tübingen, 2010
Wolfgang Ertel, Grundkurs künstliche Intelligenz, 3. Auflage, 2013, Kapitel 9
David Kriesel, Ein kleiner Überblick über neuronale Netze, http://www.dkriesel.com/...
https://www.uni-heidelberg.de/...
Rückblick:
Teil 5 der Artikelserie „Intelligente Datenintegration“: Effizienzsteigerung in der Produktion mit prädiktiven Verfahren
So funktioniert unser Gehirn
Die zentralen Fragen der Menschheit drehen sich seit Jahrhunderten um die Funktionsweise unseres Gehirns. Wie speichern wir Informationen? Wie denken wir? Wie lernen wir? Trotz intensiver Forschung in den letzten Jahrzehnten kann die Neurologie noch nicht komplett erklären, wie wir Menschen zu unserem Bewusstsein kommen. Was erforscht und modellhaft erklärt ist, sind die biochemischen Abläufe im Gehirn. Diese reduzieren sich auf die algorithmischen Muster, die in Gehirnen ablaufen. Subjektive Wahrnehmung und Bewusstsein, welche unser Denken und Handeln durchaus signifikant beeinflussen, sind nicht erklärt.
Vereinfacht gesagt, speichern wir elektrische Ladungen in unseren Nervenzellen. Reize aus der Umwelt oder aus vernetzen anderen Nervenzellen führen bei bestimmten Reizschwellen dazu, dass sich die involvierten Nervenzellen entladen. Dabei wird ihre Ladung und biochemische Botenstoffe, auch Neurotransmitter genannt, in das neuronale Netz abgegeben. Dabei justiert sich das System, indem es die Reizschwellen anpasst. So lernen wir beispielsweise, wie heiß oder kalt ein Objekt sein darf, so dass wir es schmerzfrei anfassen können.
Die Muster aus aktivierten Neuronen und die durch Neurotransmitter und Ladungen ablaufenden Algorithmen kann man als das gespeicherte Wissen betrachten. Warren McCulloch und Walter Pitts beschrieben diese Abläufe in ihrem Aufsatz „A logical calculus of the ideas immanent in nervous activity” 1943 erstmals mathematisch. Dieses mathematische Modell wurde im Laufe der Jahre in vielerlei Hinsicht verfeinert und erweitert, war aber die Grundlage zur Beschreibung und Implementierung künstlicher neuronaler Netze.
Künstliche neuronale Netze kommen (noch) an ihre Grenzen
Die mit bis zu 100 Milliarden Nervenzellen massiv parallel und asynchron arbeitenden menschlichen Hirne sind selbst mit heutiger modernster Hardware bei weitem nicht simulierbar. Das gilt auch für die rein algorithmischen Abläufe. Dennoch leisten KNN in bestimmten Bereichen heute schon Erstaunliches. Sie werden bereits bei algorithmisch abbildbaren Problemen, wie etwa Bilderkennung, Mustererkennung, Spracherkennung oder Zeitreihenprognosen eingesetzt.
Biologische neuronale Netze führen alle notwendigen Berechnungen parallel aus. Überträgt man diese Eigenschaft auf KNN, besteht bei heutigen Computern die Herausforderung, dass die Anzahl parallel verarbeiteter Berechnungen begrenzt ist. Allerdings sind moderne Prozessoren so schnell getaktet, dass im Vergleich zum Gehirn relativ gesehen weniger Prozessoren gebraucht werden. Jeder Prozessorkern ist in künstlichen neuronalen Netzen für n Units zuständig. Die Berechnung wird je nach Komplexität des Netzes und der Verfügbarkeit von Prozessorkernen serialisiert. Allerdings sind selbst Hochleistungsrechner noch relativ weit von den Verarbeitungsmöglichkeiten menschlicher Gehirne entfernt. Alleine die Rechengeschwindigkeit eines Gehirns ist heute noch etwa 100-mal so hoch wie die eines Computers.
Was muss beim Aufbau eines künstlichen neuronalen Netzes beachtet werden
„KI Projekte bringen neue Fragestellungen und viele Herausforderungen mit sich, weiß Jörg Kremer, Head of Consulting bei der mip Management Informationspartner GmbH, aus seiner Erfahrung. In neuronalen Netzwerken erfolgt die Speicherung von Informationen verteilt über alle oder zumindest über eine Vielzahl der Gewichte des neuronalen Netzes und nicht lokal, wie etwa bei einer Festplatte. Das erfordert zur schnellen Verarbeitung eine große Menge schnellen Speichers. In Kombination mit den je nach Einsatzziel notwendigen zahlreichen Iterationen der Berechnungen, sind heutige künstliche neuronale Netze typischerweise auf bestimmte Einsatzszenarien spezialisiert und dann auch nur dafür gut nutzbar.“
Viele weitere Faktoren müssen noch beachtet werden. KNN sind bis zu einem bestimmten Grad fehlertolerant. Jedoch geht dies nicht so weit wie die Fähigkeiten eines Gehirns, Funktionsverluste durch eine gesteigerte Lernfähigkeit auszugleichen, wenn die Gehirnstruktur geschädigt wird. Prozesse, die sich in einem solchen Fall abspielen, lassen sich in künstlichen Netzen nicht simulieren.
Bei der Kategorisierung von Bildern ist es relativ aufwendig, die notwendigen Sonderregeln zu trainieren. So muss beispielsweise bei einem Netz zur Kategorisierung von Tierbildern berücksichtigt werden, dass das Bild eines Hais korrekt der Kategorie Fische zugeordnet wird, das Bild eines Delfins jedoch der Kategorie Meeressäuger.
„Die algorithmischen Modelle sind teilweise nur sehr schwer und aufwendig trainierbar. Auf der einen Seite sollen komplexe Netze mit sehr vielen Daten trainiert werden, auf der anderen Seite aber auch in der Lage sein, genug Daten zu speichern. Der gesamte Trade Off, also das Verhältnis zwischen Einsatz von Ressourcen, Zeit und Qualität des Netzes, gelingt bisher nur für spezialisierte Anwendungsfälle,“ so Jörg Kremer.
Wie geht man am besten in der Praxis vor
Ist identifiziert, dass sich für das zu lösende Problem ein künstliches neuronales Netz eignet, beginnt die eigentliche Herausforderung. Neben einem KNN bieten sich oft auch Verfahren des maschinellen Lernens oder mathematisch/statistische Verfahren an. Die Vor- und Nachteile müssen analysiert und abgewogen werden. Entscheidet man sich für die Nutzung eines KNN, ist als erstes festzulegen, mit welchem Netztyp idealerweise gearbeitet wird und welche Lernmethode verwendet werden soll. Als nächstes wird überprüft, ob ein geeignetes Netz bereits schon einmal aufgebaut wurde und nach einem neuen Training verwendet werden könnte. Ist das nicht der Fall, muss ein neues Netz aufgebaut und trainiert werden. „Während der Trainingsphase und der damit gegebenenfalls einhergehenden Modifikation des Netzes, unterstützen in der Regel die KI Experten. Wenn das Netz gut trainiert ist und nur noch angewandt wird, dann kann es vom Anwender genutzt werden,“ erklärt Jörg Kremer.
Standard-Angebote vs. Individual-Entwicklung
Neuronale Netze werden heute schon in verschiedensten Szenarien eingesetzt. Sie liefern sehr gute Ergebnisse bei der Kategorisierung von Datenmustern, Bildern oder Texten. Sie eignen sich gut zur Bilderkennung oder auch für Prognoserechnungen. Dabei sind sie durch ihre Fehlertoleranz und ihre Lernfähigkeit zum einen deutlich mächtiger und flexibler als die auf statistischen Verfahren beruhende künstliche Intelligenz. Sie sind jedoch zum anderen sehr fordernd für die Hardware und wegen der systeminhärenten Probleme oft nur aufwendig umsetzbar. Zudem ist meistens eine große Anzahl an Trainingsdaten notwendig, um ein stabiles neuronales Netz zu entwickeln.
Es wird deutlich, dass für individuelle Probleme auch individuelle künstliche neuronale Netze aufgebaut werden müssen. Services von der Stange, wie sie auf verschiedenen Cloud Plattformen existieren, machen nur Sinn, wenn das dort angebotene neuronale Netz möglichst genau für die zu lösende Aufgabe entworfen wurde. Es ist typischerweise nicht möglich an den Lernparametern, Lernverfahren etc. etwas zu verändern. Normalerweise werden diese vorgefertigten Netze nur mit neuen Daten trainiert, beispielsweise mit Bildern im Falle einer Bilderkennung. Das sollte im Vorfeld eines Projektes auf alle Fälle berücksichtigt werden. „Bei uns steht die individuelle Beratung im Vordergrund anstelle der Nutzung von Standard-Lösungen. Einen Mehrwert in KI Projekten kann nur der erzielen, der sowohl die hinterlegten komplexen mathematisch-statistischen Verfahren als auch die Anforderungen des jeweiligen Unternehmens versteht“, weiß Jörg Kremer, Head of Consulting bei der mip Management Informationspartner GmbH.
Weitere Informationen unter https://mip.de/
Quellenangaben:
http://www.neuronalesnetz.de/...
https://www.uni-ulm.de/...
https://www.embedded-software-engineering.de/...
Society of Neuroscience, Das Gehirn, eine kurze Zusammenfassung über das Gehirn und das Nervensystem, Universität Tübingen, 2010
Wolfgang Ertel, Grundkurs künstliche Intelligenz, 3. Auflage, 2013, Kapitel 9
David Kriesel, Ein kleiner Überblick über neuronale Netze, http://www.dkriesel.com/...
https://www.uni-heidelberg.de/...
Rückblick:
Teil 5 der Artikelserie „Intelligente Datenintegration“: Effizienzsteigerung in der Produktion mit prädiktiven Verfahren
