Ein biologisches Neuronales Netz, siehe Abbildung , besteht aus Nervenzellen, den Neuronen, in einem Lebewesen. Die Neuronen haben jeweils Ein- und Ausgänge, mit denen sie untereinander verknüpft sind. Die Information, elektrische Impulse, die ein Neuron von seinen Eingängen bekommt, wird auf eine bestimmte Art verarbeitet. Daraus wird der Zustand des Neurons ermittelt. Der Zustand kann entweder angeregt oder nicht angeregt sein. Dieser Zustand wird über die Ausgänge an andere Neuronen weitergegeben, die daraus wiederum ihren Zustand ermitteln.
Abbildung: Biologisches Neuronales Netz
Wenn man ein biologisches Neuronales Netz auf dem Rechner simuliert, erhält man ein künstliches Neuronales Netz wie in Abbildung . Ebenso wie das biologische Neuronale Netz ist es aus Neuronen aufgebaut, die Verbindungen zueinander haben. Diese Neuronen sind in Schichten angeordnet. Hat jedes Neuron einer Schicht Verbindungen zu allen Neuronen der folgenden Schicht, so nennt man das Netz vollvermascht. Aus den eingehenden Informationen ermittelt ein Neuron mittels einer Funktion seinen Zustand, meist durch Summenbildung der Eingänge und anschließende Skalierung mit einer Sigmoidfunktion. Dieser Zustand des Neurons kann auch Zwischenwerte annehmen. Die Verbindungen zu anderen Neuronen können verschieden stark gewichtet werden. Legt man an der Eingangsschicht eine bestimmte Eingabe an, so liegt nach der Anpassung der Zustände der einzelnen Neuronen die Reaktion des Neuronalen Netzes an der Ausgangsschicht an. Hat das künstliche Neuronale Netz zum Beispiel eine mathematische Funktion gelernt, dann liefert es das Ergebnis dieser für die jeweiligen Eingabewerte in den Zuständen der Ausgabeneuronen.
Abbildung: Rückgekoppeltes künstliches Neuronales Netz
Im Folgenden ist mit dem Begriff Neuronales Netz immer ein künstliches Neuronales Netz gemeint.