Bei Rekurrenten Multilayer Perceptrons gibt es zusätzlich zu den Feedforwardverbindungen zeitlich verzögerte Verbindungen zwischen einzelnen Neuronen. Dabei können beliebige Neuronen miteinander verbunden werden, sogar ein Neuron mit sich selbst. Bei dem in Abbildung dargestellten Netz werden zwei Neuronen der verdeckten Schicht zeitlich versetzt wieder in die Eingabeschicht zurückgeführt.
Abbildung: Rekurrentes Multilayer Perceptron