Reinforcement Learning

für die Regelung von Müllverbrennungsanlagen

Bei vielen prozesstechnischen Anlagen handelt es sich um nichtlineare und auch zeitveränderliche Systeme, die von einem erfahrenen menschlichen Operator oft besser geregelt werden können als durch einen klassischen Regler. Diese sehr menschliche Fähigkeit, durch Interaktion in einer unbekannten Umgebung selbstständig das richtige Verhalten zu erlernen, soll durch einen Algorithmus nachgebildet werden. Dafür eignet sich eine Reinforcement-Learning-Struktur, die bei vielen komplexen Problemstellungen bereits menschliche Performance übertrifft.

Das Interesse, diese Algorithmen auch zur Reglersynthese zu verwenden, ist hoch und es sind bereits erste Implementierungen an simulierten Prozessen erfolgreich durchgeführt worden. Nun soll dieses Konzept auch an realen Anlagen zum Einsatz kommen.

Als Pilotanlage dient dazu eine Müllverbrennungsanlage (MVA), für die im ersten Schritt ein Modell entwickelt wird, welches die Dynamik und Prozessschwankungen der Anlage möglichst realgetreu abbildet. Dabei wird ein hybrider Modellansatz verfolgt, bei dem neben analytischen Differenzialgleichungen auch neuronale Netze zur Funktionsapproximation zum Einsatz kommen.

Anhand dieses Modells soll ein neuronaler Regler durch Trial-and-Error lernen, eine MVA so zu regeln, dass in jedem Betriebszustand die optimalen Stelleingriffe vorgenommen werden. Zielsetzung ist dabei die Minimierung einer Kostenfunktion, in der Regelziele definiert und gewichtet werden können. Im Fall einer MVA ist dies unter anderem eine gleichbleibende Dampfproduktion bei einem hohen Mülldurchsatz und geringen Emissionen. Dieses Verfahren besitzt den Vorteil, dass individuelle Anforderungen intuitiv in die Kostenfunktion und damit in die Reglersynthese eingebracht werden können.

Das Projekt baut auf sehr erfolgreichen Ergebnissen auf, die durch unseren industriellen Projektpartner der Uniper SE bei der Entwicklung eines neuronalen Netzes zur Regelung einer MVA schon erreicht worden sind.