Mathematisch-Naturwissenschaftliche Fakultät

Institut für Mathematik

Fachgebiet: Mathmatik

Betreuer: Prof. Dr. Roger Labahn



Dipl-Math. Tobias Strauß
(e-mail: tobias.strauss@uni-rostock.de )

Decoding the Output of Neural Networks - A Discriminative Approach

Am Beispiel der Handschrifterkennung betrachten wir zu einem Bild X von einem Schriftzug die Ausgaben Y speziell trainierter, komplexer Neuronaler Netze, wobei Y jedem Buchstaben pro Zeitschritt eine Wahrscheinlichkeit zuordnet. Das Finden der wahrscheinlichsten zulässigen Buchstabensequenz in einer solchen Ausgabe Y nennen wir Dekodierung. Wir untersuchen sogenannte diskriminative Dekodierverfahren, die sich als Optimierungsprobleme auf gewichteten Automaten formulieren und durch Dynamische Programmierung effizient lösen lassen. Dabei sind verschiedene Teilprobleme zu lösen, wie etwa die Konstruktion solcher Automaten, die Integration von Sprachmodellen, die Angabe von Abbruchkriterien zur Reduktion der Laufzeit, etc. Als wesentliches Resultat entwickeln wir eine effiziente Heuristik, die die wahrscheinlichste Buchstabenfolge aller durch reguläre Ausdrücke beschränkter Folgen findet. Die entwickelten Methoden werden anhand von Keyword Spotting und Volltextlesung auf ihre Praktikabilität untersucht.

For handwritten text recognition, we investigate the output Y of specifically trained, complex Neural Networks given the corresponding text line image where Y assigns a likelihood to each character per position. Finding the most likely feasible character sequence is denoted by decoding. We investigate so-called discriminative decoding methods which can be formulated as optimization problems on Weighted Automata and which can be efficiently solved using Dynamic Programming. Various sub-problems have to be solved e.g. the construction of Automata, the integration of Language Models, the derivation of pruning criteria to stay efficient etc. As a major result, we develop a heuristic that yields the most likely character sequence which is constrained by Regular Expressions. The developed methods are tested on real world problems such as keyword spotting and full text recognition.