Was ist OCR? So funktioniert Texterkennung – einfach erklärt
Ein verständlicher Rundgang durch eine OCR-Engine: von der Bildbereinigung bis zur Erkennung per neuronalem Netz – und warum sie 0 und O verwechselt.
Aktualisiert
OCR steht für Optical Character Recognition, auf Deutsch optische Zeichenerkennung oder einfach Texterkennung. Gemeint ist Software, die sich ein Bild ansieht und herausfindet, welche Zeichen darin stehen – sie steckt hinter jedem Tool, mit dem du Text aus einem Bild kopieren oder ein JPG in Text umwandeln kannst. Das klingt einfach, bis man sich klarmacht, was ein Bild eigentlich ist: ein Raster aus farbigen Punkten. Nirgends in der Datei steht „das ist ein A“ oder „diese Zeile kommt vor jener“. All das muss erschlossen werden.
Diese Anleitung zeigt, was eine moderne OCR-Engine tut, am Beispiel von Tesseract. Tesseract ist eine weit verbreitete Open-Source-Engine, ursprünglich bei Hewlett-Packard entwickelt und später mit Unterstützung von Google weitergepflegt – und genau die Engine, die Image to Text App in deinem Browser ausführt. Andere Engines unterscheiden sich im Detail, die Schritte sind aber weitgehend dieselben.
Die Schritte im Überblick
- Das Bild bereinigen, damit sich der Text abhebt.
- Das Layout analysieren, um Textblöcke und ihre Reihenfolge zu finden.
- Blöcke in Zeilen und Zeilen in Wörter zerlegen.
- Die Zeichen in jeder Zeile erkennen.
- Mit Sprachwissen zwischen wahrscheinlichen Lesarten entscheiden.
- Für jedes Wort einen Konfidenzwert berechnen und das Ergebnis ausgeben.
Das Bild bereinigen
Die Erkennung funktioniert am besten bei scharfen, dunklen Buchstaben auf einem schlichten, hellen Hintergrund. Die erste Aufgabe ist also, dem so nahe wie möglich zu kommen.
Binarisierung entscheidet für jedes Pixel, ob es Tinte oder Papier ist, und macht aus dem Bild reines Schwarzweiß. Der klassische Ansatz, das Verfahren von Otsu, betrachtet die Verteilung der Helligkeit im ganzen Bild und wählt den einen Schwellenwert, der beide Gruppen am besten trennt. Bei sauberen Scans klappt das gut. Bei einem Handyfoto mit einem Schatten über einer Ecke scheitert ein einzelner Schwellenwert: Der verschattete Teil wird komplett schwarz, oder im hellen Teil verschwinden blasse Buchstaben. Adaptive Verfahren lösen das, indem sie jedes Pixel mit seiner Umgebung vergleichen statt mit der ganzen Seite.
Begradigen (englisch „Deskewing“) erkennt, ob die Textzeilen schräg verlaufen, und dreht das Bild so, dass sie waagerecht liegen. Schon wenige Grad Neigung können eine Zeile in die darüberliegende hineinlaufen lassen, und das verdirbt die folgenden Schritte.
Weitere Bereinigungsschritte entfernen Sprenkel und Scannerstaub, vergrößern sehr kleine Schrift, damit die Buchstaben genug Pixel haben, und kehren hellen Text auf dunklem Grund um. Die Dokumentation von Tesseract empfiehlt für aktuelle Versionen dunklen Text auf hellem Hintergrund. Deshalb kehren viele Tools Screenshots im Dark Mode vor dem Lesen um.
Das Layout analysieren
Als Nächstes ermittelt die Engine, was auf der Seite ist: Textblöcke, Bilder, Linien, getrennte Spalten. Außerdem muss sie die Lesereihenfolge festlegen.
Dieser Schritt verursacht einige der verwirrendsten Fehler. Übersieht die Engine die Lücke zwischen zwei Spalten, liest sie quer über beide hinweg und mischt halbe Sätze aus jeder. Eine Bildunterschrift kann mit dem Absatz darunter verschmelzen. Eine Tabelle kann als Wortsalat in ungefähr richtiger Reihenfolge herauskommen.
Meist kann die aufrufende Software der Engine sagen, welche Art von Vorlage sie erwarten soll: eine ganze Seite, einen einzelnen Block, eine einzelne Zeile oder verstreuten Text. Die richtige Erwartung zählt. Einen Kassenbon so zu lesen, als wäre er eine Buchseite, kann schlechtere Ergebnisse liefern, als ihn als verstreuten Text zu lesen.
Zeilen und Wörter finden
Innerhalb jedes Blocks sucht die Engine die Textzeilen. Sie achtet auf Reihen von Tinte, die auf einer gemeinsamen Grundlinie sitzen, und misst die Proportionen der Zeile: die Höhe von Kleinbuchstaben wie x und wie weit Oberlängen (b, d, h) und Unterlängen (g, p, y) reichen.
Wörter ergeben sich aus den Abständen. Lücken zwischen Wörtern sind normalerweise breiter als Lücken zwischen Buchstaben. Eng gesetzte Buchstaben können zwei Wörter zu einem verschmelzen lassen, und gedehnte Abstände im Blocksatz können ein Wort in zwei teilen.
Die Zeichen erkennen
Ältere OCR-Engines, darunter Tesseract bis Version 3, schnitten jedes Wort in einzelne Zeichen und verglichen jede Form mit den Formen, die sie gelernt hatten. Das scheitert, wenn sich Buchstaben berühren, etwa bei einem verschmierten „rn“, oder wenn ein Buchstabe durch blassen Druck in Stücke zerfällt.
Tesseract 4 kam 2018 heraus und brachte eine Erkennung auf Basis eines LSTM-Netzes (Long Short-Term Memory), einer Form von neuronalem Netz. Statt Buchstaben auszuschneiden, liest es eine ganze Textzeile als Folge: Es tastet sich an ihr entlang und schätzt an jeder Stelle, wie wahrscheinlich jedes mögliche Zeichen ist. Weil das Netz Informationen entlang der Zeile mitnimmt, kann es die Formen vor und nach einem Zeichen nutzen, um zu entscheiden, was es ist – so wie du einen verschmierten Buchstaben anhand seiner Nachbarn entzifferst.
Das Netz lernt an Beispielen. Die offiziellen Modelle von Tesseract wurden mit großen Mengen Text trainiert, der in vielen Schriftarten gerendert wurde, mit einem eigenen Modell für jede Sprache oder Schrift. Deshalb ist die richtige Sprache so wichtig: Ein Modell, das mit Englisch trainiert wurde, hat keine Ahnung, wie ein Devanagari-Buchstabe aussieht, und rechnet womöglich nicht mit Umlauten wie ä, ö und ü oder mit dem ß.
Sprachwissen und Wörterbücher
Die Erkennung liefert nicht eine einzige Antwort, sondern viele mögliche Lesarten jeder Zeile mit ihren Wahrscheinlichkeiten. Eine Suche wählt dann die beste aus, unterstützt durch eine Wortliste und durch Wissen darüber, welche Buchstabenfolgen in der Sprache häufig sind.
Dieser Schubs behebt eine Menge. Ein verschwommenes „uud“ wird zu „und“, weil „und“ ein Wort ist und „uud“ nicht. Er kann aber auch gegen dich arbeiten. Artikelnummern, Nachnamen, Abkürzungen und Wörter aus einer anderen Sprache stehen nicht in der Wortliste. Die Engine bekommt bei ihnen also weniger Hilfe und liegt eher daneben.
Konfidenzwerte
Für jedes Wort meldet die Engine außerdem, wie sicher sie sich ist – je nachdem, wie deutlich ihre bevorzugte Lesart die Alternativen geschlagen hat. Tools nutzen diesen Wert, um dir Wörter zum Prüfen zu markieren.
Betrachte den Konfidenzwert als Hinweis, nicht als Garantie. Ein niedriger Wert bedeutet meist, dass etwas nicht stimmt. Ein hoher Wert bedeutet meist, dass es stimmt – aber eine Engine kann sich auch sicher irren. Ein gestochen scharfes „O“ in einer Seriennummer, das eigentlich eine Null sein sollte, sieht für sie völlig in Ordnung aus.
Warum Fehler passieren
Die meisten OCR-Fehler folgen ein paar Mustern:
- Ähnlich aussehende Zeichen. 0 und O, 1 und l und I, 5 und S, 8 und B. In vielen serifenlosen Schriften sind ein großes I und ein kleines l identisch, sodass selbst ein Mensch Kontext braucht.
- Ähnlich aussehende Buchstabenpaare. „rn“ wird als „m“ gelesen, „cl“ als „d“, „vv“ als „w“ – und umgekehrt.
- Satzzeichen und Umlautpunkte. Kommas und Punkte sind winzig: Aus Staub wird ein Punkt, und ein blasses Dezimalkomma verschwindet. Dasselbe gilt für die Punkte auf ä, ö und ü, sodass aus „für“ schnell „fur“ wird.
- Kein Kontext, auf den sie sich stützen kann. Codes, Kennungen, Telefonnummern und E-Mail-Adressen haben keine Wörterbuchwörter um sich herum, jedes Zeichen steht also für sich.
- Layoutfehler. Spalten werden quer gelesen, Bildunterschriften mit Fließtext verschmolzen, Tabellenzeilen durcheinandergewürfelt.
- Text, den das Modell nie gelernt hat. Dekorative Schriften, stilisierte Logos, senkrechter Text und vor allem Handschrift.
Die meisten dieser Fehler werden mit einem schärferen, größeren und geraderen Bild deutlich seltener. Was du ändern kannst, steht in So bekommst du genaue OCR-Ergebnisse.
Was nach der Erkennung passiert
Die Rohausgabe einer Engine ist eine Liste von Wörtern, jedes mit seiner Position im Bild und einem Konfidenzwert. Apps bauen aus diesen Positionen Struktur auf. Wörter, die in senkrechten Spalten untereinanderstehen, werden zu einer Tabelle, wie in Tabellen aus Bildern extrahieren erklärt. Zeilen mit einem Datum oder einer Summe hinter einer Beschriftung werden zu Feldern eines Belegs. Der Abstand jeder Zeile vom linken Rand wird bei Code zur Einrückung.
OCR, ICR, HTR und KI-Modelle
Dir begegnen vielleicht ein paar verwandte Begriffe. Klassisch meint OCR gedruckten Text. ICR (Intelligent Character Recognition) bezeichnet das Lesen von Druckbuchstaben, die von Hand geschrieben wurden, typischerweise einer pro Kästchen auf einem Formular. HTR (Handwritten Text Recognition) bezeichnet das Lesen fortlaufender Handschrift, meist mit neuronalen Netzen, die an Handschriftproben trainiert wurden. Die praktischen Unterschiede erklärt Handschriftliche Notizen in Text umwandeln.
Manche neueren KI-Systeme lesen Text, indem sie ihn mit einem großen Sprachmodell aus dem Bild erzeugen. Mit unordentlichen Vorlagen kommen sie oft gut zurecht. Weil sie aber flüssigen Text generieren, kann ein Fehler wie ein völlig plausibles Wort aussehen, das gar nicht im Bild steht. Egal, welche Art von System du nutzt: Gleiche die Stellen, auf die es ankommt, mit dem Original ab.