Comment fonctionne l'OCR, expliqué simplement
Une visite guidée, en termes simples, de ce qui se passe dans un moteur d'OCR, du nettoyage de l'image à la reconnaissance par réseau de neurones, et de la raison pour laquelle il confond 0 et O.
Mis à jour le
L’OCR, pour « optical character recognition » (reconnaissance optique de caractères), est un logiciel qui examine une image et détermine quels caractères elle contient. Cela paraît simple, jusqu’à ce qu’on se rappelle ce qu’est une image : une grille de points colorés. Rien dans le fichier ne dit « ceci est la lettre A » ou « cette ligne vient avant celle-là ». Tout cela doit être déduit.
Ce guide passe en revue ce que fait un moteur d’OCR moderne, en prenant Tesseract comme exemple. Tesseract est un moteur open source très répandu, développé à l’origine chez Hewlett-Packard puis maintenu avec le soutien de Google, et c’est le moteur que fait tourner Image to Text App dans votre navigateur. Les autres moteurs diffèrent dans le détail, mais les étapes sont à peu près les mêmes.
Les étapes en un coup d’œil
- Nettoyer l’image pour faire ressortir le texte.
- Analyser la mise en page pour trouver les blocs de texte et leur ordre.
- Découper les blocs en lignes, et les lignes en mots.
- Reconnaître les caractères de chaque ligne.
- S’appuyer sur la connaissance de la langue pour choisir entre les lectures probables.
- Attribuer à chaque mot un score de confiance et produire le résultat.
Nettoyer l’image
La reconnaissance fonctionne le mieux sur des lettres foncées et nettes, posées sur un fond clair et uni. La première tâche consiste donc à s’en approcher le plus possible.
La binarisation décide, pour chaque pixel, s’il s’agit d’encre ou de papier, et transforme l’image en noir et blanc pur. L’approche classique, la méthode d’Otsu, examine la répartition des luminosités sur toute l’image et choisit le seuil unique qui sépare le mieux les deux groupes. Cela fonctionne bien sur des scans propres. Sur une photo prise au téléphone avec une ombre dans un coin, un seuil unique échoue : la partie ombrée devient toute noire, ou la partie claire perd ses lettres pâles. Les méthodes adaptatives résolvent ce problème en comparant chaque pixel à son voisinage plutôt qu’à la page entière.
Le redressement détecte si les lignes de texte sont inclinées et fait pivoter l’image pour qu’elles soient horizontales. Même quelques degrés d’inclinaison peuvent faire dériver une ligne vers celle du dessus, ce qui ruine les étapes suivantes.
D’autres étapes de nettoyage suppriment les points et les poussières de scanner, agrandissent les très petits caractères pour que les lettres aient assez de pixels, et inversent le texte clair sur fond sombre. La documentation de Tesseract recommande un texte foncé sur fond clair pour les versions actuelles, ce qui explique pourquoi les outils inversent souvent les captures en mode sombre avant de les lire.
Analyser la mise en page
Le moteur détermine ensuite ce que contient la page : blocs de texte, images, filets, colonnes séparées. Il doit aussi décider de l’ordre de lecture.
Cette étape est à l’origine de certaines des erreurs les plus déroutantes. Si le moteur ne voit pas l’espace entre deux colonnes, il lit d’une traite à travers les deux et mélange des moitiés de phrases. Une légende peut se fondre dans le paragraphe du dessous. Un tableau peut ressortir sous forme de mots en vrac, dans un ordre à peu près correct.
Les moteurs permettent généralement au logiciel qui les appelle d’indiquer quel type d’entrée attendre : une page entière, un seul bloc, une seule ligne ou du texte épars. Bien choisir compte : lire un ticket de caisse comme une page de livre peut donner de moins bons résultats que le lire comme du texte épars.
Trouver les lignes et les mots
Dans chaque bloc, le moteur repère les lignes de texte. Il cherche des rangées d’encre alignées sur une même ligne de base, et mesure les proportions de la ligne : la hauteur des minuscules comme le x, et jusqu’où montent les hampes (b, d, h) et descendent les jambages (g, p, y).
Les mots se déduisent des espacements. L’espace entre deux mots est normalement plus large que celui entre deux lettres. Des lettres très serrées peuvent fusionner deux mots en un seul, et l’espacement étiré d’un texte justifié peut couper un mot en deux.
Reconnaître les caractères
Les anciens moteurs d’OCR, dont Tesseract jusqu’à la version 3, découpaient chaque mot en caractères individuels et comparaient chaque forme à celles qu’ils avaient apprises. Cette méthode échoue quand les lettres se touchent, comme dans un « rn » empâté, ou quand une impression pâle coupe une lettre en morceaux.
Tesseract 4, sorti en 2018, a ajouté un module de reconnaissance fondé sur un réseau de neurones LSTM (long short-term memory, ou mémoire à long et court terme). Au lieu de découper les lettres, il lit une ligne de texte entière comme une séquence : il la parcourt et estime à chaque pas la probabilité de chaque caractère possible. Comme le réseau transporte l’information le long de la ligne, il peut se servir des formes situées avant et après un caractère pour décider de ce qu’il est, un peu comme vous déchiffrez une lettre tachée en regardant ses voisines.
Le réseau apprend par l’exemple. Les modèles officiels de Tesseract ont été entraînés sur de grandes quantités de texte rendu dans de nombreuses polices, avec un modèle distinct pour chaque langue ou écriture. C’est pourquoi le choix de la langue compte : un modèle entraîné sur l’anglais n’a aucune idée de l’aspect d’une lettre devanagari, et il peut ne pas s’attendre à des lettres accentuées comme é, ç ou ñ. Pour un texte en français, sélectionner le français évite bien des accents perdus.
Connaissance de la langue et dictionnaires
Le module de reconnaissance ne produit pas une seule réponse. Il produit de nombreuses lectures possibles de chaque ligne, avec leurs probabilités. Une recherche choisit ensuite la meilleure, orientée par une liste de mots et par la connaissance des combinaisons de lettres courantes dans la langue.
Ce coup de pouce corrige beaucoup de choses. Un « rnais » mal découpé devient « mais », parce que « mais » est un mot et pas « rnais ». Mais il peut aussi jouer contre vous. Les références de produits, les noms de famille, les abréviations et les mots d’une autre langue ne figurent pas dans la liste : le moteur a moins d’aide avec eux et risque davantage de se tromper.
Les scores de confiance
Pour chaque mot, le moteur indique aussi à quel point il est sûr de lui, selon la netteté avec laquelle sa lecture préférée l’a emporté sur les autres. Les outils s’en servent pour signaler les mots à vérifier.
Considérez la confiance comme un indice, pas comme une garantie. Un score bas signale généralement un problème. Un score élevé signifie généralement que c’est juste, mais un moteur peut se tromper avec assurance : un « O » bien net au milieu d’un numéro de série, là où il aurait fallu un zéro, lui paraît parfaitement normal.
Pourquoi les erreurs se produisent
La plupart des erreurs d’OCR relèvent de quelques schémas :
- Les caractères qui se ressemblent. 0 et O, 1, l et I, 5 et S, 8 et B. Dans beaucoup de polices sans empattement, un I majuscule et un l minuscule sont identiques : même une personne a besoin du contexte.
- Les paires de lettres qui se ressemblent. « rn » lu « m », « cl » lu « d », « vv » lu « w », et inversement.
- La ponctuation. Les virgules et les points sont minuscules : une poussière devient un point, et une virgule décimale pâle disparaît.
- Aucun contexte sur lequel s’appuyer. Les codes, les identifiants, les numéros de téléphone et les adresses e-mail ne sont entourés d’aucun mot du dictionnaire : chaque caractère est isolé.
- Les erreurs de mise en page. Colonnes lues en travers, légendes fusionnées avec le texte, lignes d’un tableau mélangées.
- Un texte que le modèle n’a jamais appris. Polices décoratives, logos stylisés, texte vertical, et surtout écriture manuscrite.
La plupart de ces erreurs se raréfient nettement avec une image plus nette, plus grande et plus droite. Comment obtenir des résultats d’OCR précis explique quoi changer.
Ce qui se passe après la reconnaissance
Le résultat brut d’un moteur est une liste de mots, chacun avec sa position sur l’image et un score de confiance. Les applis construisent la structure à partir de ces positions. Des mots alignés en colonnes verticales deviennent un tableau, comme l’explique comment extraire un tableau d’une image. Les lignes où une date ou un total suit un libellé deviennent des champs de ticket de caisse. La distance de chaque ligne à la marge gauche devient l’indentation du code.
OCR, ICR, HTR et modèles d’IA
Vous croiserez peut-être quelques termes voisins. Traditionnellement, OCR désigne la lecture du texte imprimé. ICR (intelligent character recognition, reconnaissance intelligente de caractères) désigne la lecture de caractères écrits à la main en capitales, généralement un par case sur un formulaire. HTR (handwritten text recognition, reconnaissance de texte manuscrit) désigne la lecture d’une écriture manuscrite continue, le plus souvent avec des réseaux de neurones entraînés sur des échantillons d’écriture. Les différences pratiques sont abordées dans comment convertir des notes manuscrites en texte.
Certains systèmes d’IA plus récents lisent le texte en le générant à partir de l’image avec un grand modèle de langage. Ils peuvent bien s’en sortir avec des images difficiles, mais comme ils génèrent un texte fluide, une erreur peut prendre la forme d’un mot parfaitement plausible qui ne figure pas dans l’image. Quel que soit le type de système utilisé, vérifiez les passages importants par rapport à l’original.