OCR 원리: 이미지가 텍스트가 되는 과정을 쉽게 설명

이미지 보정부터 신경망 인식까지 OCR 엔진 안에서 일어나는 일을 쉬운 말로 둘러보고, OCR이 0과 O를 헷갈리는 이유도 알아봅니다.

업데이트

OCR은 광학 문자 인식(optical character recognition)의 줄임말로, 이미지를 보고 그 안에 어떤 문자가 있는지 알아내는 소프트웨어입니다. 간단해 보이지만 이미지가 무엇인지 떠올려 보면 이야기가 달라집니다. 이미지는 색깔 점들의 격자일 뿐입니다. 파일 어디에도 “이것은 A라는 글자”라거나 “이 줄이 저 줄보다 먼저”라는 정보는 없습니다. 그 모든 것을 추론해야 합니다.

이 가이드는 Tesseract를 예로 들어 현대 OCR 엔진이 하는 일을 차례로 살펴봅니다. Tesseract는 원래 Hewlett-Packard(HP)에서 개발되고 이후 Google의 지원을 받아 관리된, 널리 쓰이는 오픈소스 엔진이며, Image to Text App이 브라우저에서 실행하는 엔진이기도 합니다. 엔진마다 세부 사항은 다르지만 단계는 대체로 비슷합니다.

한눈에 보는 단계

  1. 텍스트가 잘 드러나도록 이미지를 보정합니다.
  2. 레이아웃을 분석해 텍스트 블록과 읽는 순서를 찾습니다.
  3. 블록을 줄로, 줄을 단어로 나눕니다.
  4. 각 줄의 문자를 인식합니다.
  5. 언어 지식을 이용해 그럴듯한 후보 중 하나를 고릅니다.
  6. 단어마다 신뢰도를 매기고 결과를 내보냅니다.

이미지 보정

인식은 무늬 없는 밝은 배경 위의 또렷하고 어두운 글자에서 가장 잘 됩니다. 그래서 첫 번째 일은 이미지를 최대한 그 상태에 가깝게 만드는 것입니다.

이진화는 픽셀 하나하나가 잉크인지 종이인지 판단해 이미지를 완전한 흑백으로 바꿉니다. 고전적인 방법인 오츠(Otsu) 방법은 이미지 전체의 밝기 분포를 보고 두 그룹을 가장 잘 나누는 기준값 하나를 고릅니다. 깨끗한 스캔본에서는 잘 통합니다. 하지만 한쪽 모서리에 그림자가 진 휴대폰 사진에서는 기준값 하나로는 부족합니다. 그림자 진 부분은 새까맣게 변하거나, 밝은 부분의 흐린 글자가 사라집니다. 적응형 방법은 각 픽셀을 페이지 전체가 아니라 주변 영역과 비교해 이 문제를 해결합니다.

기울기 보정은 텍스트 줄이 기울어져 있는지 감지하고 줄이 수평이 되도록 이미지를 회전합니다. 몇 도만 기울어도 한 줄이 윗줄로 흘러 들어가 다음 단계를 망칠 수 있습니다.

그 밖의 보정 단계에서는 잡티와 스캐너 먼지를 없애고, 글자마다 충분한 픽셀이 생기도록 아주 작은 글씨를 확대하며, 어두운 배경 위의 밝은 글자를 반전합니다. Tesseract 문서는 현재 버전에서 밝은 배경 위의 어두운 글자를 권장하는데, 많은 도구가 다크 모드 스크린샷을 읽기 전에 반전하는 이유가 이것입니다.

레이아웃 분석

다음으로 엔진은 페이지에 무엇이 있는지 파악합니다. 텍스트 블록, 그림, 구분선, 나뉜 단(column)이 있는지 보고, 읽는 순서도 정해야 합니다.

가장 헷갈리는 실수 중 일부가 이 단계에서 생깁니다. 두 단 사이의 간격을 놓치면 엔진은 두 단을 가로질러 읽어 양쪽 문장의 절반씩을 뒤섞습니다. 사진 설명이 아래 문단에 합쳐지기도 하고, 표가 대략 맞는 순서의 단어 뭉치로 나오기도 합니다.

엔진은 보통 호출하는 소프트웨어가 어떤 입력을 기대할지 지정할 수 있게 합니다. 페이지 전체, 블록 하나, 한 줄, 흩어진 텍스트 같은 식입니다. 알맞은 설정을 고르는 것이 중요합니다. 영수증을 책 페이지처럼 읽으면 흩어진 텍스트로 읽을 때보다 결과가 나빠질 수 있습니다.

줄과 단어 찾기

엔진은 각 블록 안에서 텍스트 줄을 찾습니다. 공통 기준선 위에 놓인 잉크의 행을 찾고, 줄의 비율을 잽니다. x 같은 소문자의 높이, 그리고 b, d, h처럼 위로 솟는 부분(어센더)과 g, p, y처럼 아래로 내려가는 부분(디센더)이 얼마나 뻗는지를 봅니다.

단어는 간격으로 구분합니다. 보통 단어 사이 간격은 글자 사이 간격보다 넓습니다. 한국어라면 띄어쓰기로 나뉜 어절이 단위가 됩니다. 글자 간격이 좁으면 두 단어가 하나로 합쳐지고, 양쪽 정렬된 글에서 간격이 늘어나면 한 단어가 둘로 나뉠 수 있습니다.

문자 인식

버전 3까지의 Tesseract를 포함한 예전 OCR 엔진은 단어를 문자 하나하나로 잘라 각 모양을 학습한 모양과 비교했습니다. 이 방식은 번진 “rn”처럼 글자가 서로 닿아 있거나, 흐린 인쇄 때문에 글자가 여러 조각으로 끊어져 있으면 제대로 작동하지 않습니다.

2018년에 나온 Tesseract 4는 LSTM(장단기 메모리) 신경망 기반의 인식기를 추가했습니다. 글자를 잘라 내는 대신 텍스트 한 줄 전체를 하나의 연속된 흐름으로 읽으며, 줄을 따라가면서 단계마다 가능한 모든 문자의 확률을 추정합니다. 신경망이 줄을 따라 정보를 이어 가기 때문에 문자의 앞뒤 모양을 이용해 그 문자가 무엇인지 판단할 수 있습니다. 번진 글자를 옆 글자를 보고 읽어 내는 사람과 비슷합니다.

신경망은 예시로 학습합니다. Tesseract의 공식 모델은 다양한 글꼴로 렌더링한 대량의 텍스트로 학습했으며, 언어나 문자 체계마다 별도의 모델이 있습니다. 올바른 언어를 고르는 것이 중요한 이유가 여기에 있습니다. 영어로 학습한 모델은 한글이 어떻게 생겼는지 전혀 모르고, é나 ñ 같은 악센트 문자도 예상하지 못할 수 있습니다.

언어 지식과 사전

인식기는 답을 하나만 내놓지 않습니다. 각 줄에 대해 가능성 있는 여러 읽기 후보를 확률과 함께 내놓습니다. 그런 다음 탐색 과정이 단어 목록과 그 언어에서 흔한 글자 조합에 대한 지식의 도움을 받아 가장 좋은 후보를 고릅니다.

이 도움 덕분에 많은 것이 바로잡힙니다. 영어에서 흐릿한 “tbe”가 “the”가 되는 것은 “the”는 단어이고 “tbe”는 아니기 때문입니다. 하지만 오히려 방해가 될 때도 있습니다. 제품 코드, 성씨, 약어, 다른 언어의 단어는 단어 목록에 없으므로 엔진이 받을 도움이 적고, 그만큼 틀리기 쉽습니다.

신뢰도 점수

엔진은 단어마다 얼마나 확신하는지도 알려 줍니다. 가장 유력한 후보가 다른 후보를 얼마나 크게 앞섰는지를 바탕으로 한 값입니다. 도구는 이 값을 이용해 확인할 단어를 표시해 줍니다.

신뢰도는 보장이 아니라 힌트로 받아들이세요. 점수가 낮으면 대개 무언가 잘못된 것입니다. 점수가 높으면 대개 맞지만, 엔진이 자신 있게 틀릴 수도 있습니다. 숫자 0이어야 할 일련번호 속의 선명한 “O”는 엔진이 보기에 아무 문제가 없습니다.

실수가 생기는 이유

OCR 오류는 대부분 몇 가지 패턴으로 나뉩니다.

  • 닮은 문자. 0과 O, 1과 l과 I, 5와 S, 8과 B. 많은 산세리프 글꼴에서 대문자 I와 소문자 l은 똑같이 생겨서 사람도 문맥을 봐야 구분합니다.
  • 닮은 글자 조합. “rn”이 “m”으로, “cl”이 “d”로, “vv”가 “w”로 읽히거나 그 반대인 경우입니다.
  • 문장 부호. 쉼표와 마침표는 아주 작아서 먼지가 마침표가 되고 흐린 소수점은 사라집니다.
  • 기댈 문맥이 없는 텍스트. 코드, ID, 전화번호, 이메일 주소는 주변에 사전 단어가 없어서 모든 문자를 홀로 판단해야 합니다.
  • 레이아웃 실수. 단을 가로질러 읽거나, 사진 설명이 본문에 합쳐지거나, 표의 행이 뒤섞이는 경우입니다.
  • 모델이 배우지 못한 텍스트. 장식용 글꼴, 디자인된 로고, 세로쓰기, 그리고 특히 손글씨입니다.

대부분은 이미지가 더 선명하고, 크고, 반듯할수록 훨씬 줄어듭니다. 무엇을 바꾸면 되는지는 정확한 OCR 결과를 얻는 방법에서 다룹니다.

인식 이후에 일어나는 일

엔진이 내놓는 원래 결과는 단어 목록이며, 단어마다 이미지에서의 위치와 신뢰도 점수가 붙어 있습니다. 앱은 이 위치를 바탕으로 구조를 만듭니다. 세로로 줄지어 정렬된 단어는 표가 되는데, 자세한 내용은 이미지에서 표를 추출하는 방법에서 설명합니다. 라벨 뒤에 날짜나 합계가 오는 줄은 영수증 항목이 됩니다. 각 줄이 왼쪽 여백에서 얼마나 떨어져 있는지는 코드의 들여쓰기가 됩니다.

OCR, ICR, HTR, 그리고 AI 모델

관련 용어도 몇 가지 보게 될 것입니다. 전통적으로 OCR은 인쇄된 글자를 읽는 것을 말합니다. ICR(지능형 문자 인식)은 보통 서식의 칸마다 한 글자씩 손으로 또박또박 쓴 문자를 읽는 것을 가리킵니다. HTR(필기 텍스트 인식)은 이어지는 손글씨를 읽는 것으로, 보통 손글씨 샘플로 학습한 신경망을 씁니다. 실제로 어떤 차이가 있는지는 손글씨 노트를 텍스트로 변환하는 방법에서 다룹니다.

새로 나온 AI 시스템 중에는 대규모 언어 모델로 이미지에서 텍스트를 생성하는 방식으로 읽는 것도 있습니다. 지저분한 입력에도 잘 대처하지만, 유창한 텍스트를 생성하기 때문에 실수가 이미지에는 없는 그럴듯한 단어처럼 보일 수 있습니다. 어떤 시스템을 쓰든 중요한 부분은 원본과 대조해 확인하세요.

다른 가이드