PNGは、WindowsやMacのほとんどのスクリーンショットツールが標準で保存する形式で、スライド、グラフ、図、デザインを画像として保存するときに多くのアプリが書き出す形式でもあります。そのため、画像の中に閉じ込められた文字の出どころとして最も多いのがPNGです。設定画面、チャット、プレゼンのスライド、ラベル付きのグラフ、誰かが書き出してくれた報告書のページなどです。
PNGがOCRに最も向いている形式である理由
PNGは可逆圧縮です。すべてのピクセルが正確に保存されるので、文字のくっきりした輪郭が保たれます。保存のたびに少しずつ輪郭がにじむJPEGとは違います。文字にとってこの差は大きく、同じ画像でもJPEGでは要確認の単語がいくつも出るような小さな文字が、PNGならきれいに読み取れることがよくあります。
スクリーンショットの弱点は形式ではなくサイズです。画面上の文字は小さいことが多く、1文字の高さがほんの数ピクセルしかありません。自動補正は読み取り前に小さな文字を拡大しますが、これからスクリーンショットを撮るなら、先に拡大表示しておく（ほとんどのブラウザやアプリでCtrlと＋、Macでは⌘と＋）と、エンジンが読み取れる情報が増えます。
画面によっては、文字を滑らかに見せるために、うっすらと色の付いた縁取りで描画されていることがあります。かなり拡大しないと気づかず、問題になることはまれです。スクリーンショットの読み取り結果がおかしいときは、手動ツールの「グレースケール」を試してください。
透明な背景
PNGには透明な部分を持たせることができ、ロゴ、ステッカー、アイコン、デザインツールから書き出した画像によく使われます。Image to Text Appは読み取り前に、ほとんどの画像ビューアーと同じように、透明部分を白で塗りつぶします。
濃い色の文字なら問題ありません。困るのは、暗い背景の上に置く前提で作られた画像です。透明背景の上の白い文字は白地に白となり、読み取るものが何も残りません。文字と背景が同じ色になってしまっているので、あとから画像を反転しても元には戻りません。画像編集ソフトでPNGを開いて暗い背景を追加するか、暗いページに表示した状態でスクリーンショットを撮り、それを読み取ってください。
ダークモードと色付きの画面
ダークモードのスクリーンショットは自動で処理されます。自動補正が暗い背景の明るい文字を見つけて反転し、その処理を一覧に表示するので、何が行われたかがわかります。「比較」を長押しすると元の画像を確認できます。
色付きのボタン、グレーのプレースホルダー文字、グラデーションの上の文字は、文字と背景のコントラストが低いため難しくなります。結果からラベルが抜けている場合は、「コントラスト」を上げるか「白黒」を試してから、Ctrl+Enter（Macは⌘+Enter）で読み取り直してください。
画面上の余計な要素を取り除く
スクリーンショットには、文字以外にもアイコン、プロフィール画像、ツールバー、スクロールバー、絵文字などが写っています。OCRエンジンはすべてを読もうとするため、虫眼鏡のアイコンが「Q」に、チェックマークが「v」になることがあります。必要な部分だけにトリミングすることが、PNGのスクリーンショットに対してできる最も効果的な対策です。
チャットのスクリーンショットでは、メッセージに名前、タイムスタンプ、既読表示が混ざります。これらはそれぞれ別の行として出てくるので、見つけて削除するのは簡単です。
PNGの内容に合ったモードを選ぶ
Image to Text Appは画像を見て読み取りモードを選び、「表のようです」といったラベルを表示します。画像を追加し直さなくても、いつでも切り替えられます。
- エディターやターミナルのコード： コードモードはインデントとスペースを保ち、カーリークォートをまっすぐな引用符に直します。コードのスクショをテキストに変換をご覧ください。
- 表やスプレッドシート： 表モードでは、ExcelやGoogle スプレッドシートに貼り付けられる編集可能なグリッドになります。画像をExcelに変換をご覧ください。
- スライドや文書： ドキュメントモードは行をつなげて段落にし、見出しや箇条書きを保つので、MarkdownやWordでのダウンロードに向いています。
知っておきたい限界
写真や複雑な模様の上に置かれた文字、画像内の装飾的な文字、グラフの軸ラベルのように斜めに配置された文字が、PNGでよくある間違いの原因です。エンジンが自信を持てなかった単語には下線が付くので、画像と照らし合わせて確認できます。行をクリックすると、画像上の該当箇所が光ります。
保存済みのファイルではなく撮ったばかりのスクリーンショットなら、保存の手間を省けます。キャプチャを直接クリップボードに送ってここに貼り付ける方法は、スクショの文字起こしのページで紹介しています。