OCRによるアプリ画面の数値の読み取り２

アプリ上に表示される数値を記録したり別のアプリで使用するために数値を取得したい場合があります。本項ではOCRによってアプリ画面上の数値を読み取り保存するプログラムを作成しましたので紹介します。

ツール上の記録ボタンを押すことでスクリーンショットを撮影します。その後スクリーンショットに対して二値化による前処理を行ってから数値を読み取ります。前処理を行うことで数値の読み取り精度が向上します。最後に読み取った数値をcsv形式で保存します。これらの過程は全て連続かつ自動的に実行されます。

以下はプログラムのUI画面です。プルダウンにより画面から読み取れない情報を入力した後で記録ボタンを押すことでスクリーンショット撮影から記録までが連続で実行されます。

以下はスクリーンショットです。OCRにより数値を読み取る領域を黒線で囲っています。

以下は記録した数値を用いた分析の一例です。異なる条件で数回ずつ記録をつけ、条件ごとに記録の変化を比較しました。