SpiralRay’s Blog Room

10月

画像解析とかロボカップとか

by SpiralRay

こんにちは。
今まで僕が作ったなかで一番まともなプログラム、マイコンを利用した画像解析による高速ゴール検出プログラムについてきちんと書いておこうかとおもいます。RCJ参加者向けなツマラナイ話です。

使用マイコンはSH-2A(SH7262)
2010年6月号のInterfaceの付録についていたものです。
何故SH-2Aを使用するか、理由は二点あります。
一点目は処理速度の面です。
SH7262は144ＭＨzはミドルクラスのマイコンとしては最高レベルの速度を誇っています。
僕は主にSTM32も使用していますが、現在主流のF1シリーズの周波数は72MHzであり、SH-2Aの半分にしか及んでいません。(そんな単純なものじゃありませんが)
FPU搭載など、計算速度なら他の低価格マイコンにはそう簡単には負けないでしょう。(STM32F4くらい？)

二点目はVDC(Video Display Controller)を搭載していることです。
これが重要です。
ロボカップジュニア(サッカー)では、過去にTrevaを使って画像解析をしているチームがあったようですが、機体停止時に2fpsしか出せないなど、非常に処理が遅いです。UARTで画像を取得するのにかなりの時間が必要となってしまうようです(工夫すれば少しは改善されるとは思いますが)
しかしVDCを使うことによって、初期化さえすればマイコンでカメラの画像を取得することなく、勝手にメモリ上にカメラからの画像が更新されていきます。つまり、高画質にも関わらずマイコンでの処理は0ということになります。
今回はカメラの画像は352×240で取得しています。

問題点もいくつかあります。
まず、配線がヤヴァい点です。
RGB565、同期信号などで最低でも25本くらいはつなげないといけません。また、カメラも同様にヤバいです。
あと、外部からプログラムを起動しないといけないので、SDカードスロットも必要となります。

更に、対応しているカメラが少ない点です。
ノンインターレース方式のITU-656方式のカメラが必要になりますが、カメラで主流(?)なオムにビジョン社のカメラOV系はインターレース方式を採用しているので使用することができません。
国内で簡単に手に入れられるのは秋月で売っているカメラ、MTV-54K0DNくらいでしょう。

これらの問題を解決するために株式会社TACの拡張基板T-SRSを使用します。

T-SRSにはMicroSDカードスロット、タッチパネル付4.3インチ液晶、NTSC入力端子が付いてます。
これによって配線の複雑化が防げ、なおかつ使用できるカメラが圧倒的に広がります。
また、32MByteの外部RAMが付いています。
何があってもRAMに困ることはないです。

プログラムの特徴を書いておきます。
主な点はTOPPERS/ASPを使用しています。
RTOSを使用することで、画像処理タスクと画面(タッチパネル)処理・シリアル送信タスクの２つのタスクに分けています。
(シリアル送信も別にタスクにしたかったが、試したところ何故か送信されなかった)

画像処理のアルゴリズムは…自分で考えてください。
書いたところで意味がないので…
注意するべき点だけ書いておきます。
広角カメラを使用した場合、屈折率の関係で青色のラインができてしまいます。これをプログラム的に除去する必要があります。
また、フィールド外に青が黄色がある可能性があります。それにもある程度対処する必要があります。

実際にこれらを対処したプログラムを書いたところ、秒間15回の処理をできています。
画像の縮小などはしていません。352×240を解析しています。

操作方法ですが、タッチパネルによるボタン操作になっています。ここのプログラムは僕が作ったものではないため触れません。
右下にあるボタンBT11を押すことによって黄色のゴールを検出するか青色のゴールを検出するかの設定が変わります。
その他のボタンはあまり関係ないので無視します。