赤外線および飛行時間イメージングの使用によるロボティクス能力の強化

イメージングは多くのロボティクス用途に極めて重要で、ロボットが基本的な作業を実行し、障害物を避け、移動し、基本的な安全性を確保するために必要となります。 イメージングを提供する最も一般的な方法は低コストのビデオカメラで、カメラを2つ使用すれば立体視覚や深度認識も得られます。 しかし、後者の方法にはいくつかの欠点があります。

2つのカメラを使用して3Dイメージングを行うと、消費電力と容積の要件が増大し、同時にフォームファクタと製造プロセスが複雑化し、コストも増大します。 3Dイメージングが、基本的な「補助」ユニットから自動運転車までの広範な用途において主流となるにつれ、設計者は単にカメラを追加するよりも適切な方法を要求するようになってきています。

この目標に向けて、パッケージング、コスト、消費電力、データの削減、総合的な性能などに優れた別の手法を使用する設計者が増えてきています。 別の方法の1つとして、飛行時間（ToF）イメージングシステムが挙げられます。この方法は多くの場合、光の検出と広域検索（LIDAR）と呼ばれます。 これらの方法を補完するため、赤外線（IR）イメージングも使用でき、これは多くの場合にサーモグラフィと呼ばれます。

IRについて

赤外線波長の電磁波は、可視光線スペクトラムの赤側の終端よりも長い波長を持ちます。IR帯域の波長は一般に、700nm（0.7μm）から1mm（1000μm）とみなされます。 ごく簡単に説明すると、これは物体から放射される熱を表します。 適切なIRイメージングシステムを使用して、このIRの「ヒートマップ」が視覚的な光の画像に変換され、多くの場合は相対的な温度を強調するために色付けが行われます（図1）。

図1：水が浴槽に流れ込む状況の赤外線画像。温度差を見やすくするため着色してあることに注意してください。 （画像提供：FLIR Systems, Inc.）

IRイメージングとIRセンシングは異なることに注意してください。 センシングは非接触的な方法で、熱源の検出や測定に使用されます。この熱源は、アラームシステムの部品ならばパッシブ赤外線（RPI）センサの前を横切る人間、または監視対象のパイプから発生する過剰な熱などです。画像のような詳細や、画像の解像度は存在しません。

従来の可視光によるイメージングの代わりに、またはそれに加えてIRを使用する 理由は2つあります。

• IRは、対象の物体が意図的に隠されている、または単なる偶然により、背景に溶け込んでいるときには非常に有用です。
• IRは、視野内の人間や温血動物を見つけるために役立ちます。
• またIRは、パイプの加熱、配線の蒸気、くすぶっている火、電気的な故障など、局所的な熱を起こす一般的な障害を見つけるためにも有効です。

高度に統合された高性能の部品と、使いやすいインターフェースにより、現在ではIRイメージングサブシステムの実装が非常に簡単になりました。 たとえば、FLIR Systems, Inc.製のLepton IRカメラを見てみましょう（図2）。 この製品は約10 x 12 x 6mmのサイズで、固定焦点のレンズのアセンブリ、80 x 60ピクセル、8～14μm IRの長波長赤外線（LWIR）マイクロボロメータセンサアレイと、信号処理用の電子回路が搭載されています。

図2：FLIR Leptonイメージャ（写真はソケットなしの状態です）は高度に統合されたユニットで、信号処理とユーザーがプログラム可能な機能が搭載されています （画像提供：FLIR Systems, Inc.）。

業界標準のMIPIおよびSPIビデオインターフェース、および2線式のI²Cと似たシリアル制御インターフェースを使用して、簡単に相互接続できます（図3）。 Leptonユニットは小型で使いやすく、高性能を実現し、画像の取得時間が0.5秒以内と高速で、熱感度が50mK未満です。 動作時消費電力も、わずか150mW（標準値）です。

図3：Leptonユニットの簡単なブロック図で、画像処理ユニットと、基本的なセンサアレイ、およびユーザーのシステムへ簡単に接続できることがわかります （画像提供：FLIR Systems, Inc.）。

このような製品を活用するには、ユーザーの実践的な経験が役立つため、FLIRはカメラモジュール用のブレークアウト基板を提供しています。この基板は、ARMベースの評価ボードやRaspberry Piと互換性があります（図4）。 この25mm x 24mmの基板には単一の3V～5.5V電源が必要で、25MHzのシステムクロック、低ノイズの電源レールを追加するための内部的なLDO、標準の相互接続ヘッダ、およびLeptonモジュール自体に使用される32ピンのMolexヘッダが搭載されています。

(a)

(b)

図4：設計者は、Leptonブレークアウト基板(a)（写真はLeptonユニットなしの状態です）により、(b)標準のコネクタとインターフェースを使用して各種の評価ボードと接続し、ユニットの評価とプログラムを実行できます （画像提供：FLIR Systems, Inc.）。

ToFの追加

多くのアプリケーションにおいて熱画像は便利ですが、それだけでは不十分で、可視光によるイメージングシステムが、多くの場合は3Dで必要となります。 通常のソリューションでは、標準的なビデオカメラを使用します。このようなビデオカメラは現在では数十のベンダーから、多くの解像度、光感度、サイズ、インターフェースのオプションで利用可能です。 ステレオイメージングが必要な場合、カメラをペアで使用します。

サーモグラフィーは数十年にわたって利用されてきましたが、今日のユニットよりもパフォーマンスか低く、コストが高く、消費電力が大きなものであったのに対して、ToFは比較的新しいものです。 これは1990年代に初めて、学術的な概念として提案されたものでしたが、必要な部品や処理能力の関係で、ようやく実用的なものとなったのは過去10年以内のことです。

ToFは、自動運転車（無人運転車）など多くの用途において好まれるイメージング手法で、数百万マイルもの距離にわたって、文字どおりロードテストが行われてきました （アーキテクチャの点から考えると、スマートまたは自動運転車は、車輪に特化されたタイプのロボット化システムで、センサ、アルゴリズム、定義されたアクションが存在します。この区別は観点の問題に過ぎません）。 ToF手法には実際に、従来のイメージングカメラと比較して、いくつかの明確な利点が存在します（以下で解説します）。

動作原理：従来型のカメラによるイメージングでは動作原理がエンジニアによって広く理解され、いくらか直感的なのに対して、ToFはそれほど知られておらず、数式や、感知された光子を使用して実装されます。 主要なコンポーネントの1つは、正確な制御と変調が行われる光源で、ソリッドステートレーザーまたはLED（通常は850μmの近赤外線帯で動作するため、人間の目には見えません）が使用されます。もう1つは、イメージングの対象であるシーンから反射される放射光を「見る」ためのピクセルアレイです（図5）。

図5：ToFの高レベルの概念は単純です。パルス形式の光を周囲に投射し、反射される光パルスとそのタイミングを捕捉します。実際の実装はこれよりはるかに複雑ですが、現在では実用的なものとなりました （画像提供：Texas Instruments）

ToFの原理を十分に理解するには、その動作を定義する数式と、不可避のエラー源を考慮し、補正することが必要です。 総合的なToFプロセスは、2つの方法で実行できます。光源には、低いディーティサイクルの反復パルス、または連続的な正弦波か矩形波に変調される光源を使用できます。 パルスモードを使用する場合、反射された光のエネルギーは2つの位相差ウィンドウを使用してサンプリングされ、それらのサンプルを使用して対象までの距離が計算されます。 連続モードを使用する場合、センサは測定ごとに4つのサンプルを取得し、各サンプルは90°のオフセットを持ち、照光と反射との位相角を計算して、結果的に距離が計算されます。

ToFのシーケンスと計算の出力は、イメージング対象の領域を表すポイントのクラウドで、「ポイントクラウド」と呼ばれます。^[1]

相対的な利点と欠点：1つまたは2つのカメラを使用する従来のイメージング手法と、ToF手法とのどちらを選択するかを決定するには、用途に固有の条件を中心としたトレードオフを考慮します。 基本的な検査および障害認識で、対象があらかじめ判明しており、目標が制御された照明環境内での特徴の抽出と比較である場合、単一のカメラを使用して2Dの画像を提供するのが多くの場合に最良の選択です。 ただし、照明が変化する場合は、周囲光の変化の影響を受けにくいToFの方が適していることがあります。

2つの従来型カメラを使用する3Dイメージングの場合、決定には機械や取り付けの問題など、さらに多くの要因が関与します。 これらが問題ではない場合でも、画像を処理するシステムには、片方のカメラから得られたシーン内のポイントと、もう一方のカメラから得られた同じポイントとを一致させる、「対応付け」の問題を解決するための強固なアルゴリズムが必要です。 このためには、カラーやグレイスケールの十分な量の差異が必要で、イメージング対象のシーンが均一な表面である場合は深度の正確性が制限されます。 これに対してToFシステムは機械的な問題や、照明とコントラストの問題の影響を受けにくく、3Dの結果を得るために画像の対応付け一致を行う必要がありません。

ToFシステムは、応答時間が短く、対象の広範な特性に対応でき、生成されるポイントクラウドの性質からも、手、顔、身体のジェスチャをコマンドに変換する、自動運転車で周囲の状況をキャプチャするなどの目的に適しています。 ただし、従来の1つまたは2つのカメラを使用するソリューションは、基本的なイメージング用カメラが広く利用可能なためコストが低くなります。

実装ToFシステムには5つの主要な機能ブロックがあります。

1. 光源：精密に時間が調整された光パルスを生成する部品。
2. 光学：光をセンサに結像させるレンズで、多くの場合は周囲光による「ノイズ」を低減するための光学バンドパスフィルタを含みます。
3. イメージセンサ：放射され、照光対象のシーンから反射された光を捕捉します。
4. 管理用エレクトロニクス：照光ユニットとイメージセンサを制御し、同期します。
5. 計算ユニットとインターフェース：照光と、戻ってきて感知された光子とのタイミングから、距離を計算します。

光エミッタとイメージングセンサの選択は、ToFシステム構成の最初の手順です。 エミッタの選択肢の1つは、Vishay VSMY1850X01などのダイオードです。これは850μm IRデバイスで、高速動作用に設計されています。 100mA駆動のときに、立ち上がりおよび立ち下がり時間が10nsecで、パルスモードに適しています。

センサまたはピクセルアレイはToFシステムの心臓部で、現在ではTexas Instruments製のOPT8241飛行時間センサ/コントローラICなどの大きな、より統合されたデバイスの一部として入手可能です（図6）。 このICには、簡略化されたブロック図（図7）に見られるように、センサソース（上述の項目3を参照）と制御用エレクトロニクス（項目4）が搭載されており、デジタル化された反射データをOPT9221飛行時間コントローラなどのコプロセッサへ供給し、デジタル化されたセンサデータから深度データが計算されます。 OPT9221には、アンチエイリアシング、非直線性補正、温度補償など、各種の訂正機能も実装されています。

図6：TI製のOPT8241をOPT9221計算エンジンと組み合わせて使用すると、設計者はわずかなハードウェアの労力と、比較的少ない部品数でToFシステムを構築できます。

図7：TI製のOPT8241の簡略化された内部ブロック図を見ると、ToFのフロントエンドを実装するために使用されている複雑性の一部をうかがうことができます。このICには、照光LED用の変調制御とドライバが搭載されています （画像提供：Texas Instruments）。

シーンを単にキャプチャするだけでなく、一貫した有用な方法で行うように設計されているビデオシステムは常にそうですが、ToFのソフトウェア設計は簡単なものではありません。 TIは詳細なユーザーガイド^[2]に加えて、深度解像度、2D解像度（ピクセル数）、距離範囲、フレームレート、視野角（FOV）、周囲光、オブジェクトの反射率などのパラメータの性能と相互作用を設計者が評価するための推定用ツールも提供しています。

結論

ロボティクスシステムの設計者は常に、詳細な「周囲の感知」機能をどのように提供するかという課題に直面してきました。 幸いなことに、今日の設計者は赤外線イメージング、従来型のビデオカメラ、さらには飛行時間の原理を使用したLIDARなど、高性能で強力な、比較的低コストのテクノロジを活用できます。 その結果、そしてこれらのテクノロジの総合的な消費電力が低いこともあり、多くの完全な設計ではこれらの手法を組み合わせて使用し、単一の技法の欠点を補って、より完全な複数次元の画像を提供しています。

リファレンス：

1. 「飛行時間カメラ - 概要」、Texas Instruments
2. 「飛行時間（ToF）システム設計の概要」、Texas Instruments