ソニー、イメージセンサーにAI処理機能を世界初搭載した「IMX500」「IMX501」商品化

ロジックチップにAIによる画像解析処理の機能を搭載

　ソニーは5月14日、世界初のAI処理機能を搭載するイメージセンサーとしてインテリジェントビジョンセンサー「IMX500」「IMX501」を商品化すると発表した。

　IMX500は、1/2.3型（対角7.857mm）有効約1230万画素のベアチップ製品で、サンプル出荷時期は2020年4月、サンプル価格は1万円（税別）。

　IMX501は、1/2.3型（対角7.857mm）有効約1230万画素のパッケージ製品で、サンプル出荷時期は2020年6月（予定）、サンプル価格は2万円（税別）。

　同製品は、画素チップとロジックチップを重ね合わせた積層構造を用いて、ロジックチップにAIによる画像解析処理の機能を搭載した、世界で初めてのイメージセンサー。画素チップで取得した信号をセンサー内でAI処理を行なうことで、高性能なプロセッサや外部メモリを必要とすることなく、エッジAIシステムを実現することが可能という。

　さらに、画像情報を出力しないメタデータ（撮像データに属する意味情報）の出力によるデータ量の削減やプライバシーへの配慮に加えて、高速なAI処理による対象物のリアルタイムトラッキング、内蔵メモリの書き換えによるユーザーの使用環境や条件に合わせたAIモデルの選択など、さまざまな機能により多様なアプリケーションを実現するとしている。

　主な特長については以下の通りとなる。

　画素チップには、有効約1230万個の裏面照射型画素を配置して広い視野角で情報を捉える。ロジックチップには、通常のイメージセンサーの信号処理回路に加え、AIに特化した信号処理を担うソニー独自のDSP（Digital Signal Processor）と、AIモデルを書き込むことができるメモリを搭載。これにより、高性能なプロセッサや外部メモリを必要とすることなく、エッジAIシステムを実現することを可能とする。

　画素チップから取得した信号をロジックチップで処理する過程で、ISP（Image Signal Processor）処理やAI処理を行なうことにより、対象物をメタデータで出力し、扱うデータ量を削減。また、画像情報を出力しないことで、セキュリティリスクを低減し、プライバシーに配慮した対応を可能とする。通常のイメージセンサーの撮影画像に加え、ISP出力形式の画像（YUV/RGB）や、特定領域のみ切り出したROI（Region of Interest）画像など、ユーザーのニーズや用途に応じて出力データの形式を選択することも可能としている。

　通常のイメージセンサーで動画を撮影する場合、出力された1フレームの画像ごとにAI処理に繋げる必要があることから、データの送信が多くなり、リアルタイム性を確保することが困難であった。同製品では、ロジックチップにおいて、ISP処理や高速なAI処理（MobileNet V1の場合、3.1ミリ秒の処理時間）を行なうことにより、動画の1フレーム内ですべての処理が完結。これにより、動画を撮影しながらの対象物の高精度なリアルタイムトラッキングが可能になるとしている。

　ユーザーは、任意のAIモデルをメモリに書き込み、使用環境や条件に合わせて書き換え、アップデートすることが可能。例えば、本製品を採用した複数台のカメラを店舗に設置した場合、1種類のカメラで、設置位置、状況、時間など目的や用途に応じて使い分けることができる。入り口であれば入店者のカウント、棚であれば商品の欠品検知、天井であれば来店者のヒートマップ（人が多く集まる場所の検知）などの複数の用途に活用できるとし、これまでヒートマップの検出に使用していたAIモデルを、消費者行動を把握するために使用するAIモデルなどに書き換えることも可能という。