製品紹介：自動運転用センサシミュレータ

COSMOSIM® ： Next Generation Automotive Sensor Simulator Framework

 

株式会社OTSLでは、自動運転に向けたセンサシミュレーション用のシミュレータを開発しました。Epic Games社のUnreal Engine4を用いることにより、レイトレース法を用いてリアルタイムでセンサのシミュレーションを実行可能になりました。併せて、mm精度を持つミリ波レーダ/LIDAR専用高精度３DCG MAP “AHDMAP”の提供も可能になりました。

COSMOSIM® Frameworkは以下の5つのセンサシミュレータと高精度3DCG MAPで構成されます。

2019年8月末にCOSMOSIM®はUnreal Engine 4 Version 22 に対応予定で、より高速・高精度にシミュレーションを実行することが可能になります。

 

1. AMMWR（ミリ波レーダシミュレータ）

AMMWRは世界初のリアルタイムミリ波レーダシミュレータです。従来のレイトレース法を用いた電磁界ソルバでは静的なオブジェクトしかシミュレーション出来ませんでした。EPIC Games社のUnreal Engineを使用することにより、動的なオブジェクトのシミュレーションをリアルタイムで実行可能にしました。AMMMWRは実際のレーダのハードウェア構成に基づいており、お客様は自律走行シミュレーションのための仮想シナリオを使用してミリ波レーダの正確なシミュレーションをすることが出来ます。

【機能】

• 3DCG MAPを用いたリアルタイムでの高精度ミリ波レーダシミュレーション
• 変調方式は FMCW/FCM/Pulse圧縮の3方式に対応
• 方位探知アルゴリズムの搭載(MUSIC、3D-FFTなど)
• Radar Mapの表示(3D-FFTによる Range-DopplerとRange-Azimuth データの表示)

【新機能】

• 4D-FFT搭載 (Range-Doppler, Range-Azimuth, Range-Elevation)
• Extended Kalman Filter (EKF)/Unscented Kalman Filter (UKF)
• EKF/UKFトラッキングによる3D Point Cloud出力

【AMMWR Range-Azimuth, Range-Doppler】

 

【AMMWR EURONCAP Car to Bicyclist】

 

2. ALR（LIDARシミュレータ）

ALRは近赤外線レーザ用の反射率と反射モデルをもつ3DCGマップを使用することで、LIDARを照射した物体の特性を正確に再現することができます。よって従来のLIDARシミュレータよりも高精度なシミュレーションが可能です。

【機能】

• 3DCG MAPを用いたリアルタイムLIDARシミュレーション
• 3D Point Cloud表示
• メカニカルスキャン、MEMSミラー、FLASH　LIDARに対応

【3DCG MAPを用いたリアルタイムLIDARシミュレーション表示例】

 

3. ACIS（カメラシミュレータ）

ACISはカメラの光学収差を補正し、実際のカメラを用いたキャリブレーションデータをシミュレータに実装するため、きわめて精度の良いカメラシミュレーションを実行可能です。また、オープンソースのAirSIM(Microsoft)やCARLA Simulator (QVC管理 & MIT source code)との連携により、天候の変化、センサポスト処理のSemantic Segmentation、Deep Learningや簡易的な自動運転のシナリオを作成可能です。

【機能】

• 対応カメラ：魚眼カメラ、単眼カメラ、ステレオカメラ
• センサ後段処理：Deepen AIの認識アルゴリズム、CARLAシミュレータに実装済みの機能
• レンズシミュレーションにより、正確なボケの再現、レンズ＋ARコートのシミュレーションにより正確なゴースト再現
• COSMOSIM®の他のセンサシミュレータとの同時シミュレーションが可能

 

4. AIRB（赤外線シミュレータ）

AIRBは近赤外線から遠赤外線波長までをカバーする世界初の3D real time Infrared/μBolometer Sensor Simultorです。材料データを分子構造から作成し、分子シミュレーションで吸収スペクトラムを算出、黒体放射モデルによる熱輻射を計算し、太陽灯の輻射エネルギーによる物体の温度上昇も考慮し、3D上でリアルタイムでシミュレーションを実行可能です。

※μBolometerについて：
近年盛んに自動運転のセンサとしてミリ波レーダやLIDARの陰に隠れていますが、吹雪等の悪天候の影響を受けにくいセンサとして、また夜間においても熱をセンシングするので可視化が可能であるため欧州では、欧州では夜間⾃動運転の有望なセンサとして必須となっています。

 

 

5. AUS （超音波シミュレータ）

高精度3DCG MAPを用い高速エンジンによるリアルタイムな超音波シミュレーションを実行可能です。従来の解析手法であるFull Waveソルバを用いた解析も可能です（リアルタイム性なし）。他のセンサを組み合わせたシミュレーションにより、センサ本来の検知限界やセンサ配置の最適化が可能です。

【機能】

• 通常の圧電素子のセンサだけでなく、マイクロフォンアレイ対応（ビームフォーミング）
• センサ指向性の入力可能（下右図）
• 数センサによる干渉シミュレーション（Full-wave)
• COSMOSIM®の他のセンサシミュレータとの同時シミュレーションが可能

 

6. AHDMAP（高精細3DCG MAP）

ミリ波レーダやLIDARでは人間の目に見える可視光とは違う波長でセンシングをします。そのため、シミュレーションをするためにはそれに合わせた3DCG MAPが必要です。特に、LIDARのシミュレーションをするためには最高でmmオーダの精度のMAPが必要となります。このような高精度な地図を作成するためには高精度な計測が必要になります。AHDMAPは高精度LIDARによる計測により作成されたmmオーダの3DCG MAPです。本MAPはオブジェクトに対して波長ごとの反射率を持たせており、オブジェクトの精度と併せて高精度なセンサシミュレーションが可能となっています。

現在、以下の3DCG MAPをご提供しております。

• 横浜赤レンガ(標準搭載地図)
• デトロイトHighway
• 首都高C1往復(全線) + 霞ヶ関出入り口

【横浜赤レンガ MAP】

 

【首都高C1 MAP 霞が関入り口】

 

【首都高C1 MAP 京橋JCT付近】

 

協業

■CarSIM
Mechanical simulation社のCarSIMと連携することで、COSMOSIM®はリアルな動きを持つ車両に搭載されたセンサのシミュレーションが可能です。

■COSIDE^®
COSEDA Technologies社により開発された SystemC AMS COSIDE^®を利用し、MILS/SILSをシミュレーション出来るようになります。

■rFpro
rFproは世界最高精度の高解像度3DCG Mapとその関連ソフトウェアを提供しています。AMMWR/ALRとrFproソフトウェアを一体化し、将来的により正確なミリ波レーダとLIDARシミュレータ環境を提供する予定です。

■RoadRunner^®
VectorZero社のRoadRunner^®は道路や標識を自由に作成することができます。また、RoadRunner^®はOpenDRIVEファイルの読み書きに対応しているため、交差点や橋、標識に至るまでよりリアルな道路環境でCOSMOSIM®のシミュレーションが可能です。

■AILiveSim
フィンランドのAILiveSim社はゲーム技術と機械学習を駆使して、自動運転専用のシミュレーションを作成しています。AILiveSimはデータセットの作成や学習アルゴリズム、自動テストなど様々なアプリケーションやユースケースをサポートしています。AILivSimとCOSMOSIM®はUE4を使用しているため親和性が高く、AILiveSimの最大の特徴であるAIおよびディープラーニング技術をCOSMOSIM®上で容易に活用できるようになり、これまで以上に高性能な自動運転向けシミュレーションが実現できます。

 

■サポートOS、要求HW仕様

OS：Microsoft Windows 10 Professional 64bit (Linux: under development)
CPU：Intel Core Xeon Multi CPU recommended
GPU：NVIDIA Quadro series, QUADRO RTX (highly recommended)
Memory: 64GB or more
UE4：Unreal Engine version 4.22(8月末予定) or 4.16

 

製品紹介動画はこちらから（YouTube）：

https://www.youtube.com/channel/UCbwDUjairsHpMzCI9ZUB2ow/videos

 

東京工業大学　工学院　電気電子系主任　名誉教授　松澤先生から以下のようなコメントをいただいております。

『自動運転の実現のためには，ミリ波レーダ，レーザーレーダ，イメージセンサ，超音波センサなどの各種センサが不可欠であり，開発したセンサが様々な状況で適切に動作することを確認することが求められる。最終的にはフィールド試験が必要であるが，デバイス・システムの開発においてリアルタイムシミュレータ上で確認できることが開発の効率化を図るために不可欠である。このリアルタイムレーダシミュレータは光学分野で用いられてきたレイトレース法をミリ波に応用したもので，被写体の物質や形状，多重反射などを考慮に入れた，より現実に近い高精度シミュレーションを実現している。今回UKのメディアから、Research & Development Awards 2022を受賞されたのも、COSMOSIM Simulator開発の先進性を評価されたものと思われる。』

 

注：

Windows は米国 Microsoft Corporation の米国およびその他の国における登録商標です。

Intel、インテル、Intel ロゴ、Intel Inside、Intel Inside ロゴ、Intel Atom、Intel Atom Inside、Intel Core、Core Inside、Intel vPro、vPro Inside、Celeron、Celeron Inside、Itanium、Itanium Inside、Pentium、Pentium Inside、Xeon、Xeon Phi、Xeon Inside、Ultrabook は、アメリカ合衆国および / またはその他の国における Intel Corporation またはその子会社の商標です。

NVIDIA、 NVIDIA のロゴ、 3D Play、 3D Vision、 3D Vision Pro、 4-Plus-1、 APEX、 CUDA、 Dabbler、 DirectStylus、 DirectTouch、 FX Composer、 GameStream、 Geared For Gaming、 GeForce、 GeForce Experience、 GeForce GTX、 GPUDirect、 G-SYNC、 GRID LINK、 GRID vGPU、 GRID VGX、 IceClear、 ICERA、 Iray、 Jetson、 Kepler、 Made To Game、 Maximus、 mental ray、 NSIST on NVIDIA、 nTersect、 NVIDIA AutoWorks、 NVIDIA BATTERY BOOST、 NVIDIA Business Platform、 NVIDIA GameWorks、 NVIDIA GPU BOOST、 NVIDIA GRID、 NVIDIA GRID vGPU、 NVIDIA G-SYNC、 NVIDIA IndeX、 NVIDIA Maximus、 NVIDIA Maxwell、 NVIDIA nForce、 NVIDIA PartnerForce、 NVIDIA PureAudio、 NVIDIA Scene Graph、 NVIDIA SHIELD、 NVIDIA SLI Ready、 NVIDIA Slide Cover、 NVIDIA TXAA、 nView、 NVLINK、 NVS、 Optimus、 OptiX、 Pascal、 PGI、 PGI Visual Fortran、 PhysX、 Quadro、 Quadro Experience、 RealityServer、 SceniX、 Shadowplay、 SHIELD、 SLI、 SLI-Ready、 Surround、 Tegra、 Tegra NOTE、 TegraZone、 Tesla、 The Way It’s Meant to be Played、 TWIMTBP、 ULMB、 vGPU 、 Vibrante は、米国および/または他国のNVIDIA Corporation の商標および/または登録商標です。

Unreal, the circle-U logo and the Powered by Unreal Technology logo are trademarks or registered trademarks of Epic Games, Inc. in the United States and elsewhere.