カリフォルニア州レッドウッドシティ—2024年6月21日—ADAS、自動運転技術、及びロボティクス自動化向けAIソフトウェアを提供を提供しているHelm.aiは、自動運転の開発および検証用に高度にリアルな運転シーンの動画を生成するAIモデル「VidGen-1」を発表しました。このAI技術は、予測タスクと生成シミュレーションの両方において重要です。(PRTIMES)
https://youtube.com/watch?v=xab8fFyBD7g%3Fautoplay%3D0%26fs%3D1%26rel%3D0
Helm.aiの動画生成AIモデル
数千時間にも及ぶ多様な運転映像のデータに基づいてトレーニングされたHelm.aiの動画生成AIモデルは、先進的なディープニューラルネットワーク（DNN）アーキテクチャと高効率な教師なし学習技術「Deep Teaching」を組み合わせ、リアルな運転シーンの動画を生成します。これらの動画は、384 x 640の解像度、最大30fpsのフレームレート、数分間の長さで、入力プロンプトなしに、または画像や短い動画でプロンプトより生成できます。
VidGen-1は、さまざまな地理的条件と、複数タイプの車両やカメラ視点から運転シーンの動画を生成します。このモデルは非常にリアルな外観と時間的に一貫したオブジェクトの動きを生成するだけでなく、交通ルールに従って行動する自車両と周囲のエージェントの動きを学習し再現します。モデルは、都市部や郊外環境、様々な車両、歩行者、自転車、交差点、曲がり角、気象条件（例：雨、霧）、照明効果（例：グレア、夜間運転）、濡れた路面や反射する建物の壁、及び車のフードに映る正確な反射まで、国際的な多数の都市にまたがる様々なシナリオのリアルな動画映像を生成します。
動画データは自動運転における最も情報豊富な感覚モダリティであり、最もコスト効率の良いセンサーであるカメラから得られます。しかし、動画データの高次元性は、動画生成AIにおいて挑戦をもたらします。動くシーンのダイナミクスを正確にモデル化しながら高画質を達成することは、動画生成AIアプリケーションにおいてよく知られた困難です。
「動画生成AIにおける技術的なブレークスルーを達成し、自動運転分野において新たな基準を設定したVidGen-1を開発しました。数年にわたるDeep Teaching技術と、弊社の生成DNNアーキテクチャに関するイノベーションを組み合わせることで、現実的な動画を効果的かつスケーラブルに生成する手法を実現しました。弊社の技術は汎用的であり、自動運転、ロボティクス、その他の動画生成が必要なあらゆる分野に等しく効果的に適用できます」とHelm.aiのCEO兼共同創業者であるVladislav Voroninskiは述べています。
VidGen-1は、従来の非AIシミュレーションと比較して自動車メーカーに顕著なスケーラビリティの利点を提供します。VidGen-1により、迅速なアセット生成が可能となり、シミュレーション内のエージェントに洗練された行動を取り入れることができます。Helm.aiのアプローチは、開発時間とコストを削減するだけでなく、「シミュレーションから現実へ」のギャップを効果的に埋めることで、シミュレーションに基づいたのトレーニングと検証の適用範囲を大幅に拡大する、非常にリアルで効率的なソリューションを提供します。
「動画の次のフレームを予測することは、文章の次の単語を予測することに似ていますが、はるかに高次元です」とVoroninskiは付け加えました。「運転シーンのリアルな動画を生成することは、自動運転における予測の最も進んだ形態をです。この技術は、基本的に運転が次に何が起こるかを予測することに関連しているため、自動運転にとって非常に重要です。」
Helm.aiについて
Helm.aiは、高度なADAS、自動運転、ロボット工学のための次世代AIソフトウェアを開発しています。2016年11月にカリフォルニア州で設立された同社は、AIソフトウェア開発に取り組み、スケーラブルな自動運転の実現を目指しています。Helm.aiの製品、SDK、および採用情報についてはhttps://www.helm.ai/
