Technology

カメラ映像と言葉から、ロボットの動きをつくる

VLA(視覚・言語・動作モデル)を中核に、Physical AI(身体を持つ AI)の研究開発を進めています。このページでは、その技術の中身を、実機のデモを交えて説明します。

OpenArm v2 データ収集ワークステーション
OpenArm v2 — VLA 学習用データの収集にも使用

What is VLA

VLA は、ロボットの「目と頭」になるAIです

従来のロボットは、動作を一つひとつプログラムで記述する必要がありました。VLA は、カメラが捉えた映像と「カップを積み上げて」のような言語指示を同時に理解し、腕や手の関節への指令を直接出力します。

動きは人が書くのではなく、人がロボットを操作した記録(操作データ)から学びます。だからモデルと同じくらい、データの集め方が重要になります。

カメラ映像ロボットが見ている画像言語指示「カップを積み上げて」VLA視覚・言語・動作モデル見て・理解して・動きを決めるロボットの動作腕・手の関節への指令人の操作データから学習

従来のロボット制御と何が違うのか

VLA は万能ではありませんが、「人が手順を書く」から「データから学ぶ」への転換が、対応できる作業の幅を変えます。

従来のプログラミング認識 + 動作計画VLA
動きの決め方人が座標と手順を一つずつ書く物体を認識し、計画アルゴリズムが経路を計算カメラ映像と言葉から、モデルが次の動きを直接出力
新しい作業への対応作業ごとにプログラムを書き直す認識器と計画ルールを個別に作り直す操作データを追加して学習し直す
柔らかい物・不定形な物扱いが難しい形状モデル化が難しい人の操作データから扱い方を学ぶ
必要なもの熟練したロボットエンジニア物体ごとのモデルとルール現場で集めた操作データ

Pipeline

研究開発の流れ

データ収集から実機検証までを自社で回しています。各段階で使っている道具はすべて公開されているものです。

01遠隔操作で収集人がロボットを動かす02品質チェック欠損・ズレを除く03学習VLA を調整する04シミュレーション安全に試す05実機検証ロボットで動かすうまくいかない場面のデータを追加で集め、再び学習する
遠隔操作
OpenArm v2 の双腕を人が操作し、画像・関節角・操作指令を同期して記録
データ基盤
LeRobot ベースの収集・再生・品質チェック。学習にそのまま使える形式で保存
ロボット制御
ROS 2 / MoveIt 2。CAN 経由で実機のモーターを制御
シミュレーション
MuJoCo / Isaac Sim。実機に載せる前の動作確認と安全検証
実機
Unitree G1(ヒューマノイド(人型ロボット)) / OpenArm v2(双腕マニピュレータ) / UR10e(協働ロボット(産業用アーム))

Demo

実機デモ: Unitree G1 によるカップ積み上げ

人型ロボット G1 に VLA を載せ、机の上のカップを積み上げる作業を実装しました。単純に見えて、ロボットにとっては難しい要素がそろった課題です。

Unitree G1 — カップ積み上げの VLA デモR&D platform

01

見分ける

どのカップをどの順に取るか、置いたカップがずれていないかをカメラ映像から判断します。

02

両手を使う

片手でカップを押さえ、もう片方で重ねる。左右の腕の協調が必要です。

03

力加減

カップは軽く、強く握ると潰れ、弱いと落ちます。把持の力と置くときの速度を調整します。

04

順序を守る

積み上げは途中で崩れると最初からやり直しになります。手順の順序性を理解する必要があります。

Unitree G1・OpenArm v2 の実機で VLA の学習と動作検証を行っています。いずれも研究開発用のプラットフォームです。

Research Questions

いま取り組んでいる問い

VLA を現場で使えるようにするために、答えを出そうとしている課題です。

01

どれだけ少ないデータで動くようになるか

操作データを集めるには人の時間がかかります。公開されている基盤モデルを出発点に、現場固有のデータをどこまで減らせるかを調べています。

02

言葉の指示はどこまで通じるか

「赤いカップを一番上に」のような、学習時になかった言い回しや組み合わせに、モデルがどの程度対応できるかを検証しています。

03

実験室から現場へ

照明・作業台・物体が変わっても同じように動くか。シミュレーションでの事前検証と、実機での再学習の組み合わせ方を検討しています。

04

双腕とヒューマノイドの違い

固定された双腕と、全身を使う人型ロボットでは、同じ VLA でも必要なデータと制御が異なります。両方の実機でその差を調べています。

Glossary

用語集

模倣学習

人の操作の記録(お手本)から、同じように動く方法を学ぶ手法。VLA の学習の基本になる。

遠隔操作(テレオペ)

人がコントローラや VR 機器でロボットを動かすこと。その記録が学習データになる。

ファインチューニング

公開されている大きなモデルを出発点に、自分の現場のデータで追加学習して調整すること。

Sim-to-Real

シミュレーションで学習・検証したものを実機に移すこと。安全に試行回数を増やせる反面、現実との差を埋める工夫が要る。

技術についてのご相談

VLA やロボット操作 AI に関する共同研究・受託研究開発・PoC のご相談を承っています。課題がまだ形になっていなくても構いません。

※ ご相談だけでも歓迎です。しつこい営業はいたしません。