デンソーが取り組む"人間臭い"ロボット開発　Azure OpenAI Serviceを頭脳に　対話での人との協働を推進

人とロボットの協働に向けた"3つ"の課題

「世界と未来を見つめ新しい価値の創造を通じて人々の幸福に貢献する」を経営理念に世界35の国とエリアで事業を展開するデンソー。自動車部品メーカーとして国内最大手、かつ世界でも第2位の売り上げを誇る同社は、デジタルによって自動車産業が大きく変わりつつある中、未来を見据えた新たな価値創出に向けた4分野――「電動化」、「先進安全／自動運転」、「コネクテッド・ドライビング」、「非車載事業（FA／農業）」――の技術開発を加速させています。

その一環として、2023年4月から推し進めているのが、2022年11月の発表以来、社会的に注目を集めるOpenAIの生成AI「ChatGPT」を用いた自律型ロボットの開発です。

デンソー 執行幹部 研究開発センター クラウドサービス開発部長の成迫剛志氏は、「AIの賢さはこの数年で急速に増し、自動車やロボットをはじめとする多様な機械の自律制御で応用が広がっています。将来的なAIの高度化と、AI利用に関するグローバルでの法制面の整備により、様々なロボットが街中で自律的に業務／サービスを提供する世界が急速に現実味を帯びています」とロボットの可能性について説明します。

そうした未来社会で同社が提供すべき価値と位置付けたのが、「人とロボットが協働し皆が笑顔で暮らせる社会の実現」です。ただし、現状のロボットはそのための課題をいくつか抱えているといいます。まずは、ロボットの動作は事前のプログラムにより制御されるため、想定外の状況に対応できないことです。社会的に必要とされる作業は無数にあり、これでは突発的な作業に対応しきれず、人との柔軟な協働は困難です。

また、ロボットの動作登録に必要なプログラミング知識をすべての人が持っているわけではありません。この状況では、ロボットが身近に存在しても、多くの人は使いこなすことができません。加えて、行わせたい作業が増えるほど動作登録自体も煩雑になります。

人の言葉によって自律行動する人間臭いロボット

デンソーが開発する生成AIを活用したロボット制御技術は、この状況の打開を狙いとしています。目指しているのはインターネット上の膨大なデータで学習した生成AIが人の指示を理解し、とるべき行動を自律的に判断して動作するロボットを実現するための制御技術です。

デンソー クラウドサービス開発部 ビジネスイノベーション室 自動化イノベーション課 担当係長の南 敬太郎氏は、「従来からのロボットは与えられた動作と指示を基に動く、融通の利かない機械です。対して我々は、人の言葉によって行動し、たとえロボットが判断を間違えた場合にも人の指摘により容易に修正できる、従来とは正反対の人間臭いロボットを実現するための制御技術の開発を進めています」と語ります。

その最大の特徴は、指示を受ける際の人との対話にあると南氏は解説します。事前登録されていない作業を指示された場合、通常のロボットは動作不可能とのメッセージを返すだけです。しかし、デンソーのロボット制御技術は自分が可能な作業を基に「この作業ならできます」と提案します。水とコーヒーを提供するロボットであれば、人による「黒い方」「眠気が覚める飲み物」とのオーダーに対して、生成AIによる事前学習を基にコーヒーだと判断して提供します。

「そうした柔軟な対応を実現するには従来、行動分岐のための膨大なプログラムの記述を必要としました。しかし、当社独自の制御技術『Generative-AI-Robot Technology』では、『それ』や『あれ』が何を指すかまで生成AIが判断して、現実世界のルールに収束させるかたちでロボットを自律的に行動させることが可能です」（南氏）

モノづくりの世界では市場の成熟化、ニーズの多様化などを背景に多品種少量生産の流れが加速しています。デンソーグループは、複数業務をこなせる多能工型ロボットをAIによりすでに開発していますが、新型ロボットの完成の暁には可能な作業がさらに広がり、例えば多様な作業を記録したロボットが人に各工程のアドバイスを行うといった、人とロボットの新たな協働が期待されます。口頭での作業指示により利用のハードルも大きく下がり、ロボットの活躍の場は工場内にとどまらず、街中の商店などにも広がると見込まれます。

生成AIとロボットを組み合わせた開発でマイクロソフトに白羽の矢

デンソーが新型ロボットの開発に着手した背景には、同社が将来のモビリティ社会を見据えてソフトウェア活用を早くから推進してきたことがあります。成迫氏はその中で2016年にデンソーに入社以来、前職のIT業界の知見を武器にアジャイル開発チームを創設しクラウド活用を推進してきました。今回のロボット開発の直接的なきっかけは、「産業用ロボットの知見に加えてITの知見も兼ね備えたチームがあったからこそ、生成AIによるロボット制御、つまりはバーチャルとリアルの連携に率先して取り組むべき」と、現場から提案が上がったことでした。

「我々は登場当初から生成AIに注目しており、各種検証により世界を変える新技術だと捉えていました。議論を通じて、我々らしさを発揮できる取り組みだと判断し、既存のロボットの多能工化チームを核にプロジェクトの立ち上げを決断しました」と成迫氏は振り返ります。

ただし、当時は生成AIは登場したばかりの技術であり、当然のことながら利活用のノウハウを持っていないデンソー単独での取り組みには苦労も予想されました。そこで、開発パートナーとしてマイクロソフトに共同開発を打診しました。社内の情報化推進などでの長年の付き合いから、マイクロソフトとすでに信頼関係が築けていたこと、さらに、マイクロソフトとOpenAIはパートナーとして極めて緊密で、OpenAIの生成AI 技術を提供するマイクロソフトのクラウドAIサービス「Azure OpenAI Service」でも手厚い技術サポートを見込めたことなどが決め手になったと言います。

現状の新型ロボットのシステム全体を概観すると次のようになります。まず、人の指示を理解し、物理的なロボットに指示を出す頭脳となるのがマイクロソフトのクラウドAIサービス「Azure OpenAI Service」「Azure AI Services」です。前者は人との対話や各種判断を、後者は音声認識／出力をそれぞれ担います。一方で、リアル世界での"手足"として動作するのがデンソーウェーブのアーム型ロボット「COBOTTA（コボッタ）」やAMR （Autonomous Mobile Robot：自律走行搬送ロボット）などのエッジ端末です。リアル世界の耳や口としてマイクやスピーカーも搭載します。

Azure OpenAI Serviceの新機能が動作精度の向上のカギに

生成AIとロボットの組み合わせによって可能となることは、ベルを組み立てて鳴らしたり、搬送用ロボットとバリスタロボットが連携してお客様にコーヒーを提供したり、対話を通じてカクテルを作ったりなど、開発に着手してまだ1年を経ていないにも関わらず急速に広がっています。店頭でロボットが販売員として人と一緒に働きながら商品をお勧めするなどの接客を行う取り組みなども始まっています。

ただし、ここに至るまでには技術的に大きな苦労もあったと言います。開発当初、デンソーではロボットの制御手法として、制御プログラムの出力例を生成AIに渡し、人からの指示に対応する制御プログラムをAIに生成させる方法を採用していました。ただし、その最大の難点は現状の生成AIの生成物ではその正しさを保証できないことでした。結果、それが動作精度の向上に向けた "壁"となっていました。その打開に向け、南氏が着目したのが、Azure OpenAI Serviceに新たに追加された「入力されたテキストに対する適切な関数（行動）の選択」という新機能です。

「この機能を利用すると、事前にロボットに可能な動作を関数として学習させておくことで、人の指示に対して最適と判断される関数をAIに選択させることが可能になります」（南氏）

例えば「ベルを2回鳴らして」と人が指示した場合、生成AIは事前に与えられた「ボトルを掴む」「部品を所定の場所に動かす」などの関数、つまりロボットの動きの中から、「ベルを鳴らす」関数を選び、さらに「2回」という言葉からアームを2度振るようエッジ端末に指示を出します。これらの個々を人が指定するのではなく、生成AIが「自分の可能な行動（関数）」を基に対応する動作や、その順序なども総合的に判断して、ロボットの自律的な動作を実現します。この手法により、関数の追加だけで人が学習するようにロボットの動作を増やすことも可能です。

GitHub Copilotで開発を抜本的に効率化

新機能を実際に試したところ、都度のコード生成よりも行動の精度を大幅に高められることが確認され、以後、生成AIとロボットの組み合わせの手法は、この機能を柱にしたものに見直されています。併せて、GitHub Copilotを新たな動作（関数）の開発のために利用し、それが短期間での可能な動作の拡充につながっています。

「GitHub Copilotは、動作プログラムの開発の短期化やコスト削減などで大いに成果を上げています。ロボットを制御する関数開発の効率化は、将来的な人の指示による多様な行動のためのプログラムの新規開発や拡張に大いに役立つはずです」（南氏）

このようにロボット制御では少なからぬ苦労があった一方で、開発環境の整備に関しては当初から円滑に進んだといいます。それを可能にしたのも、GitHub Copilotによる多様な開発支援機能です。開発環境の整備にあたっては、デンソーがロボットの社会実装をすでに視野に入れていたこともあり、拡張性や機能面など、システム設計において検討すべき項目が数多くありました。対して、GitHub Copilotではコードの自動生成だけでなくコードの理解支援のためのコメント（説明文）の自動挿入、エラーの原因の探索などの多様な機能を利用できます。それらの活用を通じて、いわばプロ開発者の支援を受けるような開発が実現することで業務は抜本的に効率化され、人が本来頭を使うべき作業に集中して当たれたことで、わずか2日で基本アーキテクチャの実装を完了。以後、セキュリティ確保のための構成変更など、より実用的なプラットフォームとするための作業が進められていきます。

成迫氏はこれまでの取り組みを振り返り、「生成AI活用による社会価値創出という研究開発の滑り出しとして上々の成果と言えるでしょう」と評価します。

「これほど短期間にロボットが自律的に動作できるようになったのは、ハードウェアとソフトウェアのプロトタイプを短期間で作ることのできる技能系の社員とAIやITの技術を持った技術系の社員が一丸となって取り組んだことによる成果だと思います」（成迫氏）

オープンイノベーションによる用途発掘にも注力

ロボットの自律的動作は様々な関数やプロンプト（指示の具体的な内容）の記述方法などいくつもの要因により決定されるため、正しく動作させるためには幾度の検証が必要になります。これほど短期間で可能な行動を増やせた理由の1つとして、南氏は関数やプロンプトの変更／実装を手間なく行える検証ツールをデンソーで独自に開発したことを挙げます。

ただ、研究開発はまだ緒に就いたばかりで課題は数多く残されていると指摘します。まず、技術面での検討項目の1つに挙げるのが、実装の柔軟性の向上です。現状、頭脳に当たる機能はクラウド上にありますが、利用シーンによってはその頭脳をローカル側に置いた方が望ましいケースも考えられます。

「現状でも、コンテナの活用により稼働場所を選ばない設計となってはいます。ですが、社会で広く利用されるためには実装の柔軟性をさらに高める必要があります」（南氏）

ロボットが自律的に行えることを増やすには、様々な外部環境を多面的に捉えることが必要であり、そのインプットとしてデンソーが持つ各種センサーとの連動も引き続き開発していくと言います。加えて、成迫氏が社会実装に向け不可欠と訴えるのが利活用シーンの共創です。

「人とロボットが協働する世界の実現に向け、我々は俯瞰的な社会実装のためのアーキテクチャを検討している段階です。社会的な価値を創出するためには、人々に喜んでもらえる利用シーンの発掘が必要であり、当社単独では限定的となってしまいます。今後はより多くの企業や団体と連携し、オープンイノベーションによる価値創出に取り組む必要があります。マイクロソフトとは今後、生成AIによるロボットの自律的制御といった技術領域だけでなく、このような社会実装についても一緒に取り組んでいきたい。生成A Iなどの先端技術を得意とするマイクロソフトとハードウェアおよびソフトウェア開発に強い当社が手を組み、進化の早い生成AIのロボット活用の領域で今後も先頭を走ることで、我々が目指す人とロボットが協働し、社会全体に笑顔があふれる世界を実現していくことができると確信しています」（成迫氏）