ニュース
PKSHA、日英対応のLLM「PKSHA RetNetモデル」を開発 日本マイクロソフトが支援
2024年3月29日 12:37
株式会社PKSHA Technology（パークシャテクノロジー）は28日、世界で初めて、Retentive Network（RetNet）を活用した日英対応の大規模言語モデル（LLM）を開発したと発表した。「PKSHA RetNetモデル」と呼ばれる同LLMの開発において、日本マイクロソフトが技術支援を行い、2024年4月以降、さらなる学習と言語性能のチューニングを行いながら、段階的にビジネス現場での実運用を開始するという。主に、コンタクトセンターや社内ヘルプデスクにおける生産性向上に活用する。
PKSHA Technologyの上野山勝也社長は、「今回の発表により、生成AIの活用が一段前に進むことになる。生成AIは賢すぎなくてもよく、業界や機能によって、特定の用途にだけ使えればいいという動きが起きている。PKSHA RetNetモデルは、コンタクトセンターや社内ヘルプデスクで使用する際に求められる、スピードやボリューム、コストにおいて必要十分で、高性能なものを作った。PoCではなく、実際のオペレーションのなかで対話エンジンを使っているユーザーの声を聞いて、プロダクトをローンチできる点が強みである。日本の企業みんなで作ったLLMである」と位置づけた。
一般的に公開されているさまざまな日英データと、同社が独自に収集した日本語データを学習。さらに、DeepSpeed3やbf16、gradient checkpointingなどの最新技術を用いて効率的な学習を行っている。70億パラメータのサイズであることから、一般的な推論用GPU1枚でホストが可能だ。
今後は、社会実装に向けて、日本マイクロソフトと提供方法においても共同で検討を行うという。
「RetNet」による初の日英LLMを開発
PKSHA Technologyは2023年3月にPKSHA LLMSを開発し、約1年間に渡る実装に関する研究を行い、今回のPKSHA RetNetモデルの開発につなげている。
PKSHA LLMSは、さまざまなLLMを使い分けることができるLLMニュートラルな言語処理コアブロックを有しているほか、同社が培ってきた自然言語処理のアルゴリズムモジュール群を組み合わせて利用できる環境を実現。プロンプトエンジニアリングをモデル化し、ローコードによるLLMの性能発揮を達成しているのが特徴だ。
PKSHA Technology AI Solution事業本部 アルゴリズムエンジニア VPoEの森下 賢志氏は、「PKSHA LLMSを、コンタクトセンターや社内ヘルプデスクに導入する際に、長文入力、応答速度、運用コストという3つの課題が見えてきた。これらの課題を同時に解決には別のアプローチが必要だと考えた。そこで着目したのが、RetNetであった」とする。
マイクロソフトが開発したRetNetは、Googleが開発し、ほぼすべてのLLMに利用されているTransformerの後継として注目されているモデルであり、長文入力時の応答が速く、必要メモリは少なく、コスト削減につながるという特徴を持つ。だが、学習方法がTransformerほど確立されておらず、技術探索が必要だという課題もある。そこで、日本マイクロソフトの協力を得て、開発を進めることになったという。
マイクロソフトの研究者との対話をはじめとしたRetNetに関する最新技術情報の共有や、マイクロソフトの深層学習ライブラリであるDeepSpeedを活用し、Azure上での並列分散処理による効率的なLLM学習基盤構築ノウハウの共有、並列分散学習が可能な複数のGPUサーバーのAzureでの提供などの支援を得たとした。
PKSHA RetNetモデルは、プロトタイプが完成したところであるが、Transformerモデルに比べると、4000トークン（約6000文字）では応答速度は約10％の削減を達成。さらに、8000トークンでは約50％の削減、1万2000トークン（約2万文字）では約70％削減し、3.3倍の応答速度を得られたという。
PKSHA Technology AI Solution事業本部 アルゴリズムエンジニア VPoEの森下賢志氏は、「コンタクトセンターに導入した場合、この応答速度を実現できれば、オペレーターがしゃべり終えた時点で次のアクションが打てる状況になる。多くの背景情報を入力しても、お客さまを待たせることなく、個別最適な回答を簡単に行える。現実社会での働き方に有用なLLMであり、コンタクトセンターの体験を大きく変えることができる。また、社内ヘルプデスクでの活用においては、社内文書やマニュアル、議事録などの情報検索や、問い合わせにかかる時間を効率化でき、即時性の高い回答ができる。大量の社内情報を整理した上で、迅速、正確な問い合わせ対応が可能になる」と述べた。
さらに、「LLMによって、人とソフトウェアが自然言語でつながるようになり、コンタクトセンターや社内ヘルプデスク領域が劇的に進化することになる。だが、これは、人の役割を奪うのではなく、人とAIが共進化する未来の働き方が到来することになる。LLMは、異なる特徴を持つさまざまなLLMを使い分けること、得意な部分を生かして弱みをカバーするモジュールの組み合わせが、LLM活用のキーポイントになる」とも話している。
また、PKSHA Technology AI Solution事業本部 アルゴリズムリードの稲原宗能氏は、「Transformerの高いパフォーマンスと、RNNが持つ低い推論コストを両立しているのがRetNetであり、Transformerと比較して、3分の1のメモリ消費、8分の1のスループット、最大15倍の高速な応答が実現できる」と説明。
その上で、「コールセンターでの発話内容は、従来のLLMでは処理ができない1万字や2万字になることが珍しくなく、そのような発話を一般的なサーバー上のLLMで要約するには分割が必須であった。RetNetによって一般的なサーバー上でも長文入力が可能になり、現実的な速度で全文を直接要約することが可能になる。さらに、大量のトークンをLLMに読み込ませることが可能になり、小規模ユーザーでは、常にすべてのドキュメントを読み込んで質問応答するというまったく新しい活用方法も可能になる」と語った。
一方、日本マイクロソフト 執行役員 常務 最高技術責任者の野嵜弘倫氏は、「PKSHA Technologyは、国内約150社のMicrosoft AI Partnersの1社であり、PKSHA RetNetモデルの開発にあたり、計算資源およびAzure利用におけるクレジットの支援と、言語モデル学習における学習基盤含めたアーキテクチャ設計の支援を行った。その上で、米Microsoftが開発したDeepSpeedと、Microsoft Researchが開発したRetNetを利用している」と、PKSHA Technologyを紹介。
また、「DeepSpeedは、トレーニングと推論を、大規模、高速に行う最適化ソフトウェアスイートであり、大規模モデル学習の構造を再定義するとともに、大規模モデルの推論を最適化。圧縮技術によりモデルサイズを小さくできる。DeepSeep4Sienceにより、最大級の科学の謎を解き明かすことを支援している。一方、RetNetは、2023年7月に発表した大規模言語モデルのための新たなアーキテチャクチャであり、不可能な三角形と呼ばれていた低コスト推論、強力なパフォーマンス、トレーニングの並列化を、同時に達成している。GPUメモリ使用量とレイテンシーを大幅に削減し、スループットは大幅に向上。モデルサイズが増加しても、パフォーマンスが維持される効率的なスケーリングを実現している。そして、トレーニングに必要なGPUメモリを低減しつつ、処理スピードを大幅にアップしている。推論コストの削減、効率的なスケーリング、コスト効率が高いトレーニングという3つの側面で、既存モデルを凌駕している。スマホやIoTデバイス、PCなどのさまざまなクライアントデバイスにおいて、コストを効率的に管理しつつ、モデルを活用する機会が増える可能性がある。言語モデルを用いた新たなアプリケーションサービスが安価に展開できるようになる」などと説明した。
なおPKSHAグループは、研究開発を行うPKSHA Technologyと、エンタープライズAI分野の技術をもとに、AIソリューションやAI SaaSを提供するPKSHA WorkplaceおよびPKSHA Communicationで構成する。
PKSHA Workplaceでは、「AI-Powered Future Work（社員の知恵とつながりを企業の力に）」を掲げ、従業員エクスペリエンスを高めるプロダクトを提供。PKSHA Communicationでは、「Weave Trust（顧客との信頼を紡ぐ）」をキーワードに、カスタマサポート分野にプロダクトを提供しており、両社が展開する製品のうち、PKSHA Chatbot、PKSHA FAQ、PKSHA Voicebotは国内ナンバーワンのシェアを持つという。
同社の技術顧問には、AIの第一人者である東京大学松尾研究室の松尾豊教授が就いている。
PKSHA Technology執行役員兼PKSHA Workplace/Communication 代表取締役の佐藤哲也氏は、「PKSHAでは、ソフトウェアの社会実装とともに、データや知見の蓄積を行い、人とソフトウェアの共進化に取り組んでいる」との基本姿勢を示した。
