富士通研究所、Deep Learningのニューラルネット規模を約2倍に拡大するGPUのメモリ効率化技術を開発

　株式会社富士通研究所は21日、学習の高精度化に向けたニューラルネットの大規模化に対応するため、GPUの内部メモリの利用効率を向上させる技術を開発し、最大で従来比約2倍規模のニューラルネットの学習を可能にしたと発表した。

　大量の演算が必要なDeep Learningの学習処理においては、GPUを用いて高速に学習を行う技術が注目されている。GPUの高速な演算性能を活用するためには、一連の演算に使用するデータをGPUの内部メモリに格納する必要があるが、メモリ容量により学習可能なニューラルネットの規模が制限されるという課題があった。

　富士通研究所では、学習の開始時にニューラルネットの構造を解析し、メモリ領域を効率的に再利用できるように演算順序とデータのメモリへの配置を最適化するメモリ効率化技術を開発し、オープンソースソフトウェアのDeep Learningフレームワーク「Caffe」に実装。画像認識用ニューラルネット「AlexNet」や「VGGNet」において、GPUの内部メモリ使用量を40％以上削減できるなど、最大で約2倍の規模のニューラルネットの学習が可能になることを確認した。

　この技術により、GPU1台で高速に学習できるニューラルネットの規模を拡大でき、より高精度なモデルの開発が可能となる。富士通研究所では、今回の技術を富士通株式会社のAI技術「Human Centric AI Zinrai」の1つとして実用化を目指すとしている。既に発表している、GPUの並列化によるDeep Learning学習処理の高速化技術と組み合わせて、技術の改善を行っていく。

　また、技術の詳細は、9月13～16日にイタリアのサレルノで開催された国際会議「MLSP（IEEE Machine Learning for Signal Processing 2016）」で発表した。