Meta AIが発表した「MobileLLM」は、スマートフォンやモバイルデバイス上で効率的に動作する大規模言語モデル（LLM）で、従来のAIモデルとは異なるアプローチで設計されています。少ないパラメータ数で高い性能を実現し、クラウド利用によるコストやレイテンシーを削減するこの新モデルは、AI活用の新たな可能性を切り拓くと期待されています。

 

高性能なモバイル向けLLMとは

モデル設計の革新

MobileLLMは、少ないパラメータで処理を行うために、深くて細い構造を採用しています。一般的なAIモデルが数十億のパラメータを必要とするのに対し、MobileLLMは最大でも10億未満に抑える設計です。これにより、メモリ制限があるスマートフォンやタブレットでも効率的に動作できるよう工夫されています。

 

4つの主要技術

MobileLLMの特徴は次の4つの技術的アプローチに基づいています。

 

• SwiGLU FFN：フィードフォワードネットワークにSwiGLU関数を導入し、小規模モデルでも高い推論性能を実現。
• 埋め込み共有：入力と出力の埋め込み層を共有することで、モデルのサイズとメモリ使用量を削減。
• グループ化クエリアテンション：ヘッドサイズの最適化により、パラメータ数を抑えつつ高い精度を維持。
• 即時ブロック単位の重み共有：隣接するブロック間で重みを共有し、メモリの転送を削減して遅延を低減。

 

これらの技術は、従来のようにパラメータを増やすことなく、高性能を実現する鍵とされています。

 

モデル性能と提供状況

ベンチマークにおける成果

MobileLLMは、125Mおよび350Mパラメータサイズで既存の同規模モデルを超える精度を達成しています。例えば、125Mパラメータ版では、ゼロショット推論タスクで2.7%の精度向上、350Mパラメータ版では4.3%の精度向上が見られました。このように、MobileLLMは、小規模モデルでありながらも精度向上を果たしており、メモリ消費の制限があるモバイルデバイスでの優位性が確認されています。

 

研究者向けに提供開始

現在、MobileLLMは「Creative Commons 4.0非商用ライセンス」で提供されており、研究者がHugging Faceのプラットフォームから利用可能です。また、AI開発環境「Transformers」にも対応しているため、研究者や開発者は簡単に実験に使用することができます。

 

モバイルAIへの新たな可能性

リソース効率を高める重要性

Metaは、特にスマートフォンのようなリソースが限られたデバイスにおいて、AIモデルの効率化が将来の技術発展に不可欠であると考えています。クラウドベースのAIモデルは、処理速度や柔軟性で優れる反面、データ転送の待機時間や運用コストが課題です。MobileLLMのようなオンデバイスで動作するモデルは、これらの課題を解決し、エネルギー消費の低減にも寄与することが期待されます。

 

今後の展望

MobileLLMはまだ研究目的での利用に限られていますが、今後の改良により、一般的なモバイルアプリケーションにも搭載される可能性があります。特にチャットや音声認識といったリアルタイム応答が求められる分野で、レイテンシー削減とユーザープライバシー保護に大きく貢献すると考えられます。

 

まとめ

MobileLLMは、スマートフォンをはじめとするモバイルデバイス向けの効率的なAIモデルとして大きな可能性を秘めています。Metaの新たなアーキテクチャ設計によって、パラメータ数を抑えながら高精度を実現するMobileLLMは、今後のオンデバイスAI開発における重要な一歩といえるでしょう。

 

弊社「株式会社SpinFlow」では、最新の生成AIツールをお客様の業務に最適化するサポートを提供しております。導入や活用についてご提案をご希望の方は、ぜひお気軽にご相談くださいませ。