エッジで高速に動作する LFM2.5‑230M の活用例
リード
LFM（Liquid Foundation Models）2.5‑230M は 230M パラメータの小型モデルです。実測では、スマートフォン（Samsung Galaxy S25 Ultra）で 213 トークン／秒、Raspberry Pi 5 で 42 トークン／秒 の生成速度を示します。この高速さとメモリ効率の高さにより、クラウドに依存せずに低遅延・低コスト・高セキュリティでリアルタイム応答が必要なエッジデバイスに最適です。プライバシー保護が求められるモバイルアプリや産業用ロボット、IoT デバイスなど、幅広いシーンで活用できます。
基本スペック
- パラメータ数：230M
- アーキテクチャ：LFM2 系列のハイブリッド構造（畳み込み＋注意機構）
- RNN の軽快さと Transformer の高度な推論能力を両立し、長いコンテキストでも KV キャッシュの増大を抑制します。内部では、Liquid Foundation Models が採用する状態空間モデル（SSM）に近い線形アテンション手法が利用されているため、メモリ使用が安定します。
- 事前学習トークン数：19 兆トークン
- 最大コンテキスト長：32,000 トークン
- ポストトレーニング
- LFM2.5‑350M からの知識蒸留
- 直接選好最適化（指示に対する好みを学習）
- マルチドメイン強化学習（複数領域での汎用性向上）
推論速度とハードウェア対応
本モデルはエッジデバイスで高速に推論できます。
- スマートフォン（Samsung Galaxy S25 Ultra）で 1 秒間に 213 トークン 生成
- シングルボードコンピュータ（Raspberry Pi 5）で 1 秒間に 42 トークン 生成
対応フレームワーク
- ローカル推論が可能：llama.cpp、MLX、ONNX
- サーバー向け・分散推論が可能：vLLM、SGLang（エッジで使用する場合は軽量ラッパーが必要）
量子化バリエーション
メモリ消費を抑えるために複数の量子化オプションが用意されています。
- Float16（半精度浮動小数点、462 MB）
- 8 ビット整数量子化（247 MB）
- 4 ビット整数量子化（153 MB）
特に 4 ビット版はメモリ使用量が最も少なく、リソースが限られたデバイスでの実行に適しています。
ベンチマーク実績
10 種類の評価項目で 5 億パラメータ以上のモデルと同等以上のスコアを取得しています。代表的な 2 種類を以下に示します。
データ抽出（CaseReportBench）
- スコア：22.51
- 比較対象：Qwen2.5‑800M（800M）・Gemma 3 1B（1B）
ツール使用（BFCLv3）
- スコア：43.26
- 比較対象：同規模モデル（他モデルは未実施）
比較対象は LFM2.5‑230M の約 3〜4 倍のパラメータ数を持つモデルです。サイズが数倍大きいモデルに対し、同等以上のベンチマークスコアを実現している点が、LFM2.5‑230M の「小さくても高効率」な特長を裏付けています。残りのベンチマークは公式リポジトリに詳細が掲載されています。
向いているタスクと向かないタスク
向いているタスク
- データ抽出：大量文書から特定情報を抜き出す
- ツール呼び出し：天気取得や四則演算などの外部 API を指示通りに実行
- 軽量エージェント：スマートフォンやロボット上で短い指示を即座に処理
- 構造化指示の分解：自然言語指示を段階的プランに変換（例：前進 3 m → 姿勢保持 5 秒 → 後退）
向かないタスク
- 高度な数学計算：複雑な数式や大規模数値演算はエラー率が高くなる
- コード生成：大規模なプログラムや高度なアルゴリズムの生成は苦手
- 創作的な文章生成：長編小説や詩などの創造的執筆は期待できない
モデルカードでは、これらのタスクは「推奨しない」と明記されています。
実装とカスタマイズのハードル
実装は比較的容易で、オープンウェイトとして公開されています。
- オープンウェイトで提供されているため、任意の場所にダウンロードしてすぐに使用可能です。
- 推奨設定は 4 ビット量子化版（153 MB）です。メモリが限られたデバイスでもほぼ全体をキャッシュに収められます。
- LoRA（Low‑Rank Adaptation） による微調整が可能です。一般的な GPU（例：Google Colab の T4）で短時間の学習が完了し、実用的な微調整が得られます。詳細なハイパーパラメータは公式リポジトリをご参照ください。
- 対応フロントエンドは LM Studio、Jan、Atomic Chat などの GUI ツールです。
- 開発ツールとして Unsloth Studio、Hermes エージェント、Pi（エージェントフレームワーク）を利用すれば、エージェント機能の組み込みがスムーズです。
ライセンス情報
モデル本体は「LiquidAI オープンライセンス v1.0」で提供され、商用利用が許可されています。学習データセットは AGPL‑3.0 の条件で配布されます。商用利用時には、AGPL の要件に従いデータセットのソースコード公開義務が生じる可能性があります。利用者は両方のライセンス条項を必ず確認し、適切に対応してください。
エッジデバイスでの具体的活用例
実際のエッジ環境での活用例をいくつか紹介します。
スマートフォン上のプライベートアシスタント
4 ビット量子化版を llama.cpp に組み込むことで、インターネットに接続せずに質問応答や簡易ツール呼び出しが可能です。データは端末内の暗号化ストレージに保存され、外部サーバーへの通信は行いません。Raspberry Pi 5 搭載ロボット
ハイブリッド構造を活かし、自然言語指示をロボットの動作プランに変換できます。例として「3 メートル前進 → 5 秒間姿勢保持 → 後退」を実行できます。産業現場の軽量エージェント
ネットワークが不安定な工場や倉庫で、ローカルにデータ抽出パイプラインを走らせることで、クラウドへの通信コストと遅延を削減できます。IoT デバイスの自律制御
Qualcomm や NVIDIA の NPU でも動作するため、組み込みシステムに組み込んで「温度が一定以上になったら警告メールを送る」などの自動化が実装可能です。
まとめ
- サイズは 230M でありながら、スマートフォンで 213 トークン／秒、Raspberry Pi 5 で 42 トークン／秒という高速推論が実現します。
- データ抽出・ツール呼び出し・軽量エージェントといったタスクで、5 億パラメータ以上のモデルと同等以上のベンチマークスコアを示します。
- **4 ビット量子化版（153 MB）**はメモリ消費が最も少なく、エッジデバイスでのローカル実行に最適です。
- KV キャッシュ増大を抑えるハイブリッド構造により、長いコンテキストでもメモリ使用が安定し、エッジ環境での実用性が高まります。
- CPU・GPU・NPU のすべてに対応し、主要フレームワークや GUI ツールがすぐに利用できる環境が整っています。
- 高度な数学計算・大規模コード生成・創作的文章生成は得意ではないため、用途は「軽量エージェント」や「オンデバイスデータ処理」に絞ると効果的です。
エッジデバイス上でプライバシーを保ちつつリアルタイムに応答できる AI が必要な場合、LFM2.5‑230M は実用的な選択肢の一つです。実装例は公式 GitHub の README に掲載されていますので、手元のデバイスで動作を確認してみてください。
