DeepSeekが、自社の大規模本番サービスを支える推論フレームワーク「DeepInfer」をGitHubで公開しました。ライセンスはApache License 2.0です。Hacker Newsで話題になった時点で、リポジトリのStarは17.7k、Forkは1.8kに達していました。LLMを本番で効率よく動かす推論基盤そのものが公開された点で、注目度の高いリリースです。ただしREADMEには、今回の公開範囲が「オフライン推論」に限られることや、完全な推論サービスに必要な要素が含まれていないことも明記されています。本記事では、READMEに書かれている内容だけをもとに整理します。
発表内容
READMEでは、DeepInferを次のように説明しています。
DeepInfer is the high-performance inference framework that powers DeepSeek’s large-scale production services. This open-source release provides offline inference with the core features needed for serving at scale.
（訳：DeepInferは、DeepSeekの大規模本番サービスを支える高性能推論フレームワークである。今回のオープンソース版は、大規模サービングに必要なコア機能を備えたオフライン推論を提供する。）
対応モデルは「DeepSeek-V4.1-Flash」です。デフォルトのチェックポイントは deepseek-ai/DeepSeek-V4.1-Flash-1017 で、初回実行時にHugging Faceのキャッシュへダウンロードされます。
READMEに挙げられている主な機能は以下のとおりです。
- 最適化カーネル：FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、独自のTileLangカーネル
- 並列化：Attention DP / balanced CP、MoE EP + EPLB
- DSparkと信頼度ベースの検証スケジューリング：ドラフトトークンでデコードを高速化し、信頼度の推定値をもとに検証をスケジュールする
- Decoder SWA bounded replay：上限付きのサフィックスだけを再生し、デコーダのprefill処理を減らす
- 非同期スケジューリング：CPU側のバッチスケジューリングとデバイス上の実行を重ねて処理する（デフォルトで有効）
- バッチ不変推論：バッチの組み合わせが変わってもモデルの結果を同一に保つ（NVIDIAのみ）
- 決定的サンプリング：入力トークンとサンプリングパラメータが同じなら同じ出力を返す（NVIDIAのみ）
- 構造化出力：正規表現、JSON Schema、EBNF文法で生成を制約する
対応ハードウェアは、NVIDIA SM100 GPUとHuawei Ascend 950 NPUです。前提環境として、Linux、GCC 13.0以上、Python 3.12、CUDA 13（NVIDIAの場合）、CANN 9.2（Ascendの場合）が挙げられています。READMEに記載されているビルドとオフライン推論の手順は次のとおりです（Python 3.12の空の環境を作成・有効化してから実行します）。
export DEEPINFER_ACCELERATOR=nvidia # Ascendの場合は ascend
./build.sh
python examples/offline_inference.pyなお、READMEの謝辞には「元々は主にvLLMをベースに構築し、SGLangとTensorRT-LLMからも着想を得た」と書かれています。
なぜ重要か
大きなポイントは、DeepSeekが自社の大規模本番サービスで使っている推論基盤をApache-2.0で公開したことです。カーネル群、MoEのエキスパート並列、ドラフトトークンによるデコード高速化など、本番規模のサービングで使われている技術が、実際のコードとして読める形になりました。
また、バッチ不変推論と決定的サンプリングが正式な機能として用意されている点も注目です。同じ入力から同じ出力を得たい評価・検証の用途では、こうした機能が明示されていることに意味があります。対応ハードウェアにHuawei Ascend 950が含まれ、NVIDIA以外の選択肢が公式に挙がっている点も、READMEから読み取れる特徴です。
現時点での未確定事項
READMEには、今回のリリースに含まれていないものが明記されています。完全な推論サービスを構築するには、以下を別途用意する必要があります。
- KVキャッシュシステム
- VE/Prefill/Decodeの分離構成（エンジン側に必要な機能の大半はすでに実装済みとされる）
- データ並列レプリカ間のロードバランシング（prefill・decodeの両方）
このほか、元記事からは確認できない点も整理しておきます。
- 具体的な性能値：README本文に書かれているのは「prefillは4基、decodeは64基のSM100 GPUで測定し、それぞれ1つのscale-upドメイン内に収めた」という測定条件だけで、取得したテキストには数値が含まれていません。
- 他の推論エンジンとの性能比較：vLLMやSGLangなどとの優劣を示す記述は、元記事にはありません。
- 対応範囲の拡大：DeepSeek-V4.1-Flash以外のモデルや、SM100以外のGPUに対応する予定があるかどうかは書かれていません。
- 未公開部分の公開予定：KVキャッシュシステムなどを今後公開するかどうかは示されていません。
まとめ
- DeepSeekが、本番サービスを支える推論基盤DeepInferをApache-2.0で公開した。
- 対応はDeepSeek-V4.1-Flashのオフライン推論で、ハードウェアはNVIDIA SM100とAscend 950。
- KVキャッシュや分離構成、ロードバランシングは含まれず、そのままでは完全なサービスにならない。
実装家の視点で言うと、DeepInferは「すぐ手元で回すツール」というより「本番推論の設計を読むための一次資料」として価値が大きいと感じます。対応ハードウェアとして明記されているのはSM100とAscend 950だけなので、個人の開発環境でそのまま動かすのはハードルが高いです。それでも、バッチ不変推論や決定的サンプリングをどの環境変数で切り替え、どう実装しているかは、自前でLLMを組み込むときの再現性の設計にそのまま参考になります。まずは examples と doc を読み、自分の推論パイプラインに足りない部分を洗い出すところから始めるのが現実的だと思います。
コメント