爆速AIエージェント時代がやってきた！最新推論エンジン「Lightseek-Tokenspeed」を徹底解剖する超入門ガイド

未分類
この記事は約16分で読めます。

「Lightseek-Tokenspeed」のPodcast

下記のPodcastは、Geminiで作成しました。

なぜ今「TokenSpeed」なのか？AIエージェント時代の新しい課題

近年、AIの活用現場は、人間と単発の文章をやり取りする一般的なチャットボットから、自律的にソースコードを記述・修正し、複数のステップを実行してタスクを完了する「AIエージェント」（Claude Code、Cursor、Codexなど）へと急速に移行しています。このエージェント型の利用形態は「エージェント型ワークロード（Agentic Workloads）」と呼ばれており、従来のAI推論サーバーに対して非常に厳しい技術的要件を突きつけています。

AIエージェントの処理では、50,000トークン（50K context）を超える長大なプログラムコードやシステム指示文を読み込みながら、数千文字に及ぶ回答を数十ターンにわたって連続生成します。このような状況下では、開発者がストレスを感じない応答速度（1秒あたり70〜200トークン以上の生成速度：TPS/User）を維持しながら、1台のGPUで同時に処理できるトークン総量（1分あたりのトークン数：TPM）を極限まで高める必要があります。

この極めて高いハードルをクリアするために、非営利団体であるLightSeek Foundationによって開発された最新のオープンソースLLM推論エンジンが「Lightseek-Tokenspeed（以下、TokenSpeed）」です。TokenSpeedは2026年5月にMITライセンスのもとで公開されました。その最大の目標は、業界最高峰の処理速度を誇る「TensorRT-LLM」と同等以上の圧倒的なパフォーマンスと、世界中で広く普及している「vLLM」のような扱いやすさを両立させることにあります。

【AIエージェントと従来のチャットボットにおける推論処理の違い】

TokenSpeedを形作る4つの画期的なシステム構造

TokenSpeedが「光速（Speed-of-Light）」と評されるほどの超高速処理を実現できる背景には、洗練された4つの核となるシステムアーキテクチャが存在します。それぞれの役割を初心者向けに分かりやすく解説いたします。

ローカルSPMD設計と静的コンパイラ（モデリング層）

複数のGPUをつないで巨大なAIモデルを動かす場合、従来の推論エンジンではエンジニアがGPU同士の通信ロジックを複雑なプログラムとして手書きする必要がありました。TokenSpeedのモデリング層では「ローカルSPMD（Single Program, Multiple Data）」設計が採用されています。開発者がプログラムの境界線にデータの配置ルールを注釈（アノテーション）として記載するだけで、静的コンパイラが自動的に最適な通信ロジックを生成してくれます。これにより、手動実装によるバグを防ぎつつ、並列処理の最適化が自動で行われます。

C++ FSMスケジューラと型システムによる安全管理（スケジューラ層）

推論サーバーに押し寄せる多数のリクエストを順序良くGPUに割り当てる役割を担うのが「スケジューラ」です。TokenSpeedは、システムの制御プレーンをC++言語で構築し、開発者が触る実行プレーンをPython言語で構築するという役割分担を行っています。 C++制御プレーン内部では、リクエストのライフサイクルや過去の会話記憶（KVキャッシュ）の管理が「有限状態マシン（FSM: Finite-State Machine）」として設計されています。さらに、C++の型システムを活用することで、メモリ資源の誤った再利用をコンパイル時に未然に防止する仕組みを備えています。これにより、実行時のメモリ安全性と超低レイテンシの両立が可能となっています。

プラグイン型カーネル層と階層化API（カーネル層）

GPU内部で実際に数値計算を行うプログラムを「カーネル」と呼びます。TokenSpeedは、カーネル部分を独立したサブシステム「TokenSpeed-kernel」として切り離しています。 上位層のシステムは「アテンション計算を実行する」「MoEの専門家モデルを呼び出す」といったプラットフォームに依存しない抽象的な公開APIだけを呼び出します。具体的なGPUの命令コードは、実行時に中央レジストリが自動的に検出し、動作中のハードウェア（NVIDIAのBlackwell GPUやAMDのInstinct GPUなど）に最も適した最適化カーネルを動的に選択して割り当てます。

SMG（Shepherd Model Gateway）によるCPU・GPUの役割分離

従来のAIサーバーでは、テキストを数値に変換する処理やツール呼び出しの解析などの「CPUの仕事」が原因で、高性能なGPUが計算待ちになってしまう現象（PythonのGILボトルネック）が頻発していました。 TokenSpeedは、高速なRust言語などで書かれた「SMG（Shepherd Model Gateway）」と直接連携します。SMGがCPU側のデータ前処理やストリーミング解析をすべて引き受け、事前処理済みのデータだけをGPUに送り届けるため、GPUは休むことなく100%の力で行列演算に集中することができます。

【TokenSpeedを支える4つの核となるアーキテクチャ基盤】

メモリの壁を打ち破る！Multi-head Latent Attention（MLA）と高度な最適化

LLMが長い文章を処理する際、最も大きな障害となるのが「KVキャッシュ」と呼ばれる記憶データの増大です。これを解決するための核心技術が「Multi-head Latent Attention（MLA）」です。

従来のMHAとTokenSpeedのMLAの仕組みの違い

従来のスタンダードな多頭アテンション（MHA: Multi-Head Attention）では、アテンションのヘッド（注目する視点）ごとに独立したKey（鍵）データとValue（値）データを保持する必要があります。文章が長くなると、このデータがGPUのメインメモリ（HBM）を圧迫し、データを読み出すだけで膨大な時間がかかってしまいます。

一方、TokenSpeedが搭載する「MLA」では、複数のヘッド間で共有される「低ランク潜在ベクトル（Shared Low-Rank Latent Vector）」と呼ばれる圧縮形式にデータをまとめて変換します。これにより、記憶するデータ量を大幅に削減し、メモリからの読み出し速度を飛躍的に向上させることができます。

比較項目従来の Multi-Head Attention (MHA)TokenSpeed の Multi-head Latent Attention (MLA)
データの保持形式ヘッドごとに独立したKey/Valueデータを保存共有の低ランク潜在ベクトルに圧縮して保存
メモリ（HBM）転送量トークン数とヘッド数に比例して肥大化圧縮によりステップあたりの読み出しバイト数を劇的に削減
GPU演算器の活用標準的な行列積カーネルを使用クエリ軸をヘッド軸に統合しTensor Coreの稼働率を最大化
投機的デコーディング検証時に追加の計算パスが発生検証と生成を単一の融合カーネル（Fused Pass）で一括処理

NVIDIAの最新アーキテクチャであるBlackwell（B200など）において、TokenSpeedのMLAカーネルはさらに進化しています。計算時の配列構造を工夫（q_seqlen軸をnum_heads軸に統合）することにより、GPU内部の演算ユニット（Tensor Core）の隙間をなくして計算効率を極限まで高めています。また、推論の仮説検証を行う「投機的デコーディング（Speculative Decoding）」の際にも、検証と本生成を1つのステップでまとめて処理することで、デコードにかかる時間を従来よりほぼ半減させることに成功しています。

【Multi-head Latent Attention (MLA) によるKVキャッシュ圧縮の仕組み】

驚異的なパフォーマンス：ベンチマーク指標と580 TPSの新記録

理論上の素晴らしさだけでなく、実際の性能テスト（ベンチマーク）においてもTokenSpeedは驚異的な数字を叩き出しています。

NVIDIA B200におけるTensorRT-LLMとの性能比較

開発チームは、NVIDIAのフラグシップGPUである「NVIDIA B200 SXM6」を使用し、最先端のフロンティアモデル「Kimi K2.5 / K2.6」を走らせて性能を測定しました。1人のユーザーに対して1秒あたり100トークンを生成する非常に高速な利用環境を想定したテスト結果は以下の通りです。

  • 最小レイテンシ（応答の遅延）: 最も応答速度が求められる設定において、業界トップだったTensorRT-LLMよりも約9%低い遅延を達成しました。
  • スループット（全体処理能力）: 同じ速度制限のもとで、1秒間に処理できる全体のトークン量がTensorRT-LLMよりも約11%高い数値を記録しました。

これまで「使いやすさのvLLM、速さのTensorRT-LLM」と言われていましたが、TokenSpeedの登場により「使いやすくて最も速い」新しい選択肢が誕生したことになります。

超大型モデル「Qwen3.5-397B」で達成した580 TPSの世界記録

2026年5月、TokenSpeedは3,970億パラメータという極めて巨大なAIモデル「Qwen3.5-397B-A17B」を用いたテストにおいて、1秒間に580トークンを生成するという歴史的な速度記録（580 TPS）を樹立しました。

この圧倒的なスピードを実現できた理由は、以下の高度なメモリおよびネットワーク制御にあります。

  1. メモリコピーの完全撲滅: データをGPU内で移動させる際の余計な複製処理（メモリコピー）をシステム全体で徹底的に排除しました。
  2. ハイブリッドキャッシュ（Hybrid Prefix Caching）: C++側で会話の履歴ツリーを検索し、Python側の実際のGPUメモリに対して必要な部分だけを安全に複製する「Copy-on-Write（COW）」技術を導入しました。
  3. RDMAを活用したノード間転送: 文章の読み込みを行うサーバー（Prefillノード）と文章の生成を行うサーバー（Decodeノード）を分離し、ネットワーク経由でメモリデータを直接転送するRDMA通信を活用することで、通信待ち時間を計算時間の裏に完全に隠すことに成功しました。
パフォーマンス指標テスト環境・対象モデル従来の最高水準 (TensorRT-LLM等)TokenSpeed の達成数値
最小レイテンシ (BS=1)NVIDIA B200 / Kimi K2.5基準値 (Baseline)約9% 低減[cite: 1, 2, 10]
最高スループット (100 TPS設定)NVIDIA B200 / Kimi K2.5基準値 (Baseline)約11% 向上[cite: 1, 2, 10]
エージェント生成速度記録GPU Cluster / Qwen3.5-397B-580 TPS を達成[cite: 3, 5]

【NVIDIA B200におけるTokenSpeedとTensorRT-LLMの性能比較】

フロンティアモデルの即日サポート（Day-0）とマルチシリコン展開

新しいAIモデルが公開された際、推論エンジンがそのモデルに対応するまでに数週間から数ヶ月かかることが一般的でした。しかし、TokenSpeedは最新フロンティアモデルの公開当日に最適化対応を行う「Day-0 Enablement」を強力に推進しています。

  • Qwen3.8 (2.4兆パラメータ規模): 2.4Tという超巨大モデル「Qwen3.8-2.4T-A95B」の公開初日に、複数ノードをまたぐ高速推論サポートを提供しました。
  • Kimi K3 (2.8兆パラメータ規模): 2.8Tフロンティアモデル「Kimi K3」に対し、わずか1週間でNVIDIA BlackwellおよびAMD CDNA4の両プラットフォームにおける最適化を完了させました。
  • TML Inkling (9750億パラメータMoE): 超低精度計算であるFP4精度（NVFP4およびMXFP4）でのネイティブ推論を初日から実現しました。

さらに、TokenSpeedはNVIDIA製GPUだけでなく、AMDの最新GPU「Instinct MI355X」など他社製アクセラレータでもトップクラスの性能を発揮します。「Gluon」と呼ばれる言語を用いてAMDハードウェア固有の計算回路を直接コントロールする専用カーネルが用意されており、特定メーカーに縛られない柔軟なAIインフラの構築を後押ししています。また、2026年8月にはPyTorchエコシステムへの正式統合も果たしており、コミュニティ主導による標準化が進んでいます。

初心者でも簡単！vLLMとの連携方法と環境構築のステップ

「こんなにすごい推論エンジンなら、設定や導入が難しいのではないか？」と感じるかもしれません。しかし、TokenSpeedはすでに世界中で使われている「vLLM（v0.18以降）」の内部ランナーとして組み込めるように設計されています。

そのため、開発者は複雑なコード変更を行う必要がなく、環境変数をたった1つ設定するだけでTokenSpeedの爆速カーネルを有効化することができます。

導入と起動の簡単な手順

以下は、公式に提供されているDockerコンテナを使用してTokenSpeedを起動する基本的なステップです。

  1. コンテナイメージの取得: 公式のTokenSpeed統合済みvLLMイメージをダウンロードします。
  2. 環境変数の指定: コンテナ起動時に VLLM_USE_TOKENSPEED_RUNNER=1 という環境変数を指定します。
  3. 推論サーバーの起動: これだけで、内部の計算エンジンが自動的にTokenSpeedの高速MLAカーネルに切り替わります。

長いソースコードのシステムプロンプトを何度も再利用するコーディングエージェントを運用する場合は、パラメータに --enable-prefix-caching を追加することで、過去のプレフィックスキャッシュが有効化され、最初のトークンが出力されるまでの時間（TTFT: Time to First Token）をさらに劇的に短縮することができます。

まとめと

本記事では、AIエージェント時代を切り拓く超高速推論エンジン「Lightseek-Tokenspeed」について、その基礎概念から技術的仕組み、驚異的なパフォーマンスまでを詳しく解説してまいりました。

TokenSpeedの登場により、AIエージェントの開発現場における応答速度の課題は大きく改善されつつあります。オープンソースとして進化を続けるTokenSpeedは、今後のAI推論インフラにおける新たな世界標準として、ますます大きな注目を集めていくことは間違いありません。

参考資料

  1. Deploy TokenSpeed on Spheron GPU Cloud: Architecture, Benchmarks, and Kimi K2.6 Setup Guide、https://www.spheron.network/blog/deploy-tokenspeed-gpu-cloud/
  2. LightSeek Foundation Releases TokenSpeed, an Open-Source LLM Inference Engine Targeting TensorRT-LLM-Level Performance for Agentic Workloads、https://www.marktechpost.com/2026/05/07/lightseek-foundation-releases-tokenspeed-an-open-source-llm-inference-engine-targeting-tensorrt-llm-level-performance-for-agentic-workloads/
  3. GitHub - lightseekorg/tokenspeed: TokenSpeed is a speed-of-light LLM inference engine、https://github.com/lightseekorg/tokenspeed
  4. GitHub - lightseekorg/tokenspeed Repository Files and Release Notes、https://github.com/lightseekorg/tokenspeed
  5. Deep Open-Source Analysis: Lightseek TokenSpeed Project Overview、https://hysenlabs.com/en/projects/lightseekorg-tokenspeed
  6. PyTorch Blog: SMG - The Case for Disaggregating CPU from GPU in LLM Serving、https://pytorch.org/blog/lightseek-smg/
  7. GitHub - LightSeek Foundation Organization Profile、https://github.com/lightseekorg
  8. PyTorch Blog: TokenSpeed-Kernel - Portable APIs and High-Performance Kernels for Multi-Silicon LLM Inference、https://pytorch.org/blog/lightseek-tokenspeed-kernel/
  9. Deploy TokenSpeed on Spheron GPU Cloud: TokenSpeed Architecture and Deployment Guide、https://www.spheron.network/blog/deploy-tokenspeed-gpu-cloud/
  10. NVIDIA Developer Forums: TokenSpeed as alternative to vLLM discussion、https://forums.developer.nvidia.com/t/tokenspeed-as-alternative-to-vllm/369218
  11. MarkTechPost: LightSeek Foundation Releases TokenSpeed Overview、https://www.marktechpost.com/2026/05/07/lightseek-foundation-releases-tokenspeed-an-open-source-llm-inference-engine-targeting-tensorrt-llm-level-performance-for-agentic-workloads/
  12. GitHub - LightSeek Foundation Ecosystem Projects、https://github.com/lightseekorg
  13. MarkTechPost: Technical Breakdown of TokenSpeed Inference Engine for Agentic Workloads、https://www.marktechpost.com/2026/05/07/lightseek-foundation-releases-tokenspeed-an-open-source-llm-inference-engine-targeting-tensorrt-llm-level-performance-for-agentic-workloads/
  14. NVIDIA Developer Forums: Lightseek TokenSpeed Architecture and Features Thread、https://forums.developer.nvidia.com/t/tokenspeed-as-alternative-to-vllm/369218
  15. Reddit Machine Learning News: LightSeek Foundation Releases TokenSpeed Discussion、https://www.reddit.com/r/machinelearningnews/comments/1t6p9dc/lightseek_foundation_releases_tokenspeed_an/
  16. PyTorch Blog: Up to 580tps! New Speed Record of Qwen3.5-397B-A17B on GPU for Agentic Workloads with TokenSpeed、https://pytorch.org/blog/up-to-580tps-new-speed-record-of-qwen3-5-397b-a17b-on-gpu-for-agentic-workloads-with-tokenspeed/
  17. LightSeek Foundation Blog: TokenSpeed - A Speed-of-Light LLM Inference Engine for Agentic Workloads、https://lightseek.org/blog/lightseek-tokenspeed.html

コメント

タイトルとURLをコピーしました