おうちのPCが超爆速AIに！？Microsoftの「bitnet.cpp」で体験する「1ビットLLM」革命＆完全導入ガイド

LLM
この記事は約24分で読めます。
  1. Microsoftの「bitnet.cpp」のPodcast
  2. 1. イントロダクション：高価なGPU依存からの脱却と「ローカルAI」の新時代
  3. 2. 1ビットLLMおよび「BitNet b1.58」の理論と驚異の計算メカニズム
    1. なぜ「1.58ビット」なのか？
    2. BitLinear層の仕組み
    3. [従来の16bit浮動小数点数と1.58bit 3値重みの表現力と構造の違い]
  4. 3.「bitnet.cpp」の革新性：CPU推論を極限まで加速するアーキテクチャ
    1. 圧倒的なベンチマークデータ
    2. [x86およびARM環境におけるbitnet.cppとllama.cppの性能・消費電力比較]
  5. 4. 導入準備：動作に必要なシステム要件と事前インストールの詳細
    1. OSごとの環境構築アプローチ
      1. 1. Windows環境の場合（Visual Studio 2022の準備）
      2. 2. Debian / Ubuntu Linux環境の場合
    2. WindowsにおけるClangの動作検証とトラブル解決
    3. [Visual Studio InstallerにおけるC++開発オプション選定のビジュアルガイド]
  6. 5. 実践ガイド：ビルドから推論実行までのステップ・バイ・ステップ
    1. ステップ1：ソースコードの取得
    2. ステップ2：Python仮想環境の準備と依存パッケージの導入
    3. ステップ3：公式1.58ビットモデル（GGUF版）のダウンロード
    4. ステップ4：コンパイル環境のビルドと最適化
    5. ステップ5：チャットモードでAIを起動する！
  7. 6. 応用テクニック：ベンチマーク測定とモデル変換ユーティリティ
    1. 推論スピードを正確に評価する（ベンチマーク）
    2. ダミー（模擬）モデルを用いた限界測定
    3. Hugging Face標準のチェックポイントからGGUFへの直接変換
    4. Raspberry Pi 4Bなどの超省リソース機器でのビルド
  8. 7. エコシステムの広がり、限界、および未来への展望
    1. モバイルGPUへの展開：QVAC Fabricの衝撃
    2. 1ビットLLM技術の構造的なトレードオフと課題
    3. [日常生活に溶け込む1-bit AIアシスタント（完全オフライン＆安全なローカル制御）]
  9. 参考資料

Microsoftの「bitnet.cpp」のPodcast

下記のPodcastは、Geminiで作成しました。

1. イントロダクション：高価なGPU依存からの脱却と「ローカルAI」の新時代

人工知能技術、特にかつてない知的な対話を可能にした大規模言語モデル（LLM）は、現代のデジタル社会に計り知れない変革をもたらしています。しかし、これらのモデルをローカル環境、すなわち「手元のパソコン」で動作させようとする試みは、常に過酷なハードウェアの壁に突き当たってきました。従来のLLMは、数十ギガバイトにも及ぶ超高速なビデオメモリ（VRAM）を搭載したハイエンドなグラフィックボード（GPU）を必須としており、一般家庭のパソコンやスマートフォンのようなリソースの限られた環境では、動作させることすら困難だったためです。

こうしたGPU中心のAI開発パラダイムに、根本的な破壊的イノベーションをもたらす技術が誕生しました。それが、Microsoft Researchが開発したオープンソースプロジェクト「bitnet.cpp」です。この画期的な推論フレームワークは、従来の小数を多用する重いデータ処理を完全に刷新し、高価なグラフィックボードを使わずに「CPU」だけで、圧倒的な超高速かつ驚異的な省電力でのAI推論を実現します。

本稿では、この魔法のような高速化を可能にする「1ビットLLM（特にBitNet b1.58）」の基礎理論から、おうちのパソコンに実際に開発環境を構築してAIと対話するまでの全手順を、初心者の方にも分かりやすく徹底的に解説します。

2. 1ビットLLMおよび「BitNet b1.58」の理論と驚異の計算メカニズム

従来の一般的なLLMは、モデルの「脳細胞の繋がり」にあたる重み（パラメータ）を保持するために、16ビット（FP16やBF16）あるいは32ビット（FP32）という高精度な浮動小数点数（小数）を使用していました。これに対し、1ビットLLM、とりわけ「BitNet b1.58」が採用するアプローチは、重みを「$-1$」「$0$」「$+1$」の3つの値（3値：ternary）だけで表現するという極めて大胆なものです。

なぜ「1.58ビット」なのか？

コンピュータにおいて、2つの状態（0か1）を表現するには1ビットが必要です。一方で、3つの状態（$-1, 0, +1$）を表現するためには、数学的に $\log_2(3) \approx 1.58$ ビットの情報量が必要となるため、この名前が付けられています。初期の1ビットモデル（BitNet v1）では重みが「$-1$」と「$+1$」の2つの値しかありませんでしたが、新たに「$0$」を定義に加えたことで、重要度の低い結合を完全に遮断する「特徴フィルタリング」が可能となり、モデルの表現力が爆発的に向上しました。

BitLinear層の仕組み

標準的なTransformerモデルにおける通常の線形層（nn.Linear）を、BitNetでは独自の「BitLinear」層に置き換えます。ここでは、重みの平均絶対値 $\gamma$ を基準スケールとし、以下の数式のように重み行列 $W$ を $1.58$ ビットに量子化（Absmean Quantization）します：

W~=RoundClip(Wγ+ϵ,−1,1)\tilde{W} = \text{RoundClip}\left(\frac{W}{\gamma + \epsilon}, -1, 1\right)
γ=1mn∑i=1m∑j=1n|Wij|\gamma = \frac{1}{mn}\sum_{i=1}^{m}\sum_{j=1}^{n}|W_{ij}|

ここで $\epsilon$ はゼロ除算を防ぐための極小の定数です。また、入力されるアクティベーション（活性化値） $x$ に対しても、トークンごとに絶対最大値スケーリング（Absmax Quantization）を行い、8ビット（または4ビット）の整数に変換します：

x~=Clip(x×Qbγ,−Qb+ϵ,Qb−ϵ)\tilde{x} = \text{Clip}\left(\frac{x \times Q_b}{\gamma}, -Q_b + \epsilon, Q_b - \epsilon\right)

ここで $Q_b = 2^{b-1}$ であり、一般的な8ビット量子化の場合は $Q_b = 128$ となります。

この量子化処理の最大のメリットは、最も計算負荷の高い行列掛け算（MatMul）において、浮動小数点の積和演算（MAC）が一切不要になる点にあります。重みが $\{-1, 0, +1\}$ であるため、実際の計算は「符号反転（引き算）」と「そのまま足すこと（足し算）」、そして「$0$を掛けた要素の無視」だけで完結します。これにより、膨大な行列演算が極めて高速な加減算のアセンブリ命令レベルへとスリム化されるのです。

さらに、BitNet b1.58はオープンソースコミュニティとのシームレスな統合を図るため、大人気LLMであるLLaMAとそっくりの構造（RMSNorm、SwiGLU、Rotary Embedding（RoPE）の採用、およびバイアスの完全排除）をあえて採用しています。そのため、既存の学習ライブラリやエコシステムを最小限の修正でそのまま活用することができます。

[従来の16bit浮動小数点数と1.58bit 3値重みの表現力と構造の違い]

3.「bitnet.cpp」の革新性：CPU推論を極限まで加速するアーキテクチャ

1ビットLLMの理論がいかに優れていても、それを一般家庭のPCのCPUで効率的に処理するためには、最適化された専用の実行エンジン（ランタイム）が不可欠です。Microsoftが発表した「bitnet.cpp」は、超軽量CPU推論エンジンとして圧倒的な人気を誇る llama.cpp の思想を引き継ぎつつ、3値演算に特化した超高性能な行列演算（mpGEMM）ライブラリを新規に開発・統合したシステムです。

特に、Microsoft Researchの先進プロジェクト「T-MAC」で培われた「Lookup Table（LUT：ルックアップテーブル）」技術をカーネルに組み込んでいます。これは、掛け算を行う代わりに、あらかじめ計算してメモリ上に配置しておいた少数の計算結果パターンを表から一瞬で引き出す（参照する）仕組みです。

bitnet.cpp では、ハードウェア特性に合わせて以下の最適化されたカーネル群を選択することができます。

  • I2_S（Int2 with a Scale）カーネル: 精密なスケール情報を残しつつ、2ビット幅の整数表現にマッピングすることで、一切の情報損失がない「ロスレス（無損失）なエッジ推論」を可能にします。
  • TL1 / TL2（Ternary Lookup Table）カーネル: ルックアップテーブルのデータ幅を極限まで圧縮する技術です。特にTL2はメモリのフットプリント（占有量）をTL1の約6分の1に抑え込むことができ、スマートフォンのような極端にメモリ帯域幅が狭い環境で威力を発揮します。

圧倒的なベンチマークデータ

Microsoft Researchが実施したベンチマークテストでは、従来の標準的なCPU推論と比較して、CPUの種類を問わず驚異的な結果を叩き出しています。

テスト環境（CPU）推論パフォーマンスの向上推論時の消費電力の削減
x86 CPU (Intel i7-13700H等)2.37倍 〜 6.17倍 のスピードアップ71.9% 〜 82.2% の消費電力低下
ARM CPU (Apple M2 Ultra等)1.37倍 〜 5.07倍 のスピードアップ55.4% 〜 70.0% の消費電力低下

この驚異的な省電力・高速化により、本来であれば超高性能なグラフィックボードを何枚も並べなければ動かないような「1000億パラメータ（100B）」もの超巨大LLMであっても、通常のパソコンのCPU単体で、人間が本を読むスピード（毎秒5〜7トークン）で快適にテキストを出力させることに成功しています。さらに、安価なデスクトップCPU（Ryzen 7950Xなど）を用いたテストでは、秒間520トークンという、GPUに勝るとも劣らない目を見張るような爆速の応答速度が確認されています。

[x86およびARM環境におけるbitnet.cppとllama.cppの性能・消費電力比較]

4. 導入準備：動作に必要なシステム要件と事前インストールの詳細

それでは、あなたのパソコンに実際に bitnet.cpp を導入してみましょう。まずはシステムが動作条件を満たしているか確認します。

ツール名必要バージョン役割
Python3.9 以上（推奨）スクリプトの実行、環境構築アシストツールの動作
CMake3.22 以上C++プロジェクトのクロスプラットフォームビルド管理
Clang18 以上（またはVS2022のコンパイラ）高度な最適化に対応したC++ソースコードのコンパイル
Conda導入を強く推奨隔離されたクリーンな開発・検証用Python環境の作成

OSごとの環境構築アプローチ

1. Windows環境の場合（Visual Studio 2022の準備）

Windowsパソコンでは、C++コンパイルに必要なビルドツールを正しく設定することが最大の関門です。あらかじめ「Visual Studio 2022」の無料版（Community等）をインストールし、そのセットアップウィザード（Visual Studio Installer）で、少なくとも以下のチェックボックスを必ず有効にしてください。

  • 「C++によるデスクトップ開発」 (Desktop-development with C++)
  • 「Windows用C++ CMakeツール」 (C++-CMake Tools for Windows)
  • 「Git for Windows」
  • 「Windows用C++ Clangコンパイラ」 (C++-Clang Compiler for Windows)
  • 「LLVMツールセット用のMS-Buildサポート（clang）」

これらを選択してインストールを進行させることで、必要なCMakeやClangが自動的に正しいパスに構成されます。

2. Debian / Ubuntu Linux環境の場合

Linuxユーザーであれば、システムパッケージマネージャを利用してコマンド1行でClang 18環境を構築できます。以下の公式LLVM自動インストールスクリプトを使用するのが最も手軽です：

Bash

bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"

WindowsにおけるClangの動作検証とトラブル解決

環境構築が完了したら、コンパイラが正常に動作するか確認する必要があります。 通常のコマンドプロンプトやPowerShellを起動し、以下のコマンドを入力してみてください：

Bash

clang -v

もし「'clang' は内部コマンドまたは外部コマンドとして認識されていません」といったエラーが出た場合、C++ビルドツール用の環境変数が端末ウィンドウに読み込まれていません。この場合は、必ずスタートメニューから「Developer Command Prompt for VS2022」（またはDeveloper PowerShell）を探して起動してください。

手動で一般的なシェルに開発ツールチェーンを強制ロードさせたい場合は、以下の初期化パスを通します。

  • 標準コマンドプロンプト（Cmd）の場合：DOS"C:\Program Files\Microsoft Visual Studio\2022\Professional\Common7\Tools\VsDevCmd.bat" -startdir=none -arch=x64 -host_arch=x64
  • PowerShellの場合：PowerShellImport-Module "C:\Program Files\Microsoft Visual Studio\2022\Professional\Common7\Tools\Microsoft.VisualStudio.DevShell.dll" Enter-VsDevShell 3f0e31ad -SkipAutomaticLocation -DevCmdArguments "-arch=x64 -host_arch=x64"

正しく初期化されると、clang -v で導入済みのClangのバージョン情報が正しく返ってきます。

[Visual Studio InstallerにおけるC++開発オプション選定のビジュアルガイド]

5. 実践ガイド：ビルドから推論実行までのステップ・バイ・ステップ

ここからは、実際にリポジトリをダウンロードしてビルドを行い、AIモデルを動作させるまでの全ステップを実行していきましょう。

ステップ1：ソースコードの取得

まずはGitを用いて、依存している外部リポジトリも含めて再帰的にプロジェクト一式をクローニングします。

Bash

git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

ステップ2：Python仮想環境の準備と依存パッケージの導入

Condaを用いて、隔離されたクリーンな仮想スロット（Python 3.9環境）を構築・アクティベートし、必要なPythonモジュール群をインストールします。

Bash

# 「bitnet-cpp」という仮想環境を作成します
conda create -n bitnet-cpp python=3.9

# 仮想環境を有効化します
conda activate bitnet-cpp

# 依存パッケージをすべて導入します
pip install -r requirements.txt

ステップ3：公式1.58ビットモデル（GGUF版）のダウンロード

続いて、Microsoft Researchが提供する公式の20億パラメータネイティブ1ビットLLMモデル「BitNet-b1.58-2B-4T-gguf」をローカルストレージへ保存します。

Bash

huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T

ステップ4：コンパイル環境のビルドと最適化

環境準備を支援する setup_env.py スクリプトを使用して、ご自身のパソコンのCPU特性に完璧に適合した推論バイナリを生成・コンパイルします。ここでは最も高品質な推論性能を示す i2_s 量子化タイプを指定してセットアップを行います。

Bash

python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

setup_env.py で利用できる主なコマンド引数は以下の通りです。環境に合わせて調整してください。

引数名 (短縮 / フル)設定内容
-md, --model-dirモデルファイルの格納および読み込みを行うディレクトリパスを指定
-q, --quant-type使用する量子化構造を指定（i2_s もしくは tl1）
-hr, --hf-repo推論に直接使用するHugging Faceのリポジトリ名を指定
-ld, --log-dirシステムログ情報を蓄積・保存する場所を指定
--quant-embdエンベディング（単語埋め込みレイア）の精度を f16 に圧縮
-p, --use-pretuned特別にパラメータ調整（チューニング）された事前最適化カーネルを有効化

ステップ5：チャットモードでAIを起動する！

コンパイルが無事に完了したら、いよいよ対話を実行します。run_inference.py スクリプトを使って、AIと連続的にテキストをやり取りできる「チャット（スレッド会話）モード」で起動してみましょう。

Bash

python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv

この実行スクリプト（run_inference.py）で設定可能な各パラメータオプションを以下のテーブルにまとめました。

引数名 (短縮 / フル)役割既定値（デフォルト）
-m, --model読み込むGGUF形式のモデルファイルへの絶対または相対パス（必須）なし
-p, --prompt生成指示プロンプト。チャットモード時（-cnv）は「システムプロンプト」になりますなし
-n, --n-predict1回の推論処理でAIが新しく生成する最大トークン数128
-t, --threads計算に使用するCPUの物理および論理スレッド数2
-c, --ctx-sizeAIが記憶・処理できる最大コンテクスト履歴サイズ512
-temp生成されるテキストのランダムさ（創造性）を微調整する温度パラメータなし
-cnv, --conversation連続的な対話をシミュレートする会話（対話チャット）モードを有効化オフ

キーボードから質問を打ち込み、エンターキーを押すと、CPUベースの動作とは思えないスムーズさでAIキャラクターからの親切な回答が即座に生成されます。

6. 応用テクニック：ベンチマーク測定とモデル変換ユーティリティ

bitnet.cpp は、初心者から高度なAI研究者までをカバーする、強力な運用・評価用コマンドラインユーティリティを豊富に用意しています。

推論スピードを正確に評価する（ベンチマーク）

お使いのCPUで実際にどれだけの推論速度が出ているかを客観的に数値測定するために、専用の評価用スクリプトが用意されています。以下のベンチマーク用コマンドで詳細な統計（トークン生成秒速など）をモニタリングしてみましょう。

Bash

python utils/e2e_benchmark.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -n 200 -p 256 -t 4
  • -n 200: 生成プロセスを200トークンまで連続させて評価します。
  • -p 256: プロンプト（入力）に256トークンを与えた状態でのデコード性能を計測します。
  • -t 4: 4つの物理スレッドをCPU上で走らせて高負荷な推論を実行します。

ダミー（模擬）モデルを用いた限界測定

サポートされていない超大型モデルや特殊なレイアウト構造のテストを行いたい場合、あらかじめ定義されたパラメータサイズに合致する「ダミー（空の）モデル」を瞬時に生成し、ハードウェアの理論上の限界速度だけを計測するテクニックもあります。

Bash

# 1億2500万パラメータ（125M）のダミーモデルを生成します
python utils/generate-dummy-bitnet-model.py models/bitnet_b1_58-large --outfile models/dummy-bitnet-125m.tl1.gguf --outtype tl1 --model-size 125M

# 生成したダミーモデルでベンチマーク負荷テストを実行します
python utils/e2e_benchmark.py -m models/dummy-bitnet-125m.tl1.gguf -p 512 -n 128

Hugging Face標準のチェックポイントからGGUFへの直接変換

もし、AI開発プラットフォーム上で配信されている生データの状態のモデル（.safetensors 等のBF16形式）を入手した場合、以下のコンバート用ヘルパーを噛ませることで、bitnet.cpp が直ちに読み込めるGGUFへと独自に変換・圧縮することができます。

Bash

# Hugging FaceからBF16の生の1bitモデルを直接ダウンロードします
huggingface-cli download microsoft/bitnet-b1.58-2B-4T-bf16 --local-dir ./models/bitnet-b1.58-2B-4T-bf16

# ユーティリティを使用してGGUFフォーマットへと変換処理を行います
python ./utils/convert-helper-bitnet.py ./models/bitnet-b1.58-2B-4T-bf16

Raspberry Pi 4Bなどの超省リソース機器でのビルド

シングルボードコンピュータ（SBC）の代名詞であるRaspberry Pi 4Bなどのデバイスで bitnet.cpp を動作させる場合、メモリが極端に制限されているためコンパイルが失敗しやすいという課題があります。 そのような環境では、事前にルックアップテーブル用のヘッダーファイルをジェネレータでビルド用ソースコードとして出力し、メモリ使用を最適化しながらネイティブビルドをパスさせる手法が効果的です：

Bash

# Raspberry Piにビルド用のパッケージ群をインストール
sudo apt update && sudo apt install python3-pip python3-dev cmake build-essential git software-properties-common

# Clang 18をインストール
wget -O - https://apt.llvm.org/llvm.sh | sudo bash -s 18

# 専用のコードジェネレータを実行してヘッダーを事前構成
python utils/codegen_tl1.py --model bitnet_b1_58-3B --BM 160,320,320 --BK 64,128,64 --bm 32,64,32

# 準備が整ったらC++ソースをコンパイル
export CC=clang-18 CXX=clang++-18
rm -rf build && mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)

これにより、重いオンザフライのコード生成ステップを回避し、安価な小型デバイスであっても安定してシステムをコンパイル・動作させることが可能になります。

7. エコシステムの広がり、限界、および未来への展望

1ビットLLMの潮流は、Microsoftの公式研究に留まらず、急速な勢いをもって他のオープンソースコミュニティや主要AIプレイヤーへと波及し始めています。

現在、Hugging Faceなどの公式リポジトリ上では、Microsoftの公式モデル以外にも以下のようなバラエティ豊かな対応1ビットモデルが配布されています。

  • bitnet_b1_58-large (0.7B): 超小型でエッジへの組み込みに特化した軽量AIモデル
  • bitnet_b1_58-3B (3.3B): 推論能力の精度を大幅に高めた中規模モデル
  • Llama3-8B-1.58-100B-tokens (8B): LLaMA3の構造を1.58ビットに適合させて大規模学習したモデル
  • Falcon3 Family (1B〜10B) / Falcon-E Family (1B〜3B): アラブ首長国連邦の技術革新研究所（TII）が開発した高性能モデルファミリーの1.58ビット適用版

大手組織が開発する最新モデルファミリー（Falcon3等）への採用は、1ビット量子化が単なるMicrosoftだけの気まぐれな研究ではなく、次世代AIインフラにおける実用的な最適化手法として広く認められつつあることを証明しています。

モバイルGPUへの展開：QVAC Fabricの衝撃

従来の bitnet.cpp はCPUでの最適化に焦点を当てていました。しかし、さらにエッジ側の処理性能を高めるために、スマホや家庭用PCの統合GPU（グラフィックスチップ）を利用しようという動きも活発化しています。

特に注目されるのが、オープンソースコミュニティから登場した「QVAC Fabric」と呼ばれる拡張フレームワークです。これは llama.cpp のVulkanバックエンドをベースに開発されており、日常的に使用しているAMD、Intel、NVIDIAだけでなく、AppleのMシリーズ、さらにはスマートフォンのモバイルGPU（Adreno、Mali、Apple Bionic GPU）などあらゆる混在環境で1.58ビットモデルを完全にロスレスに実行・LoRAファインチューニングすることに成功しています。このフレームワークにより、Samsung S25などの上で、これまで1時間以上要していたLoRAチューニングをわずか数十分にまで高速化できています。

1ビットLLM技術の構造的なトレードオフと課題

極めて魅力的な1ビットAI技術ですが、現時点で解決しなければならない重大なボトルネックや制約もいくつか存在します。

  1. スクラッチからの再学習が「必須」: 既存の一般的なLLM（GPT-4、通常のLLaMAなど）を、後処理（Post-Training Quantization）で1ビットモデルへと変換することは困難です。重みの全体分布が、最初から「$-1, 0, +1$」の範囲内で綺麗に収束するよう1ビット前提でゼロから莫大な学習データ（Trillions of tokens）を用いてスクラッチ学習させる必要があります。
  2. プレフィックス（Prefilling）ステージの限界: bitnet.cpp が真に高速化されるのは、AIが会話履歴を読み取って新しい文字をポツポツと生成する「デコード（Decoding）ステージ」（メモリ帯域幅制限）のタイミングです。最初の質問文をロードする「プレフィリングステージ」は、メモリバウンドではなく演算負荷そのものがボトルネックとなるため、1ビット処理による加速効率が落ちるという特性があります。
  3. さらに高性能なオルタナティブ推論機の台頭: 近年の研究報告では、bitnet.cpp の行列ライブラリ設計が必ずしも最適ではないと指摘されており、例えばx86プロセッサ向けに特別チューニングされた「PyTorch-TPP」などの代替推論ランタイムを使用した場合、2ビット推論時において bitnet.cpp より最大2.2倍高速なパフォーマンスが得られたというケースも報告されています。

こうした課題を解決するため、Microsoft Researchは、パラメータの一部をあえて4ビットに保つ「BitNet a4.8」（活性化値を4ビットにし、必要最小限のパラメータだけを高精度にするアプローチ）や、外れ値に対処するための「Hadamard（アダマール）変換」を統合した「BitNet v2」などの新しい拡張アーキテクチャを矢継ぎ早に発表しています。これにより、ハードウェアとソフトウェア双方の協調設計（Co-Design）が今後さらに進化していくことは確実です。

[日常生活に溶け込む1-bit AIアシスタント（完全オフライン＆安全なローカル制御）]

参考資料

  1. Windowsローカル環境での1-bit LLM（BitNet）動作手順、https://note.com/leococolin/n/nf5fff6ff21b6?hl=en
  2. Microsoft BitNet 公式リポジトリ、https://github.com/microsoft/BitNet
  3. Bitnet.cpp: Efficient Edge Inference for Ternary LLMs (v1 HTML)、https://arxiv.org/html/2502.11880v1
  4. Reddit LocalLLaMA community discussion、https://www.reddit.com/r/LocalLLaMA/comments/1r02xqc/bitnetcpp_inference_framework_for_1bit_ternary/
  5. 1-bit AI Infra: Part 1.1, Fast and Lossless BitNet b1.58 Inference on CPUs (Microsoft Research)、https://www.microsoft.com/en-us/research/publication/1-bit-ai-infra-part-1-1-fast-and-lossless-bitnet-b1-58-inference-on-cpus/
  6. Nextcloud issue regarding bitnet.cpp and model integrations、https://github.com/nextcloud/llm2/issues/73
  7. BitNet b1.58 2B4Tの衝撃：1ビットLLMの可能性とアーキテクチャ、https://note.com/ainest/n/n05f62533b370?hl=en
  8. BitNet b1 and BitNet b1.58 JMLR Paper、https://www.jmlr.org/papers/volume26/24-2050/24-2050.pdf
  9. The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits (arXiv abstract)、https://arxiv.org/abs/2402.17764
  10. BitNet a4.8: 4-bit Activations for 1-bit LLMs、https://www.microsoft.com/en-us/research/publication/bitnet-a4-8-4-bit-activations-for-1-bit-llms/
  11. BitLinear（BitNet）の仕組みと数式解説、https://qiita.com/pocokhc/items/09128e92654783a5fa5b
  12. QVAC Fabric LLM Finetune on GPU、https://huggingface.co/blog/qvac/fabric-llm-finetune-bitnet
  13. Bitnet.cpp: Efficient Edge Inference for Ternary LLMs (arXiv page)、https://arxiv.org/abs/2502.11880
  14. SOTA 2-bit Inference optimizations and performance on CPUs、https://arxiv.org/html/2508.06753v2
  15. ResearchGate publication - Bitnet.cpp: Efficient Edge Inference for Ternary LLMs、https://www.researchgate.net/publication/389090563_Bitnetcpp_Efficient_Edge_Inference_for_Ternary_LLMs
  16. EmergentMind 1-bit AI Infra summary and community analysis、https://www.emergentmind.com/papers/2410.16144
  17. Microsoft changed the way LLMs run on GPUs with bitnet.cpp、https://blog.crunchbits.com/microsoft-changed-the-way-llms-run-on-gpus-with-bitnet-cpp/
  18. note.com post about breaking GPU dependency via bitnet.cpp、https://note.com/samehadaonsen/n/n9d3bdeb45349?hl=en
  19. Emelia Hub - BitNet 1-bit LLM CPU inference guide、https://emelia.io/hub/bitnet-1bit-llm-cpu-inference
  20. Local LLMs on Raspberry Pi with BitNet、https://learn.adafruit.com/local-llms-on-raspberry-pi/bitnet
  21. Levysoft Medium - Bitnet.cpp: Revolution in local LLMs、https://levysoft.medium.com/bitnet-cpp-revolution-in-local-llms-with-bitnet-1-bit-b1-58-and-a4-8-6db7cf57089e
  22. RMG-SA - BitNet Microsoft's silent revolution that may reshape the AI market、https://www.rmg-sa.com/en/bitnet-microsofts-silent-revolution-that-may-reshape-the-ai-market/

コメント

タイトルとURLをコピーしました