1兆パラメータ

r/LocalLLaMAで話題の、Intel Optane Persistent Memoryを使った自作PCで1兆パラメータモデルを4トークン/秒超で動かした事例。確認できた事実だけを留保付きで整理する。