清華大学MADSys研究室らが開発する推論・微調整最適化フレームワーク「KTransformers」がv0.6.1を公開し、GitHub Trendingで+328★/日のペースで急上昇している。CPUとGPUを併用し、巨大なMoEモデルを中規模ハードウェアで動かす構成が注目を集めている。
清華大学MADSys研究室とApproaching.AIらが開発する推論・微調整最適化フレームワークKTransformersが、GitHub Trendingで+328★/日のペースで急上昇し、総18,294★に達した。
v0.6.1を2026年4月30日に公開し、推論エンジン(kt-kernel)とファインチューニングのドキュメントを分離・刷新した。CPUとGPUを併用して巨大なMoEモデルを中規模ハードで動かす設計が核で、使用頻度の高いエキスパートをGPUに、低いものをCPUメモリに配置する。これによりDeepSeek-V3/R1の微調整をRTX 4090×4枚(約80GB)で実行でき、従来のZeRO-Offload比で6〜12倍高速な学習を掲げる。
GLM-5.2、MiniMax-M3、DeepSeek-V4-Flashといった公開直後のモデルへ当日対応する運用が注目を後押ししている。GPUメモリ量が微調整の可否を決める前提が動き、GPU予算が限られる実装現場やオンプレ完結を望む事業者にとって選択肢が増えた。
この変化で何が要点か。図解と出典つきで一目で。
構造化された事実を最初に。誰が何をいつどこでなぜどのように。
近年の大規模言語モデルは、専門家（エキスパート）と呼ばれる部分ネットワークを必要な分だけ動かすMoE（混合エキスパート）方式が主流になり、モデル全体の規模が肥大化した。こうした巨大モデルを動かすには通常、大量のGPUメモリが必要になる。KTransformersはCPU側のメモリと計算資源も併用することで、限られたGPUでも巨大モデルを扱えるようにする研究プロジェクトである。ヒートの高いエキスパートをGPUに、使用頻度の低いものをCPUに置くといった配置最適化を採用している。IntelのAMX/AVX命令を使ったCPU向け高速化や、INT4/INT8など軽量な数値表現（量子化）にも対応してきた。
巨大なMoEモデルを消費者向けや中規模のハードウェアで動かせる点が、コスト意識の高い開発現場にとって直接効く。例えばDeepSeek-V3/R1のファインチューニングをRTX 4090が4枚（合計約80GB）で実行でき、従来手法（ZeRO-Offload）比で6〜12倍の学習高速化を謳う。推論では8基のGPUとサーバー向けCPUの構成で毎秒227トークンの処理を示すなど、実運用に近い数値が公開されている。
KTransformersはCPUとGPUを併用し、巨大なMoE(混合エキスパート=必要な専門ネットワークだけを動かす方式)モデルを中規模ハードで動かす。v0.6.1では、本来は大量のGPUメモリを要するDeepSeek-V3/R1のファインチューニング(追加学習)を、消費者向けのRTX 4090×4枚(合計約80GB)で走らせられるとする。しかも従来手法のZeRO-Offload(学習データの一部をCPU側に退避する既存の省メモリ手法)比で6〜12倍高速な学習を掲げる。
A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations
「異種混在(CPU+GPU)の推論・微調整最適化を試すための柔軟なフレームワーク」という一文が本体で、使用頻度の高いエキスパートをGPUに、低いものをCPUメモリに置く配置最適化がその中身だ。GPUメモリ量が微調整の可否を決める前提が、この構成で動く。
KTransformersはv0.6.1を2026年4月30日に公開し、推論エンジン(kt-kernel)とファインチューニングのドキュメントを分離・刷新した。GitHub Trendingでは+328★/日のペースで急伸し、総18,294★に達している。
注目を押し上げているのは最新MoEへの当日対応だ。GLM-5.2、MiniMax-M3、DeepSeek-V4-Flashといった公開直後のモデルをその日のうちに扱える。X上では、DeepSeek-V4-FlashをRTX Pro 6000×2枚+256GB RAMで1Mコンテキスト動作させる構成が共有され、KTransformersでエキスパートをGPUとCPUメモリに分散オフロードする使い方が具体的に紹介された。
開発・維持は清華大学のMADSys研究室とApproaching.AIらが担う。研究プロジェクト由来ながら、公開直後のモデルへ即応する運用が、実験より実運用に近い注目を集めている。
GPU予算が限られる国内の実装現場は、RTX 4090×4枚という消費者GPU構成でDeepSeek-V3/R1級の微調整に手が届く。H100クラスタを借りる前に手元で検証できる余地が広がる。
最新MoEを追う研究者や開発者は、GLM-5.2やDeepSeek-V4-Flashへ当日対応する強みを使い、公開初日のモデルを自環境で評価できる。
一方、GPUのVRAM総量を積むだけの調達前提は唯一解ではなくなる。CPUメモリと計算資源を併用する構成が実用値を出すため、メモリ量だけの比較では選定を誤りやすい。オンプレでデータを外に出したくない事業者にとっては、中規模ハードで巨大MoEを社内完結で動かせる点が効く。
立場別、明日から動ける一手。
KTransformers v0.6.1のReleasesとREADMEで、対応モデル(GLM-5.2/DeepSeek-V4-Flash)とRTX 4090×4枚の微調整要件を確認する。
RTX 4090×4枚(約80GB)構成のコストと、H100クラスタ賃借による従来の微調整コストを比較する。
手元のGPUで対象MoEを推論させ、CPU-GPUオフロード時のトークン毎秒とGPUメモリ占有を測る。
『DeepSeek-V4-FlashがRTX Pro 6000×2枚+256GB RAMで1Mコンテキスト動作』という具体的な構成が共有され、KTransformersでMoEのエキスパートをGPUとCPUメモリに分散オフロードする使い方が注目された。投稿では『ネイティブ混合精度FP4+FP8でそのまま実行』『GPU側は20.81GB以上確保』といった実測に近い数値が示され、中規模ハードで巨大MoEを動かす具体像として保存・共有されている。
【保存版】 DeepSeek V4 Flash が RTX Pro 6000 × 2枚 + 256GB RAM で1Mコンテキスト動作👀 MoE レイヤーの Expert を GPU と CPU メモリに分散オフロードするKTransformersを使った構成
※トレンド検出時刻付近の人気投稿を表示
【保存版】 DeepSeek V4 Flash が RTX Pro 6000 × 2枚 + 256GB RAM で1Mコンテキスト動作👀 MoE レイヤーの Expert を GPU と CPU メモリに分散オフロードするKTransformersを使った構成 ・ネイティブ混合精度 FP4 + FP8 でそのまま実行 ・GPU 側は 20.81GB 以上確保