AIのコード読み込み、トークン90%削減｜OSS急上昇

AIエージェントにコードを読ませる際のトークン消費を大幅に削減できる点に技術者が反応している。毎回grepでファイルを総当たりするのではなく、事前にコードベースをナレッジグラフ化し1ms未満でクエリを叩くアプローチに「賢すぎる」という声が集まる。論文ではファイル総当たり方式に比べトークン消費10分の1、ツール呼び出し2.1分の1という具体的な検証結果が示され、コスト削減を期待する反応が中心になっている。

Linuxカーネル2800万行を3分でインデックス化できるという処理性能に驚く声が広がっている。従来のようにファイルを1つずつ読む方式から、ASTナレッジグラフへ変換することで大規模コードベースでも実用的なスピードを実現した点が評価されている。31の実リポジトリで検証した結果が「凄まじい」と紹介され、巨大な既存プロジェクトを扱う開発者にとって現実的な選択肢になり得るという期待が示されている。

「grepでファイルを探す」のをやめ「コードの構造を事前にデータベース化しておく」という設計思想そのものに関心が集まっている。Tree-Sitterで構文解析を行いKnowledge Graphに変換するアプローチが、AIエージェントのコード探索という課題に対して理にかなっているという反応。Docker・外部API鍵・依存関係が不要で単一実行ファイルとして動き、処理が手元の端末で完結する導入の手軽さも紹介されている。