Ternary Bonsai

GPU なしで動く 1.58-bit の量子化 LLM(PrismML 製)。

動作の軽さは本物だが、数値推論が壊れている。「9.11 と 9.9 どちらが大きい?」に対して自己矛盾しながら(途中で両方主張)、最終的には正しい答えに辿り着くという謎の挙動を示した。

エージェントとして使うのは厳しい。