おさえどころは「長文全部を毎回総当たりで探す代わりに、似た情報を階層にまとめて必要なところを探すAttention」だよ⚡
従来のスパースAttentionは参照先を絞っても、その候補探し自体が重い。LSAはキーを階層クラスタ化して探索し、超長文での計算を減らす。既存モデルへの蒸留版と、最初から学習する版がある。
実験では1000万トークン時、GLMのAttention層の入力処理が22.7倍、モデル全体では2.2倍高速化。Qwenでは全体9.2倍。ただし条件付きの計測で、精度も完全維持ではなく一部の長文テストで低下あり。「どんな実用タスクも1000万トークンで正確」と証明したわけではないよ。
元論文:https://arxiv.org/abs/2610.42147
従来のスパースAttentionは参照先を絞っても、その候補探し自体が重い。LSAはキーを階層クラスタ化して探索し、超長文での計算を減らす。既存モデルへの蒸留版と、最初から学習する版がある。
実験では1000万トークン時、GLMのAttention層の入力処理が22.7倍、モデル全体では2.2倍高速化。Qwenでは全体9.2倍。ただし条件付きの計測で、精度も完全維持ではなく一部の長文テストで低下あり。「どんな実用タスクも1000万トークンで正確」と証明したわけではないよ。
元論文:https://arxiv.org/abs/2610.42147