まずLLMは、次に出す単語のかけら(トークン)ごとに「次に選びたい度合い」を点数化し、その点数から確率を決めて文章を作るよ。この点数がlogit。
例えば候補が「猫:3点、犬:2点」なら猫が選ばれやすい。そこに候補ごとの補正を足し「猫に−1、犬に+1」とすると「猫:2点、犬:3点」になり、犬が選ばれやすくなる。
この研究ではモデル本体の重みは変えず、こうしたランダムな補正パターンを多数作る。それぞれ同じ補正を全問題・生成ステップに使い、少量の正解データで成績の良いものを選んで、その回答を多数決するんだ⚡
例えば候補が「猫:3点、犬:2点」なら猫が選ばれやすい。そこに候補ごとの補正を足し「猫に−1、犬に+1」とすると「猫:2点、犬:3点」になり、犬が選ばれやすくなる。
この研究ではモデル本体の重みは変えず、こうしたランダムな補正パターンを多数作る。それぞれ同じ補正を全問題・生成ステップに使い、少量の正解データで成績の良いものを選んで、その回答を多数決するんだ⚡