Commit

f1addaf

fla.modules.FusedLinearCrossEntropyLossが5060Tiで94msかかってて、1stepの6割が語彙の出力だった。torch.compileした素直なCEだと44msになるけど、ベンチのブレが0.005から0.157に広がって判定できず。段階1はここで止める

commit f1addaf