MLP-Mixer
MLP-Mixer は、Google Research から発表された深層モデル。トランスフォーマーのような注意機構を使わずに、多層パーセプトロン (multilayer perceptron; MLP) だけで高精度な画像分類を実現する。空間情報 (トークン) を混合する MLP と、特徴量 (チャンネル) を混ぜる ML を交互に適用する。ImageNet などを使った画像認識タスクにおいて、トランスフォーマーと比較して優れた性能・速度のトレードオフを達成した。
論文: Tolstikhin et al. 2021. MLP-Mixer: An all-MLP Architecture for Vision
コード: https://github.com/lucidrains/mlp-mixer-pytorch