gMLP
gMLP (multi-layer perceptron with gating) は、Google Brain から発表された深層学習モデル。多層パーセプトロンにゲート機構を組み合わせるだけで、注意機構を使わずに、トランスフォーマーに匹敵する性能を上げたことで話題になった。チャンネル投影層と、空間ゲーティング層を交互に組み合わせることによって、入力のトークン列を変換する。画像認識 (ImageNet の分類) と自然言語処理 (BERT 的なマスク言語モデル) において、トランスフォーマーに匹敵する性能・スケール性を示した。
論文: Liu et al. 2021. Pay Attention to MLPs
コード: https://github.com/lucidrains/g-mlp-pytorch/