标签：Multimodal Foundation Model

详细解释 Meta 提出的 Mixture-of-Transformers（MoT）架构：它为什么不是普通 MoE，怎样按模态解耦 Transformer 参数、保留全局自注意力，以及为什么能显著降低多模态预训练 FLOPs 和 wall-clock time。