底下具体展示原生多模态模子的 Scaling Laws。该团队商酌了多种架构采取、不同的数据夹杂表情、早交融和后交融 NMM 之间的现实量度、NMM 的原生预锻真金不怕火和执续预锻真金不怕火的性能阐扬。

NMM 的 Scaling Laws

早交融和后交融模子的 Scaling Laws。

图 2 左图展示了早交融 NMM 在多模态交汇数据集、图像 - 描摹数据集和文本数据集上的平均最终亏本。其最低亏本畛域受命与 FLOPs 的幂律相干。拟合该幂律可得出抒发式 L ∝ C^−0.049，这开发了跟着蓄意量的增加，性能进步的速率。

拟合该幂律可得出抒发式 L ∝ C^−0.049，这开发了跟着蓄意量的增加，性能进步的速率。

分析每种数据类型（举例，图像 - 说明、多模态交汇的文档、文本）的 Scaling Laws 时，不错不雅察到指数会发生变化（表 3）。举例，与多模态交汇（L ∝ C^−0.046）比拟，该模子在图像说明数据（L ∝ C^−0.061）上杀青了更高的性能进步。

为了将亏本建模为锻真金不怕火 token 数目 D 和模子参数 N 的函数，他们还拟合了以下参数函数，获取了 scaling 指数 α = 0.301 和 β = 0.335。它们辞别描摹了 scaling 模子参数和锻真金不怕火 token 数目时的性能进步率。

该团队假定蓄意量、N 和 D 之间存在线性相干（即 C ∝ N D），推导出了模子参数与蓄意预算之间的有关步调，详宽恕论文附录 C。简便来说，对于给定的蓄意预算 C，以对数终止的 D 值蓄意相应的模子大小 N，并细目使亏本最小化的参数数目 N_opt。对不同的 FLOPs 值重迭此操作，可获取一个 (C, N_opt) 数据集，该团队对其拟合了一个幂律，可瞻望蓄意最优模子大小与蓄意量的相干：N ∗ ∝ C^0.526。

雷同地，他们也拟合了臆测蓄意最优锻真金不怕火数据集大小与蓄意量和模子大小的相干：

这些相干可让奉行者在给定固定蓄意预算的情况下细目最好模子和数据集大小。在字据数据类型分析时，该团队发现与图像说明数据 (a = 0.520) 比拟，多模态交汇数据可从较大的模子 (a = 0.532) 中获益更多，而锻真金不怕火 token 则呈现相悖的趋势。

该团队在图 2（右）中对后交融模子进行了雷同的商酌，并不雅察到了雷同的 scaling 步履。具体而言，亏本 scaling 指数 (c = −0.0494) 与早交融 (c = −0.0492) 真实调换。这一趋势在图 3 中不言而谕，在较小的模子范围下，早交融的阐扬优于后交融，而在较大的模子范围下，两种架构的性能拘谨到相似的水平。在变嫌后交融确立时，该团队也不雅察到了雷同的趋势，举例使用较小的视觉编码器和较大的文本解码器。

NMM 和 LLM 的 Scaling Laws 比较。

通过比较 NMM 的 scaling laws 总共与纯文本 LLM（举例 GPT-3、Chinchilla）的 scaling laws 总共，该团队发现它们处于相似的范围内。

具体来说，要是将亏本看作蓄意量的函数，GPT-3 受命 L ∝ C^−0.048，而该团队的模子受命 L ∝ C^−0.049，这标明 NMM 的性能受命与 LLM 雷同的 scaling 步调。相似，该团队对 α 和 β 参数的臆测值 (α = 0.301, β = 0.335) 与 Hoffmann 等东说念主发挥的值 (α = 0.339, β = 0.285) 相等接近。相似，该团队蓄意出的 a = 0.526 和 b = 0.473 与 Hoffmann 等东说念主的 a = 0.46 和 b = 0.54 相等接近。

这标明：对于原生多模态模子，锻真金不怕火 token 的数目和模子参数应按比例 scaling。但是，由于 a 和 b 之间的差距小于 LLM，因此这一原则对于 NMM 更为适用。此外，由于在该团队的案例中 a = 0.526 大于 b = 0.473，因此在蓄意预算固定的情况下，NMM 的最好模子大小大于 LLM，而最好锻真金不怕火 token 数目则较低。

早交融与后交融 NMM 的蓄意优化量度。

诚然后交融和早交融模子的亏本会跟着 FLOP 的增加以相似的速率裁汰，迪士尼彩乐园官方地址但该团队不雅察到它们的蓄意优化模子中存在彰着的量度。具体而言，后交融模子的 N_opt 较大，而早交融模子的 D_opt 较大。这标明，在蓄意预算固定的情况下，后交融模子需要更多参数，而早交融模子则受益于更多锻真金不怕火 token。

早交融的锻真金不怕火遵守更高。

该团队比较了后交融和早交融架构的锻真金不怕火遵守。如图 5 所示，在调换的蓄意预算下，早交融模子猝然的内存更少，锻真金不怕火速率更快。跟着蓄意量的增加，这一上风愈加彰着，这标明：早交融在保执与后交融越过的大范围性能的同期，领有不凡的锻真金不怕火遵守。

值得正式的是，在调换的 FLOPs 下，与早交融模子比拟，后交融模子具有更高的参数数目和更高的有用深度（即除了解码器层除外还增加了罕见的视觉编码器层）。

不同数据夹杂表情的 Scaling Laws

偷窥宋凯的心灵深处，可以发现这位足坛掌门人内心是坚定的，不轻易否定一个人的。宋凯曾经这说过这样一段话，中国足球改革开放后，在足协主席这个位置上待的最久的是王俊森，一口气待了九年。其他的足协一把手却犹如竹马观花，两三年一换，两三年一换，而每任的继任者上位后，往往会推翻前任的方针，推出自己的一套足球风格管理措施，今天学巴西，明天学德国，中国足球的踢法总是改了，变变了改，没有长久的持续性……最终变成了四不像！

图 4 展示了不同的夹杂表情王人受命相似的 scaling 趋势；但是，scaling 总共会有辞别（表 4）。意旨风趣意旨风趣的是，增加图像 - 说明数据的比例（mixtures 1 和 2）会导致 a 裁汰、b 升高，而增增加模态交汇数据和文本数据的比例（mixtures 3 和 4）则会产生相悖的后果。

值得正式的是，图像说明数据包含的图像 token 比文本 token 多；因此，增加其比例会导致图像 token 增多，而增增加模态交汇数据和文本数据的比例会增加文本 token 的数目。这标明，当图像 token 占主导地位时，锻真金不怕火技巧越长，亏本的裁汰速率就越快，而增加模子大小则更快。

该团队还发现，对于固定的模子大小，增加纯文本和多模态交汇数据的比例故意于早交融（图 6）。

原生多模态预锻真金不怕火 vs. LLM 的执续锻真金不怕火

底下比较这两种情况：从零动手进行原生锻真金不怕火，以及使用预锻真金不怕火的 LLM 进行开动化后再进行执续锻真金不怕火。

这里使用的开动模子是 DCLM-1B，该模子已使用进步 2T 个 token 进行锻真金不怕火。图 8 标明，当锻真金不怕火技巧更永劫，原生多模态模子不错减轻与开动化模子的差距。

具体而言，在图像说明数据上，该模子需要不到 100B 个多模态 token 即可达到越过的性能。但是，在多模态交汇数据和文本数据上，该模子可能需要更长技巧的锻真金不怕火 —— 可多达 1T 个 token。研究到预锻真金不怕火的资本，这些落拓标明，为了在多模态基准测试中杀青调换性能，原生锻真金不怕火可能是更有用法子。

迈向多模态专科化

商酌评释了在固定蓄意预算下，早交融模子的性能与后交融模子越过。但是，多模态数据本色上是异构的，锻真金不怕火一个斡旋的模子来拟合如斯各样化的散布可能并非最优决策。

因此商酌东说念主员见解在斡旋架构内进行多模态特化。理念念情况下，模子应该隐式地合乎每种模态，举例，通过学习特定于模态的权重或有意的众人。多模态模子 + MoE 是一个有后劲的标的，MoE 已在 LLM 中评释了其有用性。

商酌不雅察了不同数目行径参数、不同数目 token 锻真金不怕火的模子，比较了零散 MoE 模子和密集 MoE 模子。图 9 清楚，在调换的推理资本（或行径参数数目）下，MoE 的性能显贵优于密集模子。意旨风趣意旨风趣的是，这种性能差距在模子范围较小时更为彰着。这标明 MoE 或者使模子更有用地处罚异构数据，并专注于不同的模态。但是，跟着密集模子范围变得阔气大，两种架构之间的差距会平缓减轻。

先前对于大模子 Scaling Laws 的商酌主要不雅察考证亏本，这种评估与卑劣任务的阐扬存很好的有关性。为了考证这少许，商酌东说念主员对 LLaVA 夹杂模子进行了多模态教唆调遣阶段 (SFT)，并发挥了其在多个 VQA 和字幕任务中的准确率和 CIDEr 得分。表 7 证据了不同模子确立的排行。

具体而言，早交融优于后交融，而多模态 MoE 优于密集模子。但是，由于这些模子范围相对较小（15 亿范围）、从零动手锻真金不怕火，并在袖珍数据集上进行微调，因此总体得分低于当今的 SOTA 水平。

更多细节可参看论文原文。

• 发现
• 苹果
• wap迪士尼彩乐园
• 交融
• 模子