|
Alexandr Wang 是的，我认为，过去 12 到 18 个月的热潮中，大家的讨论主要集中在：谁的计算能力更强？谁的芯片更多？你知道，芯片越多，你就越能获胜。那时的讨论非常简单粗暴，谁拥有更大的计算集群，谁就能获胜。 现在我们看到的情况是，即使有了更大的集群，我们依然会遇到数据的限制。我们已经达到了所有公开数据的极限。我们需要一种双管齐下的方法，不仅需要强大的计算能力，还需要专门的数据集，以此来获得更大的性能提升。 数据墙和目前我们所遇到的进展瓶颈确实是真实存在的。我认为我们已经达到了某种预训练的极限，而现在的进展大部分来自于后期训练。后期训练的瓶颈主要来自于专门的数据集，以及那些质量高且不依赖互联网常见数据的数据集。 所以，数据在其中起着至关重要的作用。我记得曾经有一种看法，认为所有模型都可以生成或大量合成数据，这些数据会用于预训练模型，但实际上这种方法并没有成功。 很多关于合成数据的实验发现，使用合成数据会丧失数据分布中大量的真实丰富性。因此，未来的现实情况可能是：我们将需要依赖新形式的人类生成数据，才能实现模型的突破。如果我们能够在计算能力的同时进一步扩展数据的规模，我们就能不断取得进展。 Aditya Agarwal 我们可能不会。 Alexandr Wang 可能不需要那些我们一年前谈论的数万亿、五万亿、十万亿的集群，但我们仍然可能需要一百亿的集群。所以，我认为目前的讨论正朝着某种“正常化”方向发展。 Aditya Agarwal 是的，最初所有的讨论其实都集中在谁拥有最大的集群，然后资本主义起作用了，大家获得了更多的芯片，这固然很好。 但我确实认为新的瓶颈现在出现在数据方面。所以，我很好奇，你认为规模在这个问题中的角色是什么？显然，你们在后期训练领域扮演了重要角色，但你认为是否有机会让规模在这一方面也发挥更大的作用？ （责任编辑：晨鸿） |
