悟道

悟道2.0：中国首个超大规模智能模型系统

2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后续版本——悟道2.0，成为中国首个超大规模智能模型系统。悟道旨在实现人类水平的思维，并在语言模型领域超越OpenAI的GPT-3和谷歌的LaMDA。

训练背景

悟道模型进行了4.9TB的图像和文本训练，涵盖了9个基准测试，表现超过了最先进的水平，使得悟道在通用人工智能（AGI）和人类水平思维方面更近一步。

训练数据

悟道模型基于开源的MoE系统FastMoE进行训练，使用了以下数据：

• 1.2TB中文文本数据
• 2.5TB中文图形数据
• 1.2TB英文文本数据

训练原理

悟道采用基于MoE的FastMoE技术，将预测建模任务划分为子任务，为每个子任务训练专家（学习者）模型，并开发门控模型。该门控模型根据输入内容学习选择最佳专家进行预测并组合各个专家的预测结果。

这使得悟道能够并行咨询不同专家模型，并在预测结果最好时切换。例如，在处理英文文本时，悟道将利用相应的预测模型生成回应。