DeepSeek 如何创新大型语言模型

了解 DeepSeek 如何实现 V3 和 R1 突破，以及组织如何在模型创新如此迅速出现时利用它们。

上个月，DeepSeek 的发布震惊了生成式人工智能世界，让工程师和开发人员想知道该公司是如何实现其成就的，以及他们如何利用自己的技术堆栈中的技术。

DeepSeek 团队建立在人工智能社区中已经已知但尚未完全应用的发展之上。结果是一个模型在性能上似乎与 Meta 的 Llama 3.1 等领先模型相当，但构建和训练的成本只是其中的一小部分。

最重要的是，DeepSeek 将其工作作为开放获取技术发布，这意味着其他人可以从中学习，并为大型语言模型 （LLM） 和相关技术创造一个更具竞争力的市场。

以下是 DeepSeek 如何实现突破的一瞥，以及当此类创新如此迅速出现时，组织必须采取哪些措施来利用它们。

一、DeepSeek模型内部

DeepSeek 在 12 月底和 1 月下旬发布了两个模型：DeepSeek V3，一个规模可与 GPT-4 相媲美的强大基础模型;以及 DeepSeek R1，专为复杂推理而设计，基于 V3 基础。以下是每个的技术策略。

1、深度搜索 V3

精准训练的新组合： DeepSeek 利用 8 位精度矩阵乘法实现更快的运算，同时实现自定义逻辑以正确的精度累积结果。他们还利用了 WGMMA 并行运算符（发音为“wagamama”）。

将多代币预测提升到一个新的水平：显然受到 Meta 法国研究团队的启发，该团队率先同时预测多个代币，DeepSeek 利用增强的实现技术进一步推动了这一概念。

专家对“常识”的使用：专家混合 （MoE） 的基本概念类似于根据任务激活大脑的不同部分——就像人类通过仅参与必要的神经回路来节省能量一样。传统的 MoE 模型将网络拆分为有限数量的“专家”（例如，八名专家），并且每个查询只激活一两个。DeepSeek 引入了一种更精细的方法，结合了 Microsoft Research 最初探索的一个想法——一些“常识”需要由始终保持活动状态的模型组件来处理。

2、深度搜索 R1

大规模奖励推理：就像 AlphaGo Zero 仅根据游戏规则学习下围棋一样，DeepSeek R1 Zero 从基本奖励模型中学习如何推理——这在这种规模上尚属首次。虽然这个概念并不新鲜，但成功地将其应用于大规模模型是前所未有的。DeepSeek 的研究捕捉到了一些深刻的时刻，例如 DeepSeek R1 Zero 自己意识到花更多时间思考会带来更好的答案的“顿悟时刻”（我希望我知道如何教它）。

策划“冷启动”：DeepSeek R1 模型还利用了更传统的方法，结合了来自 DeepSeek V3 的冷启动数据。虽然现阶段似乎没有涉及突破性的技术，但耐心和细致的策划可能在其发挥作用方面发挥了至关重要的作用。

DeepSeek 的这些进步证明了开放研究，以及它如何帮助人类进步。最有趣的下一步之一？ Hugging Face 的优秀团队已经在努力在其 Open R1 项目中重现 DeepSeek R1。

二、法学硕士不可知论的重要性

人工智能的限制因素不会是发现商业价值或模型质量。至关重要的是，公司与人工智能合作伙伴保持不可知论的战略。

DeepSeek 表明，押注单个 LLM 提供商将是一场失败的游戏。一些组织将自己锁定在单一供应商中，无论是 OpenAI、Anthropic 还是 Mistral。但新参与者在一个周末内颠覆格局的能力清楚地表明：公司需要一种与法学硕士无关的方法。

多 LLM 基础设施避免了供应商“锁定”的危险，并随着市场的发展更容易在模型之间集成和切换。从本质上讲，这通过确保公司人工智能之旅的可选性，使任何法学硕士决策都面向未来。

企业还必须通过谨慎的治理来保持控制。DeepSeek 和快速崛起的代理 AI 世界展示了 AI 领域已经变得多么混乱和快速发展。在开源推理模型和供应商快速增加的世界中，工程团队需要保持严格的测试、强大的护栏和持续监控。

如果您能够满足这些需求，像 Deepseek 这样的技术将通过增加竞争、降低成本并开辟更多公司可以利用的新用例，对所有企业都产生巨大的积极影响。

由CXOUNION-CXO联盟（cxounion.cn）转载而成，来源于数智化转型网；编辑/翻译：CXOUNIONCXO联盟小O。

如需加入CXO UNION（CXO联盟）高管社群，请联系社群小伙伴哦~

免责声明: 本网站(http://www.cxounion.cn/)内容主要来自原创、合作媒体供稿和第三方投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何责任