DeepSeek-R1模型调研纪要

dingyan1314

一、DeepSeek r1技术特点
早期优势与资源限制：DeepSeek因率先复现MoE等技术而获得好评，但资源有限，只能集中精力在核心领域。
长上下文能力提升：DeepSeek的长上下文能力从预览版到正式版提升迅速，采用常规方法即可实现10K长上下文。
硬件资源有限：DeepSeek的硬件资源有限，公开信息显示其拥有约1万张旧卡和3千张H800卡，注重合规性。
专注智能本身：DeepSeek专注于智能本身，而非单纯服务人类，放弃了安全、多模态等其他方向。
技术扩散作用：DeepSeek作为“黄埔军校”，对人才扩散和行业技术提升有重要作用。
商业模式与技术探索：DeepSeek的商业模式以量化为主，注重推动智能发展，而非商业化优先。中国需要领先实验室探索超越OpenAI的技术。
二、DeepSeek r1的市场影响
改变国际认知：DeepSeek的出现让外界意识到中国AI的实力，缩小了与美国的差距。  
政策与市场关注：可能导致美国对中国采取更不利的政策，但封锁可能为中国AI发展提供窗口期。DeepSeek等企业受到美国VC关注，中国资产重组值得关注。
国产化探索：DeepSeek尝试在不依赖H800或A800算力的情况下，使用纯国产技术，若成功将产生重大影响。
技术追赶与创新：DeepSeek的快速发展表明中国在AI领域的追赶能力，但也强调了探索前沿技术和降低训练成本的重要性。
三、SFT（Supervised Fine-Tuning）与蒸馏技术
SFT的作用：DeepSeek证明了SFT在蒸馏中的重要性，其r1版本主要通过SFT训练，数据由LHF训练的模型生成。
蒸馏的优势与局限：蒸馏可以提升小模型的性能，但可能导致模型多样性下降，影响上限。长期来看，直接复现技术可能隐藏未知风险。
蒸馏的商业模式：未来可能区分teacher和student模型，成为一种商业模式。
四、数据与标注
数据标注的重要性：DeepSeek在数据标注上投入巨大，强调高质量数据的重要性。
多模态数据的挑战：目前多模态数据在训练中效果不明显，成本较高，未来可能有更大机会。
过程奖励（Process Reward）
过程奖励的可行性：过程奖励可能容易被模型“hack”，但适当的奖励机制可以帮助模型接近正确方向。
结果监督与过程监督：结果监督是模型的上限，而过程监督的上限是人类的认知能力。
五、竞争情况
算力需求与成本：追赶者的算力需求和成本较低，而探索者需要大量算力进行模型训练和架构探索。
技术路线与效率：小企业需要考虑效率，大企业更关注快速得到模型，不同规模的企业有不同的技术路线选择。
企业战略与聚焦方向：OpenAI和Anthropic可能认为将算力投入其他领域更有价值，而DeepSeek专注于语言模型，避免了多模态的复杂性。
模型选择与应用：开发者尚未大规模迁移到DeepSeek，但其带来的空间很大。应用者在选择模型时会简化问题，2025年可能是应用年。
六、市场预测
模型分化与创新：预计2025年模型将出现分化，新的架构和RL潜力将被进一步探索，多模态产品可能超越ChatGPT。
技术路线与成本：DeepSeek的低成本、高效果路线与扩大硬件、增加参数的路线不冲突，国内受限于资源选择前者。
质疑与挑战：DeepSeek的出现让人们对OpenAI的500B叙事产生质疑，其基础设施投入存在不确定性。
七、开闭源情况
市场共存与竞争：开源与闭源模型共存，DeepSeek的成本优化对市场有影响，但目前云厂商尚未做出改变。
技术与市场挑战：开源模型对闭源模型构成挑战，如果开源能达到闭源的95%，将对闭源市场产生重大影响。
八、市场影响
股价与市场情绪：DeepSeek对英伟达等算力相关企业的股价产生短期压力，但长期来看，AI市场潜力巨大。市场机会与挑战：DeepSeek的出现对美国AI圈和相关企业产生冲击，但长期叙事将继续。

总之，DeepSeek r1的出现对全球AI领域产生了深远影响，其技术特点、商业模式和市场策略都引发了广泛讨论。DeepSeek的成功不仅展示了中国在AI领域的技术实力，也对全球AI产业格局产生了冲击。未来，随着技术的不断发展和市场的变化，DeepSeek将继续探索新的技术路径，推动AI行业的发展。