C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  上尉

注册:2015-11-144
发表于 2025-2-18 09:22:12 |显示全部楼层


亚星游戏官网-yaxin222


智东西(公众号:zhidxcom)

编辑 | ZeR0

编辑 | 漠影

智东西2月17日报道,随着DeepSeek展现出开源的威力,大模型竞赛有了新的叙事方式,各路云计算厂商接连宣布接入DeepSeek模型,但实际提供的服务质量却参差不齐。这与云服务背后的基础设施和工程化能力密切相关。

企业部署和使用模型过程中,需要综合考量性能与成本之间的权衡、能否针对私有数据进行定制优化、数据和模型安不安全、是否便于实现各种智能体的复杂调度等因素。AMAZON云科技则通过在云和AI领域展开的全栈式创新,兼具云端本身的优势、多样化模型选择的优势,并提供了一系列快速将模型运用到企业化生产环境中所需的重要工具。

作为最早适配并上线DeepSeek的云巨头之一,AMAZON云科技现已推出针对DeepSeek-R1模型多种不同的部署方式,以便企业能在熟悉的AMAZON云科技环境中轻松部署该系列模型,例如在亚马逊 Bedrock Marketplace中部署,或在亚马逊 SageMaker Jumpstart中部署,也可以通过亚马逊 Bedrock自定义导入功能或亚马逊 EC2 Trn1实例中部署DeepSeek-R1-Distill系列模型。

一、云端部署:灵活可扩展,与丰富服务无缝集成

相比本地部署,云端部署的优势是算力资源更充足,而且灵活可扩展。同时在云端部署能够与丰富且成熟的分析、数据等基础服务进行无缝集成。作为全球云计算的开创者,AMAZON云科技近20年来积累了深厚的技术根基,引领了一代代的云端基础设施创新,在提高算力利用率、加速模型开发等方面都有长期经验。

比如在自研芯片领域,AMAZON云科技推出了基于亚马逊 Trainium2的EC2 Trn2实例,性价比比当时GPU实例高30%-40%。还有第二代的UltraCluster网络架构,支撑超过20000个GPU协同工作,带宽达10Pb/s,延迟低于10ms,这一升级能够将模型训练时间缩短至少15%。

AMAZON云科技推出的新一代亚马逊 SageMaker,将快速SQL分析、PB级大数据处理、数据探索和集成、模型开发和训练以及生成式AI等功能统一到一个集成平台,从而为客户提供一个单一的数据和AI开发环境,用户可以在其中查找和访问其组织中的所有数据,为各种常见的数据用例选择最佳工具,并将数据和AI项目扩展至团队内不同分工角色以实现协作。

AMAZON云科技大中华区产品部总经理陈晓建谈道,AMAZON云科技不仅在云的核心服务层面持续创新,更在从芯片到模型,再到应用的每一个技术堆栈取得突破,让不同层级的创新相互赋能、协同进化。

他相信只有这样全栈联动的大规模创新,才能真正满足当今客户的发展需求,加速前沿技术的价值释放。

二、多样化模型选择,按需组出性价比

跟其他云服务大厂相比,AMAZON云科技生成式AI服务的一大特色,就是模型选择多。

基于“不会有一个模型一统天下”的判断,AMAZON云科技在自研大模型的同时,也将来自不同企业、不同功能的领先大模型汇聚在一起,放到云中的“大模型货架”上,供客户按需实现最具性价比的组合。

在实际构建生成式AI应用时,不同应用场景需要的性能、成本、响应速度、微调能力、常识库协调能力、多模态支撑能力等技术指标各不相同。比如在快速响应场景,需要花一些时间推理的DeepSeek R1深层思考模式就不太适用,其生成首个token的用时可能要超过30秒;而亚马逊 Nova模型的响应就非常快,只耗时数百毫秒。

此前其“大模型货架”上已经有来自AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI、Luma AI和poolside等知名厂商的大模型。AMAZON云科技还在不断扩展其模型“朋友圈”。

比如上个月亚马逊 Bedrock平台刚刚上线了Luma AI的最新版视频生成模型Ray 2模型,可以广泛用于内容创建、娱乐、广告和媒体使用案例,从而简化从概念到实行的创意流程。

AMAZON云科技的亚马逊 Bedrock Marketplace功能为客户提供100多个热门、新兴及专业模型,DeepSeek-R1就包含在内。

亚星游戏官网-yaxin222▲在亚马逊 SageMaker Jumpstart中快速部署DeepSeek模型

三、企业级AI工具全家桶:从性能提升到复杂多智能体编排

选择合适的模型,下一步是如何高效解决工程化难题。

亚马逊 Bedrock聚焦企业应用AI的实际需求,提供了企业AI工具全家桶,涉及模型从原型走向企业化生产环境时必须要考虑的方方面面的工具,以便开发者基于领先模型来快速构建应用。

例如DeepSeek模型有不同参数量,小至几十亿,多达6710亿。要实现完整部署R1并实现尽可能好的推理和响应,需要如亚马逊 EC2 P5e性能级别的硬件和配套的便捷工具。

亚星游戏官网-yaxin222▲通过亚马逊 Bedrock Marketplace部署DeepSeek-R1,可选实例包括EC2 P5e的48xlarge型号,单个实例包含8颗H200 GPU,以及3200Gbps的网络带宽,充分满足DeepSeek-R1的性能需求

AMAZON云科技提供的实用工具有助于优化成本、根据自有数据定制提升准确性、安全性以及针对未来复杂的多智能体构建和管理等。可以简要概括为以下4类:

1、优化效果、延迟和成本:如低延迟优化推理、模型蒸馏、提示词缓存等功能,大幅提升推理效率。其中模型蒸馏功能可将特定常识从功能强大的大模型转移到更小更高效的模型,运行速度最快可提高500%,成本降低75%。

2、基于企业自有数据的定制优化:模型微调功能、常识库功能不断丰富,现已支撑GraphRAG等图数据,能够快速且经济高效地从文档、图像、音频以及视频中提取信息,并将其转换为结构化格式的亚马逊 Bedrock Data Automation功能等。

3、负责任AI的安全和审查:亚马逊 Bedrock不断丰富其护栏功能,以简化企业实施负责任AI所需的投入,例如为其加入自动推理检查功能,从而能够轻松识别事实性错误,以提升生成回答的准确性。

4、实现复杂功能的多智能体功能:亚马逊 Bedrock不但提供智能体功能,还进一步推出了多智能体协作功能,使客户能够轻松地构建和协调专业智能体来实行复杂的工作流程。客户可以通过为项目的特定步骤创建和分配专用智能体,获得更准确的结果并加速任务。

亚星游戏官网-yaxin222

▲在亚马逊 Bedrock模型定制页面部署DeepSeek 88Llama Model

结语:用全栈式创新托举企业级AI构建

在2024 re:Invent上,AMAZONCEO Andy Jassy曾分享AMAZON自身部署AI中的三项关键洞察:首先,随着生成式AI应用规模的扩大,计算成本变得至关重要;人们非常渴望获得更高的性价比;其次,构建一个真正优秀的生成式AI应用非常困难;第三,永远不会有单一的工具能够统治世界,要提供多样化的模型,让开发者自由选择。

AMAZON云科技在云端部署方面的灵活可扩展性、多样化模型选择以及实用工具的提供,则无一不是对这些洞察的有力回应。

通过上述三大优势,AMAZON云科技正在帮助企业更快更好地运用领先的模型。AMAZON云科技对DeepSeek的积极拥抱,也在践行其此前向客户所承诺的——托管最流行的、具有创新性的AI模型。随着DeepSeek催化开源风暴,未来大家将看到更多优质新模型的诞生,而无论模型种类如何繁多,AMAZON云科技的全栈式创新都形成稳固的托举。

来源:智东西

举报本楼

本帖有 2 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2025-2-23 18:03 , Processed in 0.182836 second(s), 17 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图