戴尔与Meta合作,试图在本地驯服Llama2AI巨兽

干货分享4个月前更新 Youzhizhan
2,860 0


戴尔已宣布与facebook母公司Meta建立合作伙伴关系,以帮助客户在其内部部署基础设施之上轻松部署Llama2语言模型(LLM),从而摆脱对云设施的严重依赖。

云设施?是云设施!

戴尔已宣布与facebook母公司Meta建立合作伙伴关系,以帮助客户在其内部部署基础设施之上轻松部署Llama2语言模型(LLM),从而摆脱对云设施的严重依赖。

戴尔与Meta合作,试图在本地驯服Llama2AI巨兽

戴尔表示,希望使用自己的IT基础设施部署和运行Meta AI模型的企业客户已经形成了一定规模的市场,戴尔正在努力成为这部分业务的首选供应商。

该项目以戴尔的衍生式AI组合验证设计为核心。 这个设计方案刚刚宣布了与GPU制造商Nvidia共同开发的预测硬件版本。yr.In 此外,戴尔还负责提供部署和配置指导,帮助客户在短时间内成功完成设施的启动和运营。

例如,戴尔已将Llama2模型集成到其系统级调整工具中,以指导客户正确完成配置,并通过AI模型实现他们希望实现的目标。

戴尔首席AI官Jeff Boudreau在一份声明中表示,包括Llama2在内的各种生成型AI模型预计将”改变行业运营和创新的方式。”

他强调,”通过与Meta的技术合作,戴尔将提供详细的实施指南和适合各种部署规模的最佳硬件和软件基础架构,以确保所有客户都能更轻松地使用开源生”

Llama2是一套预先训练的微调语言模型。 它于今年7月首次公开亮相。 提供70亿参数版、130亿参数版、700亿参数版三种卷量选择。 不同的版本对应不同的硬件要求。

该模型可以免费下载用于研究目的,并且还支持一些商业应用。Meta已经与微软和亚马逊合作,推动自己的模型登陆Azure和AWS云平台。

当时有媒体指出,由于Llama2模型没有获得开源促进会(OSI)批准的许可证,因此称其为”开源”实际上存在一些争议。

戴尔的生成式AI验证设计(Verified Designs for Generative
AI)计划于今年8月推出,主张将其服务器套件与Nvidia Gpu,存储和软件(包括Nvidia的AI)集成。
企业套件)相结合。戴尔已经确认,它将提供硬件基础设施和支持专业服务,以帮助客户启动并运行生成式AI负载-当然,将收取相应的费用。

整套验证设计解决方案主要强调推理负载,适用于涉及自然语言生成的应用场景,如聊天机器人和虚拟助手、营销和内容创建等。戴尔还表示,未来将进一步扩展其产品组合,以支持模型的定制和微调。

据戴尔称,Llama的70亿参数版本
2只需要单GPU运行,130亿参数版本需要双Gpu承载,而700亿参数版本需要8Gpu。戴尔在博客文章中概述了如何PowerEdge
在R760xa系统上部署了70亿和130亿两个模型版本(https://infohub.delltechnologies.com/p/deploying-llama-2-on-the-dell-poweredge-xe9680-server /);而700亿参数版本只能在PowerEdge中使用,因为它需要8个Gpu。
在XE9680级服务器上运行。

[ad]
© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...