时间:2024-01-18来源:本站
2024年的地方两会已经拉开大幕,“增强经济回升向好态势”成多地政府工作报告的要点,人工智能作为数字经济高质量发展的重要抓手,受到广泛关注,AI以及大模型等成为代表提案的高频词。随着数字技术和大模型等AI技术的加速发展,人工智能的落地应用已经步入深水区,支撑计算和推理需求、满足成本和节能要求的更具性价比的算力成为用户的一致诉求,第五代英特尔® 至强® 可扩展处理器应需而生!
为AI加速而生,第五代英特尔® 至强® 可扩展处理器完美运行200亿参数大模型
2023年底全新发布的第五代英特尔® 至强® 可扩展处理器,核心数量增至最高64核心,配备了高达 320MB 的 L3 缓存和 128MB 的 L2 缓存,同比上代产品相同 TDP 下平均性能提升 21%,内存带宽提高多达 16%,三级缓存容量更是提升 2.7 倍。
它每个内核都具备 AI 加速功能,无需添加独立加速器,就可处理要求严苛的 AI 工作负载,与上代相比,其训练性能提升多达 29%,推理能力提升高达 42%,尤其是在运行参数量 200 亿及以下的大语言模型时,能够做到时延不超过 100 毫秒,堪称完美。
而且,凭借出色的软硬件工具和生态系统、先进的机密计算技术等,它能够提供可添加加速器和GPU的开放标准框架、优化和开箱即用的预训练AI模型等,便于客户随时进行AI部署。新至强的AI能力也得到了京东云双十一、阿里云第八代企业级实例 g8i、火山引擎第三代弹性计算实例、华栖云等用户的实证和好评。
基于第五代英特尔® 至强® 处理器,
宝德服务器打造更具性价比的AI算力
大模型和AIGC等AI技术风起潮涌,技术创新应用与算力需求之间出现了某些不和谐,其中不乏某些工作负载过度浪费GPU资源。对此,宝德计算发挥自身板卡到整机系统的自主研发实力和AI市场经验,基于全新的至强处理器,加大在全新一代AI服务器的技术创新和产品打磨,探索更具性价比和竞争力的AI算力。
首先,宝德完成了数据中心级AI训练服务器、中心和边缘侧推理的AI推理服务器以及面向边缘极端环境的AI边缘服务器、AI训推一体机等全线产品的测试与升级,帮助客户快速将全新AI算力转化成应用,比如宝德双路服务器PR2715E,性能强劲、安全可靠、高效节能,是AI和大模型推理的优秀算力平台。
其次,宝德进一步升级和完善生成式AI解决方案(宝德AIGC)。该方案将采用新一代至强处理器平台和Intel GPU,支持集群部署和单机部署多种形式,能充分发挥和让客户受益于新平台强大的AI计算、推理性能和卓越的经济效益,可广泛应用于行业大模型、智能语音助手、网络直播、线上教育和培训以及多行业的客服与支持,并且支持按需定制。
而且,宝德注重加强产品能效的提升,多措并举降低客户的总体拥有成本。一方面,新一代宝德服务器在性能大幅提升的同时,能够兼容上一代产品的软件和平台,大大缩减用户新系统和新应用部署所需的测试和验证工作。另一方面,充分发挥新至强处理器内置加速器低功耗高能效的优势,并且通过智能管理软件、智能散热系统、部件或整机液冷散热等节能方案的灵活配置和按需定制,进一步降低整机能耗,为用户提供技术先进、智能高效、绿色节能的AI算力方案!