01

如何评估AI大模型需求？

当前整个算力市场面临着算力供给突飞猛进和大模型算力需求相对不足的冲突。至顶智库统计，截至2023年2月，我国目前已投入运营和在建的人工智能计算中心达23个，分布在北京、上海、南京、杭州等多个城市。但是在AI算力加速布局的同时，企业如何评估自身的大模型需求以及构建相适应的算力基础设施成为AI应用发展的首要问题。

评估AI大模型需求是一个系统工程，不仅需要了解业务需求，还要了解模型的复杂性、海量数据的多样性以及算力本身的性能和成本考量。

AI大模型训练需要服务器集群实现大规模计算，因此企业要判断自身服务对象的数据量以及需要围绕着面向训练场景，包括算力，网络、存储的整个算力需求进行评估。邬鸿认为AI大模型需求随着数据量的增长，对于算力的需求不是简单的线性增加，而是指数型增加。“企业的服务客户群体是百万，千万，或者甚至上亿级别，对AI算力需求是完全不一样的变化，因为算力是根据AI大模型需求增长呈现指数性增加，而不是线性增加，所以首先企业要明确服务对象的体量，包括对会话请求的要求，通过这一点可以判断未来行业大模型落地的大概算力需求。” 邬鸿分享到。

另外，还要考虑大模型拓展带来的长尾效应。“如果进一步深入到中小型应用的大模型拓展，例如像电力、金融、电商、物流等行业大模型，其长尾效应非常宽也非常长，势必带来AI算力的需求增长，虽然没有互联网动辄上万片的算力卡需求，但是聚少成多，具备很强的长尾效应。” 邬鸿介绍到，一般企业对行业大模型的算力需求在100-1000张卡之内，这可以满足绝大部分行业大模型训练需求。

02

高效应对AI大模型，算力是关键

当前AI服务器已经广泛应用在人工智能、深度学习、智慧教育、智能城市、医疗健康、大数据、高性能计算 (HPC)、虚拟现实等，以及媒体传输、云游戏、元宇宙等智能视觉云应用等。基于AI服务器在大模型训练和推理方面的优势，未来整个服务器市场也发生了巨变。“今年来看，AI服务器增长速度远远高于通用服务器增长速度，从销售额来看，我们预估可能到明年或者后年，通用服务器和AI服务器市场占比可能达到1:1。”邬鸿谈到。

如今，除了传统服务器，宝德计算携手英特尔、英伟达以及昇腾AI等合作伙伴，持续推出了面向AI加速计算服务器系列产品，通过高性能、可扩展性强、高能效和开箱即用等优势，满足AI客户尤其是大模型训练和推理提供超高性价比的算力支撑。

宝德计算AI服务器目前针对AI训练、AI推理以及边缘推理推出全系列面向AI场景的算力基础设施。

训练服务器偏向于以单机多卡满足高性能的训练价值为主，主要面向互联网、AI独角兽以及ISV等用户的传统的深度学习训练场景。比如基于GPU的宝德AI加速计算服务器，支持新一代 NVIDIA NVLink 互联技术的NVIDIA H800 GPU ，也可支持Intel® Gaudi®2 GPU，通过GPU承担部分预算量繁重且耗时的代码，实现应用程序加速，加速企业实现更多计算任务、处理更大数据集、缩短应用运行时间，可为大模型训练提供强劲的算力支持。

同时，宝德自强AI训练服务器系列是基于鲲鹏处理器+昇腾910处理器打造的AI训练服务器，具有超强算力密度、高速网络带宽等特点。该系列服务器广泛应用于深度学习模型开发和训练，适用于智慧城市、智慧医疗、天文探索、石油勘探等需要大算力的行业领域。

推理服务器主要通过高并发的推理卡，面向CSP业务的数据中心推理以及ISV面向的私有端-网安、安防、智慧城市等市场，应用于广告、用户画像和视频等场景。

对于需要更多变化的边缘推理应用场景，宝德计算也有对应的边缘推理设备，里面集成了英特尔嵌入式CPU，以及NVIDIA Jetson模组，来满足客户对于边缘侧的推理需求。

03

AI大模型需求背后是整个AI生态的建设

面向大模型需求，除了AI算力，还需要关注整个AI生态。这方面，宝德坚持与国内外AI芯片产业链头部厂商深度合作，紧跟先进技术做适配与研发，与Intel战略合作20多年，是NVIDIA和昇腾的OEM合作伙伴，积极拥抱开放的AI芯片产业。同时，宝德建立AI生态适配中心，聚焦推理场景，与更多国产AI加速卡合作和适配，满足客户多样性的算力需求。

此外，因为AI大模型还涉及到算力基础设施，包括高性能网络和高性能存储。宝德建议在AI服务器集群发展方面，除了考虑AI算力方面的优势，也要提前规划好面向未来的高性能网络和高性能存储平台，为算力基础设施扩容打好基础。

“存储扩容和网络扩建，相对来说都比较复杂，因此在做大模型的初步方案设计时一定要将底层的根基——底层的高性能存储加上中间的高性能网络整个平台搭建好。” 邬鸿最后分享说， “我们给客户设计整个方案，尽量将底层的存储和网络设计得更有预见性，为未来的扩容留下更多的接口。”