鸭脖(首页)最新网站地址·(中国)官方网站


拥抱大模型时代,共舞AI算力

时间:2023-07-05来源:本站


宝德服务器 2023-07-05 18:13 广今年以来,全球最火的“顶流”非大模型莫属。资料显示,ChatGPT掀起的AI 大模型热潮席卷到国内,国产大模型的发布争先恐后,数量总计达到 93 个,即将破百,中国大模型已然呈现“百模齐放”之势。
大模型需要处理大量数据,并进行海量复杂的计算,于是AI芯片市场烽烟雄起。早有NVIDIA 左手A800右手H800,被称为ChatGPT火爆以来的最大赢家,今年5月再次发布了GH200 Grace Hopper超级芯片和大内存AI超级计算机DGX GH200。紧随其后,6月苏妈隆重发布了MI300X芯片,在大语言模型上获得优势。芯片巨擘英特尔也早有布局和实践,以专攻AI计算的Habana® Gaudi®2和第四代至强可扩展处理器(MAX)等多样的硬件产品组合提供强大AI算力,6月底在MLCommons AI性能基准测试MLPerf训练3.0中展示了优异性能和卓越的性价比*。AI芯片技术竞赛继续火热进行中……
大模型非常依赖AI算力,但是绝对离不开CPU为主的通用算力。于是,AI服务器作为AI算力基础的重要设备需求激增。AI服务器专注于海量数据外理和运算方面,可以为人工智能,深度学习,神经网络,大模型等场景提供强大的动力并可广泛应用于医学、材料、金融、科技等千行百业。作为中国AI服务器的TOP3,宝德计算已经布局了完善的AI训练、AI推理和AI边缘的AI算力,并坚持携手上游AI芯片战略合作伙伴,学习吸收先进技术和产品,不断升级和完善强劲完善的AI算力基础设施。
大模型训练以宝德AI训练服务器PR4910E为佳,它采用2颗身怀七大算力神器的第四代英特尔®至强®可扩展处理器,最大可达60核心,并具有13 个PCIe x16 Gen5插槽,支持10个全高全长双宽 GPU卡(NVIDIA® Tesla系列、英特尔®GPU Flex系列和昇腾Atlas系列等),可为大模型训练强有力的算力支撑;它支持32个 DIMM / DDR5内存插槽,支持最新400Gb ETH和NDR IB高速智能网卡,以及 GPU Direct RDMA,最多支持24个 NVMe SSD,且采用CPU 直通设计,大幅降低 I/O 延迟,这些都为大模型数据存储和传输提供高效可靠保证;此外,它采用整机模块化设计,支持灵活切换 CPU 和 GPU/TPU 的异构拓扑结构,方便用户维护和管理。
大模型推理用服务器则首推宝德自研双路服务器PR2715E,它具有极致性能、卓越能效和能打的颜值,专注于高性能、云计算和数据中心等计算需求。同样采用2颗第四代英特尔®至强®可扩展处理器,提供强大的计算能力,支持DDR5、PCIe 5.0和HBM,性能提升高达50%;设有32个内存插槽,最大可支持8TB;它最大支持12个2.5”( 3.5”)和4个后置2.5 ”SATA/SAS/NVMe热插拔硬盘,或24个2.5”SATA/SAS/NVMe 和2个后置2.5 ”SATA/SAS热插拔硬盘,支持内置1个M.2(NVMe/SATA),保障了整机性能的强劲可靠;异构设计的系统,支持8张单宽 或者3张双宽GPU卡,拥有强劲的AI算力和安全性能。而且PR2715E具有智能散热系统、支持液冷散热,进一步帮助用户降低TCO。
此外,面对计算服务成本高和研发技术门槛高两大痛点,宝德提供了人工智能管理平台PLStack,它基于 Docker + K8s技术实现整合现有计算设备资源,更好的对资源进行分配、管理、调度和监控。一方面,缓解深度学习算法训练的瓶颈,提高资源利用率,从而释放人工智能的全新能力;另一方面,降低 AI 技术门槛,释放AI 技术潜力,帮助用户将更多的精力集中到垂直应用的工作领域。而且,宝德PLStack平台支持多种主流深度学习框架(Tensorflow、PyTorch、Caffe 等),方便快速部署训练环境,并且支持多人在线实验,能够通过更直观的 UI 界面对资源进行高效管理。
如今,AI算力价格持续攀升、成本高居不下成为中国大模型发展面临的棘手问题,商业化转型日益紧迫,更加聚焦政务、金融、文娱、医疗、教育、汽车等行业的行业大模型和垂直大模型成为新的发展方向。大模型时代已来,AI算力共舞!
作为中国领先的算力产品方案提供商,宝德计算将继续发挥技术、市场和生态等整体优势,以性能强大、安全高效、应用适配和卓越性价比的AI产品和解决方案为中国更多的大模型发展和应用提供算力底座,共同助推中国人工智能产业的高速发展,赋能中国数字经济高质量发展!
          *素材源于网络,如有侵权请联系删除
热门推荐

XML 地图