• 信创决策 | 基于热潮平台的全栈国产化智算中心

  • 发布日期:2025-01-15 05:59    点击次数:164

    信创决策 | 基于热潮平台的全栈国产化智算中心

    编者按:热潮积极反应国度和行业对智算中心的进攻需求,鸠集生态伙伴打造全栈国产化智算中心治理决策,举座系统架构包括智算芯片、智算开辟、智算操作系统、智算平台、国产大模子、智能期骗等 6 个部分,确定如下。

    剪辑|信创纵横公众号(ID:xinchuangzh)

    出品 | 安东责任室

    作家|热潮行业治理决策

    转载|请注明出处

    决策布景形容伸开剩余88%

    现时,以东谈主工智能技艺为代表的新质坐蓐力,勾引各行业智算需求爆炸式增长。智算中心手脚最雄壮的算力基础尺度,是大模子、图像类、当然言语类、瞻望类等智能期骗的 “能源引擎”,为各种智能化业务场景提供安全、踏实、高效的算力相沿,知足国度和行业需求,同期可有用带动关连产业增长,助力行业数智化转型和数字中国建造。

    决策技艺架构

    热潮积极反应国度和行业对智算中心的进攻需求,鸠集生态伙伴打造全栈国产化智算中心治理决策,举座系统架构包括智算芯片、智算开辟、智算操作系统、智算平台、国产大模子、智能期骗等 6 个部分,如下图所示。

    该决策以热潮新一代高性能 CPU 热潮腾云 S5000C 为算力底座,兼容多款国产 AI 加快卡,杀青通用算力与智能算力的异构会通,以此为基础研发国产 AI 行状器,瞎想稳当大限制集群部署的智算中心汇集拓扑,构建存算一体的智算平台体系架构,相沿大模子检修推理等期骗,可为行业期骗提供从端到云的智能化算力行状。

    智算中心中枢单位

    智算底座

    智算中默算力底座基于热潮新一代行状器芯片热潮腾云 S5000C 和国产 AI 算力卡。其中 S5000C 蓄意性能坚定,IO 费解量大,支握 DDR5 和 PCIe 5.0,可知足 AI 蓄意高带宽、低延长的技艺需求;国产 AI 算力卡具备自主可控、机动拓展的本性,在性能上连续追逐并部分超过国际主流居品。

    当今,热潮腾云 S5000C 已与国产主流 AI 算力卡完成适配,整套智算中默算力底座具备自主化进度高、体系布局、生态绽放、高可蔓延、高性价比、平滑迁徙等本性。

    整机

    基于热潮腾云 S5000C 的智算开辟居品多种种种,包含 2U/4U AI 行状器(2、4、8卡)、OAM 行状器、高速交换机、全闪存储行状器、智能网卡等,上述居品可单独或开脱组合造成老练的举座决策,知足智算中心的种种算力需求,对标国际先进算力水平。

    智算中心PoD单位

    在单个机架上集成了 AI 行状器、存储行状器、不断行状器、交换机等开辟,用于深度学习模子的大限制检修和推理。PoD单位可支握 32 张加快卡协同责任,袭取 200G 低延长汇集和固态存储决策,既可手脚零丁蓄意开辟杀青开箱即用,亦可手脚 AI 行状器集群的基本构成单位,杀青大限制集群设置。当今 PoD 单位已适配多家厂商 AI 加快卡,打造出从高性能到高性价比的多套设置决策,具备超强算力、超强拓展性、超高易用性、低 TCO、可一体化寄托的本性。

    千卡万卡集群

    基于 PoD单位格式可将 AI 行状器集群蔓延至千卡、万卡限制,造成 AI 算力弹性资源池,借助智算平台不断软件和高性能汇集互联技艺,杀青算力资源斡旋纳管、高效转化、智能运维。AI 行状器集群支握大限制的数据处理和复杂的蓄意任务,适用于大模子检修推理场景,性价比高于国际主流集群决策,可为各种智能期骗提供坚定、可控的智能算力。

    大模子适配

    基于热潮 AI 算力底座适配了 LLama 系列、智源、云天励飞,智谱华章、通义千问、百川智能等开源大模子,可开展全量检修、微调、推理等技艺,知足不同业业场景客户的需求。联袂国内加快卡厂商,检修场景上,适配 Megatron-LM、deepspeed 等流行检修框架;推理场景适配vllm 推理框架,通过集群性能举座优化,杀青云霄巨额量、高恶果的检修、推理任务。

    骨子测试终结走漏,4 机 32 卡,70B 大模子检修达到 249 tokens/s/p,性能达到 x86+海外主流 AI 居品的 93% 傍边,整机资本为其 85%。概括性价比是其 109%。通过性能和整机资本的握续优化,性价比会进一步普及。

    信创决策上风

    热潮智算中心决策具有以下 6 点上风:

    自主化进度高‍‍‍‍

    智算中心底座全栈均袭取国产居品(CPU、整机、AI卡、网卡、交换机等)。

    体系布局

    掩饰芯片、整机、集群、软件、大模子等,打造云、边、端全栈技艺体系。

    生态绽放‍‍‍‍‍‍‍‍‍‍

    兼容国表里主流智算居品技艺阶梯,智算生态绽放。

    高可蔓延

    蔓延性强,集群限制可蔓延至千卡万卡级别,支握多种 AI 卡异构混杂并行。

    高性价比

    性价比高于海外居品,并可握续优化。

    平滑迁徙

    兼容 CUDA 生态,可应答杀青软件系统迁徙,迁徙用具丰富、资本低。

    信创典型期骗案例

    热潮国产智算中心治理决策绝顶适用于国度机关和央企各行业,包括:政务、金融、电信、电力、能源、交通、锻练等,支握特有化部署及快速机动蔓延,现已在物流、交通、金融行状等央企落地期骗。

    典型案例1

    某央企百亿参数级别大模子模样,支握代码撰写、文档自动生成处理等办公场景,支握自动收尾及故障瞻望等系统使用,杀青开辟智能运控。

    决策选型:

    袭取热潮腾云 S5000C 的国产 AI 行状器决策替换 N 厂决策,移植资本低,兼性价比高,杀青算力纳管及 LLAMA2 大模子检修。

    典型案例2

    某央企园区智谋化不断平台模样,基于园区部署的多路高频录像头汇集数据,通过算法实期间析视频流,杀青园区功课安全管控和灾害智能识别,提供智能运营决策和智能助理行状,同期开展大模子检修和视觉模子等多种业务。

    决策选型:

    袭取热潮 CPU + 国产 AI 卡 + 麒麟操作系统的宇宙产化决策,近 200 张检修推理卡,支握 33B 模子全量检修、增量预检修和微调。

    典型案例3

    某金融企业大模子期骗平台模样,提供大模子检修行状,支握金融风控、贷款征信等业务场景。

    决策选型:

    袭取热潮智算中心一体化PhyPOD决策,快速搭建PhyPOD节点集群,通过200G汇集交换机杀青多台4U8卡AI行状器、存储行状器的高速互联,支握金融大模子检修、微调、推理。

    发布于:北京市