近日,浪潮信息正式推出元脑R1推理服务器,通过系统创新和软硬协同优化,单机即可部署运行DeepSeek R1 671B模型,帮助客户显著降低DeepSeek R1全参数模型的部署难度及成本,并提升推理服务性能,加速千行百业探索智能涌现。
当前,DeepSeek开源多版本模型,助力各行业加速应用大模型技术推动业务升级转型。其中,DeepSeek R1 671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力,但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求:在FP8精度下至少需要约800GB显存承载,FP16/BF16精度下需要1.4TB以上的显存空间;此外,DeepSeek R1是典型的长思维链模型,具有短输入、长输出的应用特点,推理解码阶段依赖更高的显存带宽和极低的通信延迟。面向671B模型的算力特征和系统需求,元脑R1推理服务器提供领先的显存容量、显存带宽和通信速度,能够助力企业高效完成DeepSeek全参数模型的本地化部署。
元脑R1推理服务器NF5688G7是领先的高算效AI计算平台,原生搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失。在显存方面,提供1128GB HBM3e高速显存,满足671B模型 FP8精度下不低于800GB显存容量的需求,单机支持全量模型推理情况下,仍保留充足的KV缓存空间。显存带宽高达4.8TB/s,完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征,在推理解码阶段可实现极致加速。在通信方面,GPU P2P带宽达900GB/s,保障单机部署张量并行最佳通讯性能,基于最新推理框架单机可支持20-30用户并发。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供成熟的R1服务器集群Turnkey解决方案。
元脑R1推理服务器NF5868G8是专为大推理模型(Large Reasoning Model)创新设计的高吞吐推理服务器,业界首次实现单机支持16张标准PCIe双宽卡,提供高达1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIe Fabric的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。
浪潮信息是全球领先的IT基础设施产品、方案和服务提供商,通过发展新一代以系统为核心的计算架构,打造开放、多元、绿色的元脑智算产品和方案。浪潮信息致力于AI计算平台、资源平台和算法平台的研发创新,并通过元脑生态携手领先伙伴,加速人工智能的创新和应用落地。
成都GPU服务器定制:028-85041134, 18380340549
英特尔于3月14日发布了酷睿14代家族的顶级限量版本处理器,即酷睿i9-14900KS,国行定价为6299元。这款处理器是英特尔史上首次将PC处理器的加速频率提升至惊人的6.2GHz,比上一代限量版i9-13900KS高出了200MHz。i9-14900KS是i9-14900K的特挑加速版,拥有8P+16E 24核心32线程、32MB二级缓存、36MB三级缓存、UHD 770核芯显卡等配置,内存支持DDR4-3200、DDR5-5600,最大容量达192GB,扩展支持16条PCIe 5.0、4条PCIe
浪潮NP3020M7是新一代入门级单路塔式服务器,专为远程办公环境、邮件以及打印服务等整体解决方案提供可靠的硬件基础。可根据客户实际应用环境,灵活扩展,满足客户不断变更的应用需求,应对不断变更的运行环境。
浪潮NP5570M5是全新一代中高端双路塔式服务器产品,具备出色性能、灵活扩展、稳定可靠等特性。
浪潮NF5280M7支持英特尔®至强®第四代/第五代可扩展处理器,在计算性能、存储性能及可扩展性方面均实现极致设计;支持前、后IO维护等多元部署方式,打破传统数据中心运维瓶颈;融合诸多业界先进技术,导入液冷、EVAC等高效散热模式;同时秉承开放创新、极致精益、绿色节能、智能高效的四大设计理念,以百变形态面对各行各业多样化场景需求。
1U空间实现性能、密度、扩展性最大化设计,适用于高性能计算,虚拟化等多种计算密集型应用场景,满足高密数据中心部署。
浪潮NF5266M6是一款高密度机架式存储服务器。
浪潮NF5270M6是一款中端2U服务器,以精简设计理念为小型虚拟化、数据库、办公OA系统等应用场景量身定做的服务器。
浪潮NF5280M6是搭载第三代英特尔®至强®可扩展处理器的一款双路旗舰通用机架式双路服务器,保持了一贯的高品质、高可靠的表现,以强劲的计算性能,完善的生态兼容,灵活百变的配置变换满足各行业应用配置需求。
NF8260M6 是为针对CSP企业客户等需求,基于全新一代英特尔®至强®可扩展处理器设计的一款2U4路机架式服务器。在有限的空间内保证更高计算密度的同时,为企业级客户提供降低云计算数据中心TCO的解决方案。
NF8480M6是搭载第三代英特尔®至强®可扩展处理器的一款高端四路机架式服务器。该产品以强劲的计算性能,模块化的灵活设计,卓越的扩展性,更优的可靠性和安全特性,为客户数据密集型关键业务而优化,适用于大型交易数据库、内存数据库、虚拟化整合、高性能计算、深度学习以及ERP等应用场景。
浪潮NF5468G7具备卓越多元算力性能、极致弹性架构扩展的全新一代人工智能服务 器,4U空间内部署8颗最高性能GPU,可根据应用场景实现拓扑切换。搭载2颗Intel第四代/第五代至强可扩展处理器,提供多达112个处理器 核心、8TB系统内存和300TB本地高速存储,面向深度学习、元宇宙、AIGC、AI+Science等复杂应用场景,打造智算时代最强适应性 多元算力平台。
NF5468M6是浪潮信息畅销海内外的弹性AI服务器NF5468系列的最新旗舰产品,支持业界多种主流AI加速卡,广泛适用于互联网AI公有云、企业级AI云平台和视频编解码等场景。NF5468M6提供超大本地存储,单机支持Balance/Common/Cascade三种拓扑软件一键切换,灵活应对不同AI应用场景性能调优需求。
国产信创服务器 信创机架式服务器 安全可控服务器 浪潮信创服务器 浪潮CS5260H2 成都浪潮服务器代理商
国产信创服务器 信创机架式服务器 安全可控服务器 浪潮信创服务器 浪潮CS5260H2 成都浪潮服务器代理商