極致推理性能:大模型推理服務器,采用昇騰8*A1推理模組(Atlas8001A2),提供強勁AI推理能力,適用于33B到-175B之間的大模型推理帶寬專為大模型推理設(shè)計。
CPU性能和擴展:國產(chǎn)自研64 bits高性能48核鯤鵬920 CPU處理器,內(nèi)部集成了DDR4、PCIe4.0、25GE、10GE、GE等接口,提供完整的SOC功能。
高速網(wǎng)絡帶寬:提供白金級電源模塊,50%負載下電源模塊效率高達94%,支持PID智能調(diào)速,節(jié)能降耗,全方面優(yōu)化的系統(tǒng)散熱設(shè)計,高效節(jié)能系統(tǒng)散熱風扇,降低系統(tǒng)散熱能耗。
高效安全:單板硬件采用電信級器件和加工工藝流程,可顯著提高系統(tǒng)可靠性,集成在設(shè)備上的iBMC 管理模塊可用來監(jiān)測系統(tǒng)運行狀態(tài),并提供遠程管理功能,集成了業(yè)界標準的統(tǒng)一可擴展固件接口(UEFI),因此能夠提高設(shè)置、配置和更新效率,并且簡化錯誤處理流程,支持帶鎖的服務器機箱安全面板,保護設(shè)備的本地數(shù)據(jù)的安全性。
應用場景:部署在數(shù)據(jù)中心機房,使能中心推理、內(nèi)容生成、智能問答、搜索NLP、內(nèi)容審核,互聯(lián)網(wǎng)推薦,智能客服。
(來源:思騰合力)