GMI Cloud即將亮相WAIC 2025

視頻企業(yè)：世界人工智能大會(huì)

視頻描述：作為全球領(lǐng)先的AI Native Cloud服務(wù)商，GMI Cloud近日正式成為全球六大Reference Platform NVIDIA Cloud Partner之一，并將亮相2025世界人工智能大會(huì)(WAIC)，于7月26-29日在世博展覽館核心主展區(qū)打造沉浸式技術(shù)體驗(yàn)空間，并在FUTURE TECH創(chuàng)新企業(yè)展區(qū)進(jìn)行技術(shù)分享和生態(tài)交流。

在OpenTalk環(huán)節(jié)，GMI Cloud技術(shù)VP將進(jìn)行主題《GMI Cloud Inference Engine在全球范圍內(nèi)的大規(guī)模集群調(diào)度和優(yōu)化》的分享，將深度拆解該引擎面對(duì)熱門大模型推理優(yōu)化架構(gòu)邏輯和技術(shù)實(shí)踐;介紹基于Dynamo的推理引擎實(shí)施P/D分離的具體架構(gòu)設(shè)計(jì)過程，分析分離前后的性能變化，以及這種實(shí)踐在優(yōu)化推理過程中的重要作用;同時(shí)與大家一起探討KVCache的池化策略，說明GMI Cloud Inference Engine是如何通過優(yōu)化訪存方式提高數(shù)據(jù)訪問效率，減少推理過程中的延遲，提升整體性能的。