近日，2020浪潮雲數據中心合作伙伴大會(IPF2020)在線上舉行，浪潮重磅發佈全新AIStation人工智能推理服務平臺，這是業界首款智算中心算力調度軟件產品，是專為企業級AI生產環境打造的AI推理服務平臺，可實現推理服務資源敏捷調配，支持多源模型統一調度，使模型部署從幾天縮短到幾分鐘，將有力地幫助企業輕鬆部署AI推理服務，從而大幅提升AI交付和生產效率。
當前，AI模型開發進入到生產部署階段面臨著多重困難和挑戰：AI模型需要經過大量的調試和測試才能部署上線，這一過程通常需要2-3天;AI線上服務計算資源一般較固定，對於突發需求資源響應慢，業務擴展難;AI模型來源不同，統一管理也很困難。企業希望可以無縫銜接AI模型訓練開發與推理部署，進行高效的資源調度和模型管理，縮短業務上線週期。
最新發布的浪潮AIStation推理平臺是企業級AI推理服務平臺，通過彈性可伸縮架構、低延遲輕量化設計、A/B測試滾動發佈、多模型加權評估等重要技術創新，幫助企業高效利用AI計算資源，快速部署推理服務。AIStaion推理平臺具有一鍵部署、快速響應、日誌監控、資源管控、數據處理等功能，是功能全面強大的AI資源平臺。
AIStation推理平臺支持本地On-Premise和雲端Cloud部署，保證服務的可獲得性和業務連續性，實現了AI模型從開發環境到生產部署繁雜過程的自動化快捷操作，將模型部署時間從兩三天降低到幾分鐘。
在資源調度方面，AIStation推理平臺能夠敏捷調配服務資源。採用創新的彈性可伸縮架構，可根據推理服務資源需求的變化及時調整資源配給，將響應突發需求的實例部署時間從幾小時縮短到幾分鐘。並且支持新模型發佈前A/B測試，在實際業務場景中驗證模型有效性，保證推理業務的安全、可靠，同時避免了流量切換所導致的集群負載壓力。
在模型管理方面，AIStation推理平臺實現了多源模型統一調度。通過統一平臺管理多源、多場景模型的推理服務，實時掌控全局資源，對模型服務實現綜合調度和動態部署。同一資源池可同時支持多家模型服務，將資源利用率從40% 提高到80%。並且可實現多模型加權評估，通過對不同預訓練模型的計算結果進行自定義權值設置，有效提升實際業務場景中預測結果的可靠性，構建可靠可信的智能系統，有效降低誤判率。
之前浪潮推出的AIStation訓練平臺已經獲得廣泛應用，該平臺通過計算資源細粒度調度、訓練數據緩存加速、分佈式訓練自動編排等策略，使用戶的AI計算資源利用率提高到90%以上，大幅縮短了模型開發週期。隨著本次浪潮AIStation推理平臺的面世，AIStation資源平臺全面支持訓練與推理兩大場景，實現從模型開發、訓練、部署、測試、發佈、服務的全流程一站式高效交付。
浪潮AI&HPC總經理劉軍表示：“智算中心是人工智能新基建，它生產和供應人工智能計算力，是社會經濟運行的智慧基礎設施。而要讓智算中心充分釋放算力，就需要按需靈活調度算力。AIStation對於智算中心新基建的意義，就相當於電廠和電網的核心調度系統，它能夠根據AI應用需求高效調度AI算力資源，幫助企業加速AI研發創新、提速AI生產交付，讓企業更專注於AI開發本身，從而賦力更多創新可能，加速AI落地應用。”
浪潮是人工智能計算的領導品牌，AI服務器中國市場份額保持50%以上，並與人工智能領先科技公司保持在系統與應用方面的深入緊密合作，幫助AI客戶在語音、語義、圖像、視頻、搜索、網絡等方面取得數量級的應用性能提升。浪潮與合作伙伴共建元腦生態，共享AI計算、資源與算法三大核心平臺能力，助力行業用戶開發並部署屬於自己的“行業大腦”，加速推進產業AI化落地。
