2020,國產AI開源框架“亮劍”TensorFlow、PyTorch

2020,國產AI開源框架“亮劍”TensorFlow、PyTorch

AI技術生態論」 人物訪談欄目是CSDN發起的百萬人學AI倡議下的重要組成部分。通過對AI生態專家、創業者、行業KOL的訪談,反映其對於行業的思考、未來趨勢的判斷、技術的實踐,以及成長的經歷。

2020年,CSDN將對1000+人物進行訪談,形成系列,從而勾勒出AI生態最具影響力人物圖譜及AI產業全景圖。本文為 「AI技術生態論」系列訪談第05期。

百萬人學AI你也有份!參與文章評論,評論區留言入選,可獲得價值299元的「2020 AI開發者萬人大會」在線直播門票一張。

作者 | Just

出品 | AI科技大本營(ID:rgznai100)

2016年,百度PaddlePaddle打響了國產AI框架開源的第一槍。

但多年以後,當中國的AI開發者回首國內開源往事,也準會想起那個由清華、曠視、華為在僅僅七天時間內陸續宣佈AI框架開源的那個2020年的3月末。

在那個3月28日,華為在開發者大會2020上完成了輪值董事長徐直軍在去年8月的承諾,宣佈正式開源MindSpore,這是一款支持端邊雲全場景的深度學習訓練推理框架。

時間撥到四天前,AI獨角獸曠視科技宣佈開源天元(MegEngine),強調這是訓練推理一體化、動靜態合一的工業級深度學習框架。

3月20日,清華大學計算機系圖形實驗室開源AI框架計圖(Jittor),這是由中國學界開源的首個AI框架,直接對標PyTorch。

在短短8天時間裡,來自中國AI開源框架“你方唱罷我登臺”,向AI開源框架領域的霸主們亮劍,這也許會成為國產深度學習框架開源歷史上重要的高光時刻。

深度學習開源框架領域的一個既定事實是,TensorFlow、PyTorch基本兩分天下,從技術能力到生態建設,它們能給AI落地提供有力支撐,可以滿足大部分企業在其中構建自己的AI應用。反觀國產AI開源框架,即便百度PaddlePaddle已開源四年,騰訊Angel、阿里X-DeepLearning等框架也相繼開源,但從市場影響力和使用規模來看,還難與前兩者抗衡。

既然如此,在AI框架“開源”,並擁有完整框架生態的情況下,中國企業和機構為什麼要再另造一套技術輪子,他們自研AI開源框架的價值和意義是什麼?

2020,国产AI开源框架“亮剑”TensorFlow、PyTorch

技術創新空間

AI開源框架的搭建是一項費時費力的大工程。如果沒有超越現有主流框架的想法,去重複造一套沒有技術創新的輪子,“性價比”似乎不高,對技術人員來說吸引力也不大。

TensorFlow、PyTorch的強大毋庸置疑,但其技術能力也並非沒有提升空間。隨著深度學習新技術的出現,任務複雜度不斷提高,由於架構設計和不斷擴充等原因,導致這些主流框架系統變得複雜,架構優化和移植愈加困難,新模型的實際性能還有待提升。

發現這一優化空間後,清華大學計算機系圖形實驗室的博士生團隊希望能有一個在保持高效的同時能適應各種智能硬件,有較強通用性和可擴展性的深度學習平臺。

2020,国产AI开源框架“亮剑”TensorFlow、PyTorch

GitHub地址:https://github.com/Jittor/Jittor

計圖(Jittor)就是這樣一個產物。它採用創新的元算子融合和動態編譯技術,深度優化內存,能有效提升系統的運行性能和通用性,確保實現和優化分離,大幅提升應用開發的靈活性、可拓展性和可移植性。與其他主流框架相比,具有多項先進特性。

實際上,與Pytorch相比,通過在計圖平臺實現ResNet、VGG、SSD、DeepLab、LSGAN等多個網絡模型,計圖的推理和訓練速度達到10%-50%的性能提升。

雖然初出茅廬的計圖還有待持續迭代,但從技術創新角度,中國學術性科研結構要有勇氣和能力去做出開拓性的嘗試。

同樣,AI框架所存在的開發門檻高、運行成本高、部署難度大等亟需解決的問題,也是華為開發MindSpore框架的一大緣由。

在去年CSDN舉辦的2019中國AI開發者大會上,華為MindSpore資深架構師於璠介紹了其三大設計理念:提供一種新的編程範式,執行新模式和全場景按需協同。

“MindSpore與要對標的Tensorflow是完全不一樣的東西。”他稱,這種技術方向有相當的技術先進性,但挑戰比較大,所以華為想在這方面發力。

企業業務需要

除了技術創新外,還要考慮到貼近AI實際業務場景。在這一點上,或許那些基於自身應用場景來構建AI框架的業界企業更有發言權。

依靠數據紅利和龐大的應用場景,中國AI產業應用層的發展遙遙領先。但當AI行業在某種程度上發展到一定階段的時候,AI企業如果不掌握底層技術,就很難支持上層應用以快速迭代。一流科技創始人袁進輝告訴AI科技大本營(ID:rgznai100),“在底層軟硬一體化發展的當下,如果對新框架掌握的不深,就很軟硬件協同設計,在國際上形成一定競爭力。”

2020,国产AI开源框架“亮剑”TensorFlow、PyTorch

GitHub地址:https://github.com/MegEngine

曠視的天元(MegEngine)作為曠視Brain++的核心組件之一,是一套伴隨曠視自身AI產業實戰經驗的框架。

據曠視所說,它從2014年開始研發,2015年全員使用,不過Google在同年發佈並開源 TensorFlow,同樣適用計算圖的方式來做框架對他們造成很大沖擊,但他們發現TensorFlow的性能比自研框架要慢若干倍。

此後,在工業實踐中,他們不斷對底層框架、數據和數據設施進行迭代,最終完成了從研發到業務全面向自有深度學習框架和自有計算集群的遷移。曠視研究院高級技術總監田忠博指出,在過去幾年,曠視在研發過程中遇到了很多行業共通的痛點,而天元的核心特色就是解決這些痛點。

一直到今年3月開源,曠視目前所有的算法都基於天元進行訓練和推理,無論是AI競賽還是工程化、產品化都由其做技術支撐。

2020,国产AI开源框架“亮剑”TensorFlow、PyTorch

GitHub地址:https://github.com/mindspore-ai/mindspore

MindSpore的研發也與華為自身業務接軌有密切關聯。在2018年華為全聯接大會上,華為首次發佈了全棧全場景AI解決方案,包括芯片、芯片使能、訓練和推理框架和應用使能全堆棧方案,可在公有云、私有云、各種邊緣計算、物聯網行業終端以及消費類終端等全場景部署。

顯然,AI計算框架是其AI解決方案中的重要一環。MindSpore首席科學家陳雷表示,MindSpore原生適應每個場景包括端、邊緣和雲,並能夠在按需協同的基礎上,通過實現AI算法即代碼,著重提升易用性並降低AI開發者的開發門檻。

在與華為其他“自研”技術模塊聯動方面,MindSpore上接其發佈的業界首款企業級AI應用開發專業套件ModelArts Pro。在底層支持GPU、CPU等其它處理器的同時,MindSpore也可以與華為昇騰AI處理器的協同優化,實現運行態的高效,大大提高計算性能。

國家新基建戰略

中國AI界爭相構建AI開源框架的背後,技術和業務層面的考量因素當然重要,但也不應忽視國家層面的政策支持。

對於AI基礎設施的建設,中國政府在《新一代人工智能發展規劃》等關於AI頂層規劃的政策中都著重提及,除了加大應用層技術落地,更希望業界和學界深入AI底層技術研發。

近兩年,基礎技術的“卡脖子”話題成為近兩年中國科技界探討的熱點,擔心中國AI的發展會像芯片發展那樣遭遇空中樓閣的困境。而以高文院士為代表的AI專家也在四處佈道“做人工智能必須要做開源,中國要想發展好新一代的人工智能,必須要有高效和風險可控的開源開放平臺”的觀點。

近期,由於疫情衝擊經濟,在政府高層推動下,市場更是掀起一股“新基建”的熱潮,其中以5G、大數據中心、人工智能和工業互聯網組成的數字化基礎設施備受關注。對有雄心發展AI的企業或者國家來說,通過自主研發來掌握AI底層技術無疑是一項重大戰略。

實際上,清華“計圖”項目背後得到了國家自然科學基金委創新群體項目、北京信息科學與技術國家研究中心團隊項目等政府層面的資助支持。

計圖團隊核心開發成員梁盾對AI科技大本營坦陳,中國目前深度學習研究和應用主要依賴於國外平臺,的確面臨著卡脖子的風險,所以一些國內的IT企業也推出了自己的平臺。“中國應該在人工智能生態的全產業鏈上佔有一席之地。”

除了計算框架仍然存在著大量亟需優化解決的問題,華為做MindSpore的另一大緣由是技術戰背景。於璠稱,必須要有自主可控的全場景的計算框架。

2020,国产AI开源框架“亮剑”TensorFlow、PyTorch

計圖、天元、MindSpore的接連開源或許會給中國開發者做硬核開源項目打一劑強心針。

袁進輝稱,中國開發者對開源框架的敬畏之心一直太強,不認為中國團隊能做一套開源框架,但現在對這些開源框架有足夠認識後,再造一個類似Pytorch技術路線的框架難度也不會很大。

“今年應該是國內開源AI框架比較熱鬧的一年,”袁進輝透露,一流科技的OneFlow框架也將在不久後開源,他對國內技術框架的競爭力充滿信心,更重要的是,“中國AI框架的發展也代表國內從應用驅動向更內核的技術研究進發了。”

無論如何,計圖、天元、MindSpore點燃了2020年國產AI框架開源的星星之火,至於未來的影響力是否燎原,是否能真正與TensorFlow、PyTorch一較高低,投票權在每一位開發者的手中。

【end】




2020,國產AI開源框架“亮劍”TensorFlow、PyTorch
  • 百萬人學AI:CSDN重磅共建人工智能技術新生態

  • 清華學霸組團的工業AIoT創企再獲數千萬融資:玩家應推動在邊緣 AI 芯片上跑算法

  • 阿里文娛測試實戰:機器學習+基於熱度鏈路推薦的引流,讓對比測試更精準

  • 另一種聲音:容器是不是未來?

  • 1 分鐘抗住 10 億請求!某些 App 怎麼做到的?| 原力計劃

  • 探索比特幣獨特時間鏈、挖礦費用及場外交易的概念

你點的每個“在看”,我都認真當成了AI


分享到:


相關文章: