點擊上方關注,All in AI中國
近段時間人工智能一直都很火但是,許多人想要入駐這個領域仍然無從下手,本文將為大家解決這一問題,如何準備機器學習工程師以及它面臨什麼樣的問題。
數據科學與機器學習工程
讓我們從定義本身出發。什麼是機器學習工程?這是一個新事物嗎?這與數據科學家21世紀所謂最性感的工作有什麼不同?
當人們發明數據科學家這個術語時,他們正在尋找擅長以下方面的“超級英雄”:
數據科學家應該做什麼?
1.獲取數據、清理數據、識別問題並提出正確的問題,併為不同的KPI設置正確的措施。
2.進行必要的統計分析,得出關於解決方案的不同假設
3.使用統計方法驗證不同的建議解決方案。
4.在某些時候,解決方案可能不僅僅是一個數學模型(方程式),它可能包括一些需要使用機器學習的複雜性。因此,通過不同的迭代開發合適的ML模型成為一個必要的措施。
5.一旦該模型準備就緒,您需要設計一個工程系統,除了需要確認工程以確保該模型持續有效的其他方面之外,還將為該模型提供服務。
6.對模型結果進行必要的連續分析和調查,並進行必要的監控。
由於人類獲取知識的能力有限,還得跟上每個不同子領域的不間斷變化,因此專業化成為必須項。我們開始看到在前面提到的工作流的不同領域中工作的不同工作簡介。
例如,一些數據工程師/科學家對基礎設施更感興趣,專門從事數據工程。這給了他們更多的帶寬來吸收不同分佈式處理系統的內部特性(例如:Apache Spark,Apache Hadoop,..等),因此能夠擴展這些系統來處理非常自定義的用例,而這些用例使用標準api可能不容易處理
我們這裡會列出6個概要文件,這些配置文件共同組成一個能夠推動其組織數據驅動的數據團隊,然後在後期進行AI驅動。
數據分析師數據科學家數據工程師機器學習工程師數據架構工程師數據運營儘管如此,很難將這一點推廣到每個組織,因為每個組織的需求和規模都是決定因素,同時考慮數據團隊保護傘下每個概況之間的界限。
什麼是機器學習工程師?
這裡會引用Oreilly的優秀文章,該文章對機器學習工程師的描述如下:
如何獲得經驗?