更大的 GPT-2 模型已經可用了，你還在等什麼呢？
幾個月前，OpenAI 發佈了強大的通用語言模型 GPT-2，而在宣佈這個好消息沒多久之後，它又宣佈要與開源「say goodbye」。理由是：GPT-2 太好用了！要是不小心被壞人利用怎麼辦？？
對於這個理由，廣大吃瓜群眾表示：呵呵……
說正經的，對於這個理由，AI 社區是無法接受的。自 OpenAI 表示不開源的理由之後，Reddit 上就掀起了明嘲暗諷的血雨腥風……
機器學習社區發起了一個暗諷 GPT-2 的帖子：為了防止濫用，我是不是不應該公佈在 MNIST 訓練的 23064 層殘差網絡？
除了這種明顯的嘲諷，還有理性的機器學習人士認真地陳述了自己反對 OpenAI 這種做法的理由：條理清晰，有理有據，在 reddit 上獲得大量支持（詳情請看「OpenAI 被諷 ClosedAI？語言模型並沒有想象中的強大」）。
可能是反對的浪潮比較大，也可能是因為被人家說的理由戳中了。總之，OPenAI 最近開始開放 GPT-2 模型。
OpenAI 在其博客上表示：
我們正採用兩種機制來發布 GPT-2：分階段發佈和基於夥伴關係的共享。作為分階段發佈的下一步，我們將先公佈參數為 3.45 億的模型。而對於致力於提高大型語言模型的 AI 和安全社區合作伙伴，我們將與之分享 7.62 億和 15 億參數的模型。
也就是說，OpenAI 準備逐步一點點公開 GPT-2模型，或者基於合作伙伴的關係給對方分享更大參數的模型。對此，OpenAI 同樣給出了自己的理由。
分階段發佈
分階段發佈包括一系列模型的逐步發佈。這樣做的目的是給人們足夠的時間來評估這些模型的特性，討論其社會影響，並評估每次發佈帶來的影響。
作為分階段發佈策略的下一步，OpenAI 將發佈 3.45 億參數的模型。相比 1.17 億參數的模型，這個版本的模型性能有所提高，但在生成連貫文本的能力方面，它還不及 15 億參數的模型。
雖然相比 1.17 億參數的模型，3.45 億版本被濫用的風險更高，但這還是比 15 億版本的風險要低多了。而且，OpenAI 認為，很多人已經有能力獲得 3.45 億版本需要的訓練系統。這種不斷髮展的復現環境也為其發佈決策提供了參考。
決定發佈 3.45 億參數的模型時，OpenAI 考慮了以下因素：（不同用戶）生成連貫文本的不同尺寸模型的易用性、人類在文本生成過程中的作用、未來被其他人復現和發佈的可能性和時間、被濫用的可能性、關於不可觀察使用的專家知情推論等。OpenAI 仍無法確定其中一些因素，並且希望機器學習社區能夠繼續給出關於正確發佈模型的建議。
OpenAI 希望正在進行的關於偏見、檢測和濫用的研究能夠給予其及時發佈更大模型的信心。六個月之後，他們將分享關於語言模型社會影響的更全面分析以及對發佈決策的啟發。
基於合作伙伴的分享
自 2 月份發佈 GPT-2 並宣佈不將其開源以來，OpenAI 和諸多外部研究人員、科技公司以及政策制定者就其發佈策略和日益龐大的語言模型的影響進行了對話。他們還在活動中介紹和討論了其研究，包括與 Partnership on AI 組織共同舉辦的晚宴活動和在華盛頓 DC 全球參與中心（Global Engagement Center）向政策制定者做的展示活動。
現在，OpenAI 正與學術機構、非盈利組織、工業實驗室建議合作伙伴關係，這些組織機構都致力於提高社會對大型語言模型的準備程度。OpenAI 與這些組織分享了 7.62 億參數和 15 億參數的模型，以促進對語言模型輸出檢測、語言模型偏差分析和緩解以及模型濫用可能性分析的研究。
雖然，對於機器學習社區的廣大研究者來說，當前能用的 GPT-2 模型不是很大，但好歹是能用了，而且以後會放出更大的模型。這下，OpenAI 終於不負其名了。
參考來源：https://openai.com/blog/better-language-models/#update
閱讀更多 機器之心 的文章
