丹稜君有話說：21 世紀第二個十年已經開始，計算無處不在，數字技能的普及和廣泛應用不斷推動全球經濟平衡發展，世界越來越多元、包容，每個人都能夠參與其中推動變革與超越。女性在追求 STEM 領域的夢想時也越來越果敢、執著、坦然。
2020 的女神節要到了，丹稜君為大家準備了一系列“她”在微軟追夢的故事。微軟能夠賦能客戶實現數字化轉型，離不開基礎研究方面的深厚積累，研究員們一次又一次將自己置於未知的挑戰中尋求成長與突破。今天咱們來讀讀京都大學博士、微軟亞洲研究院青年研究員劉蓓的故事，她的研究交融了計算機科學與人文藝術的魅力。
https://arxiv.org/pdf/1804.08473.pdf
這是一首由 AI 根據背景圖片“有感而發”的詩歌。它源於日常生活中的一個畫面，寥寥數語中，靜謐的晴空一覽無餘，霎那的休止中又有微風拂動，語言平實自然，卻真實地給人帶來觸動。
“這首詩最妙的地方，在於末尾句中‘You’的模糊指代，它指的可能是一棵樹，可能是一位朋友，也可能是讀詩的我自己。這是詩歌的魔力，而我們的工作正在創造這種魔力。” 這個極富浪漫氣息的“AI 詩人”研究一舉獲得了 ACM Multimedia 2018 的“最佳論文獎”。
作為論文第一作者的劉蓓，當時是微軟亞洲研究院的一名研究實習生，當她在兩年後的夏天從京都大學博士畢業，再度回到熟悉的微軟亞洲研究院時，已經成為了多媒體搜索與挖掘組的一名年輕的研究員。
正是“看圖寫詩”的研究項目，讓這個喜愛詩歌、電影，富有人文藝術氣息的女生對 AI 創作（AI Creation）產生了濃厚的興趣。劉蓓將主要研究方向從博士時期的圖像檢索轉向了 AI 創作，她希望自己的研究可以在絕對理性的算法模型與人類的光韻——藝術的力量、豐沛的情感與創作的激情中，找到某種奇妙的方式，將它們交融在一起。
突破 CV 與 NLP 的邊界，賦予 AI 創作力
當人類遇到動人的場景時，總能以充盈的情感和豐富的意象傳達當下的思想感情。談到讓 AI 進行創作的初衷，劉蓓說：“當時讓 AI 從圖片生成文字描述的工作大多都在關注文本的準確性，但我認為讓 AI 根據圖片進行詩歌創作是更為有趣，同時難度也更高的課題。我也期待 AI 的創作能力能為大家帶來審美體驗，讓更多人對詩歌這樣的文學藝術產生興趣。”
在看圖寫詩任務中，AI 不但要用充滿想象力的方式自由探索圖像中的關鍵信息，還要用有詩意的語言進行表述，這是計算機視覺與自然語言處理兩個領域的聯姻。AI 的表達不僅要與圖像內容高度相關，還要符合一種連人類都難以捉摸的標準——富有“詩意”。
為了讓 AI 更好地傳達圖片中的意境，劉蓓將圖像理解與詩歌生成納入了一個整體框架，由一個深度集成嵌入模型（Deep coupled visual-poetic embedding model）和一個基於 RNN 的生成模型共同進行聯合學習，再採用序列學習用採集的 MultiM-Poem(Ex) 數據集進行模型訓練，從擴展數據集中提取和建模更多有助於產生“詩意”的信息。最後，兩個鑑別網絡通過多重對抗訓練，對生成詩歌與圖像的關聯性和詩意進行獎勵和優化。這樣的方法讓 AI 的表情達意與圖片高度相關又富有絕妙的想象力，這項研究也讓微軟小冰擁有了“看圖寫詩”的新技能。
劉蓓的“看圖寫詩”研究項目獲得 ACM Multimedia 2018 最佳論文獎
正式加入微軟亞洲研究院後，劉蓓還和研究團隊一起與微軟的產品部門合作了一些有趣的研發項目。例如，為了在 PowerPoint 中為用戶推薦更加多樣化的背景圖片，劉蓓和 Office 團隊合作，共同開發了在不降低圖片質量的情況下改變圖片配色的技術，讓每一張圖片都能自動變換多種合理的配色，這個技術不僅讓用戶在設計自己的 PowerPoint 過程中能夠一鍵獲得心儀配色的圖片，也省去了不少搜索和處理圖片的時間。
PowerPoint 背景圖自動更換配色技術
“我們也一直在探索更多有意思的研究，比如根據一段文字故事生成一組圖片的故事板（Storyboard），結合更多情感和美學因素變換圖片的整體風格等等。這些技術正在陸續轉化到微軟的產品中，期待我們的研究能為用戶的日常工作帶來更多便捷和美感。”劉蓓說。
“第一個吃螃蟹”的勇氣
由於對日本文化十分感興趣，劉蓓在南京大學完成本科學習後，在日語完全零基礎的情況下踏上了京都留學之旅。
儘管國際課程大多采用英語授課，但當她抵達全然陌生的城市，推開實驗室的大門，實驗室秘書連珠炮似的日語著實讓她體會了一把日語“苦手”的難處。
在接下來幾個月裡，劉蓓開始通過學校開設的課程“惡補”日語，漸漸地能夠在日常生活中用日語進行對話，“只要你敢開口，當地人都會非常友善地和你交流，迎面而來的登山客都會熱情地和你打招呼。而且你會發現日本的年輕一代英語非常好，完全打破你可能抱有的‘日式英語’的刻板認知。”
在讀博期間，劉蓓的兩位導師田中克己教授和吉川正俊教授都非常鼓勵大家獨立進行探索性的研究。在吉川正俊教授眼中，劉蓓勤奮而具有高度的自驅力，她在博士期間執著於尋找嶄新的研究選題，並一個人投入其中進行探索性地嘗試。“有時會感覺很吃力，甚至成果也不太顯著，但是這種尋找全新問題、完整地完成獨立研究的過程對我的成長來說非常重要。”劉蓓認為，做研究最不可缺少的就是這種“第一個吃螃蟹”的勇氣。
京都大學還有一項特殊的要求，在給學生配備本校導師的同時，還需要另一位來自其他高校或科研機構的學術導師共同參與指導。校內外雙導師的制度也為劉蓓的博士生涯帶來了更寬闊的學術視野，讓她體會到了切換思維、從不同的角度去思考問題的重要性，瞭解主要方向之外的研究也時常會給她帶來新的啟發。
劉蓓（左二）與京都大學導師吉川正俊教授（右二）以及小導師加藤誠（左一）在實驗室
也正因為實習時產生的興趣，劉蓓果斷地轉換了研究方向。無論是“看圖寫詩”這樣的文本生成，還是圖像生成和藝術風格轉換，每每跨入一個新領域，都是一次從零開始，而劉蓓總是抓住機會，一次又一次將自己置身於陌生的挑戰中，讓自己在短時間內快速地成長起來。
6年的留學生涯也給劉蓓留下了許多難忘的經歷和文化體驗。每年年末，她所在的實驗室都會根據日本“忘年會”的傳統習俗共同辭舊迎新。實驗室將來自中國、日本、泰國、波蘭、法國、西班牙等國家的同學們匯聚在一起，不僅讓劉蓓收穫了來自五湖四海的真摯友誼，也讓她對多元的文化和見解產生了更深入的理解和包容。
劉蓓感受最深的是，日本注重細節體驗、絕不給他人添麻煩的思維滲透到了生活中每一個細緻入微的角落，譬如街邊隔100米必有自動販賣機，施工地段在封閉的同時，還會安排專人24小時照看以防路人碰傷。這樣的文化環境也讓原本就細心的劉蓓在待人接物時更能將心比心，關照他人的情感和體驗。
當然，漫長的求學和科研道路需要披荊斬棘。在研究起步的早期，長時間沒有論文發表，課題接連被導師否定，這些都會伴隨著焦慮、沮喪，甚至自我懷疑。在劉蓓博士畢業時，實驗室有不少同學沒能堅持完成博士學業，劉蓓覺得很可惜，“常年求學異國他鄉，心理防線確實很容易脆弱，但我認為，既然選擇了讀博，就要有一顆堅毅的‘大心臟’，不要因為一時的困難而放棄。”
劉蓓（前排左二）與導師田中克己教授（前排左一）及實驗室小夥伴一起出遊
拒絕標籤，擁抱蛻變
作為 STEM 領域“少數派”中的一員，劉蓓認為自己的成長環境總體來說十分友善，但有時，偏見恰恰暗藏在一些看似“友善”的表達中。
劉蓓清晰地記得博士期間的一次團隊合作項目，小組中的男性成員想當然地為了“照顧女生”而給劉蓓分配了 UI 這樣的“更輕鬆的任務”，而由男生們來承擔最主要的算法與開發工作。這讓劉蓓一瞬間心情複雜， “這並不是他們所以為的‘女生在享受性別帶來的優勢’，而是一種偏見和不公。”
這件事讓劉蓓意識到，傳統的性別分工觀念依然根深蒂固地存在於許多人的腦海中，他們會自然而然地認為“編程”是一項更具有男性氣質的工作。除了外界貼上的標籤，更可怕的是從內心給自己套上枷鎖，“承認”自己不擅長某方面的工作而放棄努力。
而劉蓓想要告訴更多對科技領域感興趣的女生，女性的編程能力完全可以非常紮實和強大。無論是讀博，還是從事科研，女生都有很多優勢，比如細緻耐心，善於溝通表達，能夠全面地思考問題，並提出一些創新性的獨特視角。這些與生俱來的特點都足以讓女生在計算機領域中出類拔萃。
劉蓓在微軟亞洲研究院 Kick Off 晚會上擔任主持
讀博期間在微軟亞洲研究院的半年實習，不僅將劉蓓引入了 AI 創作研究的大門，更讓她被微軟亞洲研究院自由開放的氛圍和環境深深吸引。
多元與包容的文化深深地鐫刻在微軟的基因中。微軟關注女性的成長與職業發展，也為女性群體間的交流、共情、互助提供了很多機會，在微軟舉辦的多元化論壇 Ada Workshop 和 Global Women’s Conference 等活動中，優秀的女性研究者、工程師、學術界教授和產業界管理者會分享前沿技術、科研經歷與工作生活的感悟，為更多女性傳遞經驗和力量。
劉蓓非常享受微軟亞洲研究院的工作和學習氛圍，因為無論是研究選題方向，還是和微軟內部不同的產品組合作，都可以跟隨自己的好奇心，去將腦海中的創造力和想法實現。
在從實習生到研究員的角色轉換中，微軟亞洲研究院主管研究員傅建龍也給予了她很多幫助，“從當我的實習 mentor 到現在指導我當 mentor，建龍幫助我更好地給公司的產品提供最新的技術研究支持，也讓我更好地作為 mentor 給實習生提供指導建議。”劉蓓認為自己有了不小的收穫，也對未來廣闊的成長空間有了更清晰的認識。
劉蓓（前排左二）與傅建龍（後排右二）和微軟亞洲研究院研究團隊
“我很高興看到現在學習計算機的女生越來越多，很多大公司也正在給女生提供更多的機會，” 微軟亞洲研究院每年舉辦多元化論壇 Ada Workshop 時，劉蓓都會鼓勵身邊的實習生們去參加，“微軟非常鼓勵女性為自己發聲。
我希望大家能夠更有勇氣去探索未知、把握機會，發掘自己內在的潛能，更加大膽、自信地去追求心之所向。”“我也希望更多女性同胞們意識到，當妳遇到瓶頸與挫折，沮喪與焦慮，妳不是一個人在戰鬥，千千萬萬的女性擁有相似的經歷，我們都和妳一樣，是推進當下科技世界進步的一份力量。”
閱讀更多 微軟丹稜街5號 的文章
