在 2020 年 CES 結束之後，陸續有多家國內外媒體報道了一家名為“鉑巖科技”（RayShaper）的中國初創公司，他們在 CES 上展出了一款智能攝像機 RayShaper Bee，這款攝像機受到包括 CNBC、CNN、Bloomberg、CCTV2 在內的多國權威媒體的高度關注，還被 IEEE Spectrum 評選為 CES2020 十大最佳新發明（gadget）之一。
那麼，Rayshaper Bee 到底有什麼新奇之處呢？
它是一套可自由組合的攝像機陣列，不同於其他無法自由組合的攝像機陣列，Rayshaper Bee 依託背後的一套智能攝像系統，通過算法將陣列中不同攝像機拍攝到的信息實時地融合在一起，不僅實現了前所未有的超高分辨率，通過算法的實時配置、控制和信息融合，它還可以提供超大動態範圍拍攝、沉浸式體驗、3D 建模、自由視角觀看、智能視頻個性化編輯等多種頗具開創性和想象力的智能功能。
圖 | （從左往右）鉑巖科技 CEO、IEEE Fellow、清華大學溫江濤教授，世界知名物理學家、瑞士蘇黎世聯邦理工學院院長 Joel Mesot 教授，世界知名信號處理專家、IEEE Fellow、瑞士洛桑理工學院院長 Martin Vetterli 教授，鉑巖 CTO、IEEE Fellow、JPEG 標準組織主席、瑞士洛桑理工學院 Touradj Ebrahimi 教授（來源：鉑巖科技）
可自由組合的智能攝像系統
吸引大眾眼球的這款攝像機陣列外形像蜂巢，單個攝像機平面呈六邊形，可以用不同數量、不同配置的攝像機組合成一個相機陣列。這種攝像機陣列利用智能算法，視頻幀率下實時將相機陣列的海量數據融合成可以滿足專業應用的超高分辨率視頻，並支持多種呈現形式和多種智能功能，提供前所未有的視覺體驗和應用效果。
根據 RayShaper 的官網顯示，這套攝像系統可提供十億像素的等效分辨率，比最先進的單鏡頭相機系統高 2 個數量級。RayShaper 在接受外媒採訪時表示，該系統可以將遠處模糊、失焦的物體變成清晰、高分辨率的圖像。
從以上視頻可以看出，相比於普通的相機，RayShaper Bee 能在更遠的距離裡拍攝到動態範圍更大的、清晰度更高的圖像。
RayShaper Bee 在捕捉 “大場景、小細節” 上的出色表現，也意味著它未來有可能在諸多場景的應用中脫穎而出，比如田徑比賽、滑雪這樣大場景的動態拍攝，比如野生動物監控等安防監控場景，甚至可以用於自動駕駛 ADAS。
我們不得不提到的，還有 Rayshaper Bee 可自由組合的特性。基於自由組合，未來就可以根據不同的實際場景需求進行便捷的定製和裁剪，相對低成本、更靈活地實現子彈時間、複眼視覺、高清視覺等視覺體驗和應用。
普通相機用到的傳統的光學成像技術，大都基於單目視覺原理。而 RayShaper 更像是一種複眼成像技術，採用類似於昆蟲眼睛的仿生結構，通過神奇的複眼算法有機組合多個單目鏡頭，呈現一個和單目成像體驗一致、同時具有超高分辨率的畫面，實現寬、遠、清的拍攝。
圖 | RayShaper Bee（來源：IEEE Specturm）
“尤其在一些沒有腳本的視頻拍攝中，通常的拍攝方式主要是依靠攝像師的直覺來捕捉有意思的鏡頭，但這往往會錯過一些精彩瞬間。”RayShaper CEO 溫江濤在接受媒體採訪時表示。利用組合攝像頭陣列和算法，一場大型的 8k 賽事可以智能剪輯出很多 4k 或者 HD 的視頻。
革新視覺信息處理的基本架構
“一個挑戰在於，摩爾定律的終結已經無法滿足現代應用對分辨率越來越高的要求，另一方面，儘管計算機視覺需要大量的數據，但現有的很多數據不是給機器學習看的”，溫江濤說，“因此，用於機器的攝像機確實需要一種新型的圖像傳感器，可以直接把光子轉換成計算機視覺任務。”
拋開相機分辨率、處理器本身的瓶頸不說，傳統的計算視覺主要依賴於傳感器和處理芯片的組合，這種 “感”“知” 分離不但造成計算視覺運算能耗過高，同時過高的延時也會帶來很多應用層面的障礙。
目前來看，單方面升級處理器並不能從本質上解決問題。過去對圖像的理解停留在像素，對視頻的理解停留在幀，RayShaper 想到另一條基於生物視覺的開創性的思路，可以用一種新的視覺信息表現形式將 “感”“知” 融合，用更有效率的新架構呈現視覺信息，同時兼顧質量、能耗和成本。
圖 | “感”“知”分離與 “感”“知” 融合（來源：RayShaper）
RayShaper 提出了 VPU 的概念，需要提到的是，VPU 一般會讓人想到 Video Processing Unit，但在這裡其實是 Visual Perception Unit，即視覺感知單元，而非視頻處理單元。從原理來看，這似乎更貼合生物視覺的處理方式。
VPU 是由大量可以直接在本地處理光子信息的處理元組成的，目前需要多個芯片才能完成的任務，或許一塊 VPU 就能實現。這樣一來，功耗、延時和芯片面積的表現一定會比現有芯片高出許多。
據外媒報道，RayShaper Bee 的價格仍在浮動，目前，一個有三四個攝像頭的陣列價格大概在 5 萬美元左右。“這個陣列可以使用專業的攝像機和傳感器，支持專業級應用對工作環境、鏡頭、配件的支持。對於個人消費者，我們也有消費級的相機配置。”溫江濤說。
圖 | 鉑巖科技 CEO 溫江濤向 CNN 記者介紹 RayShaper Bee（來源：鉑巖科技）
RayShaper 成立於 2017 年，團隊由來自清華大學的溫江濤教授擔任 CEO。他於 1996 年在清華拿到博士學位之後，在美國從事十餘年多媒體通信和網絡的研究及標準制定工作。隨後回母校計算機科學與技術系任教授。在多個國際學術組織任職，是 IEEE Fellow，擁有數十項國際專利和多項產生了深遠影響的研究成果。
瑞士 EPFL 的 Touradj Ebrahimi 教授擔任董事長和 CTO。 Touradj Ebrahimi 是 JPEG（Joint Photographic Experts Group , 聯合圖像圖形專家組）的召集人，IEEE Fellow, 在多媒體信號處理、圖像和視頻處理方面資歷頗深。
清華大學研究院韓宇星教授擔任 COO，韓教授自 2011 年從 UCLA 博士畢業後，先後任職於美國高通，美國思科和蘇黎世聯邦理工大學迪士尼研究中心，在圖像與數據傳輸方面有很強的技術功底。
圖 | 去年 8 月，RayShaper 參與實現了 5G+8K 技術在國際重大賽事中的首次示範應用（來源：RayShaper）
去年，RayShaper 作為國內唯一擁有符合要求的 8k 超高清編碼器的公司，參與了國慶 70 週年慶典活動 8k 全鏈條實戰直播；首次採用 5G+8k 技術進行了籃球世界盃的賽事直播；隨後還完成了全球首例 5G 手機接收 5G+8k 直播、全國首例 8k 超高清視頻衛星轉播。
據瞭解，RayShaper 的核心技術還入選了 2022 冬奧會雲轉播平臺，這意味著它將正式進入體育直播和其他非腳本事件攝影師的視線。
在 5G 和 AI 的 加持下，一個全新的計算成像技術時代即將到來。RayShaper Bee 基於 VPU 的新一代仿生複眼計算視覺系統，提供了一種在價格、功耗、延時和性能之間權衡取捨和動態調度的革新性思考路徑。這或許是它頗受關注的原因所在。
