專業又好玩,運鏡靠腦洞:8K全景相機長文解析

春節前我曾發佈過一段視頻讓大家猜使用了多少拍攝器材,有興趣的朋友們可以回過頭去翻一翻,事實上這段視頻只使用了一種器材——雙目魚眼鏡頭全景相機:看到Qoocam 8K。相信看完一定會有朋友好奇:視頻中運動相機、無人機、穿梭機等諸多效果是如何通過單一器材實現的呢?今天的話題就從這裡展開吧。


專業又好玩,運鏡靠腦洞:8K全景相機長文解析

在此前關於全景相機的文章裡我曾大致解讀過雙目魚眼鏡頭的成像原理和各種優缺點,簡單來說就是將2個視場角超過180度的鏡頭所成的球面像,通過等距柱狀投影映射為平面像,再對邊緣拼接配準所形成。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

從上圖可以看到即便是以負角度觀察,也能觀察到入瞳,體現了魚眼的視角覆蓋能力。而正因它接近於全視角取景,所以對拍攝視頻的先天優勢之一就是大幅降低前期運鏡難度,只需要控制機位(透視主點)位置,就不再需要隨時調整鏡頭朝向,比如我視頻裡的無人機效果,就只是單純把接駁在延長自拍杆上的全景相機沿預想運動軌跡移動而已,通過後期APP,就可以對自己想要的局部區域取景,再加上拍攝高幀率片段做變速調整,就能實現投影變換、畫面縮放、旋轉、物體跟蹤、子彈時間等視覺效果。

一個簡單的例子,同一段視頻的3種不同比例、運鏡方式:


專業又好玩,運鏡靠腦洞:8K全景相機長文解析


專業又好玩,運鏡靠腦洞:8K全景相機長文解析


專業又好玩,運鏡靠腦洞:8K全景相機長文解析


除此之外,全景相機因為主要依賴後期運鏡,像面不需要大幅度擺動,所以即便是平面取景有劇烈橫移也無需擔心捲簾快門果凍效應的影響,可以很任性地實現各種物體跟蹤,防抖也藉由全空間成像裁切而有著先天優勢。除此之外,Qoocam 8K的2個傳感器均為旋轉90度豎置設計,因此它的電子快門相對水平成像來說就變成了橫走式,可參考下圖:


專業又好玩,運鏡靠腦洞:8K全景相機長文解析

這個設計的好處顯而易見,即便拍攝時有不受控的劇烈水平擺動,也不會因捲簾快門果凍效應導致畫面變形,再加上它本身8K 30p時讀取速度也有並不算太慢的1/33秒,而且超大視場角也決定了非常低的放大倍率,所以可以任性地邊跑邊拍。

綜合來說,全景相機對使用者的拍攝技術要求明顯比其他器材要更低,大多數情況下限制其效果的僅僅只有用戶的腦洞。

雖然全景相機可以實現各種功能,甚至可以結合運動相機的設計特點來做高IP級別防護,但卻是建立在犧牲成像素質的前提下。考慮到全景至少要雙目(反射式環帶全景除外),這意味著它的硬件成本就是同規格普通相機的近2倍,因此全景相機的單目規格往往並不會特別高,如果要做高規格,體型和價格都難以控制,所以現有的全景相機市場基本呈兩極化趨勢,民用端以接地氣的小型雙目型為主,商用端則主打大底多目型(比如六/八目M43)。

那麼,如何在不妥協體型的情況下提升成像素質?最直觀的第一步方案就是採用更大面積、更高像素的傳感器,我這次選擇的看到Qoocam 8K就是代表,它配置了兩顆200度視場角F2魚眼鏡頭+兩片1/1.7英寸堆棧式傳感器的組合,1/1.7英寸也是目前民用全景相機最大的傳感器,目測可能是索尼IMX204,各自原生2016萬像素(5184x3888)。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析


專業又好玩,運鏡靠腦洞:8K全景相機長文解析

當我剛拿到Qoocam 8K時的第一感覺就是:這傢伙怎麼這麼大!?上圖是它與iPhone 11的對比,145mmx57mmx33mm的長寬厚再加上245g的體重,遠比其他雙目全景相機龐大。但換個角度來看,它依然是目前最小的8K相機之一,絕對便攜性依然很高,而且它的體型相對較大並不僅是因為傳感器和鏡頭模組較大,還因為他選擇了一塊很大的2.4英寸觸控LCD,以及一塊內置式3000mAh容量電池。雖未標註電壓,但這個容量的鋰電池標稱電壓一般在3.7V左右,所以功率應該在10Wh以上,也比其他雙目全景相機要大了一倍有餘,體型自然也不會小……

考慮到球形投影的全景拼接就只能採用圓形魚眼,所以實質上它的成像圈直徑只等於傳感器寬邊而非對角線,因此單目只利用到了傳感器中心部分以3840像素為直徑的圓域,原始圖像看起來就是這個樣子:

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

通過軟件渲染,輸出2:1矩形投影+拼接後,即可得到7680x3840分辨率平面8K:

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

這裡就要解讀一個概念了,全景相機的分辨率,比如Qoocam 8K的8K是指上圖這種全景全域的分辨率,實用平面輸出必然會有裁切,顯然,全域分辨率越高輸出就越有利於裁切,所以Qoocam 8K可實現4K平面輸出,而其他如5.7K全景就只能輸出片平面3K,4K全景就只能輸出平面全高清,細節表現差距一目瞭然:

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

上圖為相同時刻另一全景相機拍攝的全高清平面輸出,而下圖是Qoocam 8K的4K平面輸出,細節差距大家自己判斷吧。簡單來說Qoocam 8K應該就是目前成像細節最出色的雙目全景相機。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

體驗方面,機身操控只需要拍攝幾段就能適應,2.4英寸LCD便於直觀調整參數和基本的取景回放,WiFi控制也很簡單,整體來說是很容易上手的,在這裡就不囉嗦了,主要挑幾個重點聊聊吧。

首先最重要的是Qoocam 8K等全景相機基本只有在延長自拍杆上才能算“完全體”,手持拍攝會不可避免的拍到手指手掌,後期處理時會明顯影響觀感,而且全景拍攝的諸多視覺效果都需要在延長杆上才能實現,再加上細長的延長杆正好處於攝像頭下方盲區內,所以能夠實現“自拍杆隱形”。


專業又好玩,運鏡靠腦洞:8K全景相機長文解析

其次,當遇到光線條件不算特別好的時候,比如室內、夜景等等,拍攝視頻就一定要注意快門速度,建議最好手動保持在拍攝幀率倒數的2倍,也就是180度快門角,比如30p就使用1/60秒,下限是1/30秒,否則很容易產生畫面拖尾、抖動,但而Qoocam 8K的手都模式是直接全手動,選擇手動就不能自動ISO了,在明暗交替環境下比較容易吃虧。而且1/30秒快門,固定F2光圈的硬件門檻決定了弱光下它必然需要使用高ISO,對1/1.7英寸還要全分辨率30p輸出的傳感器來說,噪聲是一個比較嚴峻的挑戰,也限制了它在弱光環境下的視頻應用面。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

最後也是最重要的,在這種小形態+高密度硬件佈局的前提下進行無時間限制8K視頻流輸出,就一定意味著會有比較明顯的發熱,所以Qoocam 8K在機身內加裝了2個渦輪風扇,分別位於機身左右側,上圖可以看到用於增大散熱面積的鰭片式金屬邊框和出風口,這也是繼松下S1H之後又一個內置風扇的民用級相機。

風扇模式有一直開啟和拍攝時關閉兩個選項,我的建議是選擇一直開啟並通過3.5mm外接麥克風的方式來實現雙贏,否則要麼拍攝一段時間後機身溫度很高,主要集中在兩面的中上部位以及兩側(事實上它的溫度耐性只能說是一般,官方標準是0~35℃),要麼就得把非常明顯的風扇噪音收錄到素材中。當然外接麥克風的安裝位置最好也與機身拉開一點距離,不然既可能收錄到風扇噪音,也會影響後期運鏡,這對兔籠的設計要求就比較高了。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

續航方面,在10℃左右室溫下待機20分鐘,電量從75%下降到50%;關閉風扇拍攝8K 30p素材10分鐘,電量從48%下降至32%,從側面反映出硬件平臺的功耗相當高,所以才配備了大功率電池。但只要做好拍攝計劃,一次充電拍攝一小時左右素材沒什麼問題,而且預告的新固件據說可以將續航提高到100分鐘,到時候可以再試試。除此之外,Qoocam 8K支持USB Type-C邊充邊拍,官方自拍杆附送了一套夾具,可以把移動電源夾在自拍杆上。

提高成像素質,尤其是全景視頻素質的第二個關鍵點就是SoC,它決定了輸出規格的天花板,也直接影響實時拼接的工作效率。Qoocam 8K基於海思3559方案,這個A73/A53大中小核設計的SoC規格還不錯,視頻輸出最高10bit位深4:2:0色度8K 30p和3840x1920 4K 120p(4倍慢動作),都是現有雙目全景相機的最高規格。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

不過堆棧式傳感器理論上應該可以做更高幀率的硬件輸出,但Qoocam 8K只能在PC端利用Qoocam Studio軟件以算法插幀實現960p,這應該也是受SoC所限制的關係。

能機內對輸入源編碼並不意味著能實現機內渲染,尤其是高碼率+高精度拼接的硬件開銷非常大,事實上Qoocam 8K的原始數據跟照片一樣,也是兩個獨立的圓形魚眼MOV視頻流,所以如果是想在PC端進行剪輯,首先需要使用Qoocam Studio軟件來實現雙目魚眼視頻的2:1平面標定和拼接,在該軟件裡可以進行視角的平移、傾斜和滾動調整,並設置數字防抖級數、算法插幀慢動作等,完成後就能渲染為8K平面MP4了,輸出時可以選擇H.264、H.265、ProRes等編碼器和碼率(最高200Mbps)。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

海思3559的片外存儲接口支持比較豐富,Qoocam 8K選擇的是性價比較高的64GB eMMC,考慮到SoC支持的最大輸出碼率為200Mbps,eMMC 5.1是完全夠用的,Qoocam 8K也是目前少有的內置存儲相機設備,除此之外還可以擴展TF卡。

拍攝效果方面,支持10bit位深讓每個顏色YUV通道有1024個位階,比8bit的256位階顯然更精確,在遇到坡度很大的漸變色塊時,10bit可更有效的避免斷層的問題,同時在映射RGB分量受整數化+量化的損失後,也依然能保持較高精度,但不支持Log曲線還是有點遺憾的,希望後期能加上。除此之外,顯示器等播放設備支持10bit會效果更好,如果顯示器是8bit或6bit面板,那至少要回放軟件支持抖動輸出才更有意義。

不過在全景拍攝時也會遇到幾個魚眼鏡頭難以避免的困擾,首先是眩光鬼影,因為視場角極大,存在很多大入射角光線,再加上光學材料表面面型精度較低(比如採用塑料材質)就會進一步增加反射率,而其中的偶次菲涅爾反射就能引發眩光。考慮到現有校正手段基本都只能針對20度以內的小入射角,所以這基本算是不可避免的問題。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

可以看到當拍攝環境中有強光源時,即便裁切避開直視區域,其他區域也會受影響導致明顯的對比度下降。

第二個問題是軸外倍率色差,對於每個空氣-材料界面,有倍率色差S正比於:


專業又好玩,運鏡靠腦洞:8K全景相機長文解析

I為該表面主光線入射角,n為材料折射率,v為材料阿貝數,可見為了減小倍率色差S就應該使用高阿貝數材料,但因為魚眼鏡頭的前組負鏡要負責增大視場角,併產生系統所需的大部分畸變,所以又需要高折射率材料來快速收斂軸外光線,這樣一來,材料的選擇面就變得很窄,而考慮到成本和設計因素,自然是優先照顧視角,Qoocam 8K就是這樣的設計。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

當然,如果設計成本相對寬裕,也可以通過採用鑭系、人造藍寶石等材料製備前組,並在後組以膠合等設計來更好的校正軸外倍率色差和軸上二級光譜。不過據說Qoocam Studio以及手機Qoocam APP很快就會放出支持色差校正功能的版本,那軸外倍率色差就不再是問題了(當然到時候我也會具體測試一下),而且但別忘了全景的好處就是後期運鏡很自由,在剪輯時可儘量規避或縮小高光比區域,這樣一來影響就可以降到最低。

除此之外,雙目成像雖然會嚴格使用相同的拍攝參數,但在部分情況下特別是拼接位置會出現一些小瑕疵,比如朝上的攝像頭會受直接入射光眩光影響,而朝下的則不會,這時候在拼接位置就會出現比較明顯的明暗差。解決方案就是拍攝時儘量讓鏡頭左右佈局,這樣會讓拼接邊緣過渡更自然。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

在PC端視頻工作流程上,Qoocam Studio軟件的調整功能現階段相對還比較簡單,無法滿足專業視頻剪輯的需求,所以接著下一步就是導入到Premiere等第三方編輯器並使用Gopro VR等插件實現再剪輯和與其他片段的混剪。相對而言這種“兩步走”的工作流程是比較複雜的,如果能通過專用插件直接將原始數據導入Premiere進行拼接,或者Qoocam Studio功能再全面一點,應該可以節約不少工作時間。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

而且Qoocam Studio的8K拼接渲染對PC硬件要求非常高,耗時也較長,這是因為魚眼鏡頭本身的製造誤差就相對較高,背向安裝的兩個魚眼成像系統也必然存在視差,再加上輸出分辨率越高,優化邊界和拼接的精度需求就越高,所以整個配準、拼接、渲染過程會不可避免的繁瑣,想要快速合成,代價往往就是用速度換精度。

一般來說,矩形變換後的的雙目成像交叉區域會通過算法提取特徵點,如果不在意實時性而強調高精度的話,可以採用比如經典的基於尺度不變特徵轉換算法,這個算法也就速度偏慢這個缺點,但優點是魯棒性非常強,對各種不同質量的數據源都能實現很可靠的特徵點提取,然後再進行圖像配準融合,就能實現高品質平面輸出了。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

當然,提取特徵點的方法還有很多,比如加速穩健法、漸變法、方向加權模型等等,雖然不知道Qoocam 8K使用的哪種方案,但硬件開銷是相當大的,我使用Core i7 9750H+RTX 2070+32GB雙通道DDR4內存+512GB NVMe SSD的硬件配置,在散熱全開的高性能模式下,H.265編碼200Mbps碼率8K 30p渲染輸出的效率大概是3.5~4.5fps,也就是1秒的素材就需要渲染約7、8秒,1分鐘8K素材輸出需要近10分鐘。

邊緣拼接在很仔細檢查的情況下可以看到一定程度的瑕疵,但都在可接受範圍內。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

當然,Qoocam 8K的高品質輸出並非只能在PC端剪輯(但雙目拼接的平面8K只能在PC端Qoocam Studio輸出),手機Qoocam APP可以通過剪輯下載到手機的4K全景素材做代理,再套用到相機內8K全景原素材的方式,實現高品質4K平面視頻輸出。對大多數人來說,觸控調整剪輯要比鍵鼠直觀得多,可玩性也很強,而且耗時相對PC端要短不少。


專業又好玩,運鏡靠腦洞:8K全景相機長文解析

而且Qoocam APP裡有不少的預設運鏡效果可以直接調用到已有素材當中,再結合自己的創意,讓同一段素材可以有無限多不同的運鏡呈現方式,這與非全景手持設備有本質上的區別,後者在使用預設效果時只能現拍現用,而且一段素材只能使用一種效果,大大限制了自由性,在大家都是4K平面輸出的情況下,全景的優勢比較明顯。

但和PC端類似的是,Qoocam APP對手機SoC性能的要求也比較高,使用iPhone 11處理效率還不錯,安卓機型我嘗試了驍龍855和麒麟990 5G平臺,也沒有什麼問題。不過蘋果目前只能無線傳輸素材,未來會上到有線,而安卓則支持有線,有附送to Micro USB、to Type-C和to Type-A三種線材,考慮得比較周全,但注意只有to Type-A可用於充電,不支持C to C充電協議。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

在手機端將一個個片段各自輸出後,就能繼續使用第三方視頻剪輯APP來進行混剪了(我使用的是InShot),與PC端的差別在於,Premiere利用插件可以直接修改全景視頻效果,而手機混剪不能直接修改,如果對某個片段效果不滿意的話就需要重新回到Qoocam APP進行調整、輸出並重新導入第三方視頻剪輯APP,要稍微麻煩一點。綜合而言,從混剪自由度、最終輸出效果等方面來看顯然是PC端的天花板更高,但對於大多數視頻愛好者來說,Qoocam 8K的手機剪輯效率和效果都更實用。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

全景除了拍視頻,也能拍照片,分辨率依然是7680x3840。除了常規拍攝模式之外,Qoocam 8K還有個DNG8模式,其實就是連拍8幀均值輸出,不過機內不能直接實現RAW堆棧,只會給你8個連續DNG序列和1個用於查看的JPG,需要使用PC端官方RAW+軟件來對這8個DNG序列進行堆棧輸出DNG格式圖像。但注意,RAW+軟件只能堆棧不能調整,而Qoocam Studio不支持DNG,所以,需要先使用你習慣的後期軟件對RAW+輸出的圓形DNG調整後,再導入Qoocam Studio拼接為平面8K JPG,過程比較繁瑣。

但從效果來說,DNG8堆棧可明顯提升輸出圖像的動態範圍,增加後期調整空間,比如以ISO 100拍攝夜景時,單幀RAW後期暗部+70時,畫面會出現明顯的噪聲:

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

而使用DNG8堆棧輸出的RAW文件在相同操作下,噪聲明顯要小很多:

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

所以如果希望獲得最大寬容度,在腳架穩定的前提下使用DNG8格式是最佳選擇,不過要稍微注意存儲空間,因為DNG8模式單次拍攝就需要約450MB空間,內置的64GB存儲可拍145張左右。

除此之外,延時自然也是必備功能,除了可選擇間隔時間之外,其餘與普通拍照模式並無區別,可以選擇自動/手動曝光、白平衡、JPG/DNG文件格式、曝光補償等操作,延時照片可以在機內自動生成視頻,後續操作與此前的8K全景視頻無異。

專業又好玩,運鏡靠腦洞:8K全景相機長文解析

一不小心寫了一大篇,差不多把這款8K全景相機摸了個透,事實上在軟件端Qoocam 8K還有一些細節需要調整優化,但總體來說它糅合了專業和民用兩方面的特點,商業視頻團隊完全可以將其納入到拍攝方案之中,普通民用也可以用它來記錄生活。後續希望視頻規格更豐富一點,比如單目4K 60p輸出,此時另一攝像頭保持工作但主要目的是防抖補償……

這次因為新冠肺炎的影響,響應國家號召,基本上1月22號之後就沒再出門拍過素材,所以部分效果演示的圖片也不夠精緻,4K 120p的慢動作也沒有拍太多,還望大家海涵。但疫情之後我保證會多拍多發,還望到時候大家再多多指教,順祝各位身體健康啦!


分享到:


相關文章: