就像對ARKit的3D模型（usdz）所做的那樣，Apple正在開發一種新的音頻格式，即使在用戶移動，戴著“ Apple Glass ”或其他AR設備時，也可以更輕鬆沉浸式地在用戶周圍放置“3d聲音”。
以前已經證明Apple在為AR製作高分辨率視頻圖像，現在它也致力於與之配套產生高質量的音頻。在新的專利申請中，該公司正在研究與空間音頻有關的工作。
具體來說，Apple希望建立一種音頻格式，例如.MP3或.AAC，並結合了AR所需的額外空間信息。該格式不僅需要包含實際的音頻，而且還遠遠超出在立體聲圖片的左側還是右側播放元素的範圍。蘋果以前曾與皮克斯合作開發一種名為USDZ的格式，該格式用於將音頻放置在用戶周圍的3D空間中。
“在增強現實（AR），虛擬現實（VR）和混合現實（MR）應用程序中產生三維（3D）聲音效果是具有挑戰性的……因為現有的音頻格式最初是為在物理環境中產生3D聲音而設計的具有固定的揚聲器位置和固定的聽眾。”
蘋果將AR，VR和MR統稱為“模擬現實”（SR），並表示希望在許多現有3D音頻格式的基礎上發展。例如，旨在產生3D聲音的空間音頻格式包括MPEG-H 3D音頻標準，HOA空間音頻技術和DOLBY ATMOS環繞聲技術。
問題既與觀眾感知聲音的位置有關，也與創作者可以選擇放置效果或音樂的地方有關。蘋果公司說：“在SR環境中產生3D聲音效果的一種替代方法是操縱音頻對象中包含的各個離散聲音，這些聲音實際上可以位於3D環境中的任何位置。”
蘋果公司提出的解決方案是創建一種格式，該格式類似於.m4v和.mp4是將不同元素組合在一起的格式。對於蘋果公司對空間音頻的新要求，該公司建議創建一個音頻資產庫，其中包括資產元數據，使模擬現實（SR）應用程序開發人員能夠為SR應用程序編寫聲音。”
蘋果公司說：“音頻經過了格式化，包括音頻數據，這些數據編碼了能夠被編入SR應用程序的聲音，以及資產元數據，不僅描述了聲音的編碼方式，而且還描述了SR環境中聽眾的感受。
另外Facebook Reality Labs研究小組最近也分享了一些關於AR的音頻項目。該小組的目標是將技術融入到AR眼鏡中，通過在嘈雜的環境中輕鬆隔離對話聲音，增強你的聽力，並能夠重現虛擬聲音，讓它們看起來像是來自你周圍的真實世界。自定義的HRTF是提供這種體驗的關鍵，它是每個人根據頭部和耳朵形狀聽到聲音的獨特方式的數字版本，但這個過程既耗時又昂貴。該團隊正在研究一種可擴展的解決方案，可以從你的耳朵的一張簡單照片生成精確的HRTF。
Facebook Reality Labs（簡稱FRL)是Facebook最新採用的名稱，該團隊致力於開發沉浸式技術(包括Oculus眼鏡)。最近Facebook Reality Labs的研究部門分享了一些沉浸式音頻研究項目的最新進展，稱這些工作“與Facebook提供AR眼鏡的工作直接相關”，並且其中一些工作也廣泛適用於VR。
Facebook研究人員還說，可以將這些信息添加到LiveMaps（Facebook正在構建的現實世界的增強現實副本）中，並由同一空間中的其他設備重新調用，從而可以隨著時間的推移通過人群改善聲音。
第二個主要挑戰是根據他們的頭形狀來理解每個人聽到世界的獨特方式。頭和耳朵的形狀不僅會改變你的聽覺方式，而且對於你識別周圍聲音的來源也至關重要 。
為了演示團隊在空間音頻方面所做的工作，研發部門創造了一種迷你遊戲，參與者戴著跟蹤的眼鏡，他們站在房間裡，整個房間裡散佈著幾個真實的揚聲器。然後，團隊播放聲音，並要求參與者選擇聲音是虛擬生成的還是通過耳機播放的，還是通過房間中的真實揚聲器播放的。研究小組說，許多參與者的結果表明，虛擬聲音與真實聲音幾乎沒有區別。
他們這樣做的一種方法是創建上下文感知的噪聲消除。儘管如今的噪聲消除技術旨在減少所有外部聲音，但具有上下文相關性的噪聲消除功能試圖隔離你想聽到的外部聲音， 同時減少其餘聲音。
為此，Facebook研究人員使用幾個麥克風，頭部追蹤和眼動追蹤技術來製作原型耳塞和原型眼鏡。眼鏡可以監視用戶周圍以及他們所處位置的聲音。一種算法旨在利用這些信息來找出用戶想要聽的主題：是坐在桌子對面的人，或是房間角落裡的電視。該信息被送到算法的音頻處理部分，該算法嘗試篩選輸入的聲音，以便突出顯示來自主體的特定聲音，同時減少其他所有聲音。
不管是蘋果還是FaceBook，都在一步步圍繞ARVR來迭代相關技術，未來的AR眼鏡或是AR應用也會因為這些細節技術（空間音頻等）更加沉浸、更加現實，帶來更好的用戶體驗！
