Google台灣工程師讓手機廣角照片邊緣不再變形問題

先前由帶領 Google Camera 功能研發的 Marc Lavoy 說明，Google 如何在 Pixel 3 手機相機功能實現極端夜間拍攝，以及透過單顆鏡頭達成高解析度變焦效果之後，Google 稍早更釋出預計在 7 月底於 SIGGRAPH 2019 具體說明的廣角修正技術，藉此說明如何讓時下手機流行採用廣角鏡頭實現更好的邊緣變形修正效果。

值得說明的是，此項技術是由三名台灣出身的工程師打造，分別是施易昌 (YiChang Shih)、賴威昇 (Wei-Sheng Lai)，以及梁家愷 (Chia-Kai Liang)，三人均從台灣大學畢業，而施易昌更進一步在麻省理工學院獲得碩士、博士學位，並且曾在 Adobe、Google、微軟等公司實習，賴威昇則分別在 Adibe、NVIDIA 與 Google實習，目前在加州大學美熹德分校進修博士學位，至於梁家愷與施易昌目前則是 Google 資深軟體工程師。

依照三人提出論文內容，簡略描述當前多數針對廣角鏡頭進行修正的軟體演算法，主要是以梯形修正為基礎，針對邊緣產生變形部分進行修正，在處理一般景象時候可能不會有太大問題，但是如果用在人像拍攝（例如多人合影、多人自拍）等情況，很可能就會面臨人臉變形部分被修正，背後影像卻無法被正常修正，或是背景被正常修正，人臉卻維持扭曲情況。

因此在論文中提出技術便採用人工智慧進行影像分析，藉由將人臉，甚至身體涵蓋部分自影像中抽離，並且進梯度修正，相同情況也針對抽離人像之後的背景進行修正，後續再將兩組影像合併，成為背景歪曲被修正、人像部分也被修正的影像結果。



依照說明，這樣的演算法可以對應 70° 至 120° 廣角範圍內的影像拍攝修正，而對於手機拍照使用廣角設計，其實也已經相當足夠。配合Pixel相機原本已經整合夜間拍攝、人臉識別（包含側臉、長髮遮蔽、配戴眼鏡等情況），加上此項廣角拍攝修正技術，預期將能使手機拍攝功能更加「完美」。

不過，此項演算法依然有其限制，就是目前修正範圍依然是以臉部為主，身體部份仍有可能受限演算法，導致修正後變得「修長」，或是呈現些微扭曲，但預期日後加入更多演算法修正，將能讓廣角拍攝應用更加完善。

除了應用在手機拍攝，此項技術預期也能應用在監控攝影機，或是自駕車、電腦視覺在內的影像識別判斷等領域，藉此降低識別判斷錯誤機率，另外也可能應用在 Google Maps 街景、360 度環景影像或 VR 全息影像拍攝，藉此讓影像呈現效果更加擬真。

而此項演算法，日後應該將會陸續開放 Pixel 系列機種更新使用，預期也會應用在即將推出的 Pixel 4。



相關文章：
Google Home智慧喇叭有可能更名為Nest Home
Google確認退離平板市場，取消兩款尚未公佈的硬體裝置
Google開始以擴增實境、3D影像技術打造全新互動廣告體驗