Newsletter No. 399

4 No. 399, 4.6.2012 洞 明 集 1 944年6月6日盟軍登陸諾曼第那天，著名戰地攝影師 羅伯特 ‧ 卡帕隨美軍登陸奧馬哈海灘，為《生活》雜誌 拍照。其中一張照片，可見一名士兵在水中匍匐前進的模 糊影像，那是卡帕站在水中，四周子彈如雨點落下時舉着 相機拍攝的。《生活》雜誌刊登照片時特別說明，由於戰 況激烈，卡帕拿不穩攝影機而令照片模糊。 這張技術上看似不及格的照片，由於充分顯現戰場的緊張 氣氛，反變了卡帕的名作，更是戰地攝影的經典。但一般 人在日常生活中，恐怕不想拍出來的照片模糊不清。計算 機科學與工程學系副教授 賈佳亞 與他指導的博士後研究 員 徐立 所研發的圖像去模糊技術，正能幫助人們化模糊為 清晰。 電腦眼中的世界 熱愛攝影的賈教授，從小已經四出獵影，自言「唸博士的時 候，就花了一個月的研究生獎學金去買一台新出的數碼單 鏡反光相機」。他說，在數碼攝影把三維的拍攝物件化為 二維照片的過程中，可以加入很多人工元素，有許多變化， 正好與他的本行計算機視覺有關，因此寓興趣於研究。 計算機視覺的最終目標是令電腦像人一樣，看見一張照片 或一段影片時，能夠理解當中的意義，知道發生甚麼事情。 賈教授說：「比如監視器拍到劫案或車禍，電腦就能知道 意外發生，懂得自動報警。」而去模糊技術是計算機視覺 領域最根本的問題之一。他說：「這個問題最早發生在天 文學，用大型望遠鏡觀測天象時，因為距離很遠，拍攝過 程中稍有輕微震動，照片就會模糊。」 現時，假若演唱會的攝影師發覺照片模糊了，又沒有機會 重拍，那可以怎麼辦？賈教授說：「或許他可以利用一般圖 像處理軟件的圖像銳利化功能增強對比，令照片看起來似 乎沒有那麼模糊，但這並非根本解決之道，與我們提供的 方法是完全兩碼事。」 數碼照片是由許多稱為像素的小點組成，在正常情況下， 構成照片的像素應與被攝物體相對位置的點相對應。但若 拍攝時相機與被攝物體之間產生相對運動，被攝物體的 某一點就會在照片中擴散為一條線，也就是說，照片中每 一個像素包含了被攝物體多個點的信息，不再對應於被攝 物體相對的點，導致圖像模糊，而那條線也反映出運動的 軌跡。 返本還原 賈教授與徐立博士靠着數學推導和計算機演算法，把引 致模糊的過程倒回去，從而化模糊為清晰。解決相機震動 導致的模糊，主要牽涉兩個步驟：首先是要知道拍那張照 片時，相機發生了怎麼樣的運動。知道相機發生了甚麼樣 的運動後，就可以利用數學模型來解決問題，得出一張比 較清晰的照片。賈教授說：「這是數學上稱為捲積和反捲 積的概念。」他說以往處理這個問題是用一些很簡單的數 學，例如偏微分方程或一些簡單的數學模型。但那需要人 告訴系統，拍攝時相機運動的方向，比如是垂直、水平或斜 上，這樣系統才懂得處理。「現在我們完全不需要這樣做， 你給它一張照片，軟件會自動估計拍攝時相機是怎樣移 動。」 現時約五成的模糊相片能夠用這個軟件修復，賈教授說， 現時軟件主要是針對相機震動，尤其是在一個平面上的 移動所引致的模糊。因對焦不準引致的輕微模糊也可以處 理一部分。如果拍攝對象有複雜移動，這樣的模糊較難處 理，他解釋：「比如拍攝對象是一個在跳躍的小孩子，這個 孩子的影像模糊了，他的頭是左右扭動，身體卻是上下移 動，手可能又前後轉動，當中涉及因多個不同方向的運動 產生的模糊，複雜程度就大很多了。因為判斷移動方向會 困難很多，這樣就需要更加精細的分析以及長時間的運算 來局部混合多種數學模型，達到高質量相片處理。」 不過他說，隨着電腦硬件進步，軟件也跟着發展，他們會 繼續改進演算法，令它能處理更多情況。「所以現在所講 的限制，一年後也許已經不是問題了。」 這套軟件用途甚廣，除能協助一般使用者修復照片外，還 能用於保安，如把監視器影片內模糊的車牌變清晰，或修 復超聲波或其他醫療造影的模糊照片。 說回卡帕那張照片，其實並非如《生活》雜誌所說，是因 卡帕手震失準而導致模糊，而是黑房技術員犯錯，烘底片 時溫度調得太高，導致感光乳劑融化。賈教授說：「這張照 片恐怕需要一種完全特殊的計算機演算法來處理。」 O n 6 June 1944, the famous war photographer Robert Capa landed on Omaha Beach in Normandy, France with the soldiers of the American 1st Infantry Division. He was commissioned by Life magazine to photograph the invasion. One of the photos he took amidst a rain of bullets on D-Day captured a blurry image of a GI crawling in water towards land. When Life published the photos, a caption explained that the ‘immense excitement of [the] moment made photographer Capa move his camera and blur [his] picture.’ Conveying the chaos and confusion of the day, this seemingly flawed image is one of the most famous photos of Capa and a classic of war photography. But under normal circumstances few people are happy to see their photos blurred. The good news is they can now use the new Robust Motion Deblurring technology developed by Prof. Jia Jiaya of the Department of Computer Science and Engineering and his post-doctoral fellow Dr. Xu Li to fix the problem. Seeing the World through Machines’ Eyes A photography buff, Professor Jia has been in love with taking pictures since childhood. When he was a PhD student, he used a month’s studentship to buy a newly-introduced digital single-lens reflex camera. He says that many artificial elements can be added to the process of converting three-dimensional objects into two-dimensional images in digital photography. And this hobby is related to his research interest, namely, computer vision. The field of computer vision involves helping computers to acquire the abilities of human vision, enabling them to make sense of the photo or video they see. Professor Jia said, ‘For example, when a computer sees a robbery or a vehicle collision through a surveillance video camera, it’ll be able to know that an accident is happening and will