對于大多數人來說，當我們看到梵高的《星空》、畢加索的立體主義、蒙克的《尖叫》……雖然沒法像藝術史教授那樣分析每一位畫家的技術，但是都會一看就感覺到，每位藝術家都有一種強烈、獨特的個人風格。即使不知道作者是誰，也會感覺“恩，這幅畫感覺很梵高”。
那么機器人看畫展會是什么感覺呢？深度神經網絡正在改變機器識別和解讀世界的方式。機器視覺現在已經能在某些任務上超過人類，例如物品和面部識別，這在幾年前還是不可想象的。
最近，機器也開始嘗試理解藝術風格，并玩了一把山寨。我們還不知道這項技術能做到多少。例如，能不能給機器一張圖片，然后將圖片風格復制到另一個視頻中？并且，維持良好順暢的視覺體驗？
今天，德國弗萊堡大學的Manuel Ruder及伙伴們成功了。他們復制了梵高的《星空》和蒙克的《尖叫》等著名作品中的風格，粘貼至各種電影和電視劇的視頻片段中，例如超萌的動畫電影《冰川世紀》，以及由作家阿加莎·克里斯蒂小說改編而成的英國懸疑犯罪電視劇《馬普爾小姐》。項目帶來了超級驚艷的視頻，讓我們看到，幾乎任何你能想到的視覺風格都可以復制粘貼。
深度神經網絡由許多層組成，每一層從圖像中抽取信息，然后將剩余信息傳遞給下一層。第一層抽取顏色等較明顯的模式，越深的層所抽取的信息越細節化，以此實現視覺識別。比較深的層所抽取的信息非常重要，這實際上就是圖像減去例如顏色、材質等等所有環境信息。從某種意義上來說，這就是電腦在畫簡筆畫。
去年，德國圖賓根大學的Leon Gatys及伙伴們開始用這種方式研究藝術風格。他們發現，要抓住藝術風格的本質不一定得了解每一層所抓取的信息，而是研究各層之間的關聯性。藝術家畫人臉的方式，與他或她畫一棵樹、一棟房子或者星星月亮的方式應該是有關聯的。抓住了關聯性，也就是抓住了風格的本質。
不過，他們的關鍵發現是，圖像的內容可以完全與其藝術風格分離。他們還發現，藝術風格可以被復制粘貼，放到隨便什么其他圖像上去。
所以提升逼格的利器來了！你可以拍一張你家喵星人的睡姿，然后把它變成高大上的現代抽象主義康定斯基畫風。或者來一張蒙克尖叫式的自拍也行。除了搞笑，這項技術還可以玩些啥呢？
還可以將畫風粘貼到連續的圖像上，做一個視頻。但這引起了別的問題。連續幀之間的小差異，有可以導致藝術風格全盤崩壞，甚至讓整個視頻看起來磕磕碰碰、毫不連貫。其中一個問題就是物體在移動或被遮蔽時，如何處理物體的邊緣。
現在，Ruder和同事們解決了這個問題。“基于一個藝術圖像，我們可以成功將其風格轉化到整個視頻中去。”他們說。他們的方法是使用一個算法來分析連續處理幀之間的差異，避免大的變化，同時忽略畫面中被遮蔽的部分。他們說：“這讓我們可以重建取消遮蔽的區域和變形的移動邊界，同時保留圖像中其余部分的樣子。”
結果超級神奇。團隊使用算法來從各種不同的藝術作品中抽取出藝術風格，包括康定斯基、畢加索、馬蒂斯、特納以及人氣最高的蒙克和梵高。他們用1024 x 436像素的NVIDIA TITAN X GPU處理系列中的每一個圖像，以及一個CPU在同時平行運行。剛開始，處理每一幀需要8分鐘。但是經過優化之后，處理每一幀只需要3分鐘。團隊的方法在計算方面變得越來越強大。
當然，還是有一些可以改進的地方。如果幀與幀之間的變化非?？焖倩蚍浅４螅惴ǖ谋憩F還是差強人意。而且，計算時間應該還可以進一步優化降低。不過這些問題不影響我們欣賞視頻里的驚艷效果。
人們不禁思考，這項技術還有哪些應用空間。我們可以想到的是，也許之后會有一些基于云端的APP，讓你可以用你的手機拍視頻，然后加入藝術風格。但是，有沒有可能將蒙克的《尖叫》風格轉化到3D空間，通過虛擬現實（VR）實現出來呢？
另一方面，這項技術也為攝影和藝術領域打開了新的可能性。如果藝術風格變成了一種商品，人們可以購買下來，然后復制粘貼到不同的圖像上，那么藝術家本身的價值是否會改變？甚至，我們還可以買下幾個不同的風格，混搭起來再進行編輯，也許又會有新的玩法。
到那時，我們可以掏出手機或者VR設備，來一張古典主義+野獸派+超現實主義+立體主義+未來主義+波普藝術（什么鬼）的混搭風格自拍。
智能界（www.mxbwsgo.cn）中國智能科技聚合推薦平臺，秉承“引領未來智能生活”的理念，專注報道智能家居、可穿戴設備、智能醫療、機器人、3D打印、智能汽車等諸多科技前沿領域。聚合品牌宣傳、代理招商、產品評測、原創視頻、FM電臺與試用眾測，深入智能硬件行業，全平臺多維度為用戶及廠商提供服務，致力成為中國最具影響力的智能硬件聚合推薦平臺。
評論列表(已有條評論)
最新評論