帶你讀AI論文丨ACGAN-動漫頭像生成

摘要:ACGAN-動漫頭像生成是一個十分優秀的開源項目 。
本文分享自華為云社區《【云駐共創】AI論文精讀會:ACGAN-動漫頭像生成》 , 作者:SpiderMan 。
1.論文及算法介紹1.1基本信息? 論文題目:《Conditional Image Synthesis With Auxiliary Classifier GANs》
? 出處:ICML 2017
? 作者:Augustus Odena、Christopher Olah、Jonathon Shlens
1.2研究背景GAN(Generative Adversarial Network)是由兩個彼此對立訓練的神經網絡組成 。生成器G以隨機噪聲向量z作為輸入然后輸出-張圖像G(z),判別器D接收訓練圖像或者是來自生成器的合成圖像作為輸入,輸出在可能數據源上的條件概率分布D(x),他需要分別出真實的數據來源或者是生成的數據來源 。
使用標簽的數據集應用于生成對抗網絡可以增強現有的生成模型,并形成兩種優化思路 。
【帶你讀AI論文丨ACGAN-動漫頭像生成】? cGAN使用了輔助的標簽信息來增強原始GAN,對生成器和判別器都使用標簽數據進行訓練 , 從而實現模型具備產生特定條件數據的能力 。
? SGAN的結構利用輔助標簽信息(少量標簽),利用判別器或者分類器的末端重建標簽信息 。
ACGAN則是結合以上兩種思路對GAN進行優化 。
1.3算法介紹1.3.1 ACGAN模型結構
帶你讀AI論文丨ACGAN-動漫頭像生成

文章插圖
1.3.2損失函數? Ls是面向數據真實與否的代價函數 。
? Lc則是數據分類準確性的代價函數 。
在優化過程中希望判別器D能否使得Ls+Lc盡可能最大,而生成器G使得Lc-Ls盡可能最大 。
簡而言之是希望判別器能夠盡可能區分真實數據和生成數據并且能有效對數據進行分類,對生成器來說希望生成數據被盡可能認為是真實數據且數據都能夠被有效分類 。
帶你讀AI論文丨ACGAN-動漫頭像生成

文章插圖
1.3.3高分辨率如何評價一個生成模型生成圖片的分辨率,最簡單的方法無非就是直觀用眼睛來看,但這樣顯然無法量化一個圖片的好壞,于是作者提出使用一個分類器,若生成的圖片具有較高的分類正確率,就有理由認為生成的圖片質量比較高,也即該圖片具有較高的可分辨性 , 如上所述,生成高分辨率的圖片,需要不是簡單的將低分辨率的圖片進行線性插值來生成,因而要量化的分析生成的圖片的質量,可以從其分辨力 。
從低分辨率通過插值生成的高分辨率圖片,其本質上沒有增加多余信息,只是低分辨率的模糊版 。結合這樣的思路,高分辨率的圖片提供了更多的信息,這些信息結合到AC-GAN結構,每個生成圖片都有其對應的標簽,因而這個更多的信息 , 可以通過分類來表明,也就是說更多的信息,可以用于分類,也就是文中所說的分辨力 。
因此,ACGAN提出Inception Accuracy,這種新的用于評判圖像合成模型的標準,查看其被分類為正確類別的比率,以此來判定生成的圖片質量 。圖中,最上面給出了真實圖片和基于ACGAN生成圖片 , 可以明顯感覺圖片高分辨率對應高可分辨性 。
帶你讀AI論文丨ACGAN-動漫頭像生成

文章插圖
帶你讀AI論文丨ACGAN-動漫頭像生成

文章插圖
帶你讀AI論文丨ACGAN-動漫頭像生成

文章插圖
1.3.4圖像多樣性GAN有個最常見的問題就是模式坍塌的問題,就是模型找到一種方式,無論輸入的內容是什么,生成的圖片都只有一種,然而這種圖片能大概率欺騙過分辨器 。因而,產生的圖片具有多樣性,也是可以評估GAN模型好壞的指標 。
文中采用了圖片的多尺度結構相似度來衡量圖片與圖片之間的相似度(multi-scale structural similarity,MS-SSIM),這個相似度在0和1之間取值 , 越大說明圖片之間越相似;提及MS-SSIM的時候,往往也要提及SSIM,來看看它們具體是怎么計算的 。
帶你讀AI論文丨ACGAN-動漫頭像生成

文章插圖
1.3.5 ACGAN分析ACGAN分析是否通過記憶樣本合成圖像 。
帶你讀AI論文丨ACGAN-動漫頭像生成

文章插圖
1.3.6 ModelArts介紹ModelArts 是面向開發者的一站式AI開發平臺,為機器學習與深度學習提供海量數據預處理及交互式智能標注、大規模分布式訓練、自動化模型生成,及端-邊-云模型按需部署能力 , 幫助用戶快速創建和部署模型 , 管理全周期AI工作流 。下圖就是ModelArts的能力圖:

推薦閱讀