1. 首頁 > 生活百科 > >

GLA 論文解讀《Label-invariant Augmentation for Semi-Supervised Graph Classification》

生活百科

論文信息

論文標題：Label-invariant Augmentation for Semi-Supervised Graph Classification論文作者：Han Yue, Chunhui Zhang, Chuxu Zhang, Hongfu Liu論文來源：2022，NeurIPS論文地址：download論文代碼：download
1 Introduction我們提出了一種圖對比學習的標簽不變增強策略，該策略涉及到下游任務中的標簽來指導對比增強 。值得注意的是，我們不生成任何圖形數據 。相反，我們在訓練階段直接生成標簽一致的表示作為增廣圖 。
2 Methodology2.1 Motivation數據增強在神經網絡訓練中起著重要的作用 。它不僅提高了學習表示的魯棒性，而且為訓練提供了豐富的數據 。
例子：（使用 $50%$ 的標簽做監督信息 。數據增強：node dropping, edge perturbation, attribute masking, subgraph sampling）
GLA 論文解讀《Label-invariant Augmentation for Semi-Supervised Graph Classification》

文章插圖
顯然有些數據增強策略（或組合）對于模型訓練又負面影響 。本文進一步使用 MUTAG 中的 $100%$ 標簽訓練模型 ， 然后以每種數據增強抽樣概率 $0.2$ 選擇數據增強圖，發現 80% 的數據增強圖和原始圖標簽一致，約 $20%$ 的數據增強圖和原始圖標簽不一致 。
2.2 Label-invariant Augmentation整體框架：
GLA 論文解讀《Label-invariant Augmentation for Semi-Supervised Graph Classification》

文章插圖
四個組成部分：
    • Graph Neural Network Encoder
    • Classifier
    • Label-invariant Augmentation
    • Projection Head
出發點：對于一個有標記的圖，我們期望由增強表示預測的標簽與地面真實標簽相同 。
2.2.1 Graph Neural Network EncoderGCN layer :
$G^{(l+1)}=\sigma\left(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} G^{(l)} \theta_{G}^{(l)}\right)\quad\quad\quad\quad(1)$其中：
    • $G^{(l)}$ denotes the matrix in the l -th layer, and $G^{(0)}=X$
    • $\sigma(\cdot)=\operatorname{ReLU}(\cdot)$
池化 (sum)：
$H=\operatorname{Pooling}(G)\quad\quad\quad\quad(2)$
2.2.2 Classifier基于圖級表示，我們使用帶有參數 $\theta_{C}$ 的全連接層進行預測：
$C^{(l+1)}=\operatorname{Softmax}\left(\sigma\left(C^{(l)} \cdot \theta_{C}^{(l)}\right)\right)\quad\quad\quad\quad(3)$
其中 ， $C^{(l)}$ 表示第 $l$ 層的嵌入，輸入層 $C^{(0)}=H^{O}$ 或 $C^{(0)}=H^{A}$ 分別表示原始表示和增強圖表示 。實驗中，采用了一個 2 層多層感知器，得到了對原始表示 $H^{O}$ 和增強表示 $H^{A}$ 的預測 $C^{O}$ 和 $C^{A}$ 。
2.2.3 Label-invariant Augmentation不對圖級表示做數據增強，而是在原始圖級表示$H^{O}$上做微小擾動得到增強圖級表示 。
在實驗中 ， 首先計算所有圖的原始表示的質心，得到每個原始表示與質心之間的歐氏距離的平均值為 $d$，即：
$d=\frac{1}{N} \sum_{i=1}^{N}\left\|H_{i}^{O}-\frac{1}{N} \sum_{j=1}^{N} H_{j}^{O}\right\|\quad\quad\quad\quad(4)$
然后計算增強圖表示 $H^{A}$：
$H^{A}=H^{O}+\eta d \Delta\quad\quad\quad\quad(5)$
其中 $\eta$ 縮放擾動的大?。?\Delta$ 是一個隨機單位向量 。
為實現標簽不變增強，每次，隨機生成多個擾動，并選擇符合標簽不變屬性的合格候選增強 。在這些合格的候選對象中 ， 選擇了最困難的一個，即最接近分類器的決策邊界的一個，以提高模型的泛化能力 。
2.2.4 Projection Head使用帶有參數 $\theta_{P}$ 的全連接層，從圖級表示中得到對比學習的投影，如下所示：
$P^{(l+1)}=\sigma\left(P^{(l)} \cdot \theta_{P}^{(l)}\right) \quad\quad\quad\quad(6)$
采用一個 2 層多層感知器，從原始表示 $H^{O}$ 和增廣表示 $H^{A}$ 中得到投影 $P^{O}$ 和 $P^{A}$ 。
2.2.5 Objective Function目標函數包括對比損失和分類損失 。對比損失采用 NT-Xent，但只保留正對部分如下：
$\mathcal{L}_{P}=\frac{-\left(P^{O}\right)^{\top} P^{A}}{\left\|P^{O}\right\|\left\|P^{A}\right\|} \quad\quad\quad\quad(7)$
對于分類損失，采用交叉熵 ， 其定義為：
$\mathcal{L}_{C}=-\sum_{i=1}^{c}\left(Y_{i}^{O} \log P_{i}^{O}+Y_{i}^{O} \log P_{i}^{A}\right) \quad\quad\quad\quad(8)$
其中，$Y^{O}$ 是輸入圖的標簽，$c$ 是圖類別的數量 。本文只計算帶標簽的圖的 $\mathcal{L}_{C}$ 。$\text{Classifier}$  的改進將有助于標簽不變的增強，反過來有利于分類器的訓練 。
結合等式 $\text{Eq.7}$ 和 $\text{Eq.8}$ ，總體目標函數可以寫成如下：
$\underset{\Theta}{\text{min}} \quad\mathcal{L}_{P}+\alpha \mathcal{L}_{C}\quad\quad\quad\quad(9)$
3 Experiments3.1 Datasets
GLA 論文解讀《Label-invariant Augmentation for Semi-Supervised Graph Classification》

文章插圖

推薦閱讀