2.4 屬性圖嵌入除了大多數圖嵌入算法使用的圖拓撲信息外，一些工作已經證明，還應該充分利用豐富的節點屬性來輔助圖表示學習 。屬性圖嵌入也可以與同質或異構圖嵌入相交 ， 例如屬性同質圖嵌入或屬性異構圖嵌入 。TADW首先采用歸納矩陣因式分解來融合節點文本屬性和圖結構 。Lane順利地將圖的拉普拉斯技術與標簽信息相結合，從節點屬性和拓撲結構兩個方面聯合學習嵌入 。ASNE通過集成節點鄰近性和結構鄰近性開發了一個社交圖嵌入框架 。Dane捕捉到了各種拓撲結構和節點屬性鄰近度的高度非線性 。Liu等人通過將圖的結構、語義信息和屬性與高斯分布相融合，提出了一個統一的屬性異構圖嵌入模型AHNG 。ANRL設計了一個鄰居增強自動編碼器模型 ， 將節點屬性親和度和結構貼近度合并到低維嵌入空間中 。
2.5 圖神經網絡(GNN)深度學習在各個領域都取得了實質性進展 。然而，原有的深度學習方法是針對歐幾里得數據(例如文本、序列和拍攝的圖像)設計的 。為了將深度學習應用于非歐氏圖，神經網絡近年來得到了迅速的發展和廣泛的應用 。除了學習圖嵌入 ， GNN通常可以通過各種局部消息聚合和傳播步驟來捕獲圖的結構信息和節點屬性，并且可以以端到端的方式直接處理與圖相關的任務 。根據以前的工作 ， 在本節中，我們根據模型體系結構和訓練策略將最新的GNN總結為四類：圖遞歸神經網絡(GRN)、圖卷積神經網絡(GCN)、圖自動編碼器(GAE)和圖生成對抗性網絡(GGAN) 。一些變體可以基于不同的訓練策略將這些體系結構組合和重疊，例如強化學習和對比學習 。
2.5.1 圖遞歸神經網絡(GRN)圖遞歸神經網絡(GRN)是GNN的開拓性工作，它通過在圖中的節點上遞歸地應用相同的參數來編碼高維節點表示 ?；谛畔⒌臄U散機制 ， Gori等人提出了GNN，它改進了原來的遞歸神經網絡模型來處理圖數據，其中節點聚集鄰居的信息直到達到穩定的平衡 。作為一個顯著的改進，Li等人通過使用門控遞歸單元作為共享參數的映射函數來發展門控GNN，并采用通過時間的反向傳播來訓練它 。為了提高GNN模型的可擴展性，文中還提出了隨機穩態嵌入算法，該算法可以遞歸地更新節點的隱含狀態 ， 對大規模圖更加有效 。
2.5.2 圖卷積神經網絡(GCN)圖卷積神經網絡(GCN)將卷積運算從圖像等結構化數據擴展到圖數據 。其主要思想是學習映射函數\(f(\cdot)\)，通過聚合節點自身和鄰居的特征來產生節點的嵌入 。圖的卷積可以分為譜方法和空間方法 。Kipf等人引入了第一個GCN，它應用重歸一化的技巧來解決梯度爆炸或消失問題 。然后，Zang等人提出了聯合考慮兩層卷積圖的局部一致性和全局一致性的對偶GNN，并用正類的逐點互信息矩陣代替了鄰接矩陣 。然而 ， 這些方法需要將整個鄰接矩陣或拉普拉斯矩陣存儲在內存中，這將導致昂貴的計算 。GCN也有許多變體 ， 例如AGCN、LGCN和FastGCN 。GraphSAGE是GCN的一個重要改進 ， 它提供了一個通用的歸納學習框架，可以通過采樣和聚合局部鄰居的特征來生成不可見節點的嵌入 。注意力機制也可以用來改進GCN ， 圖注意力網絡(GAT)將自注意力引入到傳播步驟中，并進一步考慮了多頭注意力以提高模型的容量和穩定性 。門控注意力網絡通過為不同的注意力頭部學習不同的權重來改進多頭注意力機制 。Han通過在節點層和語義層進行分層關注來學習異構圖的節點嵌入，而節點層的注意力用于學習對基于元路徑的鄰居聚合的不同權重，語義層的關注度則傾向于不同元路徑的重要性 。
2.5.3 圖自動編碼器(GAE)編碼器-解碼器(encoder-decoder)結構也被廣泛應用于圖嵌入和圖生成任務中 。圖自動編碼器(GAE)首先將該體系結構擴展到圖嵌入，該結構采用GCN作為編碼器對結構和節點特征信息進行編碼，并使用解碼器重構鄰接矩陣 。他們還提出了一種變分圖自動編碼器(VGAE)，通過以變分的方式訓練GAE 。通過采用GCN作為編碼器 ， 使用一個簡單的雙線性函數作為解碼器，提出了GC-MC，并應用到了推薦任務上 。此外，圖的迭代生成建模(Graphite)通過設計更復雜的解碼器來擴展它們，該解碼器在成對的圖卷積和解碼函數之間迭代 。除了將節點編碼為低維嵌入外，Graph2Gauss(G2G)還通過學習每個節點的高斯分布來捕捉節點的不確定性 。受SDNE和G2G的啟發，DVNE還使用變分自動編碼器(VAE)將每個節點表示為高斯分布 ， 并采用Wasserstein距離來保持節點相似性的傳遞性 。假設圖的先驗分布為高斯分布 ， GraphVAE使用GCN作為編碼器，簡單的多層感知器作為圖生成任務的解碼器 ?；谶z傳算法的對比學習是無監督圖嵌入的另一種方法，它是在深度圖信息極大(DGI)中首次提出的 。DGI通過最大化節點嵌入和圖表示之間的互信息來獲取圖的全局拓撲信息 。類似地，信息圖通過最大化不同尺度的圖級表示和子圖級表示之間的互信息來學習圖表示 。
