最近 ， 基于矩陣因式分解的圖嵌入方法也得到了發展，這種方法可以保持高階鄰近性 。例如，GraRep和Hope分別通過分解k跳轉移概率矩陣和相似度矩陣(通過Kate指數、Rooted PageRank、Common Neighbors和Adamic–Adar得分來衡量)來考慮高階鄰近 。雖然其有效性已被證明 ， 但由于巨大的存儲開銷和極高的計算成本 ， 規模的可伸縮性仍然是基于矩陣分解的方法的關鍵瓶頸 。
2.2.2 基于隨機游走的方法受Word2vec啟發，研究人員將NLP中的嵌入方法從單詞序列擴展到圖節點序列，即路徑 。采用基于隨機游走的方法生成圖中的節點序列，獲取節點之間的結構關系 。具體地說 ， 基于隨機游走的方法對于給定的圖和起始節點，隨機游走并隨機選擇其鄰居節點，然后隨機選擇相鄰節點 。通過重復這種處理，一個圖被轉換成節點序列（類似于遍歷） 。然后，可以使用類似Skip-Gram模型的概率模型在序列上隨機生成上下文詞 ， 然后來學習基于生成的節點序列的節點嵌入，從而保持圖的結構鄰近性 。這一類別的開創性工作是Deepwalk 。類似地，node2vec改進了靈活的有偏隨機游走，平滑地結合了廣度優先采樣和深度優先采樣來獲得節點序列 。因此 ， 既保留了局部鄰近關系，也保留了全局鄰近關系 。此外，通過對隨機游動的偏向和修正，提出了兩種變種Walklets和Stuc2vec 。Walklets通過跳過一些節點來修改隨機行走策略 。而不是鄰域節點信息，Struc2vec基于節點的結構相似性定義了隨機游走 。
跳字模型(Skip-Gram)：固定窗口大小(即詞距)為k，依次把第2個詞~倒數第2個詞作為目標詞,然后對于每個目標詞依次在詞距內隨機選擇單詞作為上下文詞，將每一對(目標詞,上下文詞)加入跳字模型 。2.2.3 基于傳統深度學習的方法傳統深度學習技術在圖嵌入學習領域也展示了令人印象深刻的表示學習能力 。廣泛使用的嵌入方法LINE，可以看作是使用多層感知器逼近一階鄰近度和二階鄰近度來學習節點嵌入 ?；谏疃茸詣泳幋a器體系結構，SDNE通過對節點的一階鄰近度(基于拉普拉斯特征映射測量)和二階鄰近度的建模來同時保留全局和局部圖結構 。為了獲取高階鄰近性，DNGR通過在正類逐點互信息矩陣上堆疊去噪自動編碼器來嵌入深度低維節點 ?；趥鹘y深度學習的嵌入方法可以學習圖中的非線性，但其計算代價普遍較高 。最重要的是，這些基于傳統深度學習的方法仍然非常原始 。它們只能為訓練階段出現的節點生成嵌入 。為了緩解這些問題，最近迅速開發了更復雜的GNN 。我們將在第2.5節-圖神經網絡中具體討論它們 。
2.3 異構圖嵌入異構圖更自然地與具有多種對象和關聯的現實世界場景相關，而上面提到的同質圖嵌入方法不能直接作用于它們 。異構圖嵌入在幾年前提出后迅速成為一個蓬勃發展的研究領域 ?，F有的異構圖嵌入方法也大致可以分為基于元路徑的方法、基于分解的方法和基于深度學習的方法 。
2.3.1 基于元路徑的方法由于結構和內容的異構性，隨機游動很難找到一種有效的游動策略來捕捉整個圖中包含的豐富語義 。元路徑限制了隨機游走的方向，降低了異構圖的遍歷復雜度 。Metapath2vec形式化了元路徑引導的隨機游走，以生成節點的異構鄰域，然后利用異構跳圖模型進行節點嵌入 。作為擴展 ， HIN2vec也使用基于元路徑的隨機游走，提出了一個神經網絡來捕捉圖的異構性 。不同之處在于，它使用生成的元路徑作為對象來直接學習元路徑和節點的表示 。后來，GATNE將這一策略擴展到多路傳輸異構網絡 。然而，對于這種類型的模型，適當的游走次數和游走長度的設置是至關重要的 。否則，這些方法不能完全保留圖的整個結構 。
2.3.2 基于分解的方法基于分解的方法類似于分而治之，它將輸入的異構圖劃分為幾個小的子同構圖或子雙邊圖，以降低異構圖的復雜性 。例如 ， PTE根據邊類型將一個異構圖分解成多個雙邊圖，然后利用每個雙邊圖上的邊來學習共享節點的嵌入 。Heer通過考慮節點對在其邊嵌入上的類型鄰近性來擴展PTE 。根據定義的元路徑 ， HERec還將一個異構圖投影到不同的維度，然后在每個子圖中使用metapath2vec來學習頂點嵌入 。
2.3.3 基于傳統深度學習的方法盡管這個問題很重要，但基于傳統深度學習技術的異構圖嵌入的研究還很少 。例如，HNE學習表示 。通過深度卷積神經網絡獲取圖和內容的拓撲信息 ， 然后將它們共同投射到一個共同的嵌入空間中 。而BL-MNE模型引入了一種基于深度對齊自動編碼器的異構圖嵌入方法 。最近，不同的GNN也被應用于異構圖的嵌入 。為了更好地在下面介紹它們，將它們組合在一起并進行分類 。
