1. 首頁 > 生活百科 > >

DUCK 謠言檢測《DUCK: Rumour Detection on Social Media by Modelling User and Comment Propagation Networks》

生活百科謠言檢測

論文信息

論文標題：DUCK: Rumour Detection on Social Media by Modelling User and Comment Propagation Networks論文作者：Lin Tian, Xiuzhen Zhang, Jey Han Lau論文來源：2022，NAACL論文地址：download 論文代碼：download
1 Introduction本文的模型研究了如何充分利用用戶和評論信息 ， 對比之前的方法，有以下不同：
(1) we model comments both as a:
(i) stream to capture the  temporal nature of evolving comments;
(ii)  network by following the conversational structure  (see Figure 1 for an illustration);
(2) our comment  network uses sequence model to encode a pair of  comments before feeding them to a graph network,  allowing our model to capture the nuanced charac-  teristics (e.g. agreement or rebuttal) exhibited by a reply;
(3) when modelling the users who engage with a story via graph networks, we initialise the user nodes with encodings learned from their profiles and characteristics of their “friends” based on their social networks.
2 Problem Statement
DUCK 謠言檢測《DUCK: Rumour Detection on Social Media by Modelling User and Comment Propagation Networks》

文章插圖
3 Methodology總體框架：
DUCK 謠言檢測《DUCK: Rumour Detection on Social Media by Modelling User and Comment Propagation Networks》

文章插圖
包括如下幾個部分：
(1) comment tree: models the comment network by following the reply-to structure using a combination of BERT and graph attentional networks;(2) comment chain: models the comments as a stream using transformer-based sequence models;(3) user tree: incorporates social relations to model the user network using graph attentional networks;(4) rumour classifier: combines the output from comment tree, comment chain and user tree to classify the source post.
請注意，user tree 的網絡結構不同于 comment tree 的網絡結構，因為前者同時捕獲 comment 和 reposts/retweets，但后者只考慮 comment（Figure 1） 。
3.1 Comment Tree基于 GNN 的建模 comment 之間的關系的模型通常使用的是簡單的文本特征（bag-of-words），忽略了 comment 之間的微妙關系（"stance" or "deny"）關系 。
所以，本文采用預訓練語言模型 BERT 和 GAT 去建模 comment tree，具體參見 Figure 2：
DUCK 謠言檢測《DUCK: Rumour Detection on Social Media by Modelling User and Comment Propagation Networks》

文章插圖
首先，使用 BERT 去處理一對 parent-child posts ，然后使用 GAT 去建模整個 conversational strucure。（ self-attention 在 parent-child 之間的詞產生細粒度的分析）
以 Figure 2 中的 comment tree 為例，這意味著我們將首先使用 BERT 處理以下幾對 comments {(0, 0),(0, 1),(0, 2),(2, 6),(2, 7),(6, 9)}：
$h_{p+q}=\mathrm{BERT}\left(\mathrm{emb}\left([C L S], c_{p},[S E P], c_{q}\right)\right)$
其中，$c$ 表示 text，$emb()$ 表示 embedding function，$h$ 表示由 BERT 產生的 [CLS] 標記的上下文表示 。
為了模擬 conversational network structure ，本文使用圖注意網絡 GAT 。為了計算 $h_{i}^{(l+1)}$，在迭代 $l+1$ 次時對節點 $i$ 的編碼：
$\begin{array}{l}e_{i j}^{(l)} &=&\operatorname{LR}\left(a^{(l)^{T}}\left(W^{(l)} h_{i}^{(l)} \oplus W^{(l)} h_{j}^{(l)}\right)\right) \\h_{i}^{(l+1)} &=&\sigma\left(\sum\limits _{j \in \mathcal{N}(i)} \operatorname{softmax}\left(e_{i j}^{(l)}\right) z_{j}^{(l)}\right)\end{array}$
為了聚合節點編碼以得到一個圖表示（$\left(z_{c t}\right)$），探索了四種方法：
root：Uses the root encoding to represent the graph as the source post
$z_{c t}=h_{0}^{L}$
$\neg root$: Mean-pooling over all nodes except the root:
$z_{c t}=\frac{1}{m} \sum_{i=1}^{m} h_{i}^{L}$
where $m$ is the number of replies/comments.
$\Delta$ : Mean-pooling of the root node and its immediate neighbours:
$z_{c t}=\frac{1}{|\mathcal{N}(0)|} \sum_{i \in \mathcal{N}(0)} h_{i}^{L}$
all: Mean-pooling of all nodes:
$z_{c t}=\frac{1}{m+1} \sum_{i=0}^{m} h_{i}^{L}$
3.2 Comment Chain本文按照它們發布的順序將這些帖子建模為一個流結構，而不是一個樹結構，處理 comment chain 考慮了三種模型：
(1) one-tier transformer(2) longformer(3) two-tier transformer
3.2.1 One-tier transformer
給定一個源帖子 $\left(c_{0}\right)$ 和 comment $\left(\left\{c_{1}, \ldots, c_{m}\right\}\right)$，我們可以簡單地將它們連接成一個長字符串，并將其提供給 BERT：
$z_{c c}=\operatorname{BERT}\left(\mathrm{emb}\left([C L S], c_{0},[S E P], c_{1}, \ldots, c_{m^{\prime}}\right)\right)$
其中，$m^{\prime}(<m)$ 是我們可以合并的不超過 BERT 的最大序列長度的 comment（實驗中是384個） 。
3.2.2 Longformer為規避序列長度的限制，實驗使用了一個 Longformer，它可以處理多達4096個子詞，允許使用大部分 comment，如果不是所有的評論 。

推薦閱讀