论文信息

论文标题：Towards Robust False Information Detection on Social Networks with Contrastive Learning
论文作者：Chunyuan Yuan, Qianwen Ma, Wei Zhou, Jizhong Han, Songlin Hu
论文来源：2019,CIKM
论文地址：download
论文代码：download

1 Introduction

　　问题：会话图中轻微的扰动讲导致现有模型的预测崩溃。

　　研究了两大类数据增强策略（破坏会话图结构）：

　　贡献：

　　(1) 提出了RDCL框架，为虚假信息检测提供了鲁棒的检测结果，该框架利用对比学习从多个角度提高了模型对扰动信号的感知。

　　(2) 证明了硬正样本对可以提高对比学习的效果。

　　(3) 提出了一种有效的硬样本对生成方法 HPG，它可以增加对比学习的效果，使模型学习更鲁棒的表示。

　　(4) 通过比较实验、在不同的 GNN 和两个数据集上进行的消融实验，证明了该模型的有效性。

2 Methodlogy

　　问题定义：预测无向会话图的标签。

　　整体框架如下：

node-based data perturbation

Comments contain noise (CN)

　　在除根节点以外的节点中，以 $\rho $ 的采样率采样节点，对于采样的节点用高斯分布初始化，没有被采样到的节点采用 0 填充：

　　　　$X_{C N}^{-r}=X^{-r}+X_{G a u s s i o n}^{-r}$

Comments are deleted (CD)

　　在除根节点以外的节点中，以 $\rho $ 的采样率采样节点，然后将其节点特征向量置 0 ：

　　　　$X_{C D}^{-r}=X^{-r} \odot D^{-r}$

Comments are exchangeable (CE)

　　在除根节点以外的节点中，以 $\rho $ 的采样率采样节点，交换节点特征向量。

topology-based data perturbation

Propagation sub-structure is removed (PR)

　　在除根节点以外的节点中，随机选择一部分节点，并删除其形成的子图。

Propagation structure is uncertain (PU)

　　以 $\rho $ 的采样率采样边，并删除边：

　　　　$A_{P U}=A-A_{\text {drop }}$

Propagation structure is incorrect (PI)

　　随机选择两个节点 $C_i$ 和 $C_j$，对于节点 $C_i$，选择删除它和它父节点之间的边，并添加 $C_j$ 和 $C_i$ 之间的边。

　　对于一张图，采用不同的数据增强策略，得到两个增强图，并获得其对应的图级表示，使用 NT-XENT 损失作为自监督损失：

　　　　${\large \mathcal{L}_{\mathrm{SSL}}=-\log \frac{\exp \left(z_{m}^{i} \cdot z_{m}^{j} / \tau\right)}{\exp \left(z_{m}^{i} \cdot z_{m}^{j} / \tau\right)+\sum\limits _{N e g} \exp \left(z_{m}^{i} \cdot z_{n e g} / \tau\right)}} $

　　Note：需要对每个特征向量 $z_{m}^{i}, z_{m}^{j},z_{\text {neg }}$ 使用 $l_2$ normalization。

　　假设：对于含有相同标签的图，将他们认为是正样本对，每个 batch 中有 $P$ 张图，加上数据增强后生成的 $2P$ 张图，总共有 $3P$ 张图，自监督对比损失如下：

　　　　${\large \mathcal{L}_{S C L}=-\frac{1}{3 P} \log \frac{\sum\limits _{Y_{s}=Y_{m}} \exp \left(z_{m} \cdot z_{s} / \tau\right)}{\sum\limits_{Y_{s}=Y_{m}} \exp \left(z_{m} \cdot z_{s} / \tau\right)+\sum\limits_{Y_{d} \neq Y_{m}} \exp \left(z_{m} \cdot z_{d} / \tau\right)}} $

　　[ Anchor 和数据增强图之间的对比损失]

　　自监督损失：

　　　　$\begin{aligned}\mathcal{L}_{\mathrm{SSL}}=&-z_{m}^{i} \cdot z_{m}^{j} / \tau +\log \left(\exp \left(z_{m}^{i} \cdot z_{m}^{j} / \tau\right)+\sum\limits_{\mathrm{Neg}} \exp \left(z_{m}^{i} \cdot z_{n e g} / \tau\right)\right)\end{aligned}$

　　[数据增强图之间的对比损失]

　　上述 $\mathcal{L}_{\text {SSL }}$ 关于 $z_{m}^{i}$ 的梯度为：

　　　　$\begin{aligned}\frac{\partial \mathcal{L}_{S S L}}{\partial z_{m}^{i}} &=-\frac{1}{\tau}\left(z_{m}^{j}-\frac{\exp \left(z_{m}^{i} \cdot z_{m}^{j} / \tau\right) z_{m}^{j}+\sum\limits_{N e g} \exp \left(z_{m}^{i} \cdot z_{n e g} / \tau\right) z_{n e g}}{\exp \left(z_{m}^{i} \cdot z_{m}^{j} / \tau\right)+\sum\limits_{N e g} \exp \left(z_{m}^{i} \cdot z_{n e g} / \tau\right)}\right) \\&=-\frac{\sum\limits_{N e g} \exp \left(z_{m}^{i} \cdot z_{n e g} / \tau\right)\left(z_{m}^{j}-z_{m}^{i}\right)-\left(z_{n e g}-z_{m}^{i}\right)}{\tau \exp \left(z_{m}^{i} \cdot z_{m}^{j} / \tau\right)+\sum\limits_{N e g} \exp \left(z_{m}^{i} \cdot z_{n e g}\right) / \tau} \\&=-\frac{1}{C_{1} \tau}\left(\sum\limits_{N e g} \exp \left(z_{m}^{i} \cdot z_{n e g} / \tau\right)\left(z_{m}^{j}-z_{m}^{i}\right)+C_{2}\right)\end{aligned}$

　　其中：

　　　　$C_{1}=\exp \left(z_{m}^{i} \cdot z_{m}^{j} / \tau\right)+\sum\limits_{N e g} \exp \left(z_{m}^{i} \cdot z_{n e g} / \tau\right)$

　　　　$C_{2}=z_{n e g}-z_{m}^{i}$

　　$\text{Eq.7}$ 在分子中的梯度贡献主要来自于（$z_{m}^{j}-z_{m}^{i}$）。因此，如果能够增加图级空间中样本对之间的距离，它将提供更大的梯度信号，从而增加模型的学习难度，提高对比学习的质量。所以，本文的对比视图生成方法如下：