问一问近几年来逆势而上的技术有什么?相信你一定会说出来一个:图神经网络。
没错,图神经网络就像曾经的微信, python, pytorch, 他们从我们视线的边缘逐渐走向我们视野的中心,并成为很多人的首选。图神经网络目前还没有完全成为各大顶会的焦点,但不可否认,它将会。相信在后面的研究中,图神经网络在人工智能领域会起着举足轻重的作用,2017年你没有关注到图神经网络,那么2020年了就不要错过了。相对于一般的神经网络,图神经网络能够解决更多更有效的问题,图神经网络也可以与自然语言处理,计算机视觉,强化学习,甚至是最基本的缺失值补全这样的机器学习任务结合(见NeurIPS‘20’ Jiaxuan You et.al),简单的说GNN有下面的特点:
- 图神经网络能够实现强大的非结构学习的能力:GNN能够从非结构化数据(例如:场景图片、故事片段等)中进行学习和推理。尽管传统的深度学习方法被应用在提取欧氏空间数据的特征方面取得了巨大的成功,但许多实际应用场景中的数据是从非欧式空间生成的,传统的深度学习方法在处理非欧式空间数据上的表现却仍难以使人满意。
- 图神经网络可以学习时序以及非时序排序的特征学习:GNN的输出不以节点的输入顺序为转移的。在时空领域的建模,我们既可以关注无先后顺序的空间拓扑结构,也可以建模有顺序的时间维度,多一维度的信息,多一份决策的能力;
- 图神经网络可以解决两个节点之间依赖关系的学习:传统的神经网络中,这种依赖关系只能通过节点的特征来体现。图嵌入通过保留图的网络拓扑结构和节点内容信息,将图中顶点表示为低维向量,以便使用简单的机器学习算法(例如,支持向量机分类)进行处理。
图神经网络在社交网络、广告推荐、搜索推荐、药物生成、智能体交互、高能物理学到社会科学和经济学等领域的复杂关系建模和互动系统构建起到重要作用。今天,我要给大家介绍一个长期关注图神经网络,干货满满的公众号,深度学习与图网络。
它是由来自中国科学院大学,香港中文大学,上海交通大学等几位科研一线的在读博士研究生生科研之余写的(其中一位同学主要负责,非学校官方账号,科研兴趣),主要关注图神经网络,以及深度学习,机器学习相关内容。该公众号的主要目的是关注图神经网络,机器学习的最新研究进展和动态,偶尔尝试解读一些有意思的研究工作,但水平有限,欢迎来批评指正。在研究方向上, 公众号关注以下几个方面:
- 图与自然语言处理
- 图与计算机视觉
- 图与智慧交通
- 图与推荐
- 图优化与解决过平滑问题
- 图上节点分类
- 图池化与分类以及分子图生成
- 动态图,时空图嵌入
在研究动态上:公众号关注NeurIPS, ICML, KDD, CVPR等会议论文,TPAMI, TNNLS, TKDE, TKDD等期刊论文,以及关注Arxiv上与图网络相关的研究动态,同时关注GitHub上关于GNN 库.
如果你也是上面研究方向的同学,欢迎关注与收藏,据了解该公众号已组建多个图网络学习群,同时也组织了多次线上的图论文研讨活动,以及CS224W课程学习的活动。目前正在进行的是IJCAI2020图论文打卡活动,后期会进行KDD2020,NeurIPS2020图论文打卡活动,如果你也有兴趣,欢迎关注一波,后期会在公众号发布相关的信息。
如果你还没有入门,不用着急,站在他人的肩膀上,你会看的轻松一点,欢迎参考从下面的学习路线
1 Tutorial教程合集(入门必读)
- 为什么要进行图嵌入表示?
- 图嵌入表示:深度游走(Deepwalk)
- 图系列|从图(Graph)到图卷积: 漫谈图神经网络模型(I)
- 图系列|从图(Graph)到图卷积: 漫谈图神经网络模模型(II)
- 图系列|从图(Graph)到图卷积: 漫谈图神经网络模模型(III)
- 图卷积神经网络Graph Convolutional Network(GCN):从问题到理论分析
- 图网络延伸GraphSage: Inductive learning 和 Transductive learning
- 图注意机制GAT:三种注意力机制在图神经网络中的应用和总结
- SGC Networks,一种简化的图神经网络=>产生高达两个数量级的加速
- 图系列GIN|GNN模型到底有多强呢?Weisfeiler-Leman test来告诉你
- 斯坦福Jure Leskovec——图神经网络研究最新进展(附下载链接)
- 清华大学唐杰——图神经网络 (GNN) 算法及其应用138页PPT(附下载链接)
- 斯坦福大学Jure Leskovec—图神经网络GNN研究进展:表达性、预训练、OGB,71页ppt
2 深度思考(进阶)
- GNN需要预训练吗?| GNN教程:图上的预训练任务上篇
- GNN需要预训练吗?| GNN教程:图上的预训练任务下篇
- 思考:Transformers与图神经网络有什么关系,我们能从transformer学习什么?
- 从Laplacian矩阵开始,理解GCN
- 如何解决图神经网络(GNN)训练中过度平滑的问题?
- 图网络GNN(特别篇):一文遍览图网络中16种典型的图卷积和9种图池化Graph Pooling
- 从源头深入分析GCN的四个行文思路:重要度度量与累计,注意力,局部一致性,Laplacian变换
- KDD‘18 | 学习任意阶邻近度的Network Embedding
3 综述论文
- 清华大学朱文武「基于深度学习的图表示」综述论文,51页pdf(附下载链接)
- 图综述|综述《A Gentle Introduction to Deep Learning for Graphs》
- 图网络综述|9篇研究综述看图神经网络GNN的最新研究进展
- 图网络综述|10-异构网络表示学习
- 图网络综述|动态图上的表示学习(1)
- 图文献综述|动态图上的表示学习(2)
- 图文献综述|交通领域如何构建图模型进行深度学习
学习一个新的领域最好是从综述开始,因为综述已经非常全面概括了目前该领域的论文,进行了合理的分类。公众号已经整理打包好第3部分全部的综述论文,后期新的论文会加入进去。如果你也需要,在下面公众号回复:图网络资料就可以了,内部资料,请勿外传。
4 图相关专题
- 图专题|图神经网络在医学影像中的应用
- 图专题 | 欺诈检测之图算法(1)
- 图专题 | 欺诈检测之图算法(2)
- 图专题 | 图网络之核函数(1)
- 图专题 | 图网络之核函数(2)
- 图专题 | 图上的池化方法
- 图专题 | 图上的生成模型
- 图专题 | 动态图表示学习
- 图专题 | 图表示学习方法的鲁棒性研究
5 会议论文合集
- ICML20 | 连续图神经网络;常数曲率图神经网络;贝叶斯图神经网络
- 论文汇总 | (全部)AAAI’20图相关论文合集,涉及各个方面
- 论文汇总 | 15篇ICLR’20与图网络学习有关的论文汇总(第一期)
- 论文汇总 | 14篇ICLR’20与图网络学习有关的论文汇总(第二期)
- 论文汇总 | 14篇ICLR’20与图网络学习有关的论文汇总(第三期)
- 论文汇总 | ICCV’19 图相关论文合集
- 论文汇总 | KDD’19 图相关论文合集
- 论文汇总 | NeurIPS’19 图网络相关论文合集
- 论文简讯 | AAAI’20中五篇与图神经网络相关论文,涉及图分类,动态图建模,知识图谱对齐,交通预测等
- 论文简讯 | WWW’19|图相关论文(第一期)
6论文快讯
- 图表示学习和几何深度学习workshop(II): node2vec与强化学习;双曲嵌入;Group卷积中的注意力等
- ELLIS Workshop: April 2020图网络最新研究进展(I)
- 论文汇讯: 图网络新应用:新燃料发现,有机化学逆合成,多任务学习,单一场景中的检测等等
- GRAPH-BERT:图表示学习只需要注意力
- 图机器学习-图拉普拉斯算子的离散正则性,141页ppt,Discrete regularity graph Laplacians
- KDD19开源论文 Heterogeneous Graph Neural Network
- KDD2020|混合时空图卷积网络:更精准的时空预测模型
- 论文快讯: 5篇Graph相关内容:多标签建模;因果结构学习;N-gram Graph等等
- 论文快讯: 一些新图卷积相关方法的提出来啦
- 论文快讯: 很多新的图学习方法提出,赶紧来看
- 论文快讯: 图神经网络的新鲜应用
- 论文快讯: 图网络相关的最新文献,涉及Graph Embedding 综述,交通预测、停车位可用性预测,图匹配等
7相关资料
- 资料|一本机器学习与复杂网络相关的书籍《Machine Learning in Complex Networks》
- 资料 |斯坦福大学2019秋季新课CS224W: Machine Learning with Graphs 课程讲义PPT等
- 斯坦福CS224W课程—机器学习与图—课程介绍与资料汇总
- 【经典】GAT作者Petar剑桥大学博士论文《深层神经网络结构的复兴》147页pdf,附下载链接
- 资料 | 17篇论文,详解图的机器学习趋势 | NeurIPS 2019
- 资料 | NLP 和人文社会学科课程来了:斯坦福开年公开课主讲NLP和社交网络应用
- 资料 | Graph embedding|Graph Neural Network 学习资料汇总
- GitHub | Awesome Graph classification
进入一个新的领域如果有一些系统的辅助的资料就不会被带偏,迷失方向。博客公众号,论文相当于完整的书籍还是缺乏系统性,为此公众号系统收集了图网络相关的资料,书籍等。如果你也需要,在下面的公众号,回复:图网络资料就可以领取,内部资料请勿外传~
8 论文解读合集
深度解读:KDD2020|混合时空图卷积网络:更精准的时空预测模型
深度解读:Transformer for Graph Classification:无监督的学习下图分类(代码已经公开)
深度解读:图系列|三篇图层次化表示学习(Hierarchical GNN):图分类以及节点分类
深度解读:团队新作 | 多尺度图卷积神经网络:有效统一三维形状离散化特征表示
深度解读:ICLR20|CUHK及NUS提出两个指标度量与提升图网络消息传递
论文解读:KDD’18异质信息网络嵌入学习—HEER模型结构,解决存在多决种关系的问题
论文解读:KDD’19 Deep Learning on Graph 最佳论文:自然语言生成(NLG)任务
论文解读:图表示学习中的对抗与攻击KDD’18 Best Paper: Adversarial Attacks
论文解读:GMNN:图马尔可夫网络,关系数据进行建模,变分EM框架训练模型
论文解读:普林斯顿高研院, 浙大, CMU和MIT联合提出图核函数与图神经网络的融合方法
论文解读:NeurIPS’20|Hyperbolic Graph Convolutional Neural Networks
论文解读:ICCV’19 Workshop 论文解读:用图神经网络改善视频的多标签分类
方案解读:CIKM’19 挑战杯「用户行为预测」冠军方案分享:「初筛-精排」两阶求解框架
论文解读:KDD’19 | 图神经网络预测知识图谱中的节点重要性
论文解读:图系列|图神经常微分方程,如何让 GNN 在连续深度域上大显身手?
9动态时空图专题
10 动作识别专题
图系列|通过神经网络搜索(NAS)图卷积网络进行人体骨骼的动作识别
11 代码实战教程
图代码实战|Amazon图神经网络库DGL零基础上手指南-以节点分类为例
图代码实战|在PyTorch框架下使用PyG和networkx对Graph进行可视化
上面的内容有点多,是不是看的有点懵,建议收藏一下。后期可以按照关键词在深度学习与图网络公众号历史消息中进行搜索就可以了。
最后在说明一下哈,如果你也需要第三部分和第七部分的资料,在下面的公众号领取。暗号:图网络资料,拒绝任何套路,纯干货分享。