您的位置 > 首页 > CDA专访 > 一文完全解读:是什么使神经网络变成图神经网络?

一文完全解读:是什么使神经网络变成图神经网络?

来源:CDA原创 | 2019-09-27 | 发布:经管之家





作者 | Boris Knyazev

编译 | 栗峰

来源 | 深度学习这件小事


最近,Graph Neural Network(GNN)在很多领域日益普及,包括社交网络、知识图谱、推荐系?#25104;?#33267;于生命科学。GNN在对节点关系建模方面表现十分突出,使得相关的研究领域取得了一定突破。本文将就“为什么图有用”、“为什么很难在图上定义卷积”、“是什么使神经网络成为了图神经网络”这些问题进行讨论。

首先,让我们简单回顾一下什么是图?图 G 是由有向或无向边连接的一组节点(顶点)。节点和边通常是由专家依据知识经验或是对问题的?#26412;?#36827;行设置的。因此,它可以是分子中的原子,社交网络中的用户,交通系统中的城?#26657;?#22242;队运动中的运动员,大脑中的神经元,动态物理系统中的交互对象,图像中的像素、图像边界框或是图像分割掩模。

换句话说,在很多情况下,实际上是由你来决定图的节点和边。

这是一种很灵活的数据结构,它囊括了很多其他的数据结构。例如,如果没有边,那么它?#31361;?#21464;成一个集合;如果只?#23567;?#22402;直”边,其中?#25105;?#20004;个节点都相连,那么我们就有了一个数据树。当然正如我们接下来将要讨论?#27169;?#36825;?#33267;?#27963;性有利也有弊。



两个分别有5和6个节点的无向图,节点的顺序是?#25105;?#30340;。




一.为什么图有用

在计算机视觉(CV)?#31361;?#22120;学习(ML)的背景下,研究图以及学习当中的模型至少可以给我们带来以下四个?#20040;Γ?br/>



1. 我们可以有机会解决以前解决不了的难题,例如:癌症药物发现(Veselkov等人,Nature,2019年);更好地理解人脑结构(Diez&Sepulre,Nature,2019);能源?#31361;?#22659;友好材?#31995;?#21457;现(Xie等人,Nature Communications,2019年)。




2. 在大多数CV/ML应用程序?#26657;?#20320;可能曾经把它们看成是另一种数据结构,但数据实际上可以被看作是图。将数据表示成图可以提供很大的灵活性,并能在你处理问题的时候为你提供截然不同的视角。例如,你可以直接从“超像素”中学习,而不必从图像像素中学习,在Liang等人2016年在ECCV发表的论文,以及我们即将发表的BMVC论文都可以找到依据。图还?#24066;?#20320;对数据施加关系归纳偏差,能使你在处理问题?#26412;?#22791;一些先验知识。例如,如果你想对人体的姿势进行推理,你的关系偏差就可以是人体骨架关节的图 (Yen等人,AAAI,2018);或者如果你想对视频进行推理,你的关系偏差可以是移动边框的图 (Wang&Gupta,ECCV,2018)。另一个例子是可以将面部标志表示为图 (Antonakos等人,CVPR,2015),以便对面部特征和身份进行识别。




3. 神经网络本身可以看作是一个图,其中节点是神经元,边是权重,或者节点是层,边表示向前/向后传递的流程(在这种情况下,我们讨论的是在TensorFlow中使用计算图、PyTorch?#25512;?#20182;DL框架)。应用程序可以是计算图的优化、神经结?#39038;?#32034;和训练行为分析?#21462;?br/>



4. 最后一点,你可以更高效的解决很多问题,在这些问题中数据可以更自然地表示成图。这包括但又不限于分子和社会网络分类(Knyazev等人,NeurIPS-W,2018),3D Mesh的分类及对应(Fey等人,CVPR 2018),动态交互对象的建模行为(Kipf等人,ICML,2018),视景图建模(详见即将到来的ICCV研讨会)和问答(Narasimhan, NeurIPS,2018),程序综合(Allamanis等人,ICLR,2018),不同的强化学习任务(Bapst等人,ICML,2019)和许多其他问题。




我之前的研究是关于人脸识别和分析面部情绪,所以我很欣赏下面这个图。



来自(Antonakos等人,CVPR,2015)的图,将脸部标志提取出来。这是一种有趣的方法,但在很多情况下它并不能全面的表示出一个人的面部特征,因此可以通过卷积网络从面部纹理中出捕捉到更多信息。相反,与2D标志相比,基于人脸的3D网格的推理看起来更合理(Ranjan等人,ECCV,2018)。




二.为什么很难在图上定义卷积

要回答这个问题,首先要理清一般使用卷积的动机,然后用图术语描述“图像?#31995;?#21367;积?#20445;?#36825;将使“图卷积”的过渡更加流畅。




1. 为什么卷积有用

我们应该理解为什么我们要注意到卷积,以及为什么我们要用它来处理图?与完全连接的神经网络(NNS或MLP)相比,卷积网络(CNN或Convnet)具有一定的优势。



首先,Convnet利用图像中的一种自然先验,在Bronstein等人在2016年发布的论文中有了更正式的描述,例如:

(1)平移不变性,如果我们将上面图像?#31995;?#27773;车平?#39057;?#24038;/右/上/下,我们仍然能够认识到它是一辆汽车。这是通过在所有位置共享滤波器来实现?#27169;?#20063;就是应用卷积。

(2)局域性,附近的像素是密切相关?#27169;?#36890;常表示一些语义概念,如车轮或车窗。这是通过使用相对较大的滤波器来实现?#27169;?#23427;可以捕捉到局部空间邻域中的图像特征。

(3)组合性(或层次结构),图像中较大的区域通常?#21450;?#21547;了较小区域的语义父级。例如,汽车是?#24471;擰?#36710;窗、车轮、驾驶员等的母体,而司机则是头部、?#30452;?#31561;的母体。这是通过叠加卷积层和应用池进行的隐含表达。

其次,卷积层中可训练?#38382;?即滤波器)的数目并不取决于输入维数,因此在技术上我们可以在28×28和512×512图像上训练完全相同的模型。换句话说,模型是?#38382;?#21270;的。

理想情况下,我们的目标是开发一个像图神经网络一样灵活的模型,它可以消化和学习任?#38382;?#25454;,但同时我们希望通过打开或关闭某些先验来控制(正则)这?#33267;?#27963;性的元素。

所有这些良好的特性使得ConvNet不太容易过度拟合(训练集的高精度和验证/测试集的低精度),在不同的视觉任务中更精确,并
本文已经过优化显示,查看原文请点击以下链接:
查看原文:https://www.cda.cn/view/27170.html

看图学经济more

京ICP备11001960号  京ICP证090565号 京公网安备1101084107号 论坛法律顾问?#21644;?#36827;律师知识产权保护声明免责及隐私声明   主办单位:人大经济论坛 版权所有
联系QQ:2881989700  邮箱:[email protected]
合作咨询电话:(010)62719935 广告合作电话:13661292478(刘老师)

投诉电话:(010)68466864 不良信息处理电话:(010)68466864
无限法则s3角色
欧泊彩票下载 重庆时时开奖结果记录 97gan美女图片高清最新地址 重庆时时开奖360 欢乐二八杠完美作弊器下载 吉林快三软件谁知道 pk10两期必中计划下载 明仕亚洲 官网 pt老虎机平台大全 四川时时下载