• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

DeepGCNs: Can GCNs Go as Deep as CNNs? 论文解析

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

手动原创声明:转载请注明出处

DeepGCNs: Can GCNs Go as Deep as CNNs?

论文链接:

2019 年 ICCV 论文
会议介绍:
ICCV 国际计算机视觉大会与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议(ECCV)并称计算机视觉方向的三大顶级会议
作者介绍:

所以是一篇发在比较厉害的会议上的一篇论文啦
进入文章正题

在做什么?

GCN的很多概念与CNN 由重合之处,CNN 模型的一个优势是可以将神经网络的layer 做的很深,从而提高图片分类的效果,反观GCN 模型,只有简单的3-4 层就可以把节点分类任务做的很好(GCN 也太厉害了),但是也有一些任务**(作者还没提到)**,这么少层的GCN 做不好,原因主要是GCN 层数增多之后,出现了梯度消失和over-smoothing 的问题(具体这两个问题是什么一会儿再说),作者一看,这个和CNN 加深之后出现的问题一毛一样啊,做CNN的大佬们已经将这个问题给解决了, 那我就借这个思路【method】过来用一用,看看能不能解决GCN层数加深后的问题呗,结果当然是能够解决了,在三维点云上做了语义分割实验(这个具体是在干什么 一会儿也要解释一下),发现一些指标(mIOU 这个指标啥意思,一会儿再说)提高了3.7%。

开始解释上边一些理解不够深刻的概念了(现学现卖版)

  • 梯度消失问题
    梯度消失/爆炸出现的两种情况
  1. 使用了错误的**函数
  2. 层数太深(本篇文章中出现的情况)
    因为计算梯度的公式中有参数求导连乘的情况,因此层数增多后,一旦有多个连续<1 或者>1 的导数连乘,最终参数的梯度就会接近0(连续<1),又称为梯度消失 或接近无穷(连续<1)又称为梯度爆炸。
  • over-smothing 问题 (图神经网络过度平滑的问题)
  1. 知乎大佬的解释 https://www.zhihu.com/question/346942899/answer/835292740(意外看到了这篇论文的作者在回答这个问题)
    意思就是,在拓扑图结构中,一层GCN 聚合了1阶邻居的节点信息,2层GCN 聚合了2阶邻居节点的信息, n层GCN 就聚合了n 阶邻居节点的信息,在一张连通图当中,每个节点用于聚合的邻居节点重合度较高,很容易导致每个节点学出来的特征表示是一致的。这样节点的特性就被掩盖掉了,
    图卷积神经网络层数增多后,聚合的邻居变多,不同节点重合的邻居节点数变多,因此会出现over-smothing 现象。(怎么解决呢? 此处引用大佬的话“ 通过有效地改变图的结构或卷积的领接节点来解决。比如在点云里用动态knn/dilation来建边,不太懂,后边会解释下”)

Method (CNN 中解决层数增多引起的问题的model)

  1. Res-net
    网络的深度为什么重要Res-net:https://blog.csdn.net/Sakura55/article/details/81512132

深层卷积神经网络中的残差块,卷积层之间跳跃连接,可以保证两个网络之间一定有梯度反传。

  1. Dense-net
    相比与Res-net 每一层的输出 包括该层的输出H(x)和上一层的输出x
    Dense-net 的输入 包括上一层及上一层前所有层的输入并且 每一层的网络更加稠密,宽度更小



  1. Dilated-Convolutios
    按照一定的比例在图卷积中制造一些空洞,在图像分割等端到端的图学习任务中,减少了下采样和上采样的过程,从而缓解了梯度反传

Method (解决over-smothing 的 model)

  1. edge conv 《论文Dynamic Graph CNN for Learning on Point Clouds 》
    Dynamic Graph CNN for Learning on Point Clouds 解析 链接: https://blog.csdn.net/legend_hua/article/details/79175315
    文章链接: https://arxiv.org/pdf/1801.07829.pdf
    点云:

    其中红色代表地板;绿色代表墙体;蓝色代表椅子;黄色代表桌子;白色代表剩余的家具;黑色代表未定义。


解决梯度消失问题的model
ResNet,Highway Networks,Stochastic depth

实验部分

GCN 在点云中的应用 edgeconv

实验中没有和点云中使用CNN 物体识别效果对比,


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
go管道关闭和循环使用发布时间:2022-07-10
下一篇:
Go 学习之旅 - 安装以及开发环境搭建发布时间:2022-07-10
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap