當前位置:首頁 > 新聞中心 > 科研動態

科研動態

自動化所三維可視計算團隊提出新型多尺度圖卷積神經網絡

  • 发表日期:2020-06-10 【 【打印】【關閉】
  •   在計算機圖形學中,爲了虛擬化真實世界的物體(如人或者動物等),三維形狀通常需要離散化網格(mesh),用于真实感渲染。但是,因爲设备的差异或采集方式的不同,很难针对单个三维形状得到的相同的离散化方式(固定的分辨率和连接关系)。这种同一个形状具有不同的离散化方式是计算机圖形学有别于其他学科的一个重要特点,而现有的圖神经网络无法有效统一不同离散化下的特征,这极大地限制了圖神经网络在圖形学领域的发展。 

      針對這一問題,自動化所三維可視計算團隊提出了一種新穎的多尺度圖卷積神經網絡,重點解決了傳統圖卷積神經網絡中圖節點學習到的特征對圖分辨率和連接關系敏感的問題。該方法可以實現在低分辨率的三維形狀上學習特征,在高低分辨率形狀之上進行測試,並且保持不同分辨率特征的一致性。 相關論文已被SIGGRAPH 2020大會接收。 

    [video:demo_video]

      研究背景  

      傳統的圖卷積神經網絡通常聚集1-鄰域(GCN),k-环鄰域(ChebyGCN)或k-近邻鄰域(DGCNN)的信息,所以其感受野與分辨率或者圖連接關系是相關的。也就是說,在三維形狀的不同離散化下,卷積的感受對應的形狀語義範圍産生了較大的變化。如何解決這種卷積方式未考慮到針對不同離散化情況所産生的問題,存在較大的挑戰。 

      方法簡述:

      爲解决现有圖卷积神经网络的问题,团队设计了一种多尺度圖卷积神经网络(multiscale graph convolutional networkMGCN)。如圖1所示,團隊發現,針對不同分辨率和連接關系的離散化,三維圖譜小波函數表現出極佳的魯棒性,並且不需要計算測地距離。因此,團隊設計將多尺度的小波函數嵌入到圖卷積神經網絡的學習當中。 

      

      1. 小波函数针对不同分辨率模型的热度圖 

      不规则圖信号的卷积通常可以理解爲信号映射到频域的乘积,设计频域的卷积滤波器成爲关键的因素。团队设计利用多尺度小波滤波器基函数gtm替代经典的圖卷积神经网络的多项式基函数,即可得到多尺度tm的卷積濾波核:  

      

      得到了卷积滤波核的表示之后,特征或信号的卷积可以简化爲如下形式,其中ψtm爲不同尺度tm下的小波基函數矩陣: 

      

       

      如同卷積神經網絡CNN一样,通过叠加该圖卷积模块,构建多尺度圖卷积神经网络(MGCN),即可設計解決各種任務。 

      實驗驗證:

      1. 特征距离相似度 

      多尺度圖卷积神经网络MGCN可以在5K頂點的模型上進行訓練,並在5K12K的模型上進行測試,可以发现,在不同分辨率的情况下,多尺度圖卷积神经网络MGCN學習到的特征的一致性更強,甚至好于基于測地圓盤重采樣(Geo-based)的方法,如圖2所示。 

      

      2. 针对不同分辨率的特征距离相似圖 

      2. 特征维度热度圖一致性 

      MGCN可以在7K頂點的模型上進行訓練,並在7K15K的模型上進行測試,MGCN不僅比目前最好的方法SplineCNN在不同分辨率的情况下学习到更具有一致性的特征,而且学习到的每一维度的特征包含丰富的语义信息,比如热度圖高亮眼睛、鼻子、膝盖等位置,如圖3所示。 

      

      3. 针对不同分辨率的不同维度的特征热度圖 

      3. 非等距形状特征 

      除此之外,MGCN还可以在具有不同连接关系的非等距形状(如动物之间)上学习特征,如圖4所示,MGCN在非等距形狀之間學習到的特征保持了一致性,並在形狀匹配任務上得到了目前最佳的結果。 

      

      4. 针对非等距变形的特征热度圖和特征最近邻匹配结果 

      應用領域:

      学习到描述子之后,可以用来进行三维形状识别检索、三维形状分割、关键点检测、非刚性形状匹配等任务。其中最爲直接的就是三维非刚性形状匹配,三维形状匹配在形变迁移、三维动画中具有重要的应用。如圖5所示,通過MGCN訓練得到的特征,可以用于不同形變人體之間的匹配,並且不經過額外的後處理方法,達到直接應用的效果。此外,該特征可以應用于不同分辨率模型之間的匹配,提升了該方法在實際應用中的泛化性能。 

      5. 不同方法形状匹配的效果对比圖 

     

      [相關文獻] 

      [1] Yiqun Wang, Jing Ren, Dong-Ming Yan, Jianwei Guo, Xiaopeng Zhang, and Peter Wonka. 2020. MGCN: Descriptor Learning using Multiscale GCNs. ACM Trans. Graph (Proc. SIGGRAPH). 39, (4), 15 pages.  

      GitHub code: https://github.com/yiqun-wang/MGCN 

      [2] Bronstein, M. M., Bruna, J., LeCun, Y., Szlam, A., & Vandergheynst, P. 2017. Geometric deep learning: going beyond euclidean data. IEEE Signal Processing Magazine, 34(4), 18-42. 

        

      原文鏈接: https://arxiv.org/abs/2001.10472