首页 科技正文

足球免费贴士网(www.zq68.vip):ResNet也能用在3D模子上了,清华“计图”团队新研究已开源

admin 科技 2021-06-19 07:29:12 34 0

欧博网址

欢迎进入欧博网址(Allbet Gaming):(www.aLLbetgame.us),欧博网址开放会员注册、代理开户、电脑客户端下载、苹果安卓下载等业务。

,

鱼羊 发自 凹非寺

量子位 报道 | 民众号 QbitAI

用AI处置二维图像,离不开卷积神经网络(CNN)这个地基。

不外,面临三维模子,CNN就没有那么得劲了。

主要缘故原由是,3D模子通常接纳网格数据示意,类似于这样:

这些三角形包罗了点、边、面三种差其余元素,缺乏规则的结构和条理化示意,这就让一直方方正正的CNN犯了难。

△CNN原理图,图源: ***

那么像VGG、ResNet这样成熟好用的CNN主干网络,就不能用来做三维模子的深度学习了吗?

并不是。

最近,清华大学计图(Jittor)团队,就首次提出了一种针对三角网格面片的卷积神经网络SubdivNet。

基于SubdivNet,就可以将成熟的图像网络架构迁徙到三维几何学习中。

而且,相关论文和代码均已开源。

基于细分结构的网格卷积网络

以是,SubdivNet是若何打破2D到3D之间的壁垒的呢?

详细而言,这是一种基于细分结构的网格卷积网络。

对于输入的网格数据,先举行重网格化(remesh),组织细分结构,获得一样平常网格的多分辨率示意;尔后,再上重头戏――面片卷积方式和上下采样方式。

面片卷积方式

以往的网格深度学习方式,通常是将特征存储在点或者边上,这就带来了一个问题:点的度数是不牢靠的,而边的卷积并不天真。

于是,计图团队提出了一种在面片上的网格卷积方式,以充实行使每个面片与三个面片相邻的规则性子。

而且,基于这样的规则性子,研究团队进一步依据面片之间的距离,设计了多种差其余卷积模式。

△k为卷积核巨细,d为朴陋长度

由于三维数据花样中的面片顺序不牢靠,SubdivNet在盘算卷积效果时,通过取邻域均值、差分均值等方式,使得盘算效果与面片顺序无关,知足排列稳固性。

足球免费贴士网

免费足球贴士网(www.zq68.vip)是国内最权威的足球赛事报道、预测平台。免费提供赛事直播,免费足球贴士,免费足球推介,免费专家贴士,免费足球推荐,最专业的足球心水网。

上下采样方式

再来看上下采样的部门。

SubdivNet受到传统的Loop细分曲面建模的启发,组织了一种基于细分结构的上下采样方式。

也就是说,在池化(下采样)历程中,由于网格数据已经经由重网格化,其面片具有细分毗邻结构,就可以4片变1片,从高分辨率转为低分辨率,实现面片特征的池化操作。

而在上采样的历程中,则反过来,让面片一分为四。

云云一来,上下采样方式就是规则且平均的,还可以实现双线性插值等需求。

连系面片卷积方式和上下采样方式,像VGG、ResNet、DeepLabV3+这样经典2D卷积网络,就可以轻松迁徙到3D模子的深度学习中。

值得一提的是,SubdivNet方式是基于清华大学的深度学习框架计图(Jittor)实现的。其中,计图框架提供了高效的重索引算子,无需分外的C++代码,即可实现邻域索引。

实验效果

至于SubdivNet的效果若何,不妨直接看看实验效果。

首先,在网格分类数据集上,SubdivNet在SHREC11和Cube Engraving两个数据集中,首次到达了100%的分类准确率。

在网格支解方面,量化指标下,SubdivNet的支解准确率均高于用于对比的点云、网格方式。

而在形状对应实验中,SubdivNet也到达了SOTA水准。

关于作者

这篇论文来自清华大学盘算机系胡事民教授团队。

作者是胡事民及其博士生刘政宁、国孟昊、黄家辉等,另有卡迪夫大学Ralph Martin教授。

同时,他们也是清华“计图”框架团队成员。

计图是首个由中国高校开源的深度学习框架,开发团队均来自清华大学盘算机系图形学实验室,认真人是胡事民教授。

该实验室的主要研究偏向是盘算机图形学、盘算机视觉、智能信息处置、智能机械人、系统软件等,在ACM TOG, IEEE TVCG, IEEE PAMI, ACM SIGGRAPH, IEEE CVPR, IEEE ICRA, USENIX ATC等主要国际刊物上揭晓论文100余篇。

现在,开发计图的主力,是该实验室梁盾、杨国烨、杨国炜、周文洋、刘政宁、李相利、国孟昊和辛杭高等一批博士生。

与TensorFlow、PyTorch差异,计图是一个完全基于动态编译,使用元算子和统一盘算图的深度学习框架。

此前,在可微渲染、动态图推理等方面,计图都有逾越PyTorch的显示。

版权声明

本文仅代表作者观点,
不代表本站锡林郭勒盟新闻频道的立场。
本文系作者授权发表,未经许可,不得转载。

发表评论

评论列表(0人评论 , 34人围观)
☹还没有评论,来说两句吧...