摘要: 论文重新审视了深度神经网络中的不确定性估计技术,并整合了一套技术以增强其可靠性。论文的研究表明,多种技术(包括模型正则化、分类器改造和优化策略)的综合应用显着提高了图像分类任务中不确定性预测的准确性 来源:晓飞的算法工程笔记 公众号 论文: SURE: SUrvey REcipes for buil 阅读全文
posted @ 2024-07-19 13:35 晓飞的算法工程笔记 阅读(87) 评论(0) 推荐(1) 编辑
摘要: 论文将Multiscale Vision Transformers (MViTv2) 作为图像和视频分类以及对象检测的统一架构进行研究,结合分解的相对位置编码和残差池化连接提出了MViT的改进版本 来源:晓飞的算法工程笔记 公众号 论文: MViTv2: Improved Multiscale Vi 阅读全文
posted @ 2024-07-18 12:28 晓飞的算法工程笔记 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 论文提出了多尺度视觉Transformer模型MViT,将多尺度层级特征的基本概念与Transformer模型联系起来,在逐层扩展特征复杂度同时降低特征的分辨率。在视频识别和图像分类的任务中,MViT均优于单尺度的ViT。 来源:晓飞的算法工程笔记 公众号 论文: Multiscale Vision 阅读全文
posted @ 2024-07-17 13:43 晓飞的算法工程笔记 阅读(96) 评论(0) 推荐(0) 编辑
摘要: 论文提出了用于快速图像分类推理的混合神经网络LeVIT,在不同的硬件平台上进行不同的效率衡量标准的测试。总体而言,LeViT在速度/准确性权衡方面明显优于现有的卷积神经网络和ViT,比如在80%的ImageNet top-1精度下,LeViT在CPU上比EfficientNet快5倍 来源:晓飞的算 阅读全文
posted @ 2024-07-16 13:21 晓飞的算法工程笔记 阅读(131) 评论(0) 推荐(1) 编辑
摘要: CaiT通过LayerScale层来保证深度ViT训练的稳定性,加上将特征学习和分类信息提取隔离的class-attention层达到了很不错的性能,值得看看 来源:晓飞的算法工程笔记 公众号 论文: Going deeper with Image Transformers 论文地址:https:/ 阅读全文
posted @ 2024-07-15 13:59 晓飞的算法工程笔记 阅读(67) 评论(0) 推荐(1) 编辑
摘要: 论文基于实验验证,为数据需求预测这一问题提供了比较有用的建议,详情可以直接看看Conclusion部分。 来源:晓飞的算法工程笔记 公众号 论文: How Much More Data Do I Need? Estimating Requirements for Downstream Tasks 论 阅读全文
posted @ 2024-07-12 13:27 晓飞的算法工程笔记 阅读(216) 评论(0) 推荐(0) 编辑
摘要: CvT将Transformer与CNN在图像识别任务中的优势相结合,从CNN中借鉴了多阶段的层级结构设计,同时引入了Convolutional Token Embedding和Convolutional Projection操作增强局部建模能力,在保持计算效率的同时实现了卓越的性能。此外,由于卷积的 阅读全文
posted @ 2024-07-10 12:24 晓飞的算法工程笔记 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 作者发现深层ViT出现的注意力崩溃问题,提出了新颖的Re-attention机制来解决,计算量和内存开销都很少,在增加ViT深度时能够保持性能不断提高 来源:晓飞的算法工程笔记 公众号 论文: DeepViT: Towards Deeper Vision Transformer 论文地址:https 阅读全文
posted @ 2024-07-09 13:33 晓飞的算法工程笔记 阅读(80) 评论(0) 推荐(0) 编辑
摘要: DPP能够对目标检测proposal进行非统一处理,根据proposal选择不同复杂度的算子,加速整体推理过程。从实验结果来看,效果非常不错 来源:晓飞的算法工程笔记 公众号 论文: Should All Proposals be Treated Equally in Object Detectio 阅读全文
posted @ 2024-07-08 13:46 晓飞的算法工程笔记 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 论文主要处理Vision Transformer中的性能问题,采用推理速度不同的级联模型进行速度优化,搭配层级间的特征复用和自注意力关系复用来提升准确率。从实验结果来看,性能提升不错 来源:晓飞的算法工程笔记 公众号 论文: Not All Images are Worth 16x16 Words: 阅读全文
posted @ 2024-07-03 12:23 晓飞的算法工程笔记 阅读(194) 评论(0) 推荐(1) 编辑