技术参数：

像素:1200万 观察倍数:20X 鉴定方法:形态学

用途：

自然水体中鱼类目标检测对于机器视觉而言,是具有较大挑战和难度的任务之一,因为水下视频记录中水下光场特性与环境等因素的干扰,鱼类形态会出现较大的差异,而又会因为不同种属鱼类具有分类学与形态学相似性,呈现类间差异小,类内差异大的特征。因此,对鱼类的目标检测属于精度要求较高的细粒度识别;同时水下能见度非常有限,无法通过长距离大空间尺度记录鱼类视频,鱼类在视频记录多于持续性快速运动中,对目标检测的时效性要求高。

主要特点：

多数基于深度学习的目标检测算法属于基于锚框(anchor-based)的目标检测算法,其以锚点为中心、由算法预定义的多个不同长宽比的先验框作为锚框,锚框的长宽比根据训练数据集中的目标大小进行选择和设置。多数基于深度学习的目标检测算法属于基于锚框(anchor-based)的目标检测算法,其以锚点为中心、由算法预定义的多个不同长宽比的先验框作为锚框,锚框的长宽比根据训练数据集中的目标大小进行选择和设置。

详细说明：

自然水体中鱼类目标检测对于机器视觉而言,是具有较大挑战和难度的任务之一,因为水下视频记录中水下光场特性与环境等因素的干扰,鱼类形态会出现较大的差异,而又会因为不同种属鱼类具有分类学与形态学相似性,呈现类间差异小,类内差异大的特征。因此,对鱼类的目标检测属于精度要求较高的细粒度识别;同时水下能见度非常有限,无法通过长距离大空间尺度记录鱼类视频,鱼类在视频记录多于持续性快速运动中,对目标检测的时效性要求高。

多数基于深度学习的目标检测算法属于基于锚框(anchor-based)的目标检测算法,其以锚点为中心、由算法预定义的多个不同长宽比的先验框作为锚框,锚框的长宽比根据训练数据集中的目标大小进行选择和设置。基于锚框的检测算法以给定锚框为起点,在对锚框的内容进行分类或回归之后,获得修改后的锚框。在多阶段目标检测算法(如经典的Fast R-CNN)中,基于锚框的方法在检测目标时通过多次矫正锚框,因此总体的检测精度较高,但检测速度较慢,不使用于具有高时效性与快速移动场景下目标高效检测;另一类常用单阶段目标检测算法,如SSD、YOLO v2-v5等,在检测目标时仅矫正一次锚框,检测精度低,但速度较快,不适用于鱼类种属水平识别这种细粒度目标检测的要求。而基于关键点的目标检测技术是一类无锚框(anchor-free)的目标检测算法,充分利用鱼类形态学特征,根据鱼的头(眼、吻)、鳍、尾等局部区域的关键点的标定,增加了算法灵活性的目的,先检测关键点,进行匹配,再进行鱼个体框定,移除了锚框,大大减少超参数,计算速度快,且多关键点的生物学特征的丰富性保证了细粒度分类水平上精度的要求。

本方案中,自然水体鱼类目标检测技术主要包括如下关键内容:

1 自然水体水下图像增强

由于严重的光吸收和散射,水下图像通常会出现严重的颜色衰减和对比度降低等问题。大多数主流的基于深度学习的水下图像处理方法通常需要大量的水下配对训练数据,而且网络结构复杂、训练时间较长、计算成本较高。

为了解决这些问题,该方案采用一种用于水下图像增强的零参考深度网络,利用深度网络将水下图像增强转化为特定参数图估计问题。基于水下成像模型原理,设计匹配的水下曲线模型,去除水下色散和色偏。在这个基础上,设计了一个轻量级的深度网络估计水下曲线模型的动态调整参数,实现图像增强。为保证网络的估计精度,面向水下图像劣化特点,设计了一组无参考损失函数,可隐式驱动网络学习。此外,可结合视觉仿生理论,选用包括自适应颜色补偿等预处理模块,提高图像增强算法的鲁棒性。

2 样本不平衡处理:

自然群落鱼类种类的群落结构就存在严重的样本不平衡,优势种类与非优势种类丰度差异巨大,样本分布上形成显著的长尾分布特征,细粒度鱼类数据集类别多,但整体样本总量少,大部分种类只能获得几十张图像或几张图像样本,处于长尾分布,属于小样本机器学习类型,模型的训练容易产生过拟合现象。

本方案采用基于对抗神经网络(GAN)的小样本数据增加技术来处理样本不平衡问题,改善长尾分布现象,在传统的GAN结构上引入自注意力机制,解决了卷积结构感受野大小的限制,也使得网络在生成图片的过程中能够学习应该关注的细节区域;自然水体鱼类图像具有细节的前景目标与水体背景,图像结构复杂,需要长距离依赖,自注意力机制(Attention)对卷积结构进行了补充,对图像区域中长距离、多层次的依赖关系进行建模,获取重要要素点生成高分辨率的鱼类个体形态细节,满足自然水体鱼类样本数据增强的要求。

3 基于关键点检测的目标检测模型

鱼类目标检测模型的核心是采用无锚框(anchor-free)的关键点检测,框架包括关键点预测网络、偏移预测网络和目标尺寸预测网络,网络骨架采用DenseNet; 关键点预测网络采用的热点图的损失函数采用focal loss,分别提取热力图上每个类别的峰值点:将热力图上的所有响应点与其连接的8个临近点进行比较,如果该点响应值大于或等于其八个临近点值则保留,实现多目标的关键点检测;对每个关键点进行局部偏移的预测(所有类别使用相同的预测值),这个偏移量使用L1 loss来训练;尺寸预测模型的损失函数也采用L1 loss,只计算正样本的损失值计算。

本项目目标检测模型应用于近岸自然海水中水下在线视频中鱼类的检测,表示出较好的效果。44种近海鱼类的平均精度(mAP)达到0.85(IoU=0.5),平均召回率(Recall)82%,平均准确率90%;应用于北京三家店水库与密云水库中水下在线视频中鱼类的检测,表示出较好的效果。86种淡水鱼类的平均精度(mAP)达到0.85(IoU=0.5),平均召回率(Recall)82%,平均准确率90%。

基于关键点轨迹跟踪的鱼类精确计数技术

通过非侵入性方法获得水下目标种类鱼类数量,对鱼类群落结构、种群特征、生态健康状态的认识与评估具有重要的意义,但是从水下视频中精确计算鱼个体数量,也具有较大的挑战,除上述自然水体鱼类目标检测受环境、水下光场等影响以外,自然水体中不同类型的鱼类游泳习惯不同,在视频中停留时间不一样,传统视频自动计数方式,以单帧中检测到鱼个体数量为计算基础,存在较大的误差,难以校正多个帧中对单个鱼类重复计数,轨迹跟踪算法提供了一种高效可靠的方法,根据关键点匹配,对于多次自由游动的鱼类计数,以避免在多个帧中重复计数单个鱼类。

本方案技术在连续视频序列中,跟踪目标的位置关系,获得目标的完整轨迹,采用为基于检测的跟踪模式(Detection Based Tracking,DBT),以关键点的目标检测模型作为检测器,此采用具有等速运动和线性观测模型的标准卡尔曼滤波器构建运动模型,使用 8 维向量来描述目标的位置和运动信息;根据检测器获得的检测结果,对预测框和当前帧中的检测框基于CIOU 进行匹配,从而对视频中的目标进行跟踪。综合了外观特征和运动特征来计算代价矩阵,使用马氏距离计算跟踪距离,利用级联匹配跟踪器,设定不同优先级来解决当跟踪目标在较长的连续帧中由于被遮挡而未出现卡尔曼滤波预测的较大误差问题。