摘要
自动准确收集渔业捕捞数据是电子观察员系统的重要组成部分,然而,由于工作环境的复杂性和跟踪的不稳定性,金枪鱼延绳钓渔获数量自动估计在实践部署中仍存在挑战。本研究设计了一个轻量级计数网络对渔船上的实时视频数据进行自动处理,实现对金枪鱼渔获物的实时跟踪和计数。本研究选择YOLOv5s作为基准网络,首先采用通道剪枝算法对YOLOv5s的主干网络进行修剪,结果表明,剪枝后的模型检测精度mAP0.5~0.95达到68.8%,CPU下检测速度为16.5帧/s(FPS),与原始模型相比,检测效果基本不变,模型的参数量、模型大小和计算量分别减少了67.2%、66.4%和42.5%,检测速度提高了33.1%。其次,利用ByteTrack算法实现了多目标的实时跟踪,优化了计数区域形状,解决了被跟踪金枪鱼身份(ID)跳变导致的计数偏差问题,10个视频的测试结果表明,该方法的平均计数准确率为80%,视频处理速度为50.7帧/s,满足工业级实时检测要求。综上,该模型具有轻量化、高精度、实时性等优点,可在复杂的工作环境下完成对延绳钓捕捞结果的实时监控,为实现渔业自动化提供思路。
准确统计捕捞数据有助于渔业管理者全面了解捕捞活动情况,制定科学的管理措施,实现渔业的可持续发展和海洋生态保
针对鱼类图像识别问题,研究者提出了基于卷积神经网络(Convolutional neural network,CNN)的方法,在鱼类识别、海洋捕捞等方面得到应
在鱼类识别研究的基础上,一些学者进一步开展了针对鱼类的目标追踪和计数的研究,为鱼类数据的自动化处理提供了方
上述方法存在2个问题:(1)模型较大,耗费大量计算资源,难以满足实时性及模型部署等要
所用的影像视频数据集为中水集团远洋股份有限公司的金枪鱼延绳钓渔船在南太平洋作业数据,分辨率为1 920像素×2 560像素。通过对视频监控系统采集的视频进行筛选,选取了40个视频数据作为实验样本,涵盖了不同的天气和光照条件,每个视频的时长约为10 min。为避免数据泄露而导致训练结果过拟合的问题,对其中的30个视频数据按照8∶1∶1分为训练集、验证集、测试集,剩余的10个视频用于测试目标追踪的效果。将视频每隔30帧截取1次,并剔除相似度高和不包含金枪鱼的图像,最终从30个视频中获取1 070张图片构成实验所需数据集,采用LabelImg软件对图片进行标注后生成txt文件,包含了前景的类别和对应的位置坐标。
对金枪鱼捕捞过程图片进行标注后将其输入YOLOv5s网络模型中进行训练,实现对金枪鱼的准确检测;利用通道剪枝算法对模型中存在的冗余通道和权重参数进行剪裁,在保证检测精度的情况下对模型结构、参数量进行压缩;优化后的YOLOv5s的检测结果传输至ByteTrack追踪网络,在多帧图像中对金枪鱼目标进行连续追踪,并为每个目标分配唯一身份(ID),同时设计特定的跟踪计数区域,对区域内的金枪鱼进行计数, 结合检测与追踪实现了金枪鱼的计数。
为了获得一种实时、准确、可靠且易于实现的金枪鱼检测算法,本研究使用YOLOv5s算

图1 网络结构图
Fig.1 The network structure
常规的YOLOv5s在实验室CPU条件下的检测速度只能达到12.4帧/s,不能满足实时检测的要求,为了提高检测效率,本研究采用通道剪枝方法对网络结构进行简化,降低模型复杂度。
通道剪枝算法流程图如
(1) |
该损失函数L由两部分组成,等式的第一项是正常训练条件下的损失函数,其中为输入,W为网络的权重参数,为真值。第二项为稀疏化训练权值因子的损失函数;λ是稀疏化训练系数。

图2 通道剪枝流程图
Fig.2 Flow chart of channel pruning
稀疏化后,权衡检测速度和精度,本研究将剪枝率设置为0.65。如

图3 剪枝前后通道数量对比
Fig.3 Comparison of the number of channels before and after pruning
为兼顾金枪鱼实时检测性能和追踪的效果,本文采用ByteTrack多目标追踪算

图4 ByteTrack跟踪算法流程图
Fig.4 Flowchart of ByteTrack tracking algorithm
在使用ByteTrack进行金枪鱼跟踪时,仍然存在金枪鱼ID发生变化的情况,特别是在金枪鱼被捕捞上船的过程中。在跟踪计数过程中ID切换会导致预估的数量偏多,因此,ByteTrack算法生成的所有金枪鱼ID不直接作为金枪鱼总数的统计值。
为解决上述重复计数的问题,设计一种特定的跟踪区域计数方法。如

图5 金枪鱼的跟踪计数区域
Fig.5 Trace count areas for tuna

图6 金枪鱼计数流程图
Fig.6 Tuna counting statistics flow chart
针对设计的特定区域追踪计数方法,采用Pc(计数精度)评估视频中金枪鱼计数的性能,如
(2) |
式中:Ng为视频中的真实值,是通过手动计数获得的;Na为算法给出的建议计数值。
本研究使用了均值平均精度(Mean average precision,mAP)、准确率(Precision,P)、召回率(Recall,R)、参数量(Params)、浮点计算量(Floating point operations,FLOPs)和检测速度(帧/S,FPS)作为本次对比实验的主要评价指标,用于评估模型的性能。其中P、R和 mAP 的计算公式如下:
(3) |
(4) |
式中:为正确预测正样本的个数为错误预测负样本为正样本的个数;为将正样本预测为负样本的个数。
与准确率和召回率相比,平均精度可以更均衡地反映模型的全局检测性能。mAP是AP在各类别(c)上的平均值,AP定义为精确召回曲线下的面积,mAP0.5表示IoU阈值为0.5时的平均精度值;mAP0.5~0.95表示IoU阈值以0.05为步长在0.5与0.95间取10个mAP的平均值。
(5) |
(6) |
为了验证本研究中通道剪枝算法对金枪鱼检测模型性能的影响,在测试集上对比了YOLOv5s基线模型和剪枝后模型的性能,结果如
衡量指标 Metrics | 原始YOLOv5s Original YOLOv5s | 剪枝后 After pruning | 微调之后 After fine tuning |
---|---|---|---|
参数量 Parameters | 7 025 023 | 2 301 148 | 2 301 148 |
计算量 FLOPs/G | 16.0 | 9.2 | 9.2 |
模型大小 Volume/MB | 14.3 | 9.1 | 4.8 |
mAP0.5~0.95/% | 75.0 | 55.9 | 66.8 |
GPU下检测速度 FPSGPU/(帧/s) | 114.0 | 118.6 | 147.4 |
CPU下检测速度 FPSCPU/(帧/s) | 12.4 | 15.2 | 16.5 |
注: “mAP0.5~0.95”表示IoU阈值以0.05为步长在0.50与0.95间取10个mAP的平均值。
Notes: "mAP0.5~0.95" indicates that the average value of 10 mAP is selected between 0.50 and 0.95 for loU threshold in steps of 0.05.
本研究融合通道剪枝算法与ByteTrack多目标追踪算法,实现对金枪鱼的追踪与计数。以剪枝微调后的YOLOv5s作为检测器,识别视频中的金枪鱼并输出相应的边界框。结合ByteTrack算法对金枪鱼进行多目标跟踪,部分跟踪结果如

图7 视频V2金枪鱼多目标跟踪结果示例
Fig.7 Example of video V2 tuna multi-target tracking results
为了验证金枪鱼计数方法的有效性,在真实捕捞环境下采集了多个视频,并将所提出算法得出的计数值与真实值进行比较,得出每次的准确率,结果如

图8 真实值和算法计数值对比
Fig.8 Comparison of algorithmic counts and true value
采用ByteTrack算法进行金枪鱼跟踪时,如果直接通过ID来统计金枪鱼的总数,可能会因ID切换而导致计数不准确。因此,本研究针对跟踪和计数任务分别进行处理,引入一种特定的跟踪区域计数方法,严格限制计数行为。经实验证明,这一方法是有效的。在实验过程中,仍然存在一些漏检情况,若中间计数区域未能检测到金枪鱼,将导致计数不足。另一个潜在问题是,金枪鱼进入计数区域后ID发生变化,可能导致重复计数。这些问题共同造成了14%的计数误差,是需要改进的方向。
在拉取金枪鱼的过程,工作人员会将金枪鱼从水门处拉上甲板,因此将计数区域位置设计在水门处,为了获得准确的计数结果,分析计数区域的位置和大小对计数结果的影响,如

图9 不同计数区域示意图
Fig.9 Schematic diagram of the different counting areas
5个测试视频上的结果如

图10 不同计数区域结果对比
Fig.10 Comparison of the results of different counting areas
本研究立足金枪鱼渔获量统计的准确性和视频数据处理的自动化,提出了一种融合通道剪枝和ByteTrack的特定区域计数方法。通过对比目前流行的目标检测算法,验证了剪枝后的YOLOv5s在满足实时性的同时维持较高的检测精度。其次,将剪枝微调后的网络作为ByteTrack多目标追踪网络的检测器,对视频数据中的金枪鱼进行实时跟踪,设计特定的跟踪区域计数方法,有效减少了重复计数。对比10个视频的测试结果,该方法的平均精度达到80%,集成算法运行速度超过40 FPS,可以实现稳定、实时的渔获尾数估算。本研究验证了通过视频对金枪鱼实时计数的有效性,在后续研究中将通过布置多个摄像头解决遮挡问题和种类识别问题,提高每一种金枪鱼的计数准确率,并结合实例分割算法,构建出体质量预估系统,进一步提高各种金枪鱼渔获尾数和质量的估计精度。
参考文献
王书献, 张胜茂, 朱文斌, 等. 基于深度学习YOLOV5网络模型的金枪鱼延绳钓电子监控系统目标检测应用[J]. 大连海洋大学学报, 2021, 36(5): 842-850. [百度学术]
WANG S X, ZHANG M S, ZHU W B, et al. Application of an electronic monitoring system for video target detection in tuna longline fishing based on YOLOV5 deep learning model[J]. Journal of Dalian Ocean University, 2021, 36(5): 842-850. [百度学术]
GOLDEN C D, ALLISON E H, CHEUNG W W L, et al. Nutrition: Fall in fish catch threatens human health[J]. Nature, 2016, 534(7607): 317-320. [百度学术]
YANG X T, ZHANG S, LIU J T, et al. Deep learning for smart fish farming: applications, opportunities and challenges[J]. Reviews in Aquaculture, 2021, 13(1): 66-90. [百度学术]
VAN HELMOND A T M, MORTENSEN L O, PLET-HANSEN K S, et al. Electronic monitoring in fisheries: lessons from global experiences and future opportunities[J]. Fish and Fisheries, 2020, 21(1): 162-189. [百度学术]
邹莉瑾, 戴小杰, 许柳雄, 等. 金枪鱼延绳钓渔捞日志管理现状与趋势[J]. 渔业信息与战略, 2015, 30(1): 35-39. [百度学术]
ZOU L J, DAI X J, XU L X, et al. On the status of tuna longline fishery logbook[J]. Fishery Information & Strategy, 2015, 30(1): 35-39. [百度学术]
BICKNELL A W, GODLEY B J, SHEEHAN E V, et al. Camera technology for monitoring marine biodiversity and human impact[J]. Frontiers in Ecology and the Environment, 2016, 14(8): 424-432. [百度学术]
BROWN C J, DESBIENS A, CAMPBELL M D, et al. Electronic monitoring for improved accountability in western Pacific tuna longline fisheries[J]. Marine Policy, 2021, 132: 104664. [百度学术]
PROBST W N. How emerging data technologies can increase trust and transparency in fisheries[J]. ICES Journal of Marine Science, 2020, 77(4): 1286-1294. [百度学术]
涂雪滢, 刘世晶, 钱程. 基于ResNet的典型养殖鱼类识别方法研究[J]. 渔业现代化, 2022, 49(3): 81-88. [百度学术]
TU X Y, LIU S J, QIAN C. Study on the identification methods of typical cultured fish based on ResNet[J] . Fishery Modernization, 2022, 49(3): 81-88. [百度学术]
张俊龙, 曾国荪, 覃如符. 基于深度学习的海底观测视频中鱼类的识别方法[J]. 计算机应用, 2019, 39(2): 376-381. [百度学术]
ZHANG J L, ZENG G S, QIN R F. Fish recognition method for submarine observation video based on deep learning[J]. Journal of Computer Applications, 2019, 39(2): 376-381. [百度学术]
LIU Y Q, CHU H Y, SONG L M, et al. An improved tuna-YOLO model based on YOLOv3 for real-time tuna detection considering lightweight deployment[J]. Journal of Marine Science and Engineering, 2023, 11(3): 542. [百度学术]
CAI K W, MIAO X Y, WANG W, et al. A modified YOLOv3 model for fish detection based on MobileNetv1 as backbone[J]. Aquacultural Engineering, 2020, 91: 102117. [百度学术]
朱明, 张镇府, 黄凰, 等. 基于轻量级神经网络MobileNetV3-Small的鲈鱼摄食状态分类[J]. 农业工程学报, 2021, 37(19): 165-172. [百度学术]
ZHU M, ZHANG Z F, HUANG H, et al. Classification of perch ingesting condition using lightweight neural network MobileNetV3-Small[J]. Transactions of the Chinese Society of Agricultural Engineering, 2021, 37(19): 165-172. [百度学术]
IQBAL M A, WANG Z J, ALI Z A, et al. Automatic fish species classification using deep convolutional neural networks[J]. Wireless Personal Communications, 2021, 116(2): 1043-1053. [百度学术]
BRADLEY D, MERRIFIELD M, MILLER K M, et al. Opportunities to improve fisheries management through innovative technology and advanced data systems[J]. Fish and Fisheries, 2019, 20(3): 564-583. [百度学术]
TSENG C H, KUO Y F. Detecting and counting harvested fish and identifying fish types in electronic monitoring system videos using deep convolutional neural networks[J]. ICES Journal of Marine Science, 2020, 77(4): 1367-1378. [百度学术]
吴必朗, 柳春娜, 姜付仁. 基于DeepSORT算法的鱼道过鱼种类识别和计数研究[J]. 水利水电技术, 2022, 53(9): 152-162. [百度学术]
WU B L, LIU C N, JIANG F R. Species identification and counting of fishes in fishway based on DeepSORT algorithm[J]. Water Resources and Hydropower Engineering, 2022, 53(9): 152-162. [百度学术]
ZHANG S, YANG X T, WANG Y Z, et al. Automatic fish population counting by machine vision and a hybrid deep neural network model[J]. Animals, 2020, 10(2): 364. [百度学术]
张胜茂, 孙永文, 樊伟, 等. 面向海洋渔业捕捞生产的深度学习方法应用研究进展[J]. 大连海洋大学学报, 2022, 37(4): 683-695. [百度学术]
ZHANG S M, SUN Y W, FAN W, et al. Research progress in the application of deep learning methods for marine fishery production: a review[J]. Journal of Dalian Ocean University, 2022, 37(4): 683-695. [百度学术]
MICHELIN M, ELLIOTT M, BUCHER M, et al. Catalyzing the growth of electronic monitoring in fisheries[R]. California Environmental Associates, 2018. [百度学术]
WANG D D, HE D J. Channel pruned YOLO V5s-based deep learning approach for rapid and accurate apple fruitlet detection before fruit thinning[J]. Biosystems Engineering, 2021, 210: 271-281. [百度学术]
邵延华, 张铎, 楚红雨, 等. 基于深度学习的YOLO目标检测综述[J]. 电子与信息学报, 2022, 44(10): 3697-3708. [百度学术]
SHAO Y H, ZHANG D, CHU H Y, et al. A review of YOLO object detection based on deep learning[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3697-3708. [百度学术]
JIANG P Y, ERGU D, LIU F Y, et al. A review of Yolo algorithm developments[J]. Procedia Computer Science, 2022, 199: 1066-1073. [百度学术]
刘芳, 刘玉坤, 林森, 等. 基于改进型YOLO的复杂环境下番茄果实快速识别方法[J]. 农业机械学报, 2020, 51(6): 229-237. [百度学术]
LIU F, LIU Y K, LIN S, et al. Fast recognition method for tomatoes under complex environments based on improved YOLO[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(6): 229-237. [百度学术]
MAHASIN M, DEWI I A. Comparison of CSPDarkNet53, CSPResNeXt-50, and EfficientNet-B0 Backbones on YOLO V4 as Object Detector[J]. International Journal of Engineering, Science and Information Technology, 2022, 2(3): 64-72. [百度学术]
雷杰, 高鑫, 宋杰, 等. 深度网络模型压缩综述[J]. 软件学报, 2018, 29(2): 251-266. [百度学术]
LEI J, GAO X, SONG J, et al. Survey of deep neural network model compression[J]. Journal of Software, 2018, 29(2): 251-266. [百度学术]
ZHANG Y F, SUN P Z, JIANG Y, et al. ByteTrack: Multi-object tracking by associating every detection box[C]//17th European Conference on Computer Vision. Tel Aviv, Israel: Springer, 2022: 1-21. [百度学术]
WELCH G, BISHOP G. An introduction to the Kalman filter[M]. Chapel Hill, NC, United States: University of North Carolina, 1995. [百度学术]
KUHN H W. The Hungarian method for the assignment problem[J]. Naval Research Logistics Quarterly, 1955, 2(1/2): 83-97. [百度学术]