固体废弃物回收协议 Computer vision for solid waste sorting
固体废物：计算机视觉应用于固体废物分类的A：关键
: 卢陈
强烈建议对城市固体废物 (MSW) 管理（废物、废物管理）进行废物分类。 计算机视觉、机器人等智能技术越来越多地应用于生活垃圾分类，特别是基于计算机视觉的垃圾分类学术研究正在经历前所未有的爆发。 然而，很少有人关注它的发展历史、现状以及未来的前景和挑战。 为了解决知识差距，本文对相关学术研究进行了批判性回顾，重点关注基于简历的城市固体废物分类。 本文介绍并比较了流行的 CV 算法，特别是它们的技术原理和预测性能。 本文还从垃圾来源、任务目标、应用领域、数据集可访问性等方面调查了学术研究成果的分布情况，发现算法从传统机器学习向深度学习转变的趋势，并且随着计算能力的提高随着能力和算法的改进，CV对于垃圾分类变得越来越鲁棒。 同时，学术研究在生活垃圾、商业和机构垃圾、建筑垃圾等不同领域分布不均。 此外，研究人员经常在简化的操作条件下并基于手动收集的数据进行效果研究。 本文鼓励未来的研究工作考虑现实场景的复杂性，并在工业废物分类实践中测试 CV 算法。 本文还呼吁公开共享废弃图像数据集，以便感兴趣的研究人员训练和评估其 CV 算法的有效性。
1 简介
过去几十年来，快速的工业化导致城市固体废物（MSW）的产生量激增。 例如，2016 年中期，全球产生了 20.1 亿吨城市固体垃圾，预计到 2030 年这一数字将激增至 25.9 亿吨（Kaza 等，2018）。 MSW 的定义和构成因情况而异，本文选择了世界银行 2012 年报告（以及 Bhada-Tata，2012）中使用的定义，其中 MSW 涵盖了广泛的废物产生源，例如住宅和市政废物产生源。服务 (RM) 来源、工业来源、商业和机构来源 (ICI) 以及建筑和拆除 (C&D) 活动来源。
典型的城市固体废弃物管理周期包括废物产生、收集、处理和处置（Bhada-Tata，2012 年）。 垃圾分类是城市固体废物管理中强烈推荐的做法（Wang 等人，2020a；Xia 等人，2021）。 “废物”一词经常与另外两个密切相关的术语一起出现：“废物分离”（waste）和“废物分离”（waste）。 虽然没有通用、明确的定义，但废物管理领域普遍认为： (a) 废物分类主要是指废物在源头产生的时间（如：生活场所、工作场所或建筑工地）或在收集/倾倒点，将它们分成不同的类别（以及，2011）； (b)“垃圾分类”可以与“垃圾分类”互换使用，即可以在源头进行手动分类（Wang等，2020a），也可以在相对集中的地点进行分类（等，2017b）。 在本研究中，我们接受这一传统定义，并使用“废物分类”一词来涵盖源头和集中处理设施的所有废物分类活动。
当垃圾在源头产生时，鼓励垃圾产生者根据其类型对垃圾进行分类（Zuo等，2011；等，2017b），例如：上海的“湿”食物垃圾和“干”可回收物生活垃圾（Zuo 和 Yan，2019）、香港建筑垃圾中的惰性和非惰性材料（Lu 等，2015；Lu 和 Yuan，2021），或公共商业中用于收集不同类型废物的分类垃圾桶地区（以及，2018）。 然而，随着垃圾分类方法的日益复杂，居民和监管机构区分不同生活垃圾类型变得越来越困难（Chen et al., 2021），而计算机视觉（CV）的应用可能有助于区分不同的生活垃圾类型。源头或收集处的家庭废物类型。 在对城市生活垃圾进行分类时。 有了足够的数据，训练CV模型来识别各种城市固体废弃物是完全可行的。 CV模型可以应用于手机等智能设备，帮助用户确定其产生的废物类型，从而进行适当的分类。 CV 模型甚至可以部署到无人地面车辆 (UGV) 等机器人平台上，在建筑物内（等人，2016）或开放建筑工地上工作（Wang 等人，2020b；Wang 等人，2019b）。
在相对集中的地方也可以进行垃圾分类。 在工厂里，收集到的固体废物通过传送带运输，经过一系列机械和机器人分拣（等，1997；等，2017b；黄等，2010；等，2000）。 在这个过程中，常用的分选方法有两种，即直接分选和间接分选（黄等，2017b；Huang等，2010）：利用重力、磁力的直接分选或采用人工分选等。直接浪费。 相比之下，间接分拣首先使用传感器（如光学传感器、光谱仪、感应传感器和热成像仪）来检测特定类型的废物材料，然后使用机械或机器人对检测到的材料进行分选（等人，2017b；Huang）等人，2010）。 基于CV的间接废物分类的潜力早已得到广泛认可。 例如，等人。 (1997) 提出了一种具有立体视觉的机器人系统，用于检测和分离纸质物体以进行回收。 (2000)正式解决了移动传送带上的物品分类问题，提供了基于光学器件的解决方案。 与高光谱成像 (HSI) 和 X 射线等其他传感技术相比，CCD（电荷耦合器件）相机等视觉传感器具有成本效益、易于维护且适用于各种废物（等人， 2014；等人，2014）。 虽然传统方法更多地依赖于昂贵的传感器硬件的巨额投资，但基于 CV 的分类只需安装 RGB 相机并利用算法的力量来检测废料。 在这样的垃圾分类系统中，CV充当“眼睛”和“大脑”，用于检测和识别传送带上的垃圾，让机器人自主执行分拣作业。
尽管有其前景，CV 在城市固体垃圾分类中发挥的作用有限，并且在很长一段时间内仍然是研究中相对边缘的部分。 发展缓慢的原因是手动提取特征需要大量的工时，而且早期算法的鲁棒性相对较低。 令人兴奋的是，这种情况随着深度学习（DL）的发展得到了改善，其标志性事件是2012年大规模视觉识别挑战赛的巨大成功（Law et al., 2012）。 DL技术可以从两方面解决传统CV算法的局限性：首先，借助深度学习在特征提取方面的强大功能，可以避免繁琐的手动特征提取，因为深度学习算法可以从大数据中自动学习不同的垃圾类型。 其次，通过为深度学习模型提供在不同环境下捕获的大量视觉数据，可以提高垃圾分类算法的鲁棒性。 深度学习的潜在优势推动了相关研究工作的激增，已有关于人工智能在废物管理中的应用的综述（等，2020）和通用自动化废物分类的主题（等，2017b） ）。 然而，据作者所知，之前没有研究专门关注 CV 在废物分类中的应用。
本研究旨在对计算机视觉应用于垃圾分类的发展历史、现状、前景和挑战进行全面的文献综述。 主要重点是普通数码相机拍摄的RGB图像的处理，因为这是最近取得进展的领域，代表了未来发展的主要趋势。 本综述旨在解决以下问题：首先，垃圾分类的主要 CV 算法有哪些？ 深度学习算法与传统算法有何不同？它们与其他算法有何不同，推动了近期出版业的繁荣？ 其次，学术研究现状如何？ 先前的研究成果如何分布在不同的应用领域和废物来源中？ 如何评估绩效以及多年来绩效如何演变？ 此外，通过全面回顾，我们可以从以往的研究工作中吸取哪些教训？ 未来我们可以预见哪些挑战和问题？
本文的其余部分组织如下： 本章介绍部分之后是第二部分，其中描述了材料搜索、选择和一些初步分析。 第3部分详细分析了垃圾分类的CV算法，第4部分从垃圾来源、任务目标、应用领域和数据集可访问性四个方面分析了研究成果。 第 5 节介绍了 CV 在垃圾分类中的前景和挑战，第 6 节得出了结论。
————本页结束————
2.相关文献资料收集
本综述纳入的材料仅限于1997年至2021年间发表的英文学术文献。我们使用“垃圾分类与计算机视觉”和“垃圾分类与计算机视觉”两个关键词组合在Web of（WoS）平台上搜索相关出版物。图像识别”，直接体现了评论主题的两大主题，即“垃圾分类”和“计算机视觉”。 手动筛选搜索结果以排除不相关的论文。 适合性检查后，将剩余记录合并，总共17篇论文。 许多其他研究可能已被排除，因为最初的搜索仅限于具有两个关键字组合的 WoS 数据库。 为了找到缺失的文献，我们依次检查了 17 篇论文引用的参考文献，以找到涵盖本综述主题的其他文章。 这种“滚雪球”的方法将文献收藏扩大到了 86 种出版物，其中包括 51 篇期刊文章、32 篇会议论文和 3 篇报告/预印本。 扩大的文献收藏不仅包括其他知名数据库（例如 ）的出版物，还包括许多备受推崇的会议论文，特别是在计算机科学领域。
根据收集的文献，分析了过去二十年研究生产力的演变。 如图1（a）所示，自2016年以来，学术研究成果经历了爆炸式增长，当时对李世石的历史性胜利进一步向公众宣传了深度学习的概念。 可以观察到，与DL相关的出版物数量呈现上升趋势，而使用其他CV算法的出版物数量逐渐减少。 请注意，2021 年的数据仅考虑当年 7 月（审查论文起草时）之前发表的文献。
图 1 (b) 和 (c) 显示了按出版物标题/类型和国家划分的文献收藏的构成。 如图1(b)所示，近20年产出最高的期刊为Waste、and，共发表论文14篇。 如图1（c）所示，相关出版物数量最多的前三个国家是马来西亚、中国和印度。 有趣的是，这些国家都是发展中国家。 这可能与这些国家经济快速发展导致废物产生量增加有关（Bao et al., 2019, 2021）。
3.垃圾分类的计算机视觉算法
许多CV算法已被用于垃圾分类，包括图像预处理（如去噪、阈值化和分割）、特征提取如尺度不变特征变换（SIFT）、定向梯度直方图（HOG）和主成分分析（PCA） ，以及用于分类的机器学习 (ML) 算法。 其中，机器学习算法是至关重要的组成部分，它直接影响垃圾分类的准确性和效率。 本节总结了流行的机器学习算法的基本原理和应用场景，并比较了它们在识别不同废物材料方面的性能。 请注意，虽然计算时间是性能评估的重要组成部分，但大多数研究都没有提及它； 因此，这里使用准确性作为主要评价指标。
3.1 传统机器学习算法
在深度学习出现之前，研究工作尝试使用传统的机器学习模型从视觉数据中对不同的废料进行分类。 这些模型通常结构简单，缺乏从原始图像中自动提取高级表示的能力； 因此，它们需要输入手工设计的特征，例如 HOG 和灰度直方图。 表1列出了以往研究中使用的流行的传统机器学习算法，包括线性判别分析（LDA）、最近邻分析（NN）、决策树（DT）、贝叶斯网络、人工神经网络（ANN）和支持向量。 机器（SVM）和基于规则的分类器。
3.1.1 线性判别分析LDA
LDA是一种常用的线性分类算法。 给定一堆数据样本，该算法寻求优化从原始高维特征空间到低维子空间的线性映射，然后可以指定分类器将样本分类为不同类别（et al.，2003） ）。 LDA起源于1936年的二元判别分析研究，并发展成为多种变体和扩展，例如多重判别分析和二次判别分析。 如表1所示，有六篇文章在他们的研究中使用LDA作为分类器来识别/检测RM和ICI垃圾。 该算法的预测性能随具体废物类型、任务目标和所使用的功能而变化，准确度范围从低至 53% 到超过 98%。
3.1.2 最近邻神经网络
NN 是一种非参数 ML 算法，它不会对输入变量和输出类标签之间的映射分布做出强有力的假设 (, 2016)。 NN算法的基本原理很简单：给定特征空间中不同类别的一组样本点和未知类别的查询点q，算法迭代计算q与S Ried中所有点之间的距离（欧几里得）或其他距离度量），并将 S 中最近点的类标签指定为 q 的类。 NN 算法的一个变体是 k-NN，它首先查找 k 个最近点，然后通过多数投票来确定类标签。 基于 NN 的研究数量超过了所有其他传统 ML 算法。 尽管该算法很简单，但在现有研究中表现相当不错，大多数都达到了 85% 以上的准确率。
3.1.3. 决策树DT
DT算法将给定的数据样本（即训练集）转换为由节点、分支和叶子组成的树结构的表示。 一个节点代表一个特征，叶子代表一个类标签； 从节点延伸出来的分支代表对应特征的具体值。 DT很容易被人类解释和解读（et al., 2007）。 随机森林是 DT 算法的一种变体，旨在解决 DT 对训练集过度拟合的偏好。 尽管应用DT的研究数量相对较少，但其表现却是可圈可点的，所有研究的准确率都接近或超过90%。
3.1.4 贝叶斯网络
贝叶斯网络是指利用变量之间因果关系的概率图形模型。 在垃圾分类的具体情况下，贝叶斯网络给出了样本属于具有给定视觉特征（例如颜色）的垃圾类型的条件概率（et al., 2011; Liu et al., 2010; Liu et al., 2014），形状如面积比和纵横比（等，2011），纹理如灰度共生矩阵（GLCM）（Xiao等，2020）和Jet（Liu等，2010） 。 朴素贝叶斯分类器是贝叶斯网络的一个子集，它假设特征之间具有很强的独立性。 该模型主要用于C&D和RM垃圾分类，结果精度为3.1.5。 人工神经网络 ANN
ANN 通过模仿生物神经网络的结构来学习输入输出映射（et al., 2020；Guo et al., 2021）。 最早的 ANN 模型之一是单层感知器，它只能学习线性可分离的模式。 一种更有效且广泛使用的 ANN 结构是多层感知器 (MLP)，它由输入层、一个或多个隐藏层和输出层组成。 通过这种多层结构以及非线性激活函数（例如 tanh 和 tanh）的使用，MLP 可以区分非线性可分离数据。 人工神经网络已用于对各种废料进行分类，从汽车工业的塑料到金属废料。 许多基于人工神经网络的研究已经实现了超过95%的分类准确率。
3.1.6。 支持向量机SVM
SVM 可以用少量的训练数据产生显着的分类精度。 SVM训练的目标是找到能够最好地分离不同类别数据样本的最优超平面。 最佳超平面是与所有类（支持向量）的最近点距离最大的超平面（And，2016）。 尽管SVM最初专注于线性二分类问题，但它已被广泛扩展到通过一对多和核运算策略解决具有非线性超平面的多分类问题。 SVM 是基于 CV 的垃圾分类中的一种流行技术。 所取得的成绩非常显着：除一项研究外，所有研究的准确率均超过 90%。
3.1.7. 基于规则的分类器
基于规则的分类器是一种分类模型，它通过遵循一组“if...then...”规则来决定给定示例的类别。 而在一些研究中（et al., 2015; et al., 2009a; Zhu et al., 2018），规则被指定为数字特征与给定阈值的关系（例如，“如果感兴趣的区域超过阈值，那么它可能是一个薄瓶子”），其他人（等人，2000；1998）通过采用模糊技术将数学数字转换为自然语言，基于经验观察制定了规则。
3.2 深度学习DL算法
深度学习通过其深层结构利用大数据的力量来实现所谓的“端到端”训练。 在典型的深度学习架构中，原始图像而不是手工制作的特征，被直接输入到由多个卷积层、池化层和全连接层组成的网络中，通过该网络可以自动学习和提取图像中的隐藏特征。 ，最终用于预测类标签。 端到端的学习机制避免了繁琐的手工制作特征过程，从而大大扩展了基于CV的垃圾分类的适用性。 此外，由于数据集包含大量垃圾样本，因此生成的深度学习模型往往比使用传统机器学习算法训练的模型更加稳健。 卷积神经网络 (CNN) 是一种最先进的深度学习算法，已成功应用于广泛的 CV 相关任务（Yang 等人，2020、2021）。 补充材料中的图S1显示了VGG-16的结构，VGG-16是Group（VGG）提出的一种著名的CNN架构，具有16个隐藏层。 表 2 总结了之前根据所使用的 CNN 架构将深度学习应用于支持 CV 的垃圾分类的研究。
3.2.1. 流行的骨干网络
在深度学习中，主干网络是指用于从输入图像中提取特征的CNN结构。 在主干网络之上，后续结构可以利用提取的特征来完成各种任务。 其中一项任务是垃圾识别，其目的只是确定给定图像是否属于预定类别之一。 在这种情况下，主干网络通常后面跟着一个全连接层和一个激活层，以输出一个向量，该向量指示输入是一些废料的概率，例如，Mao 等人。 (2021)，Yang 和 Thung (2016))，Meng 和 Chu (2020)。 通过集成基于块的分类或滑动窗口，提取的特征也可以直接用于定位图像上的垃圾（Anjum and Umar，2018；et al.，2016）。
表2中的1-X行至7-X行列出了常用于垃圾分类的骨干网络。 基于并超过所有其他骨干架构的研究数量。 对于 ，获得的准确率因情况而异，从六种常见城市固体废物分类的低至 22%（Yang 和 Thung，2016）到塑料/纸张二元分类的 96.41%（Yang 和 Thung，2019） 。 ）。 至于，除一项研究外，所有研究的分类准确率均高于 85%。 不建议直接比较报告的准确性，因为它们的性能可能已经在不同的数据集上进行了评估，并且某些数据集可能比其他数据集更具挑战性。 然而，通过比较基于相同数据集的研究并手动检查相关数据集的难度级别，可以识别出一个一般模式： 、 、 、 和 VGG 往往会产生更高的性能。 一般来说， ， 的性能比其他网络差； 然而，这种模型需要较少的计算能力，因此在实际工业部署中可能是首选。
深度学习模型的训练依赖于海量数据，而这些数据在 WM 领域通常很难收集或访问。 解决这个问题的常见方法是使用迁移学习（TL），这种技术利用从源域学习的模型结构和参数，并将其适应仅需要少量数据进行参数微调的新域。 调整（等，2016）。 这项技术已被大多数先前的研究所使用。
3.2.2. R-CNN系列和其他物体检测网络
基于从主干提取的特征，可以完成更高级的任务。 对象检测就是这样一项任务，其目的不仅是确定给定图像是否包含感兴趣的对象，而且还使用边界框在图像上定位对象（Zou et al., 2019）。 一些 CV 任务（例如语义/实例分割）进一步提取与目标相对应的像素区域（- et al., 2017）。 在工业实践中，废物流通常处于高度混乱的状态，其中不同的材料相互重叠。 因此，与垃圾分类相比，通过精确定位图像上垃圾的具体位置，垃圾目标检测代表了一个更有前景的研究方向。 表2中的第8-X行到第12-X行显示了垃圾分类领域中5种流行的目标检测网络。
R-CNN（基于区域的卷积神经网络）（et al., 2014）使用一种称为“选择性搜索”的算法从原始图像中查找候选区域建议 (RP)。 由于对图像上的所有 RP 多次重复特征提取，R-CNN 在效率方面表现不佳（Ku et al., 2021）。 基于R-CNN开发了一系列算法。 Fast R-CNN 在某种意义上改进了原始 R-CNN，它不是为每个单独的 RP 单独提取特征，而是从输入图像生成统一的特征图，并从特征图中检测候选区域（，2015）。 这一改进显着减少了处理每个图像所需的时间。 Chen（2017）的研究中，使用Fast R-CNN对传送带上的垃圾进行检测和定位，误报率（FNR）为3%，误报率（FPR）为9%， 0.22 秒/图像的计算效率。 任等人。 (2015)提出了R-CNN，其计算时间减少到亚秒级。 阿威等人。 （2017），王等人。 (2019b)和Pamuła (2020)应用R-CNN分别检测RM废物、C&D废物和电子废物，达到了预期的性能。 R-CNN 的另一个变体是 Mask R-CNN，与 R-CNN 相比，它有一个额外的分支，用于提取与检测到的对象的每个单独实例相对应的像素（Proença 和 2020；Wang 等人，2020b）。
还有另一种称为单级检测器的网络流，它将目标检测视为单个回归问题，例如 YOLO（You Only Look Once）、SSD（Shot）和 . 其中，它超越了 R-CNN 系列等许多两级检测器的精度，同时仍然保持其效率优势（Lin et al., 2017）。 （2020）训练他们的垃圾检测模型来识别水体中的污染物，达到了 0.814 的平均精度（mAP）。 mAP 被定义为每个类别的平均精度，是一种流行的目标检测评估指标。 也有研究根据垃圾分类的具体领域问题设计新的 CNN 框架。 Liang 和 Gu (2021) 开发了一种基于 CNN 的多任务学习架构，可以同时对上下文中的垃圾进行分类和定位。 该架构集成了注意力机制、多级特征金字塔和联合学习子网络等组件，mAP达到0.815。
3.2.3. 与传统机器学习算法集成
在上述研究中，CNN 模型充当特征提取器和分类器来识别或检测图像中的垃圾。 然而，也有研究表明CNN仅用于特征提取，而分类是通过SVM、MLP和k-NN等传统ML模型进行的。 表 3 总结了这些研究。
CNN 与传统 ML 模型的集成有几个好处：
利用不同的机器学习模型。 CNN 擅长通过其深层网络学习特征，而传统的 ML 算法 SVM 是一个强大的分类工具。 通过将两者结合起来，推测可以实现更高的性能。 Wang(2019)采用了这种技术，提取-50个学习特征，并使用SVM进行垃圾分类。 随着CNN的不断完善，这种“CNN+SVM”的优势正在逐渐减弱。 因此，这不再是决定是否采用与传统ML集成的首要考虑因素。
不同功能的灵活集成。 CNN 和传统 ML 模型的结合使用可以轻松集成不同网络提取的深层特征（Togaçar et al., 2020）或与重量和磁力等其他模态的传感数据融合（Chu et al., 2018），从而改进准确性。 为了自动测量 C&D 废物成分，Chen 等人。 （2021）开发了一种混合模型，集成了网络提取的视觉特征和其他传感器收集的重量和深度等物理特征。 将混合特征输入SVM进行垃圾成分分类，准确率提高20%以上。
可扩展性以适应新的输入类别。 在工业实践中，新的垃圾分类动态添加的情况并不罕见。 在这种情况下，必须重新训练原始的DL模型，这是一个漫长的过程。 为了解决这个问题，Yang 等人。 （2021）采用了“+ k-NN”结构。 当添加新的垃圾类别时，CNN不需要重新训练。 相比之下，k-NN 可以根据特征的相似性对新类别的样本进行分类。
4、学术研究成果分析
从垃圾来源、任务目标、应用领域、数据集可访问性四个方面分析了1997年和2021年的学术研究成果。 图2中的饼图显示了这四个领域的出版物数量分布。
4.1. 垃圾邮件来源
城市固体废弃物可通过三个来源产生，即 RM、ICI 和 C&D。 图2（a）显示了三个系之间的学术产出分布。 其中，RM部门成为论文产出最多的部门，发表论文（或报告）61篇，远超ICI部门的9篇论文和C&D部门的11篇。 文档。
4.1.1. 住宅和城市垃圾
出版物数量的显着不平衡意味着主要焦点是通过 CV 实现 RM 垃圾分类。 为了分离无机废物等。 (2008) 开发了一种智能垃圾分类系统，包括网络摄像头视觉、机械臂、用户界面和传送带。 该系统的CV模块首先采用阈值和分水岭分割来提取垃圾，然后使用傅立叶描述符和矩等手工特征进行分类。 (2011, 2010, 2009a, b) 进行了一系列废纸分类工作，其中共现特征 (et al., 2009b) 和窗口特征 (et al., 2010) 与 k-NN 和模板匹配相结合和基于规则的分类器。 作为废物流中的重要组成部分，利用CV促进塑料的分离引起了许多研究人员的关注(et al., 2009b; Ramli et al., 2008; et al., 2007; Wang et al., 2007)。 ，2019c；等人，2014）。 厄兹坎等人。 (2015) 研究了五种不同的特征提取算法，并将提取的特征输入支持向量机进行塑料分类。 根据多数投票，该研究的平均准确率为 88%。 一些研究人员专注于使用 CV 来区分常见的 RM 废物，如玻璃、纸张、金属、塑料和纸板； 此类研究的例子包括（2019），Liu 等人。 (2019) 和 To˘gaçar 等人。 2020）。
4.1.2. 工业、商业和机构废物
研究试图将简历应用于国民经济不同部门的ICI废物分类的权力下放，例如核工业（等，2016; Sun等，2019），汽车行业（He等人，他等人， 2011，2011; 由于核辐射的危险，自动化机器人需要在核设施退役后高需求分开核废料。 基于视觉的自主识别被认为是此类机器人系统必不可少的模块。 （2016年）强调了用CMO（互补金属氧化物半导体）传感器（例如X射线，激光扫描仪和HSI）的被动摄像机的优点，而在暴露于极端核环境时，则可以在成本效益和可靠性方面使用CMOS（例如X射线，激光扫描仪和HSI）。 。 孙等人。 （2019）使用有限的标记的RGB-D数据来训练核废料检测模型，综合高斯工艺分类（GPC）和深卷积神经网络（DCNN）。
在汽车行业中，回收临终工具（ELV）的二级原材料具有经济利益（Wang等，2019a）。 （2010，2011）使用3D成像摄像头系统来测量ELV金属零件的形状参数，然后将其输入到判别分析仪和神经网络中，以分类铸造铝，锻造铝和镁。 王等人。 （2019a）开发了一种基于计算机视觉的系统，用于将非有产金与ELV分离，其中比较了多种ML算法（例如SVM，K-NN和DT）的性能。 至于农业和粮食生产行业，有几项工作着重于有效的基于CV的农作物和生物量的分类以提高可用性（等，2015; et al。，2016; Zhu等，2018） 。
4.1.3. 建筑和拆除废物
C＆D废物是MSW的重要组成部分，占某些城市总废物流的40％（和，2012年）。 基于获奖，筛选和手动分选的传统分类方法效率低下且通常不准确（Xiao等，2020）； 因此，研究人员试图将CV纳入分类线以提高效率和准确性。 Lukka等。 （2014）和等。 （2015年）提出了一个以C＆D废物分类命名的机器人系统，其中CV是解决材料分类和对象掌握问题的重要模块。 肖等人。 （2020）开发了一种分类的方法，可以对五种典型的C＆D废物进行分类，即木材，砖，橡胶，岩石和混凝土。 陈等人。 （2022）提出了一种单眼视觉方法，以估计运输卡车中加载的C＆D废物的组成。 颗粒的分类（等，2010）和聚集体对于C＆D废物回收也是一项具有挑战性的任务。 Lau Hiu Hoong等。 （2020）使用CNN开发了一种基于CV的（近）实时CV方法，以确定可回收聚集体的组成。 在王等人中。 （2020b，2019b），RCNN和面具R-CNN分别在一组图像上进行了培训，显示了地面上的建筑碎片。 训练有素的模型在检测C＆D垃圾（例如，指甲，螺钉，剩余的管道和电缆）方面散布在建筑工地周围，然后将其用于启用机器人原型以执行垃圾收集。
尽管进行了研究尝试，但使用简历来支持C＆D废物分类仍然有限，仅在20年内只有11个出版物。 考虑到总废物流中C＆D废物的比例很大（最高40％），以及对新技术的高需求，以实现更好的回收实践，情况似乎更加糟糕和令人困惑。
4.2. 使命目标
根据他们想完成的任务，现有研究可以分为两类，即垃圾识别和垃圾检测（补充材料中的图S2）。 前者的目的是将垃圾图像分类为预定类别之一，而后者不仅标识了垃圾类别，而且还将它们本地定位在带有边界框或像素标签的图像上。
4.2.1。 垃圾标识
如图2（b）所示，现有研究的大部分注意力都集中在垃圾识别任务上。 在深度学习变得流行之前，对垃圾识别的早期研究要么简化了该问题，并允许图像上垃圾区域的初步提取（Ramli等，2010； Ramli等，2008; Ramli et al。，2008; et al。，2007），或者假定材料上的材料垃圾输送机只能出现在摄像机的视野中，一一又一个（等，2019）。 （2010年）假设具有垃圾项目周围有边界框的图像很容易获得，并将SVM应用于垃圾分类。 （2007年）使用背景减法技术从传送带图像中提取瓶子，这是基于垃圾不会彼此重叠的假设。
DL的最新发展使得无需事先背景减法即可直接处理图像。 此类作品的主要内容（Aral等，2018; et al。，2018; et al。，2018）源自Yang和Thung的项目（2016）。 在这个项目中，作者将垃圾分类简化为将给定的单个目标图像分类为垃圾类型的问题。 广泛的研究工作导致在公共数据集（例如（Yang and Thung，2016）等公共数据集上表现出色。 Yang和Li（2020）开发了一个用于垃圾分类的轻型神经网络。 提出了一种注意机制，以迫使网络更多地关注与垃圾识别有关的敏感区域。 通过应用数据增强，达到了96.10％的分类精度。
张等人。 （2021）提出了一个带有自我监控模块的残差网络，用于在同一数据集上对可回收废物进行分类。 通过将遗传算法应用于高参数优化，Mao等人。 （2021）将分类精度提高到99.60％。 尽管取得了重大进展，但垃圾识别的性质决定了其在WM行业中的应用方案非常有限。 首先，由于垃圾识别只能将给定图像分类为预定义的类别，因此它不适用于机器人自动垃圾分类，该机器人不仅需要垃圾类别信息，而且还需要垃圾的位置和几何形状来指导机器人操作。 其次，垃圾识别通常需要在相对简单的背景下存在单个垃圾项目，在大多数现实生活中，这种情况并非如此，在大多数真实生活中，垃圾材料经常被分散在不同的环境中，甚至相互重叠。 基于上述分析，这种垃圾识别技术应主要考虑用于垃圾收集阶段的来源分类。 它可以帮助居民通过智能手机区分不同的家庭垃圾（和，2019; Yang等，2021），或被当局使用，以将当局用于当局为其使用。 公众垃圾收集信息（Singh等，2017； Yang and Li，2020）。
4.2.2. 废物检测
与他们的同龄人相比，废物检测的研究比率仅超过四分之一。 在实际的工程应用中，同一图像出现多个垃圾。 因此，排序操作不仅取决于确定的类别，还取决于垃圾的确切位置和几何形状（Awe等，2017； Ku等，2021； Lau Hiu Hoong等，2020）。 垃圾检测不仅可以识别不同类型的垃圾，而且还可以识别其位置和图像上的几何边界，从而提供关键信息来推断其实际的3D位置，以便他们可以使用机器人手臂来抓取或分类（等，等。 2016）。 垃圾测试为满足垃圾分类行业需求的需求提供了有希望的研究方向。
在垃圾的过程中，随意将大块废物扔到输送带上，这不可避免地导致一些垃圾物品感到困惑。 克服这个问题是一个充满挑战的先决条件，可以有效地检测出一个垃圾。 Wang等人（2019c）从塑料瓶分类的具体情况下谈到了这个问题。 这项研究整合了形态操作，凸袋的分析和凹点，以识别“相邻”或“重叠”垃圾。 深度学习技术的发展使直接训练端模型在复杂的集群环境中识别垃圾成为可能（Awe等，2017； Ku等，2021；其他，2016；Pamuła，以及2020年； Rad等。 ，2017年； Sun等人，2019年）。 （2017）指出，以前的工作（Yang and Thung，2016年）只能识别单个目标图像，并强调从垃圾集群中检测垃圾的重要性。 通过微调快速R-CNN，他们获得了0.683的地图，用于检测典型的MSW，例如纸张。
近年来，越来越多的研究人员意识到了垃圾识别的局限性，并转向了垃圾检测的问题（Anjum和Umar，2018； Liang and Gu，2021; 2021; et al。，2020;Proença和2020; Wang等。 ; Wang等，2019b）。 poen和a和（2020）在上下文中意识到图像数据集的重要性。 因此，他们创建了数据集中的炸玉米饼（垃圾），并在此数据集中实现了蒙版R-CNN，作为垃圾检测的基准。 同样，等待人们使用Mask RCNN。 （2021）用于工业场景中的垃圾测试。 T -Valle等。 （2020）用于检测水体中的垃圾。 Liang and Gu（2021）发布了一个新的数据集，其中包含每个图像中包含边界框注释和多个标签，并开发了一个多制定学习框架，可以有效地检测有机，可回收，可回收，危险和其他垃圾。
4.3. 应用程序方案
垃圾来源的来源和垃圾处理设施的分类是前任研究的两种应用方案。 图2（c）在两种情况下的学术出版物的分布显示。
4.3.1.
简历在垃圾收集阶段的应用旨在提供来自垃圾目标的来源识别/检测的信息，并为WM部门提供信息以制定信息（等，2016；Pamuła，以及2020年； Yang和Li，2020年），使用机器人系统实现初始源分离（等，2016; Rad等，2017），或协助公民对生命产生的垃圾进行分类（and，2019; Yang等，2021）。 CNN分类器提出了CNN分类器，以识别智能手机的电子垃圾（例如冰箱，洗衣机和电视），以促进垃圾发电机和收集公司之间的信息交换。 Eoul（2016）开发了一个不受限制的现实世界图像中自动检测和定位的应用程序。 辛格等人。 （2017年）开发了一个系统，以征求有关无关的路边垃圾的信息，在该垃圾中使用简历来确定上载信息是否有效。 ,
另一个值得注意的研究方向是开发“智能垃圾箱”。 此智能垃圾桶的突出特征之一是，他们使用简历来检测垃圾桶的水平（例如，空，占领或超过），然后通知市政部门的垃圾收集门（等，2020年） ; Aziz等人），2018年； 伊斯兰等人，2014年； Sarc等，2019）。 汉南等人。 （2012; 2016）和Aziz等。 （2015; 2018）是该领域最有生产力的研究人员之一，并开发了一系列基于灰色的光晕矩阵，GLCM和HOFF线测试的特征。 ML垃圾水平检测方法。 已经进一步研究了一些“智能垃圾箱”，并打算从垃圾箱（其他，2020年）中综合的垃圾中进行集成的简历和机器人技术。 大多数现有的智能垃圾箱都是基于传统的机器学习模型。 深度学习的应用以及对先前方法的性能比较的研究尚未确定。
近年来，越来越多的研究关注海洋垃圾。 这是一种人造的固体废物，已通过下水道或下水道或生命和工业排放（1992）丢弃到大海。 海洋废物的收集需要有关其类别和位置的信息，可以通过简历技术获得。 服务员（2019）比较了水下环境中各种DL算法的性能，并为自动水下飞机自动垃圾铺平了道路，用于自动水下飞机。 Hong等。 （2020）提出了一种增强水下图像的生成方法，以通过视觉检测检测海洋垃圾。 除了水下垃圾外，一系列研究旨在从遥感图像（例如Mace（2012）等人等。 （2021）和胡（2021）。
4.3.2.
如图2（c）所示，机器人自动化废物分类的研究结果（Chu等，2018；其他，2017a，2018）远高于垃圾收集的研究结果。 在垃圾分类设施中，支持简历的垃圾分类系统由硬件和软件组成：前者通常是一个低成本的相机，它充当系统的“眼”； 可以识别垃圾。 等待一个人审查自动分类技术。 （2017b）比较了各种传感技术的性能，并得出结论，光传感器适合各种材料，并且可以在很小的时间内实现可接受的准确性。
早在20世纪末，研究人员就将机器视觉指导机器人进行分类的系统概念化了（等，1997;其他，2000;其他，1998年）。 早期的CV算法通常需要是特定废物的故意手工制造的特征，这限制了其在废物范围内具有非常简单的特征的范围。 此外，手动设计的特征通常不足以适应实际分类任务的复杂性。 人工智能的发展，尤其是深度学习技术，已大大改善了简历算法的鲁棒性，并扩大了适合RM，ICI和C＆D垃圾的广泛废物。 但是，如前所述，大多数现有研究都集中在垃圾识别的问题上，垃圾识别问题偏离了机器人自动化垃圾分类的最终目标。 CV进行自动垃圾分类的实际部署需要更多的研究工作来解决垃圾测试的问题。
4.4. 数据集可访问
根据其可访问性，现有的垃圾数据集是研究人员可以自由访问的“公共”数据集，或者仅适用于其所有者的“私人”数据集。 图2（d）和图3（a）通过数据集的可访问性显示了先前出版物的分布。
4.4.1. 私人数据集
以前的大多数研究都在私人数据集上评估了他们的模型。 表4列出了两个明显的私人数据集的详细信息。 在表中，“任务”列指示是否将相应的数据集用于“垃圾标识（R）”或“垃圾检测（D）”。 “背景”列反映了图像背景的复杂性：“简单”意味着背景简单明了，“背景”表示图像中的垃圾是在随机且复杂的真实生活环境中捕获的。 图3（b）显示了过去20年中垃圾分类准确性的演变。 该图显示了一种波动模式，这是矛盾的，通常认为随着时间的流逝，通常被认为可以逐渐改善的研究表明它正在逐渐改善。 背后的基本问题之一是使用私人数据集来制作统一的标准和基准，从而进行不切实际的性能比较。 例如，从室外和凌乱的环境中收集的垃圾图像比在控制良好的实验室环境中收集的图像更具挑战性。 因此，直接比较两个数据集训练的模型是毫无意义的，因为后者的结果可能更好。 此问题需要创建和共享公共垃圾数据集。
4.4.2. 公共数据集
研究人员收集并宣布了几个垃圾数据集。 在著名的数据科学和机器学习在线平台上，数据科学家，工程师和行业从业人员也发布了一些有用的数据集。 表5列出了有关代表性公共数据集的信息。
使用最广泛的公共数据集由Yang and Thung（2016）收集和宣布。 该数据集包括2,527件单件照片的六种垃圾类型（即，玻璃，玻璃，塑料，金属，纸板和垃圾），带有白色海报板。 图3（c）描述了上述准确性的演变。 观察明显的增长趋势。 这表明，通过统一的公共可用数据集，可以集中研究以实现持续的绩效提高。 但是，尽管性能很高（到2021年，准确率达到99.60％），但数据集似乎太理想了，不能用于实际应用。 正如Ing和Chu（2020）强调的那样：“在现实中射击具有干净背景的物体是不现实的。” （Liang and Gu，2021年）和（Proença和2020年）也对先前的垃圾图像也表达了类似的担忧。 因此，需要在现实生活环境中收集的数据集。 炸玉米饼是朝这个方向发展的重要举措。 它包括1,500 RM相关的图像，涵盖了各种垃圾（28个类别和60个子类），例如塑料袋，香烟和瓶子（Proença和2020年）。 该数据集具有高质量的边界框注释和像素级垃圾标签，可用于目标检测甚至实例分段。 类似的研究重点是（Liang and Gu，2021），其中包括四个RM垃圾类别的57,000张图像。 该数据集可以通过相应作者的合理要求获得，因此不被视为表4中列出的“公共”数据集。
表5中的一个显着观察是，除了公共数据集，所有数据集都面临RM垃圾。 这并不奇怪，因为研究工作的主要部分集中在RM垃圾分类中（图2（a））。 但是，由于其他两种类型的垃圾，尤其是C＆D垃圾也是MSW的重要来源，因此应该更加关注公共ICI或C＆D垃圾数据集的开发以促进相关研究。
5.挑战和前景5.1。 未来的挑战
在DL的患病率的驱动下，越来越多地注意CV在垃圾分类中的应用。 但是，我们的审查制度从现有研究中发现了多个课程，这可能会挑战当前的学术努力转变为实际应用。
首先，当前的研究缺乏可用于垃圾分类工业实践实践的开放和可用的真实世界数据集。 这使得很难在不同的研究之间严格比较。 大多数现有的数据集都是由其各自的研究团队私有拥有的。 There are open data sets, but most of them tend to into the of spam, and the on a and well (, 2021; Sekar, 2019; 2019; yang and thung and thung and Thung和Thung，Thung，Thung，Thung，Thung，Thung，Thung，Thung，Thung，Thung，Thung，Thung，Thung，Thung和Thung和Thung，Yang和Thung and Thung and Thung 2016）。 一些研究已经开始在上下文中收集垃圾图像。 但是，它们要么受到限制（等待人，2020年；Proença和2020年），要么缺乏高质量的注释（Labs，2021）。 此外，大多数公共数据集用于对RM垃圾进行分类。 由于缺乏不同的MSW类型面临的高质量公共数据集，因此很难根据统一标准进行有意义的绩效评估。 这将分散到分散研究工作的核心途径，以偏离不断改善垃圾分类。
其次，现有研究或多或少地简化了他们提出的目标或工作条件，这可能会挑战其未来在工业应用中的部署。 例如，在特定系统边界的垃圾识别问题之前，假设垃圾只能扔在输送带上（等待，2019年），或者不能与其他人重叠（等待，2007年）。 与DL有关的最新研究限制了从图像中识别单个目标的范围（Aral等，2018； Yang and Thung，2016）。 这种严格的约束可以使开发方法与实际排序设施中的非结构化环境不兼容，其中垃圾通常是在混乱的背景中随机分布的（Chen等，2021； Lu等，，，，，，，，，，，，LU等，， 2022）。
第三，尽管C＆D垃圾在MSW流中占很大比例，但只有有限的研究致力于使用CV进行分类。 C＆D垃圾可以占某些城市产生的总垃圾的40％（和2012年）； 在香港，至少有四分之一的垃圾材料是最终降落的货物（香港环境保护局，2020年）。 与大量的C＆D垃圾相比，研究数量有限，这是一个巨大的挑战，这意味着需要更多的研究。 未能解决这一需求不仅会继续导致可回收的建筑材料得到适当的重复使用，而且还会导致一系列环境问题产生可回收的新材料，并为废物填埋场占用有价值的土地资源。
第四，尽管CV在区分各种材料方面具有多功能性，但视觉方法基本上不可能表征垃圾的物理和化学特性。 具有不同物理和化学特性的材料可以呈现相似的视觉特征。 例如，玻璃看起来可能与透明的塑料板相似，但显然，它们是两种不同类型的材料。 在这种情况下，依靠简历来实现有效分类而不提供其他有用信息是一个挑战。
5.2. 前景和未来的方向
鉴于上述挑战，在基于简历的垃圾分类的未来已经提出了几个方向。
用于各种垃圾来源的面向行业的公共数据集。 需要具有高质量注释的公共可用数据集为严格的绩效评估提供基准。 一方面，数据集必须提供有关行业实际需求的真实照片。 另一方面，我们必须确保自由和公开进入研究界。 一些最新的研究意识到了以前简化的数据集的局限性，并致力于创建可以捕获现实变化的数据集，例如炸玉米饼（Proença和2020年）和（Liang and Gu，2021年）。 但是，由于这些研究最近尚未发表，因此它们的影响仍然相对较低。 应加强研究强度以创建和共享ICI和C＆D垃圾的数据集。 相关部门的利益相关者通常会垄断此类废物照片的获取，因此行业从业者的参与至关重要。 尽管一种理想，更可持续的方法是建立一个集中式数据库，该数据库可以通过收集各种垃圾类型和评论来收集各种垃圾类型和评论（Peer，2018），但由于法律以及版权和保密性等一系列管理问题和其他管理问题。 在可预见的将来，垃圾数据集仍将由不同各方（即通过分散的方法）收集，管理和宣布。 因此，建立一般协议以指导如何构建数据集很重要。 例如，由于由于不同的国家，地区和部门的不同类型的垃圾，建议使用地理位置（例如，州或地理坐标）和来源（例如，RM，ICI或C＆D）当相关数据集时。
解决工程实践的需求。 预计未来的研究将更多地关注WM行业遇到的实际问题。 例如，不仅需要从单个目标图像中识别垃圾的类型。 因此，它旨在检测和对将来的各种垃圾垃圾检测进行分类。 在实际应用中，简历算法的效率也是必不可少的考虑因素。 尽管效率在某些情况下相对不那么重要（例如智能手机的辅助家庭垃圾分类），但它需要在其他情况下（例如自动垃圾分类）进行严格的时间表现。 当考虑垃圾回收设施每天可以接收数千吨MSW，而排序速度直接影响整体吞吐量时，尤其是这种情况。 但是，大多数现有研究尚未报告其算法的时间性能。 建议将来研究推理时间和算法的准确性。 请注意，具有不同计算能力的硬件可能会导致同一算法的不同时间性能。 因此，还应该提到的是，对于读者的参考，还提到了相应算法的特定硬件配置。
C＆D垃圾分类的计算机视觉。 作为城市固体废物的主要组成部分，从经济和环境的角度提高拆除和建筑垃圾的效率是有益的。 鉴于C＆D垃圾的巨大和异质特征，需要更多的研究工作来研究如何将简历及其相关算法整合到分类过程中。 实际上，在经济利益和最近的技术发展的刺激下，重大变化正在发生重大变化。 到2018年，在评论审查中，只有五个与C＆D垃圾有关的项目，但是自2019年以来，在不到三年的时间内，就该主题发表了最多六项研究。 增加了120％。 出版繁荣反映了越来越多的关于在C＆D垃圾分类中使用CV的研究。 在不久的将来，这种趋势有望继续。
多模板传感器数据融合。 尽管CV在垃圾分类中的性能将在不久的将来继续改善，但视觉传感器在传感器材料的物理和化学特征方面具有固有的弱点。 来自不同模式的传感数据融合（Chu等，2018; et al。，2015; et al。，2007）可以使用视觉传感器的成本优势和其他传感器的能力，例如，重量表，靠近红外线光谱光谱（NIR）和电感传感器用于检测垃圾的物理和化学特征。 它可以提高类别的准确性并提高系统的鲁棒性。 但是，新兴的DL提出了新的挑战，因为与物理特征的数量相比，CNN提取的特征可能达到数十万。 因此，建议未来的研究进一步研究CV提取的视觉特征如何有效地与来自不同领域的其他特征集成在一起。
六、总结
垃圾分类是实现有效的MSW管理的关键步骤。 简历在垃圾分类中的应用是概念性的，并且正在研究20多年。 在新兴的深度学习技术的驱动下，该领域目前正在经历前所未有的发展。 在这种情况下，本文对学术研究进行了批判性综述，以了解基于简历的垃圾分类的过去，现在和未来。 流行的用于垃圾分类的CV算法可以分为两种类型：传统ML和DL算法。 传统的ML算法需要手工制作的视觉特征作为输入，并且DL算法可以自动从原始图像中提取隐藏的功能。 由于其在稳健和自动化末端到末端培训方面的优势，DL已成为固体废物分类的主要CV算法。 研究发现，学术研究与RM，ICI和C＆D部门之间的分布不成比例。 尽管现有的研究主要集中在用于垃圾分类的集中处置设施中使用简历，但一些研究旨在通过机器视觉促进垃圾收集。 先前的研究倾向于限制其在W. Lu和J. Chen中的研究范围，以简化工作条件（例如，使用一组人为收集的图像在实验室环境中）。 辅助数据集经过训练和评估。
批判性审查已经确定了一些挑战，进一步促进了垃圾分类的简历。 其中包括（a）缺乏感兴趣的研究人员来培训其模型的全面和共享数据集。 在区分具有相似外观的材料时，人们对C＆D废物的关注较少，并且（D）CV的局限性。 将来，研究工作应努力创建和共享具有多种垃圾来源的行业级数据集。 还建议研究人员通过关注垃圾邮件测试问题来满足实际的工业需求，同时对算法的效率进行相同的关注。 C＆D垃圾分类和多模式功能的融合是另外两个有希望的方向，它们应该引起更多关注。