抠图专家要失业了？CV技术加持下的AR，实现隔空抠图复制粘贴

抠图专家要失业了？CV技术加持下的AR，实现隔空抠图复制粘贴

传说有一位电脑高手，可以在一台电脑上按Ctrl+C，在另一台电脑上按Ctrl+V，实现跨设备复制粘贴。

虽然这只是一个传说，但无数的计算机极客都为这个目标努力过。而现在机器学习+AR技术已经攻克了这一难题。

利用这项技术，只需用手机就可以将书中的图片直接复制到电脑上，整个过程只需不到10秒。

手写框架图也没问题~

这个项目是由一名自称是艺术家的法国人创建的，根据提供的地址，作者名叫Cyril，同时也是一家AI公司的联合创始人。

项目地址：

虽然目前只能用来做，但笔者相信未来可以处理更多不同类型的输出，从粘贴到复制，整个过程需要手机APP、本地服务器、后台移除三个模块。

移动端应用使用常见的 React 应用架构和平台 Expo 构建。本地服务器使用摄像头在屏幕上的位置。背景去除技术基于 2020 年的论文《U^2-Net：与 U-for 一起前进》。目前，该论文尚未被下载，但论文代码已发布。

代码地址：

部署步骤

据作者介绍，整个部署可以分为四个步骤：配置、设置外部显著物体检测服务器、配置和运行本地服务、配置和运行移动应用程序。

配置：1. 进入“>插件”，启用“远程连接”，设置稍后需要的密码。2. 确保 PS 文档设置与 /src/ps.py 中的设置相匹配，否则将粘贴空白。3. 确保文档有背景，如果背景为空白，SIFT 可能无法正确匹配。

要设置外部显著性对象检测服务器：1. 您需要使用 -HTTP 作为外部 HTTP 服务来部署模型；2. 使用您要部署的服务 URL 配置本地服务器。3. 如果与本地服务在同一台机器上运行，请务必配置不同的端口。

要配置和运行本地服务器，请按照上面的代码和说明进行操作。

要配置和运行该应用程序，您需要遵循上述设置。

另外作者还提到，直接在APP中使用这样的技术可能会简单得多，但作者还没有尝试过。

技术细节

该工具使用 U2-Net（Qin et Al，2020）执行显著物体检测和背景去除。

然后，使用 SIFT 找出手机在电脑屏幕上的指向位置。您只需要一张手机照片和一张屏幕截图即可获得准确的 x、y 屏幕坐标系。

U^2-Net 架构

据论文作者介绍，经过与当前20多种SOTA方法的对比实验，U^2-Net在模型大小、结构度量等指标上都取得了相对较好的效果。

U^2-Net work是他们（Qin et al，CVPR 2019）工作的更新，论文还没公布，但从中可以知道，在边界显著性检测方面，它创新了损失函数的设计，不再像以前那样只注重区域准确率。

上面是检测技术，而定位技术则采用SIFT算法，SIFT的全称是Scale-，意思是：尺度不变特征变换。是一种不随着图像的缩放和旋转而变化的特征。因此，SIFT特征不会随着图像的缩放或者旋转而变化。同时，由于在提取特征的时候进行了一些特殊的处理，SIFT特征对于光照的变化也具有较强的适应性。

SIFT算法由加拿大不列颠哥伦比亚大学教授David Lowe在1999年的ICCV会议上发表，原始论文是从local scale出发的，David Lowe是唯一作者。

其中最广为人知和引用的是2004年发表在IJCV杂志上的image from scale的改进版本，专利2020年3月6日到期，可以免费试用。算法流程大致为：构造尺度空间，寻找极值点，筛选极值点，计算特征点主方向，特征点维数变换。

此工具使用 SIFT 来确定手机在电脑屏幕上的位置