用python打造可视化爬虫监控系统，酷炫的图形化界面

本文并不讲解爬虫的相关技术实现，而是从实用的角度，对捕获并存储的数据进行处理，然后通过炫酷的图形界面将爬虫捕获的数据展示出来。

在开始之前我们先来简单介绍一下：

最终效果如下：

请注意，下面的操作都是在Mac上实现的，但是原理类似，你可以在自己的PC上进行实验。

2.安装和配置

安装

修改配置文件/usr/local/etc/.conf，如果原文件中没有相应配置项，则需要自行添加。

3.安装和配置

安装

并修改配置文件/usr/local/etc//.ini，内容如下：

4.爬虫代码

由于这里主要目的是介绍如何与爬虫结合，而不是重点介绍爬虫的原理，且代码比较多，影响可读性，所以就不贴出爬虫代码了。

5. 监控脚本

考虑到可能需要将爬虫加入到监控中，所以这里采用热更新的方式，动态配置监控。

配置文件.conf主要用于热更新相关的设置。

如何动态读取这个配置文件的设置呢？需要写一个脚本来监控，代码如下：

让我们尝试运行它

python3 influx_monitor.py

运行脚本，得到下图，表示监控脚本运行成功。

再创建一个窗口，修改配置文件.conf

# 修改间隔时间为8秒
interval = 8

切换到第一次运行的窗口，会提示更新配置，说明配置热更新生效。

6.配置

首先打开浏览器，输入:3000登录。

连接本地数据库，按照下图操作。

选择红框里的Type，输入URL::8086

在红框处输入数据库名称

新的

创建新的图表类型

修改设置

点击红框可以修改设置

修改配置

设置监控数据对象

在监控脚本中，写入的代码如下，其中“ ”对应的是表名，“ ”对应的是写入的字段；

7.运行爬虫文件

启动数据库服务。

brew services mongodb start

新建一个窗口，运行爬虫文件。

爬虫文件运行成功

我们可以在刚刚打开的控制台中查看效果显示：

怎么样？你学会了吗？如果你和我一样喜欢，也在学习的路上奔跑，欢迎加入学习群：765，群里会分享最新的行业资讯、企业项目案例、免费课程，每天一起学习，让学习成为一种习惯！