用python打造可视化爬虫监控系统,酷炫的图形化界面
本文并不讲解爬虫的相关技术实现,而是从实用的角度,对捕获并存储的数据进行处理,然后通过炫酷的图形界面将爬虫捕获的数据展示出来。
在开始之前我们先来简单介绍一下:
最终效果如下:
请注意,下面的操作都是在Mac上实现的,但是原理类似,你可以在自己的PC上进行实验。
2.安装和配置
安装
修改配置文件/usr/local/etc/.conf,如果原文件中没有相应配置项,则需要自行添加。
3.安装和配置
安装
并修改配置文件/usr/local/etc//.ini,内容如下:
4.爬虫代码
由于这里主要目的是介绍如何与爬虫结合,而不是重点介绍爬虫的原理,且代码比较多,影响可读性,所以就不贴出爬虫代码了。
5. 监控脚本
考虑到可能需要将爬虫加入到监控中,所以这里采用热更新的方式,动态配置监控。
配置文件.conf主要用于热更新相关的设置。
如何动态读取这个配置文件的设置呢?需要写一个脚本来监控,代码如下:
让我们尝试运行它
python3 influx_monitor.py
运行脚本,得到下图,表示监控脚本运行成功。
再创建一个窗口,修改配置文件.conf
# 修改间隔时间为8秒 interval = 8
切换到第一次运行的窗口,会提示更新配置,说明配置热更新生效。
6.配置
首先打开浏览器,输入:3000登录。
连接本地数据库,按照下图操作。
选择红框里的Type,输入URL::8086
在红框处输入数据库名称
新的
创建新的图表类型
修改设置
点击红框可以修改设置
修改配置
设置监控数据对象
在监控脚本中,写入的代码如下,其中“ ”对应的是表名,“ ”对应的是写入的字段;
7.运行爬虫文件
启动数据库服务。
brew services mongodb start
新建一个窗口,运行爬虫文件。
爬虫文件运行成功
我们可以在刚刚打开的控制台中查看效果显示:
怎么样?你学会了吗?如果你和我一样喜欢,也在学习的路上奔跑,欢迎加入学习群:765,群里会分享最新的行业资讯、企业项目案例、免费课程,每天一起学习,让学习成为一种习惯!