计算机毕业设计-基于python的旅游信息爬取以及数据分析

概括

随着计算机网络技术的发展，近年来新的编程语言层出不穷。语言是近年来最流行的语言。与其他高级语言相比，该语言拥有更加方便实用的模块和库，并且语法简单、语句清晰，使其在代码编程中更加简洁、易用。此外，它的应用也很广泛。作为一种应用广泛的语言，无论是游戏开发还是数据爬取，至于网站的建设，都可以轻松掌控。其中，爬虫的应用让这门语言更加出名。

爬虫作为互联网搜索引擎的组成部分之一，可以有效地为我们搜索和爬取有用的信息，减少人工操作。非常方便。在自定义条件下，我们可以收集某些网页的信息，例如房价、股票、招聘信息等，针对这些信息，我们可以对数据进行处理，得到我们需要的信息。

本文实现了对马蜂窝旅游网站的爬虫信息采集，并对马蜂窝网站采集到的数据进行分析处理，得到想要的数据。

关键词：Html爬虫旅游马蜂窝

一、研究背景及意义

近年来，随着互联网的快速发展，互联网已经进入大信息时代。互联网上的信息爆炸式增长，各种各样的信息展现出来。这使得人们在网上寻找自己需要的信息时越来越迷茫。当然有困难，出现问题就必须有办法处理。与信息急剧增加相对应的是搜索引擎的出现，比如百度、百度等，搜索引擎收集互联网上数以万计的信息，对不同类型的网页信息进行索引。通过搜索引擎，即使互联网上的信息种类繁多，我们仍然可以通过关键词搜索来搜索到相应信息的网页。

网络爬虫是一种自动化程序，也是搜索引擎的组成部分。不同的搜索引擎可以根据不同的搜索需求，选择合适的爬虫方式来收集互联网上的信息。传统的网络爬虫主要从 URL 开始。通过抓取目标网页的URL，观察其结构特征，根据结构规则构造新的URL，不断地将新的URL放入队列中，循环抓取，直到完成需求。优秀高效的爬虫程序可以使人们在互联网上找到更准确的信息。

本文用语言来实现对马蜂窝旅游网站的信息采集与分析。通过爬取马蜂窝旅游城市的城市编号，根据马蜂窝网站的URL规则，拼接得到马蜂窝旅游网站的城市URL。根据获取到的URL，进入马蜂窝旅游城市页面，观察页面结构，利用标签定位，爬取我们需要的页面信息，保存到本地文件中，然后对文件中的数据进行数据处理和可视化分析告诉您去哪里旅行。。

2、设计分析

首先，对于旅游，我们需要先确定一个城市。所以我们首先要问的是马蜂窝旅游城市中排名前10的热门城市是哪些。其次，我们需要获取每个城市的景点数据，并根据数据分析得出结论。 15个热门景点有哪些？最后爬取与美食相关的信息，得到旅游中最具代表性的前15个美食排名。

1 获取城市号码

首先，我们爬取旅游信息的时候，要爬取很多城市的旅游信息。不同的城市在马蜂窝旅游网站上有不同的网址。不过，通过对比我们可以发现，在马蜂窝旅游网站中，所有城市和城市景点信息都是由特定的五位或六位数字组成。这对我们爬取不同城市的旅游信息来说是一个突破。根据这个数字，我们可以拼接不同城市的不同URL地址，得到城市旅游界面。

2 城市信息爬取

获取城市编号后，我们就可以在马蜂窝旅游网站上获取该城市的URL地址。通过该地址，我们可以进入城市旅游界面。这个时候我们就需要考虑我们应该爬取什么，爬取哪些信息。我们爬取信息后，哪些信息是有用的，可以支撑数据分析的可信度？在这里，我们根据马蜂窝旅游网站中不同城市的游记数量、印象标签数量、特色美食排名、购物娱乐排名等得出的信息。

3 爬取信息的处理

当我们获得了城市的具体旅游信息后，最后一步就是对数据的可视化处理。首先，我们

需要可视化马蜂窝旅游网站游记热门城市前10名、景点标签热门城市前15名、餐饮标签热门城市前15名、娱乐购物标签热门城市前15名，使用条形图显示。接下来，我们对前 15 个城市景点、最热门餐厅的前 15 个城市以及最热门娱乐和购物的前 15 个城市进行了可视化。我们还使用了直方图显示。最后，我们展示了前 20 个热门城市的热力图。这就是所有信息处理的可视化。

图3.3 程序流程图

三、项目实现

1 视觉图片展示

图4.4.1 马蜂窝全国旅游游记前十名

图4.4.2 马蜂窝全国旅游景区标签前15名

图4.4.3 马蜂窝全国旅游餐饮品牌15强

图4.4.4 马蜂窝全国旅游购物娱乐品牌15强

图4.4.5 马蜂窝全国旅游景区排名前15名

图4.4.6 马蜂窝全国旅游餐饮人气排名前15

图4.4.7 马蜂窝全国旅游娱乐购物人气排名前15

图4.4.8 马蜂窝全国旅游热力图TOP30

从视觉图片中我们可以知道，呼伦贝尔是马蜂窝旅游最多人出行的地方。呼伦贝尔常被称为大草原。呼伦贝尔位于内蒙古。在热图显示中，我们可以清楚地看到中国北部地区的颜色较深。呼伦贝尔还是避暑胜地。夏季时节，那里的天气确实非常凉爽，非常适合人们出行避暑，骑马欣赏草原风光。作为首都，北京当然也是很多人的旅游目的地。它有很多旅游景点，如故宫、长城、颐和园等，都是著名的世界遗产。如果你想了解中华民族的辉煌历史，北京是一个不错的旅游目的地。

接下来介绍一下旅游城市厦门。从数据中我们可以看出，厦门是旅游景点访问量最多的城市，厦门是餐厅访问量最多的城市。可见，厦门也是很多人心目中的旅游胜地。第一个度假胜地是厦门的所在地。厦门地处沿海，冬季气候温和，夏季无酷暑。这对旅游业来说是一个非常好的条件。但由于地处沿海，出行时切记避开夏季台风天气。其次，沿海风景十分迷人。对于从未去过海滩的内陆地区的人来说，这也是一大吸引力。接下来是食物。现在随着经济的发展，人们的生活水平也提高了。在提高的同时，对食物的要求也越来越高。我们不仅要吃得好，而且还要吃得好。而厦门的美食更是数不胜数。从前15家餐厅的数据我们可以发现，厦门的美食独具特色。六是沙茶面、炒海蛎、笋冻、花生汤等，无不诱惑吃货的味蕾。最后，还有价格。厦门的旅游价格还是比较低的。与之前的呼伦贝尔草原和北京相比，厦门是一个经济实惠的旅游目的地。

从娱乐标签来看，丽江是最受欢迎的旅游胜地。小桥流水的景色、白雪皑皑的玉龙雪山都是非常好的旅游胜地。然而，由于近年来丽江酒吧女郎事件的发生，丽江的旅游名声变得不好。有污渍，所以在丽江旅游时，一定要分清真假，要有敏锐的眼睛辨别酒吧套路，以免上当。

最后，根据热力图，我们可以清楚地看到，南部地区和沿海地区是相对热门的旅游目的地。看来很多人还是喜欢南方的美食、宜人的气候气候、滨海风光。根据这些数据，你想好你想去哪里旅游了吗？

4. 总结

通过这次毕业设计，我再次感受到了这门编程语言的魅力。其简单易懂的代码和丰富的库给我留下了深刻的印象，让简单的操作发挥出复杂的作用。很难爱不释手。当然，在实现毕业设计的过程中，我们也遇到了很多困难。有时候在寻找页面规则的时候，我们常常会卡在那里很长时间没有任何进展，让人无从下手，从而大大拖慢了毕业设计的完成进度。，这个时候，我的同学兼导师吴瑞然就会帮我指明方向。同学之间的讨论。不同的人有不同的思维方式，有不同的看法。大多数时候，他们可以帮助我找到另一种方法来实现我的目标。，让我受益匪浅。吴瑞然老师将指导我如何思考和解决这个困难。在此感谢吴瑞然老师对我的帮助以及老师给予的信息参考和建议。

这次毕业设计还教会了我很多以前不懂的知识，比如图书馆的使用。有些库是我第一次使用，再次增加了我的代码知识储备，培养了我独立完成任务的能力。能力，建立自己的自信。我相信，在以后的编程之路上，我一定能够克服障碍，走得更远，学到更多。

6. 目录

中文摘要1

第一章简介 4

1.1 研究背景及选题意义4

1.2国内外研究现状5

1.3 研究内容6

1.4 论文结构6

第2章深度学习基础理论8

2.1 神经元的数学模型8

2.2 多层前向神经网络 9

2.3 深度神经网络10

2.4 神经网络的学习方法11

第三章验证码图像处理技术 12

3.1 图像预处理 12

3.2 字符定位和分割 13

第4章卷积神经网络的设计与实现 16

4.1 网络结构 16

4.2 网络初始化 19

4.3 误差反向传播 21

4.3.1 全连接层22的反向传播

4.3.2 池化层23的反向传播

4.3.3 卷积层的反向传播24

第5章网络性能分析25

5.1 参数选择 25

5.2 识别结果 25

5.3 隐藏层神经元数量对网络性能的影响26

5.4 学习率对网络性能的影响28

第6章总结30

6.1 工作总结 30

6.2 缺点与展望 30

参考文献 32

致谢 35