0%

爬虫与数据分析课程作业(基于Web scraper)

我们基于Web scraper开始爬取爱奇艺排行榜的数据,我们安装好Web craper插件后,
进入爱奇艺排行榜的开发者模式,选中Web scraper

点击Create sitmap
输入要爬取网站的url和 Sitemap name

添加选择器

选中一个电影整个详细内容,之后选中的元素都在这里面,名字设置为Final

进入Final里面
选中标题,在建立一个元素

添加热度

添加弹幕元素

查看节点图的逻辑,没有问题

所有开始爬取

结果如下:

导入成csv文件

爬取的数据如下

求大佬赏个饭