返回首页

描述主题爬虫的技术框架优点?

173 2024-01-11 16:11 admin

优点:

1)scrapy 是异步的

2)采取可读性更强的 xpath 代替正则

3)强大的统计和 log 系统

4)同时在不同的 url 上爬行

5)支持 shell 方式,方便独立调试

5)写 middleware,方便写一些统一的过滤器

6)通过管道的方式存入数据库

顶一下
(0)
0%
踩一下
(0)
0%
相关评论
我要评论
用户名: 验证码:点击我更换图片

请选择遇到的问题

观点错误
内容与标题不符
内容陈旧
内容质量差
内容不够全面
已收到你的问题反馈