爬虫总结

转载 凌逆战 2019/9/11 21:06:18

爬取网站的思路多级页面数据抓取、爬取一级页面,提取所需数据链接,继续跟进、爬取二级页面,提取所需数据链接,继续跟进、爬虫代码规范书写:常见的反爬总结基于反爬一般被关注的变量是和和,可以考虑用浏览器中、

爬取网站的思路

  1. 先确定是否为动态加载网站
  2. 找URL规律
  3. 正则表达式或xpath
  4. 定义程序框架,补全并测试代码

多级页面数据抓取

1、爬取一级页面,提取所需数据+链接,继续跟进

2、爬取二级页面,提取所需数据+链接,继续跟进

3、...

爬虫代码规范书写:

# 程序结构
class xxxSpider(object):
    def __init__(self):
        # 定义常用变量,url,headers及计数等
        
    def get_html(self):
        # 获取响应内容函数,使用随机User-Agent
    
    def parse_html(self):
        # 使用正则表达式来解析页面,提取数据
    
    def write_html(self):
        # 将提取的数据按要求保存,csv、MySQL数据库等
        
    def main(self):
        # 主函数,用来控制整体逻辑
        
if __name__ == '__main__':
    # 程序开始运行时间戳
    start = time.time()
    spider = xxxSpider()
    spider.main()
    # 程序运行结束时间戳
    end = time.time()
    print('执行时间:%.2f' % (end-start))

常见的反爬总结

基于User-Agent反爬

一般被关注的变量是userAgent和Referer和Cookie,可以考虑用浏览器中

1、发送请求携带请求头: headers={'User-Agent' : 'Mozilla/5.0 xxxxxx'}

User-Agent限制:网站可能会判断当某一个User-Agent高频率访问的时候,会加以限制。

解决方法:

  1、定义列表存放大量User-Agent,使用random.choice()每次随机选择

  2、定义py文件存放大量User-Agent,使用random.choice()每次随机选择

  3、使用fake_useragent每次访问随机生成User-Agent

from fake_useragent import UserAgent

ua = UserAgent()
user_agent = ua.random
print(user_agent)

IP限制网站根据IP地址访问频率进行反爬,短时间内进制IP访问

解决方案:

1、构造自己IP代理池,每次访问随机选择代理,经常更新代理池
2、购买开放代理或私密代理IP
3、降低爬取的速度

Cookies:建立有效的Cookie池,每次访问随机切换

1、适用网站类型: 爬取网站页面时需要登录后才能访问,否则获取不到页面的实际响应数据

2、方法1(利用cookie)

    1、先登录成功1次,获取到携带登陆信息的Cookie(处理headers)

    2、利用处理的headers向URL地址发请求

3、方法2(利用session会话保持)

  1、实例化session对象

    session = requests.session()

  2、先post : session.post(post_url,data=post_data,headers=headers)

    1、登陆,找到POST地址: form -> action对应地址

    2、定义字典,创建session实例发送请求

      # 字典key :<input>标签中name的值(email,password)

      # post_data = {'email':'','password':''}

  3、再get : session.get(url,headers=headers)

验证码:验证码数量较少可人工填写,图形验证码可使用tesseract识别,其他情况只能在线打码、人工打码和训练机器学习模型

响应内容前端JS做处理反爬

1、html页面中可匹配出内容,程序中匹配结果为空

  • 响应内容中嵌入js,对页面结构做了一定调整导致,通过打印查看网页源代码,格式化输出查看结构,更改xpath或者正则测试

2、如果数据出不来可考虑更换 IE 的User-Agent尝试,数据返回最标准

From表达数据认证(salt、sign)签名及js加密:一般为本地JS加密,查找本地JS文件,分析,或者使用execjs模块执行JS

js调整页面结构

js在响应中指定新地址:从响应代码中找目标地址,政府行政编码

动态生成

动态加载的数据,数据不再网页代码中,而是在后台的异步加载的数据包中。

1、F12打开控制台,页面动作抓取网络数据包

2、抓取json文件URL地址

# 控制台中 XHR :异步加载的数据包

# XHR -> Query String(查询参数)

请求模块总结

urllib库使用流程

# 编码
params = {
    '':'',
    '':''
}
params = urllib.parse.urlencode(params)
url = baseurl + params
​
# 请求
request = urllib.request.Request(url,headers=headers)
response = urllib.request.urlopen(request)
html = response.read().decode('utf-8')

requests模块使用流程

baseurl = 'http://tieba.baidu.com/f?'
html = requests.get(baseurl,params=params,headers=headers).content.decode('utf-8','ignore')

写程序最终目的:程序不要因为任何异常而终止,页面请求设置超时时间,并用try捕捉异常,超过指定次数更换下一个url地址

scrapy框架爬虫

selenium+browser爬虫

解析模块总结

正则解析re模块

import re 
​
pattern = re.compile('正则表达式',re.S)
r_list = pattern.findall(html)

lxml解析库

from lxml import etree
​
parse_html = etree.HTML(res.text)
r_list = parse_html.xpath('xpath表达式')

json

# json
# 响应内容由json转为python
html = json.loads(res.text) 
# 所抓数据保存到json文件
with open('xxx.json','a') as f:
    json.dump(item_list,f,ensure_ascii=False)
# 或
f = open('xxx.json','a')
json.dump(item_list,f,ensure_ascii=False)
f.close()

Chrome浏览器安装插件

在线安装

  1. 下载插件 - google访问助手
  2. 安装插件 - google访问助手: Chrome浏览器-设置-更多工具-扩展程序-开发者模式-拖拽(解压后的插件)
  3. 在线安装其他插件 - 打开google访问助手 - google应用商店 - 搜索插件 - 添加即可

离线安装

  1. 下载插件 - xxx.crx 重命名为 xxx.zip,解压不解压都可以,我没解压
  2. 打开Chrome浏览器 -> 右上角设置 -> 更多工具 -> 扩展程序 -> 点开开发者模式
  3. 把相关插件文件夹 拖拽 到浏览器中,释放鼠标即可安装
  4. 重启浏览器,使插件生效

爬虫常用插件插件

  1. google-access-helper : 谷歌访问助手,可访问 谷歌应用商店
  2. Xpath Helper: 轻松获取HTML元素的xPath路径,开启/关闭: Ctrl + Shift + x
  3. Proxy SwitchyOmega: Chrome浏览器中的代理管理扩展程序
  4. JsonView: 格式化输出json格式数据

 

上一篇:全栈开发博客系统(nodejs+vuejs+mongodb)

下一篇:基础分类网络VGG

赞(0)

共有 条评论 网友评论

验证码: 看不清楚?
    扫一扫关注最新编程教程