Python爬虫——Python 岗位分析报告

眼前片篇我们独家爬取了糗事百科和小姨子图网站,学习了 Requests, Beautiful
Soup 的着力接纳。然则前片首都是由静态 HTML
页面被来罗出大家得之信。这无异首我们来读书下哪些来博 Ajax
请求重临的结果。

迎接关注公号【智能创造专栏】学习再多本创智能成立及编程知识。

Python
爬虫入门(二)——爬取妹子图

Python
爬虫入门(一)——爬取糗百

本篇以拉勾网为例来表明一下怎么着收获 Ajax 请求内容

本文目的

  1. 取 Ajax 请求,解析 JSON 中所欲字段
  2. 数量保存到 Excel 中
  3. 数码保存及 MySQL, 方便分析

简单的讲解析

五独都 Python 岗位平均薪大渡河平
图片 1

Python 岗位要求学历分布
图片 2

Python 行业领域分布
图片 3

Python 公司规模分布
图片 4

查页面结构

咱俩输入查询条件为 Python 为条例,其他条件默认不挑,点击查询,就会看到有着
Python 的职了,然后大家开辟控制台,点击网络标签可以见到如下请求:
图片 5

起响应结果来拘禁,这么些要正是我们需要的内容。前面我们向来呼吁是地点便吓了。从图中得以视
result 下边就各个岗位信息。

暨这里我们清楚了起哪儿请求数据,从哪得到结果。不过 result
列表中唯有首先页 15 长达数,其他页面数据怎么抱呢?

分析请求参数

我们点击参数选项卡,如下:
图片 6
发现提交了四个表单数据,很显眼看出来 kd 就是大家摸索的紧要词,pn
就是时页码。first 默认就推行了,不用管它。剩下的事体虽是构造请求,来下载
30 只页面的数目了。

布局请求,并分析数据

社团请求很粗略,大家要用 requests 库来搞定。首先大家社团出表单数据
data = {'first': 'true', 'pn': page, 'kd': lang_name} 之后用 requests
来求url地址,解析得到的 Json
数据就是很功告成了。由于拉勾对爬虫限制于严厉,我们得拿浏览器中
headers 字段全体添加,而且把爬虫间隔调整大一些,我前面设置的吧
10-20s,然后便会正常获取数据了。

import requests

def get_json(url, page, lang_name):
    headers = {
        'Host': 'www.lagou.com',
        'Connection': 'keep-alive',
        'Content-Length': '23',
        'Origin': 'https://www.lagou.com',
        'X-Anit-Forge-Code': '0',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'X-Requested-With': 'XMLHttpRequest',
        'X-Anit-Forge-Token': 'None',
        'Referer': 'https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7'
    }
    data = {'first': 'false', 'pn': page, 'kd': lang_name}
    json = requests.post(url, data, headers=headers).json()
    list_con = json['content']['positionResult']['result']
    info_list = []
    for i in list_con:
        info = []
        info.append(i.get('companyShortName', '无'))
        info.append(i.get('companyFullName', '无'))
        info.append(i.get('industryField', '无'))
        info.append(i.get('companySize', '无'))
        info.append(i.get('salary', '无'))
        info.append(i.get('city', '无'))
        info.append(i.get('education', '无'))
        info_list.append(info)
    return info_list

获取有数据

问询了哪剖析数据,剩下的即是连连请求所有页面了,我们社团一个函数来呼吁所有
30 页的数目。

def main():
    lang_name = 'python'
    wb = Workbook()
    conn = get_conn()
    for i in ['北京', '上海', '广州', '深圳', '杭州']:
        page = 1
        ws1 = wb.active
        ws1.title = lang_name
        url = 'https://www.lagou.com/jobs/positionAjax.json?city={}&needAddtionalResult=false'.format(i)
        while page < 31:
            info = get_json(url, page, lang_name)
            page += 1
            import time
            a = random.randint(10, 20)
            time.sleep(a)
            for row in info:
                insert(conn, tuple(row))
                ws1.append(row)
    conn.close()
    wb.save('{}职位信息.xlsx'.format(lang_name))

if __name__ == '__main__':
    main()

整代码

import random
import time

import requests
from openpyxl import Workbook
import pymysql.cursors


def get_conn():
    '''建立数据库连接'''
    conn = pymysql.connect(host='localhost',
                                user='root',
                                password='root',
                                db='python',
                                charset='utf8mb4',
                                cursorclass=pymysql.cursors.DictCursor)
    return conn


def insert(conn, info):
    '''数据写入数据库'''
    with conn.cursor() as cursor:
        sql = "INSERT INTO `python` (`shortname`, `fullname`, `industryfield`, `companySize`, `salary`, `city`, `education`) VALUES (%s, %s, %s, %s, %s, %s, %s)"
        cursor.execute(sql, info)
    conn.commit()


def get_json(url, page, lang_name):
    '''返回当前页面的信息列表'''
    headers = {
        'Host': 'www.lagou.com',
        'Connection': 'keep-alive',
        'Content-Length': '23',
        'Origin': 'https://www.lagou.com',
        'X-Anit-Forge-Code': '0',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0',
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'X-Requested-With': 'XMLHttpRequest',
        'X-Anit-Forge-Token': 'None',
        'Referer': 'https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7'
    }
    data = {'first': 'false', 'pn': page, 'kd': lang_name}
    json = requests.post(url, data, headers=headers).json()
    list_con = json['content']['positionResult']['result']
    info_list = []
    for i in list_con:
        info = []
        info.append(i.get('companyShortName', '无'))  # 公司名
        info.append(i.get('companyFullName', '无'))
        info.append(i.get('industryField', '无'))   # 行业领域
        info.append(i.get('companySize', '无'))  # 公司规模
        info.append(i.get('salary', '无'))   # 薪资
        info.append(i.get('city', '无'))
        info.append(i.get('education', '无'))   # 学历
        info_list.append(info)
    return info_list   # 返回列表


def main():
    lang_name = 'python'
    wb = Workbook()  # 打开 excel 工作簿
    conn = get_conn()  # 建立数据库连接  不存数据库 注释此行
    for i in ['北京', '上海', '广州', '深圳', '杭州']:   # 五个城市
        page = 1
        ws1 = wb.active
        ws1.title = lang_name
        url = 'https://www.lagou.com/jobs/positionAjax.json?city={}&needAddtionalResult=false'.format(i)
        while page < 31:   # 每个城市30页信息
            info = get_json(url, page, lang_name)
            page += 1
            time.sleep(random.randint(10, 20))
            for row in info:
                insert(conn, tuple(row))  # 插入数据库,若不想存入 注释此行
                ws1.append(row)
    conn.close()  # 关闭数据库连接,不存数据库 注释此行
    wb.save('{}职位信息.xlsx'.format(lang_name))

if __name__ == '__main__':
    main()

GitHub
地址:https://github.com/injetlee/Python/tree/master/%E7%88%AC%E8%99%AB%E9%9B%86%E5%90%88

使您想要爬虫获取的职音信,请关注公号【智能创设专栏】后台留言发送
“python岗位”。
图片 7

相关文章