爬虫

大家好,我是欧K。本期我们以豆瓣电影Top250为例,向大家展示如何用python爬取电影相关信息,包括:片名、上映年份、评分、评价人数、导演、编剧、主演、类型、国家/地区、时长等信息,最后将数据保存至Excel并对其进行可视化处理,希望对小伙伴们有所帮助。

爬虫

涉及到的内容:

  • request+BeautifulSoup--网页数据爬取
  • openpyxl--保存数据至Excel
  • pandas--读取表格数据
  • pyechars--数据可视化

1. 网页分析

打开豆瓣电影网页:movie.douban.com/,可以看到Top250榜单共有10页数据:

爬虫爬虫

点击每一页观察网址变化:

# 第1页
'https://movie.douban.com/top250?start=0&filter='
# 第2页
'https://movie.douban.com/top250?start=25&filter='
# 第3页
'https://movie.douban.com/top250?start=50&filter='
# 第4页
'https://movie.douban.com/top250?start=75&filter='
...
# 第9页
'https://movie.douban.com/top250?start=225&filter='
# 第10页
'https://movie.douban.com/top250?start=250&filter='

不难发现,每页网址只有start的值在发生变化
规律:start=(页面数-1)*25
所以我们只要构造如下url即可获取每一页信息:

for i in range(11):
        url = 'https://movie.douban.com/top250?start={}&filter='.format(i * 25)

细心的小伙伴会发现,单独根据每一页的链接去爬取数据,并不能爬取到电影上映年份、上映地区以及电影类型等这些信息。

那么怎样才能获取更全的信息呢?

我们随便点击第一部电影(肖申克的救赎)的链接看一下:

爬虫

可以看到这个网页中有电影的所有详情也就是我们要去爬的信息。

以上分析我们得出爬取步骤:

  • 循环构建榜单每一页的url
  • 在一级网页获取每部电影链接
  • 在二级网页获取电影具体信息

2. 爬取数据

准备工作,导入以下模块:

import os
import re
import time
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
from openpyxl import Workbook, load_workbook

如果模块缺失,直接pip安装即可。

2.1 循环构建榜单每一页的url

代码:

for i in range(11):
        print(f'正在爬取第{i}页,请稍等...')
        url = 'https://movie.douban.com/top250?start={}&filter='.format(i * 25)

print语句用的是f-string格式输出,具体用法可参考下面这篇文章(点击跳转):

技巧 | 5000字超全解析Python三种格式化输出方式【% / format / f-string】

2.2 获取每页25部电影链接
电影链接在每个

  • 列表标签的标签中:

    爬虫

    代码:

    def getonepagelist(url,headers):
     try:
            r = requests.get(url, headers=headers, timeout=10)
            r.raise_for_status()
            r.encoding = 'utf-8'
            soup = BeautifulSoup(r.text, 'html.parser')
            lsts = soup.find_all(attrs={'class': 'hd'})
     for lst in lsts:
                href = lst.a['href']
                time.sleep(0.5)
                getfilminfo(href, headers)
     except:
            print('getonepagelist error!')

    2.3 获取每部电影具体信息
    片名和上映年份在

    标签中:

    爬虫

    其他信息在标签中:

    爬虫

    代码:

    def getfilminfo(url,headers):
        filminfo = []
        r = requests.get(url, headers=headers, timeout=10)
        r.raise_for_status()
        r.encoding = 'utf-8'
        soup = BeautifulSoup(r.text, 'html.parser')
        # 片名
        name = soup.find(attrs={'property': 'v:itemreviewed'}).text.split(' ')[0]
        # 上映年份
        year = soup.find(attrs={'class': 'year'}).text.replace('(','').replace(')','')
        # 评分
        score = soup.find(attrs={'property': 'v:average'}).text
        # 评价人数
        votes = soup.find(attrs={'property': 'v:votes'}).text
        infos = soup.find(attrs={'id': 'info'}).text.split('n')[1:11]
        # 导演
        director = infos[0].split(': ')[1]
        # 编剧
        scriptwriter = infos[1].split(': ')[1]
        # 主演
        actor = infos[2].split(': ')[1]
        # 类型
        filmtype = infos[3].split(': ')[1]
        # 国家/地区
        area = infos[4].split(': ')[1]
     if '.' in area:
            area = infos[5].split(': ')[1].split(' / ')[0]
            # 语言
     language = infos[6].split(': ')[1].split(' / ')[0]
     else:
            area = infos[4].split(': ')[1].split(' / ')[0]
            # 语言
     language = infos[5].split(': ')[1].split(' / ')[0]
    
     if '大陆' in area or '香港' in area or '台湾' in area:
            area = '中国'
     if '戛纳' in area:
            area = '法国'
        # 时长
        times0 = soup.find(attrs={'property': 'v:runtime'}).text
        times = re.findall('d+', times0)[0]
        filminfo.append(name)
        filminfo.append(year)
        filminfo.append(score)
        filminfo.append(votes)
        filminfo.append(director)
        filminfo.append(scriptwriter)
        filminfo.append(actor)
        filminfo.append(filmtype)
        filminfo.append(area)
        filminfo.append(language)
        filminfo.append(times)
        filepath = 'TOP250.xlsx'
        insert2excel(filepath,filminfo)

    注意国家/地区的处理,为了数据分析更方便,这里时长只取电影的第一个时长(部分电影有多个时长)。

    2.2 保存数据
    这里我们使用openpyxl将数据保存到Excel中,大家也可以尝试保存其他文件或者数据库中:

    def insert2excel(filepath,allinfo):
     try:
     if not os.path.exists(filepath):
                tableTitle = ['片名','上映年份','评分','评价人数','导演','编剧','主演','类型','国家/地区','语言','时长(分钟)']
                wb = Workbook()
     ws = wb.active
     ws.title = 'sheet1'
     ws.append(tableTitle)
                wb.save(filepath)
                time.sleep(3)
            wb = load_workbook(filepath)
     ws = wb.active
     ws.title = 'sheet1'
     ws.append(allinfo)
            wb.save(filepath)
     return True
        except:
     return False

    3. 数据可视化

    3.1 读取数据

    pandas模块读取:

    import pandas as pd
    from pyecharts import options as opts
    from pyecharts.charts import Bar
    
    data = pd.read_excel('TOP250.xlsx')

    3.2 各年份上映电影数量柱状图(纵向)

    代码:

    def getzoombar(data):
        year_counts = data['上映年份'].value_counts()
        year_counts.columns = ['上映年份', '数量']
        year_counts = year_counts.sort_index()
     c = (
            Bar()
            .add_xaxis(list(year_counts.index))
            .add_yaxis('上映数量', year_counts.values.tolist())
            .set_global_opts(
                title_opts=opts.TitleOpts(title='各年份上映电影数量'),
                yaxis_opts=opts.AxisOpts(name='上映数量'),
                xaxis_opts=opts.AxisOpts(name='上映年份'),
                datazoom_opts=[opts.DataZoomOpts(), opts.DataZoomOpts(type_='inside')],)
            .render('各年份上映电影数量.html')
            )

    效果:

    爬虫

    3.3 各地区上映电影数量前十柱状图(横向)代码:

    def getcountrybar(data):
        country_counts = data['国家/地区'].value_counts()
        country_counts.columns = ['国家/地区', '数量']
        country_counts = country_counts.sort_values(ascending=True)
        c = (
            Bar()
            .add_xaxis(list(country_counts.index)[-10:])
            .add_yaxis('地区上映数量', country_counts.values.tolist()[-10:])
            .reversal_axis()
            .set_global_opts(
            title_opts=opts.TitleOpts(title='地区上映电影数量'),
            yaxis_opts=opts.AxisOpts(name='国家/地区'),
            xaxis_opts=opts.AxisOpts(name='上映数量'),
            )
            .set_series_opts(label_opts=opts.LabelOpts(position="right"))
            .render('各地区上映电影数量前十.html')
            )

    效果:

    爬虫

    3.4 电影评价人数前二十柱状图(横向)
    代码:

    def getscorebar(data):
        df = data.sort_values(by='评价人数', ascending=True)
        c = (
            Bar()
            .add_xaxis(df['片名'].values.tolist()[-20:])
            .add_yaxis('评价人数', df['评价人数'].values.tolist()[-20:])
            .reversal_axis()
            .set_global_opts(
                title_opts=opts.TitleOpts(title='电影评价人数'),
                yaxis_opts=opts.AxisOpts(name='片名'),
                xaxis_opts=opts.AxisOpts(name='人数'),
                datazoom_opts=opts.DataZoomOpts(type_='inside'),
                )
            .set_series_opts(label_opts=opts.LabelOpts(position="right"))
            .render('电影评价人数前二十.html')
            )

    效果:

    爬虫

    完。

    更多内容:

    爬虫 | Python爬取豆瓣电影Top250 + 数据可视化(附源码)

    以上就是本期为大家整理的全部内容了,赶快练习起来吧,喜欢的朋友可以点赞、收藏也可以分享让更多人知道

    推荐阅读

    基础 | Python函数一文详解

    基础 | 彻底搞懂Python异常处理:try-except-else-finally

    技巧 | Python 字典用法详解(超全)

    技巧 | 20个Pycharm最实用最高效的快捷键(动态展示)

    技巧 | 5000字超全解析Python三种格式化输出方式【% / format / f-string】

    可视化 | Python制作最炫3D可视化地图

    爬虫 | 用python构建自己的IP代理池,再也不担心IP不够用啦!

    • 我的微信
    • 微信扫一扫
    • weinxin
    • 我的微信公众号
    • 微信扫一扫
    • weinxin
    afiregame
    • 本文由 发表于 2021年12月11日21:52:02
    • 转载请务必保留本文链接:https://www.afiregame.com/zixun/6371/
    匿名

    发表评论

    匿名网友 填写信息

    :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: