Flask+requests+Pandas构建猫眼电影爬虫数据分析系统实战

如果你正在学习Python爬虫可能会遇到这样的困惑为什么教程里的代码在自己电脑上跑不通为什么爬取的数据杂乱无章难以分析为什么简单的可视化图表做出来却不够专业今天这个FlaskrequestsPandas的猫眼电影案例正是为了解决这些实际问题而生。它不是一个简单的代码堆砌而是一个完整的数据采集、处理到展示的工程化解决方案。通过这个项目你将学会如何构建一个真正可用的爬虫系统而不仅仅是写几行抓取代码。更重要的是这个项目展示了爬虫技术的正确使用方式——如何合理控制请求频率、如何解析复杂页面结构、如何将原始数据转化为有价值的商业洞察。这些都是初级开发者最容易忽视的关键环节。1. 项目整体架构设计在开始编码之前我们需要先理解这个项目的技术架构。整个系统分为三个核心模块数据采集层使用requests库发送HTTP请求配合随机User-Agent和延时机制确保爬虫的稳定性和合规性。数据处理层Pandas承担了数据清洗、转换和分析的重任。这一层将原始的HTML数据转化为结构化的数据分析模型。数据展示层Flask作为Web框架通过模板渲染将分析结果以图表形式展示给用户。这种分层架构的优势在于每个模块职责清晰便于维护和扩展。比如如果需要更换数据源只需修改采集层如果需要增加新的分析维度只需在数据处理层添加相应逻辑。2. 环境准备与依赖安装确保你的Python版本在3.7以上这是大多数现代Python库的兼容性基线。推荐使用虚拟环境来管理项目依赖# 创建虚拟环境 python -m venv movie_venv # 激活虚拟环境Windows movie_venv\Scripts\activate # 激活虚拟环境Mac/Linux source movie_venv/bin/activate # 安装所需库 pip install requests pandas flask matplotlib beautifulsoup4关键库的作用说明requests网络请求库比urllib更简洁易用pandas数据处理和分析的核心工具flask轻量级Web框架快速构建展示界面matplotlib图表绘制库支持多种可视化类型beautifulsoup4HTML解析库提取页面数据3. 猫眼电影页面结构分析在编写爬虫代码前我们需要先了解目标网站的结构。打开猫眼电影榜单页面通过浏览器开发者工具F12查看网络请求和HTML结构。关键发现电影数据通过异步接口加载而非直接渲染在HTML中接口返回JSON格式数据包含完整的电影信息需要模拟真实的浏览器请求头以避免被反爬分页参数通过offset控制每页通常显示30条数据这种基于API的爬取方式比解析HTML更稳定因为API返回的数据结构相对固定不易受前端改版影响。4. 爬虫核心代码实现创建spider.py文件实现数据采集功能import requests import pandas as pd import time import random from typing import List, Dict class MaoyanSpider: def __init__(self): self.base_url https://maoyan.com/board/4 self.headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Accept: application/json, text/plain, */*, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Referer: https://maoyan.com/board } self.session requests.Session() self.session.headers.update(self.headers) def get_movie_list(self, offset: int 0) - List[Dict]: 获取单页电影数据 url f{self.base_url}?offset{offset} try: response self.session.get(url, timeout10) response.raise_for_status() # 这里实际应该解析HTML页面因为猫眼榜单是服务端渲染 # 简化示例实际项目需要完整的HTML解析逻辑 movies self.parse_html(response.text) # 添加随机延时避免请求过快 time.sleep(random.uniform(1, 3)) return movies except requests.RequestException as e: print(f请求失败: {e}) return [] def parse_html(self, html: str) - List[Dict]: 解析HTML页面提取电影信息 # 这里使用BeautifulSoup解析的实际代码 # 简化示例返回模拟数据 return [ { name: 样例电影, score: 9.5, release_date: 2024-01-01, actors: 演员1,演员2, region: 中国大陆 } ] def crawl_multiple_pages(self, page_count: int 10) - pd.DataFrame: 爬取多页数据并转换为DataFrame all_movies [] for page in range(page_count): offset page * 30 print(f正在爬取第{page 1}页offset: {offset}) movies self.get_movie_list(offset) if movies: all_movies.extend(movies) else: print(f第{page 1}页爬取失败停止爬取) break return pd.DataFrame(all_movies) if __name__ __main__: spider MaoyanSpider() df spider.crawl_multiple_pages(5) print(f共爬取{len(df)}条数据) df.to_csv(maoyan_movies.csv, indexFalse, encodingutf-8-sig)5. 数据清洗与预处理爬取的原始数据往往包含各种问题缺失值、格式不一致、异常数据等。创建data_processor.py进行专业的数据清洗import pandas as pd import numpy as np from datetime import datetime class DataProcessor: def __init__(self, df: pd.DataFrame): self.df df.copy() def clean_score(self) - DataProcessor: 清洗评分数据 # 处理评分缺失值 self.df[score] pd.to_numeric(self.df[score], errorscoerce) self.df[score] self.df[score].fillna(0) # 过滤异常评分通常电影评分在0-10之间 self.df self.df[(self.df[score] 0) (self.df[score] 10)] return self def clean_date(self) - DataProcessor: 清洗日期数据 # 统一日期格式 self.df[release_date] pd.to_datetime( self.df[release_date], errorscoerce ) # 过滤未来日期和过于陈旧的日期 current_year datetime.now().year self.df self.df[ (self.df[release_date].dt.year 2000) (self.df[release_date].dt.year current_year) ] return self def extract_features(self) - DataProcessor: 特征工程 # 提取年份特征 self.df[release_year] self.df[release_date].dt.year # 提取月份特征 self.df[release_month] self.df[release_date].dt.month # 计算演员数量 self.df[actor_count] self.df[actors].str.split(,).str.len() return self def get_result(self) - pd.DataFrame: 返回处理后的数据 return self.df # 使用示例 if __name__ __main__: # 读取爬取的数据 raw_df pd.read_csv(maoyan_movies.csv) # 数据清洗流程 processor DataProcessor(raw_df) cleaned_df (processor .clean_score() .clean_date() .extract_features() .get_result()) print(数据清洗完成) print(f原始数据量: {len(raw_df)}) print(f清洗后数据量: {len(cleaned_df)}) print(cleaned_df.info())6. 数据分析与可视化创建analyzer.py实现数据分析逻辑import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from matplotlib.font_manager import FontProperties import numpy as np # 设置中文字体 plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False class MovieAnalyzer: def __init__(self, df: pd.DataFrame): self.df df self.setup_style() def setup_style(self): 设置图表样式 sns.set_style(whitegrid) plt.rcParams[figure.figsize] (12, 8) def analyze_score_distribution(self): 分析评分分布 plt.figure(figsize(10, 6)) # 使用直方图展示评分分布 plt.hist(self.df[score], bins20, alpha0.7, colorskyblue, edgecolorblack) plt.xlabel(评分) plt.ylabel(电影数量) plt.title(猫眼电影评分分布) plt.grid(True, alpha0.3) # 添加统计信息 mean_score self.df[score].mean() plt.axvline(mean_score, colorred, linestyle--, labelf平均分: {mean_score:.2f}) plt.legend() plt.tight_layout() plt.savefig(score_distribution.png, dpi300, bbox_inchestight) plt.show() def analyze_year_trend(self): 分析年度趋势 yearly_stats self.df.groupby(release_year).agg({ score: [mean, count], name: count }).round(2) yearly_stats.columns [平均评分, 电影数量] yearly_stats yearly_stats.reset_index() # 创建双Y轴图表 fig, ax1 plt.subplots(figsize(12, 6)) # 左侧Y轴平均评分 color tab:red ax1.set_xlabel(年份) ax1.set_ylabel(平均评分, colorcolor) ax1.plot(yearly_stats[release_year], yearly_stats[平均评分], colorcolor, markero, linewidth2) ax1.tick_params(axisy, labelcolorcolor) # 右侧Y轴电影数量 ax2 ax1.twinx() color tab:blue ax2.set_ylabel(电影数量, colorcolor) ax2.bar(yearly_stats[release_year], yearly_stats[电影数量], colorcolor, alpha0.6, width0.8) ax2.tick_params(axisy, labelcolorcolor) plt.title(猫眼电影年度趋势分析) fig.tight_layout() plt.savefig(year_trend.png, dpi300, bbox_inchestight) plt.show() return yearly_stats def create_heatmap(self): 创建月份热力图 monthly_data self.df.groupby([release_year, release_month]).size().unstack() plt.figure(figsize(12, 8)) sns.heatmap(monthly_data, annotTrue, fmtd, cmapYlOrRd, cbar_kws{label: 电影数量}) plt.title(电影上映时间热力图) plt.xlabel(月份) plt.ylabel(年份) plt.tight_layout() plt.savefig(release_heatmap.png, dpi300, bbox_inchestight) plt.show() # 使用示例 if __name__ __main__: df pd.read_csv(cleaned_movies.csv) analyzer MovieAnalyzer(df) # 执行各项分析 analyzer.analyze_score_distribution() yearly_stats analyzer.analyze_year_trend() analyzer.create_heatmap() print(年度统计摘要:) print(yearly_stats)7. Flask Web应用搭建创建完整的Flask应用来展示分析结果。项目结构如下movie_analysis/ ├── app.py ├── templates/ │ ├── index.html │ └── results.html ├── static/ │ ├── css/ │ └── js/ ├── spider.py ├── data_processor.py └── analyzer.py主应用文件app.pyfrom flask import Flask, render_template, request, jsonify import pandas as pd from spider import MaoyanSpider from data_processor import DataProcessor from analyzer import MovieAnalyzer import os app Flask(__name__) app.route(/) def index(): 首页 return render_template(index.html) app.route(/crawl, methods[POST]) def crawl_data(): 爬取数据接口 try: pages int(request.form.get(pages, 5)) spider MaoyanSpider() df spider.crawl_multiple_pages(pages) # 保存原始数据 df.to_csv(data/raw_movies.csv, indexFalse) return jsonify({ success: True, message: f成功爬取{len(df)}条数据, data_count: len(df) }) except Exception as e: return jsonify({ success: False, message: f爬取失败: {str(e)} }) app.route(/analyze) def analyze_data(): 数据分析页面 try: # 读取数据 df pd.read_csv(data/raw_movies.csv) # 数据清洗 processor DataProcessor(df) cleaned_df (processor .clean_score() .clean_date() .extract_features() .get_result()) # 保存清洗后数据 cleaned_df.to_csv(data/cleaned_movies.csv, indexFalse) # 执行分析 analyzer MovieAnalyzer(cleaned_df) # 生成图表 analyzer.analyze_score_distribution() yearly_stats analyzer.analyze_year_trend() analyzer.create_heatmap() # 准备展示数据 analysis_results { total_movies: len(cleaned_df), avg_score: round(cleaned_df[score].mean(), 2), max_score: cleaned_df[score].max(), min_score: cleaned_df[score].min(), recent_year: cleaned_df[release_year].max(), yearly_stats: yearly_stats.to_dict(records) } return render_template(results.html, resultsanalysis_results) except Exception as e: return f分析失败: {str(e)} if __name__ __main__: # 创建数据目录 os.makedirs(data, exist_okTrue) os.makedirs(templates, exist_okTrue) os.makedirs(static/css, exist_okTrue) app.run(debugTrue, host0.0.0.0, port5000)模板文件templates/index.html!DOCTYPE html html langzh-CN head meta charsetUTF-8 meta nameviewport contentwidthdevice-width, initial-scale1.0 title猫眼电影数据分析系统/title link hrefhttps://cdn.jsdelivr.net/npm/bootstrap5.1.3/dist/css/bootstrap.min.css relstylesheet style .container { max-width: 800px; } .card { margin-bottom: 20px; } .btn-crawl { width: 200px; } /style /head body div classcontainer mt-5 h1 classtext-center mb-4猫眼电影数据分析系统/h1 div classcard div classcard-body h5 classcard-title数据爬取/h5 form idcrawlForm div classmb-3 label forpages classform-label爬取页数 (每页30条)/label input typenumber classform-control idpages value5 min1 max20 /div button typesubmit classbtn btn-primary btn-crawl开始爬取/button /form div idcrawlResult classmt-3/div /div /div div classcard div classcard-body h5 classcard-title数据分析/h5 p爬取完成后点击下方按钮进行数据分析/p a href/analyze classbtn btn-success查看分析结果/a /div /div /div script document.getElementById(crawlForm).addEventListener(submit, async function(e) { e.preventDefault(); const pages document.getElementById(pages).value; const resultDiv document.getElementById(crawlResult); resultDiv.innerHTML div classalert alert-info爬取中.../div; try { const response await fetch(/crawl, { method: POST, headers: { Content-Type: application/x-www-form-urlencoded, }, body: pages${pages} }); const data await response.json(); if (data.success) { resultDiv.innerHTML div classalert alert-success${data.message}/div; } else { resultDiv.innerHTML div classalert alert-danger${data.message}/div; } } catch (error) { resultDiv.innerHTML div classalert alert-danger请求失败: ${error}/div; } }); /script /body /html8. 常见问题与解决方案在实际运行过程中你可能会遇到以下问题8.1 反爬虫机制应对问题现象请求被拒绝返回403状态码或验证页面解决方案# 1. 使用会话保持 session requests.Session() session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, Accept-Language: zh-CN,zh;q0.9, Referer: https://maoyan.com/ }) # 2. 添加随机延时 import time import random time.sleep(random.uniform(1, 3)) # 3. 使用代理IP如需 proxies { http: http://your-proxy-ip:port, https: https://your-proxy-ip:port }8.2 数据解析错误问题现象BeautifulSoup解析时出现属性错误或数据缺失解决方案def safe_extract(element, selector, default): 安全提取元素内容 try: selected element.select_one(selector) return selected.text.strip() if selected else default except: return default # 使用示例 movie_name safe_extract(movie_element, .movie-name, 未知电影)8.3 中文显示问题问题现象matplotlib图表中中文显示为方框解决方案# 方法1使用系统中文字体 import matplotlib.pyplot as plt plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei] plt.rcParams[axes.unicode_minus] False # 方法2指定字体文件 from matplotlib.font_manager import FontProperties font FontProperties(fname/path/to/your/chinese-font.ttf) plt.title(标题, fontpropertiesfont)9. 项目部署与优化建议9.1 本地部署步骤克隆项目代码git clone 项目仓库 cd movie_analysis安装依赖pip install -r requirements.txt运行应用python app.py访问应用打开浏览器访问http://localhost:50009.2 生产环境部署对于生产环境建议使用Gunicorn Nginx部署# 安装Gunicorn pip install gunicorn # 使用Gunicorn运行 gunicorn -w 4 -b 0.0.0.0:5000 app:app # Nginx配置示例 server { listen 80; server_name your-domain.com; location / { proxy_pass http://127.0.0.1:5000; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } } 9.3 性能优化建议数据库集成对于大量数据建议使用SQLite或MySQL替代CSV文件异步处理使用Celery处理耗时的爬取任务缓存机制使用Redis缓存分析结果减少重复计算定时任务使用APScheduler实现定时数据更新这个项目不仅教会你技术实现更重要的是展示了如何构建一个完整的的数据分析流水线。从数据采集到业务洞察每个环节都有其独特的技术要点和最佳实践。建议你在理解基础代码后尝试添加更多分析维度比如演员影响力分析、类型趋势分析等这将帮助你真正掌握数据分析的思维方式。