Python电影数据分析系统：爬虫清洗建模可视化闭环实践

简介这是一套面向计算机专业本科生的毕业设计级电影数据分析实战项目专为毕设开发、课程设计及Python数据科学进阶学习者打造聚焦电影评分、票房等多维数据的采集、存储、可视化与预测全流程。资源包含38个文件涵盖6个核心Python脚本如movie_detail.py、database.py、3个Jupyter Notebook含predict.ipynb票房预测建模与visualization_pandas.ipynb可视化分析、24张结果图表PNG覆盖数据库结构、各维度可视化图及双模型预测对比、1份PDF说明文档和1份MySQL建库SQL脚本压缩包仅5.18MB轻量易部署。已有4332人学习下载所有代码均经严格调试支持爬取豆瓣TOP250与猫眼票房数据提供CSV与MySQL双持久化方案并基于真实数据关系完成多角度可视化分析及票房影响因子建模预测开箱即用可直接作为毕设答辩系统提交。1. 这不是又一个“爬豆瓣画柱状图”的毕设Demo它把票房预测嵌进可视化闭环让答辩老师追问模型可解释性你肯定见过那种“用 matplotlib 画了 5 张图、调了 3 次 seaborn 颜色、最后导出 PNG 放 PPT 里就交差”的电影数据分析毕设。但这份基于 Python 的电影数据可视化分析系统不一样——它在predict.ipynb里真跑通了线性回归 决策树双模型对比在visualization_sql.ipynb中用 SQL 聚合结果反向驱动 Pandas 可视化逻辑在movie_detail.py里把豆瓣详情页的 HTML 结构解析封装成可复用函数甚至在db_struct.png里画出了带外键约束和索引标注的 MySQL 表关系图。它解决的不是“怎么画图”而是“怎么让图说话、让图推导出可部署的预测逻辑”。适合正在卡在毕设第三章系统设计写不出技术深度、或被导师质疑“分析停留在表面”的计算机类本科生也适合想补全“数据获取→清洗→建模→验证→可视化反馈”完整链路的转行学习者。它不教你怎么写爬虫原理但告诉你豆瓣反爬触发阈值在哪、MySQL 插入失败时 pandas.to_sql 的if_existsappend和chunksize100怎么配才不丢数据、为什么predict.ipynb里必须先做StandardScaler再切训练集——这些才是答辩现场真正被问住的点。2. 数据层从豆瓣TOP250到MySQL建表爬虫、清洗、双持久化不是并列选项而是因果链条2.1 爬虫逻辑藏在 movie_basic.py 里不是 requests.get 就完事关键在请求头与节流控制项目没用 Scrapy 这类重型框架而是用原生requestsBeautifulSoup实现轻量爬取这反而更贴近本科毕设实际能力边界。核心逻辑集中在movie_basic.py的crawl_douban_top250()函数中import requests from bs4 import BeautifulSoup import time import random def crawl_douban_top250(): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, Connection: keep-alive, Referer: https://movie.douban.com/top250 } all_movies [] for start in range(0, 250, 25): # 分页抓取每页25条 url fhttps://movie.douban.com/top250?start{start}filter try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() soup BeautifulSoup(response.text, html.parser) for item in soup.find_all(div, class_item): title item.find(span, class_title).get_text(stripTrue) rating float(item.find(span, class_rating_num).get_text(stripTrue)) # 提取导演、主演、年份等字段省略中间解析逻辑 movie_data { title: title, rating: rating, year: extract_year(item), director: extract_director(item), actors: extract_actors(item), genre: extract_genre(item) } all_movies.append(movie_data) # 关键节流每页后随机休眠 1~3 秒避免触发豆瓣频率限制 time.sleep(random.uniform(1.2, 2.8)) except Exception as e: print(f第 {start//25 1} 页抓取失败: {e}) continue return all_movies这段代码的关键不在语法而在三个实操细节User-Agent 必须动态更新豆瓣会校验 UA 字符串长度和浏览器版本号固定 UA 很快返回 403。项目中虽只写了一个 UA但你在本地运行时应按random.choice(USER_AGENTS)方式轮换USER_AGENTS列表可自行补充 5~8 个主流浏览器 UA。Referer 不可省略豆瓣 TOP250 页面有 Referer 校验缺失会导致响应体为空或跳转到验证码页。time.sleep() 是保命符不是“为了礼貌”而是防止 IP 被临时封禁。random.uniform(1.2, 2.8)比固定sleep(2)更难被识别为脚本行为——这是某高校毕设答辩时被问及“如何规避反爬”的标准答案。提示movie_basic.py同时支持猫眼票房榜爬取函数名crawl_maoyan_boxoffice()但需注意猫眼对 IP 请求频次更敏感建议将sleep区间扩大至3.0~5.5秒并在headers中增加X-Requested-With: XMLHttpRequest。2.2 数据清洗与双持久化pandas DataFrame 是中转站MySQL 才是生产级存储爬取后的原始数据存于内存列表all_movies接下来进入清洗环节。项目在database.py中定义了clean_movie_data()函数重点处理三类脏数据脏数据类型典型表现清洗方式为什么必须做年份字段混杂2023 / 2022、2023年、 正则提取首年份re.search(r^(\d{4}), year_str)后续时间序列分析、票房趋势建模依赖统一数值型年份导演/演员字段多空格/换行张艺谋br/陈凯歌、\n 吴京 \tstrip()replace(br/, /)re.sub(r\s, , text)避免后续分词、统计导演作品数时因格式不一致导致计数错误评分字段异常8.9正常、暂无评分字符串、None空值pd.to_numeric(..., errorscoerce)转为 floatNaN值用median()填充保证predict.ipynb中模型输入特征维度稳定否则sklearn报ValueError: Input contains NaN清洗完成后数据进入双持久化路径CSV 存储快速验证调用pandas.DataFrame.to_csv(data/movies_cleaned.csv, indexFalse, encodingutf-8-sig)。注意encodingutf-8-sig是 Windows 系统 Excel 打开中文不乱码的关键indexFalse防止多一列序号干扰后续读取。MySQL 存储答辩硬指标database.py中init_mysql_db()函数执行建表语句其核心 DDL 如下CREATE TABLE IF NOT EXISTS movies ( id INT PRIMARY KEY AUTO_INCREMENT, title VARCHAR(255) NOT NULL, rating FLOAT CHECK (rating 0 AND rating 10), year YEAR NOT NULL, director VARCHAR(100), actors TEXT, genre VARCHAR(200), created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP, INDEX idx_year (year), INDEX idx_rating (rating) );这里有两个易被忽略的设计点CHECK (rating 0 AND rating 10)约束确保数据质量避免爬虫误抓非评分字段如“想看人数”污染模型输入INDEX idx_year和idx_rating是为后续visualization_sql.ipynb中高频GROUP BY year和WHERE rating 8.5查询加速没有索引时 250 条数据虽不明显但扩展到 5000 条时查询延迟会从毫秒级升至秒级。注意MySQL 连接参数host/user/password/db硬编码在database.py的DB_CONFIG字典中。你必须修改为本地环境值且确保 MySQL 服务已启动、用户有movies库的INSERT权限。若用 Docker推荐mysql:8.0镜像并挂载初始化 SQLdouban.sql即为此用途。2.3 douban.sql不只是建表语句它是数据库设计思维的实体化douban.sql文件内容远不止CREATE TABLE。打开它你会看到-- 创建数据库兼容不同字符集 CREATE DATABASE IF NOT EXISTS movie_analytics DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; USE movie_analytics; -- 建表语句同上 -- 插入示例数据用于快速验证 INSERT INTO movies (title, rating, year, director, actors, genre) VALUES (肖申克的救赎, 9.7, 1994, 弗兰克·德拉邦特, 蒂姆·罗宾斯 / 摩根·弗里曼, 剧情), (霸王别姬, 9.6, 1993, 陈凯歌, 张国荣 / 张丰毅 / 巩俐, 剧情 / 爱情); -- 创建视图简化高频查询 CREATE VIEW high_rated_movies AS SELECT title, rating, year, director FROM movies WHERE rating 9.0;这个 SQL 文件的价值在于utf8mb4_unicode_ci字符集支持 emoji 和生僻汉字如某些导演名含古字避免插入时报Incorrect string valueINSERT示例数据让你无需等待爬虫python database.py运行后立刻有数据可查极大缩短调试周期high_rated_movies视图是典型“业务语义封装”——答辩时被问“如何快速获取高分电影清单”你直接SELECT * FROM high_rated_movies比写WHERE rating 9.0更体现工程素养。3. 可视化层pandas 与 SQL 双引擎驱动不是“画图”而是“用图验证假设”3.1 visualization_pandas.ipynb用 Pandas 原生方法做探索性分析EDA该 Notebook 是整个分析流程的起点所有图表均基于pandas.DataFrame直接绘图不依赖额外 SQL 查询。核心分析逻辑如下import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 读取清洗后 CSV或从 MySQL 读取见下节 df pd.read_csv(data/movies_cleaned.csv) # 1. 评分分布直方图验证数据质量 plt.figure(figsize(10, 6)) sns.histplot(df[rating], bins20, kdeTrue, colorsteelblue) plt.title(豆瓣TOP250电影评分分布, fontsize14) plt.xlabel(评分) plt.ylabel(频数) plt.grid(True, alpha0.3) plt.show() # 2. 年份-评分散点图探索时间趋势 plt.figure(figsize(12, 6)) sns.scatterplot(datadf, xyear, yrating, huegenre, palettetab10, s60, alpha0.7) plt.title(电影年份与评分关系按类型着色, fontsize14) plt.xlabel(上映年份) plt.ylabel(豆瓣评分) plt.xticks(rotation45) plt.legend(bbox_to_anchor(1.05, 1), locupper left) plt.tight_layout() plt.show() # 3. 类型占比环形图业务洞察 genre_counts df[genre].str.split(/).explode().str.strip().value_counts() plt.figure(figsize(8, 8)) plt.pie(genre_counts.values, labelsgenre_counts.index, autopct%1.1f%%, startangle90) plt.title(电影类型分布占比, fontsize14) plt.axis(equal) plt.show()这段代码背后是三个关键决策sns.histplot(..., kdeTrue)叠加核密度估计曲线比纯直方图更能看出分布偏态如评分是否右偏这是答辩时解释“为什么多数电影集中在 7~8.5 分”的依据sns.scatterplot(..., huegenre)用颜色区分类型直观暴露“爱情片是否普遍评分更高”这类假设后续predict.ipynb中“类型”会被 one-hot 编码为特征str.split(/).explode().str.strip()处理genre字段多值问题如剧情/爱情/同性这是电影数据特有的清洗难点直接value_counts()会把整个字符串当一个类别。提示visualization_pandas.ipynb中所有图表均调用plt.tight_layout()这是防止中文标签被截断的后悔药。若你本地显示异常检查 Matplotlib 字体配置——在main.py开头添加import matplotlib matplotlib.rcParams[font.sans-serif] [SimHei, Arial Unicode MS] matplotlib.rcParams[axes.unicode_minus] False3.2 visualization_sql.ipynbSQL 聚合先行Pandas 只负责渲染这个 Notebook 的哲学是“计算交给数据库展示交给 Python”。它不读 CSV而是通过pymysql直连 MySQL用 SQL 完成聚合再将结果转为 DataFrame 绘图。例如“各年代平均评分趋势”import pymysql import pandas as pd import matplotlib.pyplot as plt # 连接数据库使用 database.py 中的 DB_CONFIG conn pymysql.connect(**DB_CONFIG) # SQL 聚合按十年分组计算平均评分 query SELECT FLOOR(year/10)*10 AS decade, ROUND(AVG(rating), 2) AS avg_rating, COUNT(*) AS movie_count FROM movies WHERE year 1930 -- 过滤掉测试数据中的异常年份 GROUP BY decade ORDER BY decade; df_decade pd.read_sql(query, conn) # 绘图仅渲染不计算 plt.figure(figsize(10, 6)) bars plt.bar(df_decade[decade].astype(str), df_decade[avg_rating], colorlightcoral, alpha0.8, width8) plt.title(各年代电影平均评分趋势, fontsize14) plt.xlabel(年代) plt.ylabel(平均评分) plt.ylim(7.0, 9.5) # 固定Y轴范围突出变化幅度 # 在柱子上方标注数值 for bar, rating in zip(bars, df_decade[avg_rating]): plt.text(bar.get_x() bar.get_width()/2, bar.get_height() 0.05, f{rating}, hacenter, vabottom, fontsize10) plt.grid(True, alpha0.3) plt.show()这种模式的优势在于性能可控250 条数据虽小但若未来扩展到 10 万条GROUP BY在数据库层执行比 Pandasgroupby().mean()快 3~5 倍逻辑清晰SQL 语句本身即文档答辩时指着FLOOR(year/10)*10解释“为何用十年为单位”比说“我用 Pandas 分组”更有说服力可复用性强同一 SQL 可被predict.ipynb直接调用生成特征避免重复计算。注意visualization_sql.ipynb中所有 SQL 查询都加了WHERE year 1930。这是血泪经验——豆瓣 TOP250 中存在少量year0或year1900的测试/异常数据不加过滤会导致FLOOR(0/10)*100在图表中出现荒谬的“0年代”柱子。3.3 可视化避坑五条让答辩不翻车的硬核经验现象 → 原因 → 解决全是真实踩过的坑现象output.png图表中中文全部显示为方块□□□原因Matplotlib 默认字体不支持中文且未设置rcParams或字体路径解决在main.py或每个 Notebook 开头执行字体配置见上文提示或下载simhei.ttf放入项目fonts/目录用matplotlib.font_manager.FontProperties(fnamefonts/simhei.ttf)指定现象p (1).png到p (19).png中部分图片空白或尺寸极小原因Jupyter Notebook 中plt.show()被多次调用或plt.figure()未指定figsize导致默认尺寸过小解决每个绘图块前加plt.figure(figsize(10, 6))绘图后加plt.tight_layout()禁止在循环中反复plt.show()现象visualization_sql.ipynb运行报错pymysql.err.OperationalError: (1045, Access denied for user...)原因database.py中DB_CONFIG的密码含特殊字符如,/,:URL 解析失败解决对密码进行 URL 编码urllib.parse.quote_plus(password)或改用简单密码毕设环境可接受现象p (12).png导演作品数排行榜中张艺谋显示为“张艺谋 / 陈凯歌”原因director字段清洗时未处理/分隔符导致value_counts()将组合字符串当单个导演解决在clean_movie_data()中对director字段执行split(/)[0].strip()只取首位导演现象db.png数据库ER图在 PowerPoint 中模糊不清原因db_struct.png是 PNG 格式缩放失真且原始绘图分辨率不足解决用graphviz重绘 ER 图pip install graphviz导出为 SVG 矢量图或用plt.savefig(db_struct.svg, formatsvg, dpi300)生成高清 PNG4. 预测层从可视化结论到可解释模型predict.ipynb是毕设技术深度的分水岭4.1 特征工程把“导演名气”“类型热度”这些玄学概念量化成数字predict.ipynb的核心价值不在于用了什么高大上算法而在于它把可视化发现的业务规律转化成了可输入模型的结构化特征。例如导演影响力得分从visualization_pandas.ipynb的“导演作品数排行榜”中取前 20 位导演为其赋分如张艺谋10冯小刚8其余导演归为“其他”1。这不是拍脑袋而是基于value_counts()排序的客观数据。类型热度系数从visualization_pandas.ipynb的“类型占比环形图”中计算各类型出现频次归一化后作为权重。如“剧情”占比 35%则系数为 0.35“爱情”占比 22%系数为 0.22。年代衰减因子基于visualization_sql.ipynb的“年代平均评分趋势”发现 2000 年代后评分呈缓慢下降故对year字段做1/(2024 - year 1)变换使新片权重更高。这些特征在代码中体现为# 基于已有 DataFrame df从 MySQL 读取 director_score_map {张艺谋: 10, 陈凯歌: 8, 冯小刚: 8, 姜文: 7, 王家卫: 7} df[director_score] df[director].map(director_score_map).fillna(1) # 类型热度需先 explode genre genre_popularity df[genre].str.split(/).explode().value_counts(normalizeTrue) df[genre_popularity] df[genre].map(lambda x: sum(genre_popularity.get(g.strip(), 0) for g in x.split(/))) # 年代衰减 df[year_decay] 1 / (2024 - df[year] 1)关键点所有特征构造都引用自前面 Notebook 的可视化结果形成“分析→结论→建模”的闭环。答辩时被问“为什么选这几个特征”你指着p (12).png和p (3).png就能回答而不是说“网上教程这么写的”。4.2 双模型对比线性回归打底决策树验证非线性关系项目未用复杂模型而是务实选择两个可解释性强的算法from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.tree import DecisionTreeRegressor from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_absolute_error, r2_score # 特征列不含目标变量 rating feature_cols [year_decay, director_score, genre_popularity, year] X df[feature_cols] y df[rating] # 关键预处理必须标准化否则决策树虽不敏感但线性回归系数会失真 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 划分训练/测试集固定 random_state 保证可复现 X_train, X_test, y_train, y_test train_test_split( X_scaled, y, test_size0.2, random_state42 ) # 线性回归 lr LinearRegression() lr.fit(X_train, y_train) y_pred_lr lr.predict(X_test) # 决策树 dt DecisionTreeRegressor(max_depth5, random_state42) dt.fit(X_train, y_train) y_pred_dt dt.predict(X_test) # 评估 print(Linear Regression MAE:, mean_absolute_error(y_test, y_pred_lr)) print(Decision Tree MAE:, mean_absolute_error(y_test, y_pred_dt)) print(Linear Regression R²:, r2_score(y_test, y_pred_lr)) print(Decision Tree R²:, r2_score(y_test, y_pred_dt))这里必须强调三点StandardScaler不可省略虽然决策树不依赖特征尺度但线性回归的系数大小直接反映特征重要性。若year_decay值域 0.01~0.1和director_score值域 1~10不标准化模型会错误认为后者更重要max_depth5是平衡点过深如 10导致过拟合r2_score训练集 0.95 但测试集 0.6过浅如 3欠拟合无法捕捉类型与年代的交互效应random_state42是答辩刚需保证每次运行结果一致避免答辩时“刚才还对现在错了”的尴尬。4.3 模型可解释性用tree.plot_tree和系数表让评委看懂你的思路predict.ipynb最后部分不是画预测 vs 真实值散点图而是输出可解释性分析# 线性回归系数解读 coef_df pd.DataFrame({ Feature: feature_cols, Coefficient: lr.coef_, Abs_Coefficient: np.abs(lr.coef_) }).sort_values(Abs_Coefficient, ascendingFalse) print(线性回归特征重要性按系数绝对值排序) print(coef_df) # 决策树可视化仅前3层避免图过大 plt.figure(figsize(20, 10)) plot_tree(dt, max_depth3, feature_namesfeature_cols, filledTrue, fontsize10, roundedTrue, class_names[Rating], proportionFalse) plt.title(决策树前3层结构max_depth3, fontsize14) plt.show()输出表格类似FeatureCoefficientAbs_Coefficientdirector_score0.420.42year_decay0.310.31genre_popularity0.180.18year-0.050.05这直接回答了“哪个因素影响最大”——导演影响力0.42 年代新鲜度0.31 类型热度0.18。而决策树图则显示第一层分裂是director_score 5.5第二层是year_decay 0.03证明模型确实学到了“知名导演新片更可能高分”的业务规则。提示plot_tree需要graphviz支持。Windows 用户安装graphviz-2.38.msi后需在系统环境变量PATH中添加C:\Program Files\Graphviz2.38\bin和C:\Program Files\Graphviz2.38\graphviz否则报FileNotFoundError: dot not found。5. 系统集成与答辩技巧main.py是入口README.pdf是你的隐形答辩稿5.1 main.py一行命令启动全流程但必须理解每个模块的依赖顺序main.py是整个系统的门面其结构清晰体现了工程化思维if __name__ __main__: print( 电影数据可视化分析系统启动 \n) # 步骤1数据获取可选若已有数据可跳过 if input(是否重新爬取豆瓣TOP250(y/n): ).lower() y: from src.movie_basic import crawl_douban_top250 movies crawl_douban_top250() print(f成功爬取 {len(movies)} 部电影\n) else: print(跳过爬取使用现有数据\n) # 步骤2数据清洗与持久化 from src.database import clean_movie_data, init_mysql_db, save_to_mysql df_clean clean_movie_data() # 从 CSV 或数据库读取原始数据 init_mysql_db() # 确保表结构存在 save_to_mysql(df_clean) # 写入 MySQL print(数据清洗与MySQL存储完成\n) # 步骤3可视化分析生成PNG print(开始生成可视化图表...) # 这里本应调用 visualization_pandas.ipynb 和 visualization_sql.ipynb 的核心逻辑 # 但为简化项目采用手动运行 Notebook 方式main.py 仅作流程提示 print(请依次运行visualization_pandas.ipynb → visualization_sql.ipynb → predict.ipynb\n) # 步骤4预测模型需手动运行 predict.ipynb print(预测模型已就绪请在 Jupyter 中运行 predict.ipynb 查看结果)这个脚本的价值不在于自动化而在于显式声明依赖关系爬虫movie_basic.py是源头但可跳过清洗database.py必须在可视化前完成否则图表数据不准可视化.ipynb是中间产物其输出如p (1).png是答辩 PPT 的素材预测predict.ipynb是终点其R²和特征重要性表是技术深度的证明。答辩时被问“系统如何运行”你不必背代码只需指着main.py说“它按四步走获取→清洗→分析→预测每一步输出都可验证比如db.png是清洗后数据库状态p (1).png是分析结果预测1.png是模型输出。”5.2 README.pdf不是说明书而是你提前写给评委的答辩问答提纲打开README.pdf你会发现它根本不是功能列表而是按答辩逻辑组织的问答体Q为什么选豆瓣TOP250和猫眼票房榜ATOP250 代表口碑标杆长尾效应弱猫眼代表市场热度短期爆发强二者结合可分析“口碑与票房是否正相关”——这正是predict.ipynb中未直接建模、但可视化已暗示的核心问题。QMySQL 和 CSV 双存储是否冗余A否。CSV 用于快速迭代改代码后pandas.read_csv重跑MySQL 用于模拟生产环境visualization_sql.ipynb直接查库体现工程规范。答辩时可演示SELECT COUNT(*) FROM movies和SELECT * FROM high_rated_movies LIMIT 5。Q预测模型准确率不高R²≈0.6是否失败A否。电影票房受太多不可控因素宣发、档期、社会事件影响R²0.5 在此类问题中已具参考价值。本项目重点是建立可解释的特征工程 pipeline而非追求黑箱精度。coef_df表明导演影响力权重最高这与行业认知一致。Q如何扩展到实时数据A当前为离线分析。若需实时可将crawl_douban_top250()改为定时任务APScheduler清洗后用pandas.to_sql(if_existsreplace)覆盖表可视化 Notebook 设置自动刷新%run -i visualization_sql.ipynb。这份 PDF 的厉害之处在于它把评委最可能问的 4~5 个尖锐问题提前用技术事实回答了。你不需要临场发挥只需说“这个问题在README.pdf第3页有详细说明。”5.3 答辩现场必做的三件事截图、对比、讲清“为什么”从那以后我每次准备毕设答辩都强制走一遍这三步截图db_struct.pngp (12).png预测1.png三张图放在 PPT 同一页用箭头标出“数据库设计 → 导演分析 → 预测输入”的数据流向证明不是拼凑对比Linear Regression R²和Decision Tree R²强调“我们尝试了两种范式线性模型更易解释树模型捕捉非线性最终选择前者因毕设重在逻辑而非精度”讲清每一个if和for的“为什么”比如movie_basic.py中for start in range(0, 250, 25)必须说明“豆瓣TOP250分10页每页25条range 步长25确保不漏页上限250防止越界”。这三步做完评委的问题基本都在你预判范围内。他们不再问“这个怎么写的”而是问“这个思路很有趣你是怎么想到的”——那一刻你就从学生变成了工程师。希望帮到你。本文还有配套的精品资源点击获取