简介一份面向高校师生及Python初学者与数据分析学习者的校园消费行为分析项目基于校园卡消费数据完整实现从数据加载、预处理、特征工程到KMeans消费聚类、群体画像与Plotly交互可视化的流程并借助Streamlit提供Web交互界面可辅助理解学生经济状况与消费规律。压缩包共24个文件大小约13.06MB主要包含Python源码、CSV样例数据、Markdown运行文档、PDF与DOCX说明报告以及pyc编译文件、启动脚本和演示图片各类型分工明确便于对照学习与二次开发。目前已有142人学习下载。资源覆盖完整的项目结构数据加载模块支持多种编码与合并预处理模块完成异常过滤和时间特征提取模型模块基于KMeans默认划分低中高三个消费群可视化模块生成消费时段分布、食堂占比和三维聚类图另有说明报告梳理方案细节适合用于课程设计、毕业设计或数据挖掘入门实践。1. 校园消费行为分析与学生经济评估一张校园卡流水能算出什么一所三万人的高校一卡通系统每天产生几十万条消费流水。食堂、超市、开水房、浴室、校医院每笔记录都带着学号、时间、商户、金额。这套数据表面上是后勤对账的依据但换个视角它就是一份高频更新的学生生活成本样本。校园消费行为分析做的事是把这些流水清洗成规范的结构化数据再提取每名学生的消费水平、消费习惯和消费结构学生经济评估则是基于这些特征辅助判断学生的实际经济状况为资助评定、勤工助学岗位分配提供数据参考。项目资源里通常包含完整的 Python 源码、脱敏后的校园消费数据集、运行文档教程和说明报告适合数据分析课程设计、高校信息化部门的数据挖掘实践以及想拿真实场景练手 Python 全流程的从业者。2. 消费流水数据结构与清洗拿到一份校园卡数据先做什么2.1 字段设计与数据字典先搞清楚每一列在说什么校园消费流水在不同学校的导出格式略有差异但核心字段基本一致。一份典型的流水表通常包含学号、消费时间、消费金额、商户编号、商户名称、消费类型、余额这几列。学号是关联学生基本信息的唯一键消费时间精确到秒金额单位为元。消费类型字段常见取值包括“ POS 消费”“补贴消费”“退款”“圈存”其中退款和圈存不是真实消费行为做行为分析前必须筛掉或单独统计。拿到数据的第一件事不是写代码而是逐字段确认口径。常见做法是写一段简单的 pandas 探查脚本输出每列的非空数量、唯一值数量和样例值对照数据字典核对。学号列如果混入教职工卡号或者消费金额出现负数都会在后续分析中产生干扰。字符编码也要注意从 Oracle 导出的数据常有 GBK 编码问题读入时指定 encodingutf-8 或 encodinggbk 要提前试一遍否则中文商户名会变成乱码。import pandas as pd df pd.read_csv(campus_card_2023.csv, encodingutf-8, dtype{student_id: str}) print(df.shape) print(df.dtypes) for col in df.columns: print(col, df[col].nunique(), df[col].isnull().sum()) print(df[col].head(3).tolist())这段代码的作用是快速摸清数据集的整体情况。dtype 参数把学号强制读成字符串防止 Excel 里的科学计数法把学号变成浮点数nunique 统计唯一值数量用来判断字段是不是主键isnull 统计空值数量字段缺失严重的列需要单独处理。数据探查阶段不要急着做任何转换先把每一列的真实分布看清楚后面清洗才有依据。2.2 清洗规则与代码金额异常、时间异常、重复消费怎么处理清洗逻辑按优先级排列顺序不能乱。第一步剔除退款和圈存记录只保留真实消费第二步过滤金额异常比如金额小于 0.01 元或大于 200 元的单笔消费前者通常是设备误读后者可能是批量采购或代刷不属于日常消费第三步去重同一学号在同一秒同商户金额完全相同的记录视为重复流水第四步处理商户名称中的空格和别名。# 仅保留真实消费 df df[df[trade_type] 消费].copy() # 金额范围过滤0.01 ~ 200 元 df df[(df[amount] 0.01) (df[amount] 200)].copy() # 去重同一学号、同一秒、同一商户、同一金额 df df.drop_duplicates(subset[student_id, trade_time, merchant_id, amount]) # 商户名称清洗去掉首尾空格替换全角空格 df[merchant_name] df[merchant_name].str.strip().str.replace(\u3000, ) df df.reset_index(dropTrue) print(df.shape)这个清洗漏斗是后续所有分析的基石。金额上限 200 元不是拍脑袋定的校园食堂和超市单笔消费极少超过这个值超过的多半是代购或集中采购对个人经济评估会产生误导。去重条件里的四个字段缺一不可只按学号和金额去重会误删同一食堂同菜价的正常记录。清洗后建议按学号、时间排序导出中间文件方便后面排查问题时回查数据这一步也叫数据备份与恢复的准备工作。2.3 数据质量验证清洗前后对比与口径核对清洗完成不代表数据能用还要做一轮质量验证。对比清洗前后的总笔数、总金额、覆盖学号数这些指标能反映清洗逻辑是否过度或不足。比如全校三万学生清洗后只剩一万人有消费记录那说明数据导出时可能漏了部分食堂或部分时间段需要重新拉取。更细的口径核对方式是抽查某几个学生把他们的逐笔流水打出来人工核对确认金额和商户名称字段没有解析错位。before_count len(df_raw) after_count len(df) print(f清洗前 {before_count} 条清洗后 {after_count} 条删除 {(before_count-after_count)/before_count:.1%}) valid_students df[student_id].nunique() print(f覆盖学生数 {valid_students})删除比例超过 15% 时就要怀疑数据源本身有问题。正常情况下退款和圈存记录占比约 5%~8%金额异常和重复记录占比很低总删除比例超过 15% 大概率是导出时翻倍或主键设计有问题。覆盖学生数是另一个关键指标如果少于全校人数的 80%说明部分楼栋或校区的消费机没有纳入采集范围评估结论会有偏。3. 消费行为特征提取从流水到每名学生一张画像3.1 消费水平特征日均消费、月均消费和消费分位数行为分析的第一步是把逐笔流水汇总成学生维度特征。最常见的特征组是消费水平类总消费金额、日均消费、月均消费、消费天数、单笔平均金额、消费金额中位数。日均消费比总消费更能反映真实水平因为总金额受在校天数影响两个消费水平相同的学生一个全年在校一个经常回家总金额会差很多。中位数比均值更稳健不会被偶尔一次大额消费拉偏。计算这些特征时要先按学号和时间戳排序再按月做汇总。月均消费的计算要注意跨月问题一笔 23:59 的记录属于哪个月取决于记账时间统一按 trade_time 所在的自然月归类即可。消费天数要按日期去重不能直接数流水条数否则一顿饭刷三次会被当成三天。df[trade_date] pd.to_datetime(df[trade_time]).dt.date df[trade_month] pd.to_datetime(df[trade_time]).dt.month student_daily df.groupby([student_id, trade_date]).agg( daily_amount(amount, sum), daily_count(amount, count) ).reset_index() student_level student_daily.groupby(student_id).agg( total_amount(daily_amount, sum), active_days(daily_amount, count), avg_daily_amount(daily_amount, mean), median_daily_amount(daily_amount, median), max_daily_amount(daily_amount, max) ).reset_index()student_level 的每一行就是一名学生的消费水平画像。active_days 是实际消费天数这个指标能识别“幽灵学生”——学号在册但几乎不消费可能是休学、交换或卡丢失。avg_daily_amount 和 median_daily_amount 的差值如果长期偏大说明该学生的消费波动剧烈可能有不规律的校外就餐习惯这类学生的经济评估要结合其他特征综合判断不能只看均值。3.2 消费结构特征食堂、超市、水房与生活必需消费占比消费结构比消费水平更能说明问题。食堂消费是生存型消费超市消费偏生活改善型水房和浴室消费是刚需。把商户名称归类成几个功能大类再计算每类消费金额占总金额的比例就能看出一个学生的钱主要花在哪里。消费结构特征在贫困生认定中非常关键经济困难学生的食堂消费占比通常偏高生活改善型消费占比偏低。def categorize_merchant(name): if any(k in name for k in [一食堂, 二食堂, 三食堂, 风味餐厅, 清真]): return canteen elif any(k in name for k in [超市, 小卖部, 便利店]): return market elif any(k in name for k in [开水, 浴室, 洗衣]): return daily else: return other df[category] df[merchant_name].apply(categorize_merchant) category_pivot df.groupby([student_id, category])[amount].sum().unstack(fill_value0) for cat in [canteen, market, daily]: category_pivot[f{cat}_pct] category_pivot[cat] / category_pivot.sum(axis1)商户归类规则的先后顺序有讲究把“风味餐厅”放在超市前面因为商户名称可能同时包含“超市”和“餐厅”字样。category_pivot 最终要 merge 回 student_level形成完整的特征宽表。canteen_pct 的特征分布通常呈现两头尖中间平的形态大部分学生在 50%~80% 之间低于 30% 的学生大概率经常在校外就餐高于 90% 的学生则高度依赖校内食堂这两类人群需要分别关注。4. 学生经济评估模型阈值打分还是聚类分档4.1 经济评估指标体系与标签设计经济评估不能直接拿消费金额给学生贴“贫困”标签因为消费水平和家庭经济状况之间隔着个人消费习惯这层缓冲。合理的做法是构造一个综合指标把消费水平、消费结构、消费规律性和稳定性组合起来。指标体系常见三层第一层是消费能力分由日均消费、月均消费和单笔均值构成第二层是消费质量分由食堂占比、超市占比和必需消费占比构成第三层是消费稳定性分由消费天数的月间变异系数衡量。标签设计有两种路线。第一种是阈值打分法给每个指标设分段阈值累加得到经济压力指数分数越高代表经济压力越大第二种是聚类分档法用无监督聚类把学生分成若干档再结合已知的资助名单校验档位的合理性。两种方法各有利弊阈值打分可解释性强但阈值设定有主观性聚类分档客观但聚类结果需要人工命名档位。我一般先做聚类看分布形态再用阈值法校准档位边界。4.2 聚类分档实现特征标准化与 KMeans 参数选择聚类前必须做标准化否则金额特征的数值范围会碾压比例特征聚类结果基本等于只按消费金额分组。标准化用 StandardScaler 即可不需要做更复杂的归一化。KMeans 的 K 值可以用轮廓系数选但校园消费数据的类别边界本身模糊经验上 K3 或 K4 效果较好K3 对应“消费水平较高、中等、较低”三档K4 多出来的一档往往是“消费水平高但食堂占比异常高”的特殊人群。from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans feature_cols [avg_daily_amount, median_daily_amount, active_days, canteen_pct, market_pct, daily_pct] X student_profile[feature_cols].fillna(0) X_scaled StandardScaler().fit_transform(X) kmeans KMeans(n_clusters4, random_state42, n_init10) student_profile[economic_cluster] kmeans.fit_predict(X_scaled) cluster_summary student_profile.groupby(economic_cluster)[feature_cols].mean() print(cluster_summary.round(2))n_init10 是 KMeans 在 sklearn 1.2 之后的默认值作用是用多个随机质心初始化跑多次取最优避免局部最优。fillna(0) 处理的是那些整月没有任何消费记录的学生他们的占比特征为空补零表示不参与该维度计算。跑完聚类后不要急着用先看每个簇的特征均值是否和人工经验一致如果聚类结果出现“高消费高食堂占比”这种反直觉组合说明标准化前的特征里有强相关性需要考虑删除冗余特征或改用 PCA 降维后再聚类。4.3 模型结果校验与资助名单的交叉验证聚类分档完成后必须做一轮外部校验。最常见的做法是把聚类结果与学校已有的贫困生资助名单做交叉比对计算高经济压力档位中学生被认定为困难生的比例。这个比例不需要很高因为资助认定还包含家庭突发变故等消费数据看不到的因素但比例如果低于 10%说明特征设置或聚类 K 值有问题需要回溯调整。aid_df pd.read_csv(aid_list.csv, dtype{student_id: str}) merged student_profile.merge(aid_df, onstudent_id, howleft) merged[is_aided] merged[aid_level].notnull().astype(int) cross merged.groupby(economic_cluster)[is_aided].agg([mean, count]) cross.columns [aid_ratio, student_count] print(cross.round(3))aid_ratio 就是每个簇中获得资助的学生占比。经济压力最高的簇这个比例一般应在 25%~40% 之间比例太低说明聚类没抓住贫困特征比例超过 50% 反而要怀疑特征里混入了资助结果相关的泄漏变量比如直接用了补贴金额做特征。5. 校园消费分析的常见问题与避坑数据质量、隐私边界与模型翻车点5.1 现象清洗后覆盖学生数骤减遇到过项目跑完清洗流程原本三万学生的数据集只剩一万八千人有消费记录。逐层排查发现退款和圈存记录的 trade_type 字段取值不统一有的叫“退款”有的叫“退费”还有的用数字编码“3”表示。原因是不同校区的消费机系统版本不一致导出的字典表没同步。解决方式是在清洗前先打印所有 trade_type 的唯一值列表人工确认全部取值后写成过滤白名单不要用黑名单过滤。5.2 现象聚类结果出现“高消费高食堂占比”簇K4 的聚类结果里出现一个日均消费很高但食堂消费占比也接近 90% 的簇初看违反直觉。查数据发现这些学生的消费记录集中在风味餐厅和清真食堂这些商户的人均消费显著高于普通食堂。解决方式是在商户归类时把风味餐厅单独拆成一个类别而不是和普通食堂合并。这个坑的本质是商户分类粒度太粗把均价差异大的商户混在一起特征信息量被稀释了。5.3 现象部分学生消费天数极少导致评估失真有些学生一个月只在食堂消费三到五天日均消费算出来异常高被聚类分到高消费档。人工回查发现这部分学生是校外实习或走读生只偶尔回校吃饭。解决方式是在特征矩阵中增加 active_days 的过滤逻辑消费天数少于当月天数 30% 的学生不参与聚类单独标记为 low_activity 人群由辅导员线下核实。这个处理在分析报告里必须写明否则评估结论会被质疑。5.4 现象跨学期数据拼接后消费水平整体抬升项目数据集如果横跨两个学期直接按全年汇总算日均消费会发现高消费档人数多了不少。原因是春季学期有开学季和节日消费高峰秋季学期有迎新季不同学期的消费物价也有调整。解决方式是引入学期字段按月计算特征时加入学期虚拟变量或者干脆只分析一个完整学期的数据保证口径一致。多学期分析要按月生成特征后做时序对比不能直接拼流水。5.5 现象评估模型跑完无法落地聚类报告做得再漂亮如果学校辅导员看不懂模型结论就进不了资助认定流程。踩过的坑是只输出簇编号和特征均值没有给每个学生一句自然语言描述。解决方式是生成评估结果时附带规则化的文字说明比如“该生日均消费低于全校 25% 分位食堂消费占比高于 80%建议关注”并且提供按学院、按年级的汇总交叉表。模型结果的价值在决策链路里不在模型本身。6. 把评估结果用起来消费画像可视化与按月更新的评估流程聚类分档只是项目的中途站真正的终点是把结果嵌入学校的学生工作流程。每月初从一卡通系统增量导出上月流水跑一遍清洗和特征提取更新每名学生的经济评估档案再把结果推送给学生工作管理系统。这个过程要写成定时脚本不能靠人工每月手动跑一次否则维护成本会拖垮项目。import datetime today datetime.date.today() first_day today.replace(day1) last_month_end first_day - datetime.timedelta(days1) last_month_start last_month_end.replace(day1) monthly_raw load_monthly_data(last_month_start, last_month_end) monthly_clean clean_flow(monthly_raw) monthly_features build_student_features(monthly_clean) monthly_profile update_profile(monthly_features, last_month_end)这段代码展示的是月度更新流程的框架三个函数分别对应清洗、特征提取和画像更新。load_monthly_data 从数据仓库按时间范围取数clean_flow 复用第 2 章的清洗逻辑build_student_features 复用第 3 章的特征工程update_profile 把新月份的特征合并进历史画像并重算分档。关键点是特征的口径要和上月严格一致任何规则改动都要先对历史数据回放否则累计画像会出现突变。可视化看板是让评估结果被非技术用户接受的最有效手段。用 echarts 数据可视化做一个简单的月度趋势页面左侧是全校消费水平分布直方图右侧是各学院的经济压力分档占比横向柱状图下边是重点关注学生列表。echarts 的配置项不复杂关键是数据接口要设计好前端只按学院、年级、月份三个维度筛选取数。接口返回的 JSON 结构建议预先聚合好不要让前端做二次统计否则大数据量下页面会卡顿。最后说一个习惯项目交付时除了代码和运行文档一定要附一份数据字典和清洗规则的变更记录表。哪个月改了金额过滤阈值哪个月新增了商户分类逐条记下来。这个项目的坑几乎都出在数据口径上没有变更记录三个月后再跑一次全量分析你会发现自己都看不懂自己之前定的规则。做这个方向最深的体会是校园消费行为分析的技术门槛不高难点在于对数据口径的死磕和对业务边界的拿捏。经济评估结果能帮辅导员发现那些不会主动开口的困难学生但也可能因为数据缺失误伤自尊心。所以我在每次生成重点关注名单时都会在报告首页加一行提醒消费数据只能作为参考线索最终认定必须结合线下谈话。这份克制和学生工作者的经验判断一样重要希望帮到你。本文还有配套的精品资源点击获取 校园一卡通消费数据分析：从清洗到经济评估的完整实践
简介一份面向高校师生及Python初学者与数据分析学习者的校园消费行为分析项目基于校园卡消费数据完整实现从数据加载、预处理、特征工程到KMeans消费聚类、群体画像与Plotly交互可视化的流程并借助Streamlit提供Web交互界面可辅助理解学生经济状况与消费规律。压缩包共24个文件大小约13.06MB主要包含Python源码、CSV样例数据、Markdown运行文档、PDF与DOCX说明报告以及pyc编译文件、启动脚本和演示图片各类型分工明确便于对照学习与二次开发。目前已有142人学习下载。资源覆盖完整的项目结构数据加载模块支持多种编码与合并预处理模块完成异常过滤和时间特征提取模型模块基于KMeans默认划分低中高三个消费群可视化模块生成消费时段分布、食堂占比和三维聚类图另有说明报告梳理方案细节适合用于课程设计、毕业设计或数据挖掘入门实践。1. 校园消费行为分析与学生经济评估一张校园卡流水能算出什么一所三万人的高校一卡通系统每天产生几十万条消费流水。食堂、超市、开水房、浴室、校医院每笔记录都带着学号、时间、商户、金额。这套数据表面上是后勤对账的依据但换个视角它就是一份高频更新的学生生活成本样本。校园消费行为分析做的事是把这些流水清洗成规范的结构化数据再提取每名学生的消费水平、消费习惯和消费结构学生经济评估则是基于这些特征辅助判断学生的实际经济状况为资助评定、勤工助学岗位分配提供数据参考。项目资源里通常包含完整的 Python 源码、脱敏后的校园消费数据集、运行文档教程和说明报告适合数据分析课程设计、高校信息化部门的数据挖掘实践以及想拿真实场景练手 Python 全流程的从业者。2. 消费流水数据结构与清洗拿到一份校园卡数据先做什么2.1 字段设计与数据字典先搞清楚每一列在说什么校园消费流水在不同学校的导出格式略有差异但核心字段基本一致。一份典型的流水表通常包含学号、消费时间、消费金额、商户编号、商户名称、消费类型、余额这几列。学号是关联学生基本信息的唯一键消费时间精确到秒金额单位为元。消费类型字段常见取值包括“ POS 消费”“补贴消费”“退款”“圈存”其中退款和圈存不是真实消费行为做行为分析前必须筛掉或单独统计。拿到数据的第一件事不是写代码而是逐字段确认口径。常见做法是写一段简单的 pandas 探查脚本输出每列的非空数量、唯一值数量和样例值对照数据字典核对。学号列如果混入教职工卡号或者消费金额出现负数都会在后续分析中产生干扰。字符编码也要注意从 Oracle 导出的数据常有 GBK 编码问题读入时指定 encodingutf-8 或 encodinggbk 要提前试一遍否则中文商户名会变成乱码。import pandas as pd df pd.read_csv(campus_card_2023.csv, encodingutf-8, dtype{student_id: str}) print(df.shape) print(df.dtypes) for col in df.columns: print(col, df[col].nunique(), df[col].isnull().sum()) print(df[col].head(3).tolist())这段代码的作用是快速摸清数据集的整体情况。dtype 参数把学号强制读成字符串防止 Excel 里的科学计数法把学号变成浮点数nunique 统计唯一值数量用来判断字段是不是主键isnull 统计空值数量字段缺失严重的列需要单独处理。数据探查阶段不要急着做任何转换先把每一列的真实分布看清楚后面清洗才有依据。2.2 清洗规则与代码金额异常、时间异常、重复消费怎么处理清洗逻辑按优先级排列顺序不能乱。第一步剔除退款和圈存记录只保留真实消费第二步过滤金额异常比如金额小于 0.01 元或大于 200 元的单笔消费前者通常是设备误读后者可能是批量采购或代刷不属于日常消费第三步去重同一学号在同一秒同商户金额完全相同的记录视为重复流水第四步处理商户名称中的空格和别名。# 仅保留真实消费 df df[df[trade_type] 消费].copy() # 金额范围过滤0.01 ~ 200 元 df df[(df[amount] 0.01) (df[amount] 200)].copy() # 去重同一学号、同一秒、同一商户、同一金额 df df.drop_duplicates(subset[student_id, trade_time, merchant_id, amount]) # 商户名称清洗去掉首尾空格替换全角空格 df[merchant_name] df[merchant_name].str.strip().str.replace(\u3000, ) df df.reset_index(dropTrue) print(df.shape)这个清洗漏斗是后续所有分析的基石。金额上限 200 元不是拍脑袋定的校园食堂和超市单笔消费极少超过这个值超过的多半是代购或集中采购对个人经济评估会产生误导。去重条件里的四个字段缺一不可只按学号和金额去重会误删同一食堂同菜价的正常记录。清洗后建议按学号、时间排序导出中间文件方便后面排查问题时回查数据这一步也叫数据备份与恢复的准备工作。2.3 数据质量验证清洗前后对比与口径核对清洗完成不代表数据能用还要做一轮质量验证。对比清洗前后的总笔数、总金额、覆盖学号数这些指标能反映清洗逻辑是否过度或不足。比如全校三万学生清洗后只剩一万人有消费记录那说明数据导出时可能漏了部分食堂或部分时间段需要重新拉取。更细的口径核对方式是抽查某几个学生把他们的逐笔流水打出来人工核对确认金额和商户名称字段没有解析错位。before_count len(df_raw) after_count len(df) print(f清洗前 {before_count} 条清洗后 {after_count} 条删除 {(before_count-after_count)/before_count:.1%}) valid_students df[student_id].nunique() print(f覆盖学生数 {valid_students})删除比例超过 15% 时就要怀疑数据源本身有问题。正常情况下退款和圈存记录占比约 5%~8%金额异常和重复记录占比很低总删除比例超过 15% 大概率是导出时翻倍或主键设计有问题。覆盖学生数是另一个关键指标如果少于全校人数的 80%说明部分楼栋或校区的消费机没有纳入采集范围评估结论会有偏。3. 消费行为特征提取从流水到每名学生一张画像3.1 消费水平特征日均消费、月均消费和消费分位数行为分析的第一步是把逐笔流水汇总成学生维度特征。最常见的特征组是消费水平类总消费金额、日均消费、月均消费、消费天数、单笔平均金额、消费金额中位数。日均消费比总消费更能反映真实水平因为总金额受在校天数影响两个消费水平相同的学生一个全年在校一个经常回家总金额会差很多。中位数比均值更稳健不会被偶尔一次大额消费拉偏。计算这些特征时要先按学号和时间戳排序再按月做汇总。月均消费的计算要注意跨月问题一笔 23:59 的记录属于哪个月取决于记账时间统一按 trade_time 所在的自然月归类即可。消费天数要按日期去重不能直接数流水条数否则一顿饭刷三次会被当成三天。df[trade_date] pd.to_datetime(df[trade_time]).dt.date df[trade_month] pd.to_datetime(df[trade_time]).dt.month student_daily df.groupby([student_id, trade_date]).agg( daily_amount(amount, sum), daily_count(amount, count) ).reset_index() student_level student_daily.groupby(student_id).agg( total_amount(daily_amount, sum), active_days(daily_amount, count), avg_daily_amount(daily_amount, mean), median_daily_amount(daily_amount, median), max_daily_amount(daily_amount, max) ).reset_index()student_level 的每一行就是一名学生的消费水平画像。active_days 是实际消费天数这个指标能识别“幽灵学生”——学号在册但几乎不消费可能是休学、交换或卡丢失。avg_daily_amount 和 median_daily_amount 的差值如果长期偏大说明该学生的消费波动剧烈可能有不规律的校外就餐习惯这类学生的经济评估要结合其他特征综合判断不能只看均值。3.2 消费结构特征食堂、超市、水房与生活必需消费占比消费结构比消费水平更能说明问题。食堂消费是生存型消费超市消费偏生活改善型水房和浴室消费是刚需。把商户名称归类成几个功能大类再计算每类消费金额占总金额的比例就能看出一个学生的钱主要花在哪里。消费结构特征在贫困生认定中非常关键经济困难学生的食堂消费占比通常偏高生活改善型消费占比偏低。def categorize_merchant(name): if any(k in name for k in [一食堂, 二食堂, 三食堂, 风味餐厅, 清真]): return canteen elif any(k in name for k in [超市, 小卖部, 便利店]): return market elif any(k in name for k in [开水, 浴室, 洗衣]): return daily else: return other df[category] df[merchant_name].apply(categorize_merchant) category_pivot df.groupby([student_id, category])[amount].sum().unstack(fill_value0) for cat in [canteen, market, daily]: category_pivot[f{cat}_pct] category_pivot[cat] / category_pivot.sum(axis1)商户归类规则的先后顺序有讲究把“风味餐厅”放在超市前面因为商户名称可能同时包含“超市”和“餐厅”字样。category_pivot 最终要 merge 回 student_level形成完整的特征宽表。canteen_pct 的特征分布通常呈现两头尖中间平的形态大部分学生在 50%~80% 之间低于 30% 的学生大概率经常在校外就餐高于 90% 的学生则高度依赖校内食堂这两类人群需要分别关注。4. 学生经济评估模型阈值打分还是聚类分档4.1 经济评估指标体系与标签设计经济评估不能直接拿消费金额给学生贴“贫困”标签因为消费水平和家庭经济状况之间隔着个人消费习惯这层缓冲。合理的做法是构造一个综合指标把消费水平、消费结构、消费规律性和稳定性组合起来。指标体系常见三层第一层是消费能力分由日均消费、月均消费和单笔均值构成第二层是消费质量分由食堂占比、超市占比和必需消费占比构成第三层是消费稳定性分由消费天数的月间变异系数衡量。标签设计有两种路线。第一种是阈值打分法给每个指标设分段阈值累加得到经济压力指数分数越高代表经济压力越大第二种是聚类分档法用无监督聚类把学生分成若干档再结合已知的资助名单校验档位的合理性。两种方法各有利弊阈值打分可解释性强但阈值设定有主观性聚类分档客观但聚类结果需要人工命名档位。我一般先做聚类看分布形态再用阈值法校准档位边界。4.2 聚类分档实现特征标准化与 KMeans 参数选择聚类前必须做标准化否则金额特征的数值范围会碾压比例特征聚类结果基本等于只按消费金额分组。标准化用 StandardScaler 即可不需要做更复杂的归一化。KMeans 的 K 值可以用轮廓系数选但校园消费数据的类别边界本身模糊经验上 K3 或 K4 效果较好K3 对应“消费水平较高、中等、较低”三档K4 多出来的一档往往是“消费水平高但食堂占比异常高”的特殊人群。from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans feature_cols [avg_daily_amount, median_daily_amount, active_days, canteen_pct, market_pct, daily_pct] X student_profile[feature_cols].fillna(0) X_scaled StandardScaler().fit_transform(X) kmeans KMeans(n_clusters4, random_state42, n_init10) student_profile[economic_cluster] kmeans.fit_predict(X_scaled) cluster_summary student_profile.groupby(economic_cluster)[feature_cols].mean() print(cluster_summary.round(2))n_init10 是 KMeans 在 sklearn 1.2 之后的默认值作用是用多个随机质心初始化跑多次取最优避免局部最优。fillna(0) 处理的是那些整月没有任何消费记录的学生他们的占比特征为空补零表示不参与该维度计算。跑完聚类后不要急着用先看每个簇的特征均值是否和人工经验一致如果聚类结果出现“高消费高食堂占比”这种反直觉组合说明标准化前的特征里有强相关性需要考虑删除冗余特征或改用 PCA 降维后再聚类。4.3 模型结果校验与资助名单的交叉验证聚类分档完成后必须做一轮外部校验。最常见的做法是把聚类结果与学校已有的贫困生资助名单做交叉比对计算高经济压力档位中学生被认定为困难生的比例。这个比例不需要很高因为资助认定还包含家庭突发变故等消费数据看不到的因素但比例如果低于 10%说明特征设置或聚类 K 值有问题需要回溯调整。aid_df pd.read_csv(aid_list.csv, dtype{student_id: str}) merged student_profile.merge(aid_df, onstudent_id, howleft) merged[is_aided] merged[aid_level].notnull().astype(int) cross merged.groupby(economic_cluster)[is_aided].agg([mean, count]) cross.columns [aid_ratio, student_count] print(cross.round(3))aid_ratio 就是每个簇中获得资助的学生占比。经济压力最高的簇这个比例一般应在 25%~40% 之间比例太低说明聚类没抓住贫困特征比例超过 50% 反而要怀疑特征里混入了资助结果相关的泄漏变量比如直接用了补贴金额做特征。5. 校园消费分析的常见问题与避坑数据质量、隐私边界与模型翻车点5.1 现象清洗后覆盖学生数骤减遇到过项目跑完清洗流程原本三万学生的数据集只剩一万八千人有消费记录。逐层排查发现退款和圈存记录的 trade_type 字段取值不统一有的叫“退款”有的叫“退费”还有的用数字编码“3”表示。原因是不同校区的消费机系统版本不一致导出的字典表没同步。解决方式是在清洗前先打印所有 trade_type 的唯一值列表人工确认全部取值后写成过滤白名单不要用黑名单过滤。5.2 现象聚类结果出现“高消费高食堂占比”簇K4 的聚类结果里出现一个日均消费很高但食堂消费占比也接近 90% 的簇初看违反直觉。查数据发现这些学生的消费记录集中在风味餐厅和清真食堂这些商户的人均消费显著高于普通食堂。解决方式是在商户归类时把风味餐厅单独拆成一个类别而不是和普通食堂合并。这个坑的本质是商户分类粒度太粗把均价差异大的商户混在一起特征信息量被稀释了。5.3 现象部分学生消费天数极少导致评估失真有些学生一个月只在食堂消费三到五天日均消费算出来异常高被聚类分到高消费档。人工回查发现这部分学生是校外实习或走读生只偶尔回校吃饭。解决方式是在特征矩阵中增加 active_days 的过滤逻辑消费天数少于当月天数 30% 的学生不参与聚类单独标记为 low_activity 人群由辅导员线下核实。这个处理在分析报告里必须写明否则评估结论会被质疑。5.4 现象跨学期数据拼接后消费水平整体抬升项目数据集如果横跨两个学期直接按全年汇总算日均消费会发现高消费档人数多了不少。原因是春季学期有开学季和节日消费高峰秋季学期有迎新季不同学期的消费物价也有调整。解决方式是引入学期字段按月计算特征时加入学期虚拟变量或者干脆只分析一个完整学期的数据保证口径一致。多学期分析要按月生成特征后做时序对比不能直接拼流水。5.5 现象评估模型跑完无法落地聚类报告做得再漂亮如果学校辅导员看不懂模型结论就进不了资助认定流程。踩过的坑是只输出簇编号和特征均值没有给每个学生一句自然语言描述。解决方式是生成评估结果时附带规则化的文字说明比如“该生日均消费低于全校 25% 分位食堂消费占比高于 80%建议关注”并且提供按学院、按年级的汇总交叉表。模型结果的价值在决策链路里不在模型本身。6. 把评估结果用起来消费画像可视化与按月更新的评估流程聚类分档只是项目的中途站真正的终点是把结果嵌入学校的学生工作流程。每月初从一卡通系统增量导出上月流水跑一遍清洗和特征提取更新每名学生的经济评估档案再把结果推送给学生工作管理系统。这个过程要写成定时脚本不能靠人工每月手动跑一次否则维护成本会拖垮项目。import datetime today datetime.date.today() first_day today.replace(day1) last_month_end first_day - datetime.timedelta(days1) last_month_start last_month_end.replace(day1) monthly_raw load_monthly_data(last_month_start, last_month_end) monthly_clean clean_flow(monthly_raw) monthly_features build_student_features(monthly_clean) monthly_profile update_profile(monthly_features, last_month_end)这段代码展示的是月度更新流程的框架三个函数分别对应清洗、特征提取和画像更新。load_monthly_data 从数据仓库按时间范围取数clean_flow 复用第 2 章的清洗逻辑build_student_features 复用第 3 章的特征工程update_profile 把新月份的特征合并进历史画像并重算分档。关键点是特征的口径要和上月严格一致任何规则改动都要先对历史数据回放否则累计画像会出现突变。可视化看板是让评估结果被非技术用户接受的最有效手段。用 echarts 数据可视化做一个简单的月度趋势页面左侧是全校消费水平分布直方图右侧是各学院的经济压力分档占比横向柱状图下边是重点关注学生列表。echarts 的配置项不复杂关键是数据接口要设计好前端只按学院、年级、月份三个维度筛选取数。接口返回的 JSON 结构建议预先聚合好不要让前端做二次统计否则大数据量下页面会卡顿。最后说一个习惯项目交付时除了代码和运行文档一定要附一份数据字典和清洗规则的变更记录表。哪个月改了金额过滤阈值哪个月新增了商户分类逐条记下来。这个项目的坑几乎都出在数据口径上没有变更记录三个月后再跑一次全量分析你会发现自己都看不懂自己之前定的规则。做这个方向最深的体会是校园消费行为分析的技术门槛不高难点在于对数据口径的死磕和对业务边界的拿捏。经济评估结果能帮辅导员发现那些不会主动开口的困难学生但也可能因为数据缺失误伤自尊心。所以我在每次生成重点关注名单时都会在报告首页加一行提醒消费数据只能作为参考线索最终认定必须结合线下谈话。这份克制和学生工作者的经验判断一样重要希望帮到你。本文还有配套的精品资源点击获取