目录

一、项目开场

二、项目定位

三、技术路线

四、数据采集与预处理

五、Hadoop 分析链路

六、Web 端功能

七、可视化展示

八、薪资预测

九、运行测试

每文一语

---

有需要本项目的代码、文档、完整资源，或者需要部署调试的朋友，可以私信博主。

一、项目开场

计算机类岗位每天都会在招聘平台上产生大量信息，岗位名称、薪资区间、城市分布、学历要求、工作经验、企业类型、公司规模、技能标签等字段，看起来只是一个个招聘卡片，实际上都能反映就业市场的真实变化。单纯浏览网页只能看到零散岗位，很难判断不同城市的薪资差距、哪些技能更热、什么经验层次需求更多，也很难给求职定位和人才培养提供稳定参考。

这个项目围绕“计算机岗位招聘数据”做了一套完整的数据分析与展示平台。开发时，我没有只停留在爬取数据和画几张图，而是把数据采集、清洗、Hadoop 存储、Hive 多维统计、Sqoop 结果同步、MySQL 在线查询、Web 可视化、CatBoost 薪资预测和后台管理串成一条完整链路。最终呈现出来的是一个可以登录使用、可以查看大屏、可以预测薪资、也可以在后台维护岗位数据的应用系统。

图 1 系统整体处理流程展示

二、项目定位

平台主要解决两个问题：一是把分散在招聘页面中的岗位信息整理成结构化数据，便于按照城市、学历、经验、企业性质、岗位关键词等维度统计；二是把统计结果做成直观的图表和动态大屏，方便用户快速把握计算机岗位市场的整体情况。对学生来说，可以看到不同技术方向的薪资水平和技能热度；对教学或实训场景来说，这套流程也能作为大数据工程、数据仓库、数据可视化和机器学习综合项目的案例。

系统角色分为普通用户和管理员。普通用户进入平台后，主要使用可视化分析和薪资预测功能；管理员则负责岗位数据维护、用户管理和后台概览。这样的角色划分比较适合项目演示：前台展示数据价值，后台展示系统管理能力，中间通过数据库和接口连接起来，形成一个完整的应用闭环。

图 2 系统功能模块设计

三、技术路线

技术选型上，后端以 Python 生态为主。数据采集部分使用 Selenium 配合浏览器驱动模拟访问招聘页面，解析岗位卡片中的字段信息；预处理部分使用 pandas、numpy 完成字段清洗、薪资转换、缺失值补全和异常值处理；大数据处理部分使用 Hadoop 生态，依次涉及 HDFS、Flume、Hive 和 Sqoop；在线应用部分使用 Flask 搭建 Web 服务，结合 MySQL 提供快速查询能力；前端图表采用 ECharts、Pyecharts 等可视化组件；薪资预测部分引入 CatBoost 回归模型，并通过 joblib 将训练好的模型保存后接入 Web 页面。

整体设计思路比较清晰：爬虫负责拿到数据，清洗脚本负责把原始字段变成可计算字段，Hadoop 负责承接批量数据，Hive 负责按主题生成指标表，Sqoop 把分析结果同步到 MySQL，Flask 再把这些结果以接口形式交给前端页面。这样处理后，Hadoop 主要承担离线计算任务，MySQL 主要服务在线查询，前端页面不用直接面对复杂的大数据环境。

图 3 Hadoop 招聘数据处理流程

四、数据采集与预处理

数据采集围绕多个代表性城市和多类计算机岗位关键词展开，例如人工智能、深度学习、自然语言处理、图像识别、前端开发、后端开发、全栈开发、Java、Python、Golang 等方向。采集过程中，程序按城市和关键词组合生成访问链接，逐页解析招聘卡片，提取岗位名称、公司名称、薪资范围、所在城市、工作经验、学历、企业类型、公司人数、任职要求、所属行业、HR 信息和回复速度等字段。

原始招聘数据最大的麻烦不是字段少，而是格式不统一。薪资可能写成“8K-15K”，也可能写成“1 万-1.5 万”，有的还带“13 薪”“15 薪”等发放信息；文本字段中可能混有空格、逗号、特殊符号和 emoji；行业和企业性质字段也可能出现层级过深或混入公司规模的情况。为了让后续分析稳定运行，预处理环节把薪资统一换算为月薪口径，对缺失字段做合理补全，对异常薪资和无法计算的样本做过滤，并统一字段命名，最终输出适合导入 Hadoop 的 CSV 文件。

五、Hadoop 分析链路

清洗后的岗位数据通过 Flume 自动传输到 Hadoop 环境中。Flume 采用 Source、Channel、Sink 三层架构，Source 负责监听本地目录，Channel 负责缓存和容错，Sink 负责把数据写入 Hive 或 HDFS。这里使用文件型 Channel，主要是为了提升传输可靠性，即使传输过程中服务中断，已经读取但尚未写入的数据也不会轻易丢失。

图 4 Flume 数据采集架构	图 5 Hive 分析结果导出流程

数据进入 Hive 后，会在基础明细表之上构建多个主题分析表。主题表覆盖岗位薪资排名、公司平均薪资、工作经验需求、学历要求、企业性质、公司规模、城市薪资、技能热度等维度。这样做的好处是前端展示时不需要实时扫描全部明细数据，只要读取已经统计好的结果表即可。对于图表应用来说，预计算指标比临时聚合更稳定，也更适合后台管理和可视化大屏。

Hive 更适合离线分析，而 Web 系统需要更快的查询响应，所以项目中通过 Sqoop 将 Hive 中的结构化统计结果导入 MySQL。MySQL 承担在线查询和后台管理数据源的角色，Flask 接口读取 MySQL 后，把结果转成前端需要的 JSON 格式，页面再用 ECharts 完成渲染。

六、Web 端功能

Web 系统采用 Flask 框架开发，通过蓝图机制把用户、管理员、数据管理、可视化和预测模块拆开，便于维护。用户访问系统时，首先进入登录页面，系统根据账号类型进入不同入口。普通用户可以查看分析大屏、浏览多维图表、使用薪资预测；管理员可以进入后台概览页，查看数据总量、用户变化趋势和最新记录，并对岗位数据进行新增、编辑、删除和筛选。

图 6 用户登录界面展示	图 7 管理员后台概览展示

后台数据管理模块以表格为核心，支持分页、条件筛选、弹窗新增、编辑更新和删除操作。岗位数据字段较多，如果全部堆在页面上会显得杂乱，因此界面使用筛选条件和弹窗表单来降低操作复杂度。管理员可以按学历、行业、企业类型等条件快速定位数据，也可以在演示或维护时补充新的岗位记录。

图 8 岗位数据管理页面展示

七、可视化展示

可视化模块是整个系统最直观的部分。平台围绕岗位市场设计了多个图表入口，例如学历与平均薪资、企业性质与平均薪资、不同城市薪资走势、工作经验需求占比、热门技能条形图、岗位名称词云、城市薪资地图等。前端通过 Ajax 请求 Flask 接口获取数据，接口再从 MySQL 中读取预先计算好的指标结果，最终由 ECharts 完成柱状图、折线图、饼图、词云图和地图的绘制。

动态大屏更适合做项目展示。页面上把核心指标、地区分布、岗位数量、薪资变化和技能热度放在一个屏幕里，配合深色背景和动画效果，看起来更像一个完整的数据监测看板。与普通表格相比，大屏展示更适合在答辩、课程设计、项目路演或资源展示页面中使用。

图 9 多维图表分析页面展示	图 10 招聘数据可视化大屏展示

八、薪资预测

除了描述性统计，项目还加入了薪资预测功能。招聘数据中有大量类别特征，例如岗位名称、公司名称、工作经验、学历、企业性质、公司规模、任职要求、所属行业、城市和关键词等。传统模型在处理这些字段时往往需要大量编码转换，而 CatBoost 对类别特征支持较好，比较适合这类业务数据。

模型训练完成后会保存为 pkl 文件，Web 应用启动时把模型加载到内存。用户在预测页面选择岗位相关信息并提交后，后端按照模型训练时的特征顺序构造数据框，调用模型进行推断，再把预测月薪、年薪估算和薪资等级返回给前端。前端页面会显示加载动画，避免用户重复提交；预测完成后，结果卡片以醒目的数字展示，让模型推断过程更具交互感。

图 11 薪资预测输入页面	图 12 薪资预测结果展示

九、运行测试

系统完成后，对注册登录、用户状态保持、数据分页查询、筛选、新增、编辑、删除、图表加载、图表切换、全屏展示和薪资预测等核心功能进行了测试。整体运行过程比较顺畅：登录后刷新页面仍能保持会话状态，数据列表分页和条件筛选可以正常返回结果，图表鼠标悬停可以显示具体数值，大屏进入全屏后可以自适应屏幕大小，薪资预测接口也能在短时间内返回结果。

从性能表现看，普通页面请求和数据查询能够满足演示及常规使用需求，可视化图表会受到数据点数量和图表类型影响，但总体处于可接受范围。词云和地图这类图表计算与渲染稍复杂，加载时间会比普通柱状图、折线图长一些。后续如果继续扩展，可以把缓存、接口分页、异步任务和定时更新机制补充进来，让系统更接近生产级数据平台。

每文一语

真正能落地的技术，不只是跑通一段代码，而是把数据、模型和业务场景连成一个可以使用的系统。