4系统数据库

4.1数据库表单

该可视化系统数据库表单，包含了流量信息，日志信息，交通站点信息，系统设置信息。

表4-1流量信息

序号	字段名称	字段类型	大小	允许为空	最大长度	备注
1	ID	Int	4		10	编号
2	site		150		100	站点编码
3	line		150		100	线路编码'
4	direction		150		100	方向
5	line`		150		100	线路
6	first_time		150		100	首班车时间'
7	last_time		150		100	末班车时间
8	interval		150		100	间隔
9	peak_interval		150		100	高峰间隔
10	xl		150		100	流量
11	beizhu		150		100	是否限流

交通线路信息包含编号站点和编号以及线路名，以及线路编号和站点编号和线路图片等信息。

表4-2交通线路信息

序号	字段名称	字段类型	大小	允许为空	最大长度	备注
1	ID	Int	4		10	编号
2	`name		150		100	站点
3	`line_name		150		100	线路名
4	line_code		150		100	线路编号
5	code		150		100	站点编号
6	pic		150		100	线路图片
7	introduced		150		100	介绍

表4-3线路站点信息

序号	字段名称	字段类型	大小	允许为空	最大长度	备注
1	ID	Int	4		10	编号
2	pid		150		100	上级菜单
3	title		150		100	菜单名
4	roles		150		100	权限
5	icon		150		100	图标
7	path		150		100	路径
8	affix		150		100	是否固定
10	name		150		100	流量

表4-4权限信息

序号	字段名称	字段类型	大小	允许为空	最大长度	备注
1	ID	Int	4		10	编号
2	pid		150		100	上级菜单
3	title		150		100	菜单名
4	roles		150		100	权限
5	icon		150		100	图标
7	path		150		100	路径
8	affix		150		100	是否固定
10	name		150		100	流量

表4-5路径信息

序号	字段名称	字段类型	大小	允许为空	最大长度	备注
1	ID	Int	4		10	编号
2	url		150		100	访问路径
3	opt		150		100	操作
4	http_method		150		100	HTTP方法
5	class_method		150		100	类和方法
8	affix		150		100	是否固定

表4-6用户信息

序号	字段名称	字段类型	大小	允许为空	最大长度	备注
1	ID	Int	4		10	编号
2	realname		150		100	名称
3	username		150		100	用户名
4	password		150		100	密码
5	vip_date`		150		100	有效日期
8	phone		150		100	电话
9	email		150		100	邮箱
10	idno		150		100	身份证号

4.2系统E-R图

下面是系统的主要E-R图，包含了流量信息，交通线路信息，交通流量信息，交通站点信息，以及权限信息和用户信息，这些信息组成了前端后用户的可视化的效果，通过spark调取HDFS集群信息。

添加图片注释，不超过 140 字（可选）

 

图4-1系统的流量信息

 

图4-2交通线路信息

 

图4-3系统用户信息

 

图4-4系统的权限信息

 

图4-5系统的站点信息

5 系统详细设计

5.1系统架构

整个交通流量可视化系统，主要包含前台和后台，前台是可视化数据，呈现大屏幕效果，主要包含了交通站点数据的流量，以及交通热词词云图分析，交通限流分析，用户登录信息，后台包含登录注册功能，以及个人中心修改资料，交通数据添加，对用户的删除和查看，交通数据的预测分析，以及系统权限的设置，具体如下图所示。

 

图4-1交通客流数据分析与预测系统的分析

5.2爬虫分析

系统主要采用python语言进行爬虫，使用传统的cookie进行爬虫获取，获取网址是深圳交通数据，深圳市政府数据开放平台 (sz.gov.cn)，https://opendata.sz.gov.cn/，通过开发者工具和谷歌浏览器分析，url进行进行数据的爬取，然后在数据库中形成递增的效果。

添加图片注释，不超过 140 字（可选）

图4-2交通客流数据爬虫数据效果展示

5.3数据可视化

可视化的效果主要通过spark进行集群处理，将爬虫下来的数据进行spark分析，spark主要获取数据库中的数据，然后进行集群分析。

添加图片注释，不超过 140 字（可选）

图4-2爬虫数据可视化流程

5.4系统登录流程

可视化系统登录的流程主要是用户写入密码账号等信息，然后进行数据库检索，检索到信息后，才能够实现登录，下面是用户登录流程。

 

图4-3交通数据可视化流程

5.5预测分析流程

下面是交通的预测分析流程，首先需要检索数据库，查询数据库信息，查询失败时，无法进行检索数据库，查询失败后则无法进行分析，然后返回数据库进行继续检索。

 

图4-4交通数据可视化分析流程

6.系统实现

6.1实时动态分析效果

下面是可视化的效果，可以看到用户登录流量，热词搜索等信息，还可以看到交通的站点信息。添加图片注释，不超过 140 字（可选）

6.2后台登录

管理员在后台可以输入账号以及密码进行交通爬虫可视化分析系统的登录，同时用户也可以进行登录和注册。

图5-3后台的登录

6.3后台首页

可以看到登录后查看到总人数以及登录的人数并且进行折线图的展示。

 

图5-4后端首页

6.4交通数据分析

交通数据的分析，主要包含出行高峰期的10个时间段，交通限流的10个时间段，交通限流的前10个站点的后端数据分析效果。

 

图5-6交通后台可视化的效果

6.5权限设置

在后端可以设置权限，普通用户，管理员等权限的设置。

 

图5-7后端权限设置