基于Hadoop大数据的云南茶叶数据分析系统实战、hive离线数据仓库、sqoop导数、mysql、可视化页面

大数据基础

792人浏览 · 2026-02-02 09:26:51

大数据基础 · 2026-02-02 09:26:51 发布

基于Hadoop大数据的云南茶叶数据分析系统实战

一、项目背景

云南作为中国茶叶的重要产区，拥有丰富的茶叶资源和悠久的茶文化历史。随着茶叶产业的快速发展，海量的产销数据不断积累，如何从这些数据中提取有价值的信息，为茶叶企业的生产经营决策提供支持，成为了一个亟待解决的问题。

本项目基于Hadoop大数据技术栈，构建了一个完整的云南茶叶数据分析系统，实现了从数据采集、清洗、存储、分析到可视化展示的全流程。系统采用分层架构设计，具有良好的可扩展性和可维护性，能够帮助茶叶企业实时掌握产销动态，深入了解市场特征，为业务决策提供有力的数据支持。

二、技术架构

2.1 整体架构

系统采用经典的大数据分层架构，从下到上分为数据采集层、数据处理层、数据仓库层、数据服务层和数据可视化层：

┌─────────────────────────────────────────────────────────┐
│                   数据可视化层                            │
│              Vue.js + ECharts + Element UI              │
└─────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────┐
│                    数据服务层                             │
│              Spring Boot + MyBatis-Plus                   │
└─────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────┐
│                    数据仓库层                             │
│         Hive (ODS → DWD → DWS → ADS)                     │
└─────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────┐
│                   数据处理层                              │
│              MapReduce数据清洗                            │
└─────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────┐
│                   数据采集层                              │
│              HDFS分布式文件系统                           │
└─────────────────────────────────────────────────────────┘

2.2 技术栈

类别	技术	版本	用途
前端	Vue.js	2.6.14	前端框架
前端	Element UI	2.15.13	UI组件库
前端	ECharts	5.4.2	数据可视化库
后端	Spring Boot	2.5.4	后端框架
后端	MyBatis-Plus	3.5.5	ORM框架
数据库	MySQL	8.0.33	关系型数据库
大数据	Hadoop	3.3.0	分布式存储和计算
大数据	Hive	3.1.2	数据仓库工具
大数据	Sqoop	1.4.7	数据迁移工具
大数据	MapReduce	2.10.1	分布式计算框架

三、核心功能实现

3.1 数据清洗模块

数据清洗是大数据处理的第一步，也是保证数据质量的关键环节。本项目使用MapReduce框架实现数据清洗，主要功能包括：

处理缺失值和异常值
标准化数据格式
验证数据完整性
生成数据质量报告

核心代码实现：

public static class TeaCleanerMapper extends Mapper<LongWritable, Text, Text, NullWritable> {
    
    @Override
    protected void map(LongWritable key, Text value, Context context) 
            throws IOException, InterruptedException {
        
        String line = value.toString().trim();
        
        // 跳过标题行和空行
        if (line.contains("茶叶类型") || line.isEmpty()) {
            return;
        }
        
        String[] fields = line.split(",");
        
        // 验证字段数量
        if (fields.length != 10) {
            context.getCounter("DataQuality", "InvalidFieldCount").increment(1);
            return;
        }
        
        try {
            // 数据清洗和验证
            String cleanedLine = cleanAndValidateRecord(fields);
            
            if (cleanedLine != null) {
                context.write(new Text(cleanedLine), NullWritable.get());
                context.getCounter("DataQuality", "ValidRecords").increment(1);
            }
            
        } catch (Exception e) {
            context.getCounter("DataQuality", "ProcessingErrors").increment(1);
        }
    }
    
    private String cleanAndValidateRecord(String[] fields) {
        // 字段索引映射
        int teaType = 0, origin = 1, grade = 2, productionTons = 3, salesTons = 4;
        int priceYuanKg = 5, year = 6, harvestMonth = 7, transactionDate = 8, transactionChannel = 9;
        
        try {
            // 1. 验证必要字段非空
            if (fields[teaType].isEmpty() || fields[origin].isEmpty() || 
                fields[grade].isEmpty() || fields[productionTons].isEmpty() || 
                fields[salesTons].isEmpty() || fields[priceYuanKg].isEmpty()) {
                return null;
            }
            
            // 2. 标准化茶叶类型、产地、等级
            fields[teaType] = normalizeTeaType(fields[teaType]);
            fields[origin] = normalizeOrigin(fields[origin]);
            fields[grade] = normalizeGrade(fields[grade]);
            
            // 3. 验证数值字段
            double production = Double.parseDouble(fields[productionTons]);
            double sales = Double.parseDouble(fields[salesTons]);
            double price = Double.parseDouble(fields[priceYuanKg]);
            int yearVal = Integer.parseInt(fields[year]);
            int monthVal = Integer.parseInt(fields[harvestMonth]);
            
            // 4. 数据范围验证
            if (production < 0 || sales < 0 || price < 0 || 
                yearVal < 2000 || yearVal > 2025 || 
                monthVal < 1 || monthVal > 12) {
                return null;
            }
            
            // 5. 标准化日期格式和成交途径
            fields[transactionDate] = normalizeDate(fields[transactionDate]);
            fields[transactionChannel] = normalizeChannel(fields[transactionChannel]);
            
            return String.join(",", fields);
            
        } catch (NumberFormatException | ParseException e) {
            return null;
        }
    }
}

数据清洗执行命令：

# 上传原始数据到HDFS
hdfs dfs -mkdir -p /input/tea_data
hdfs dfs -put yunnan_tea_data.csv /input/tea_data/

# 执行MapReduce任务
hadoop jar mapreduce-1.0-SNAPSHOT.jar com.uniqlo.cleaner.TeaDataDriver \
    /input/tea_data /yunnan_tea_output

# 查看清洗结果
hdfs dfs -cat /yunnan_tea_output/part-r-00000 | head -10

3.2 数据仓库设计

本项目采用经典的数据仓库分层设计，分为四层：

3.2.1 ODS层（原始数据层）

存储原始数据，不做任何处理，保持数据的原始状态。

CREATE EXTERNAL TABLE IF NOT EXISTS ods_tea_sales_raw (
    tea_type STRING COMMENT '茶叶类型',
    origin STRING COMMENT '产地',
    grade STRING COMMENT '等级',
    production_tons DOUBLE COMMENT '产量（吨）',
    sales_tons DOUBLE COMMENT '销量（吨）',
    price_yuan_kg DOUBLE COMMENT '价格（元/公斤）',
    year INT COMMENT '年份',
    harvest_month INT COMMENT '采集月份',
    transaction_date STRING COMMENT '成交时间',
    transaction_channel STRING COMMENT '成交途径'
)
COMMENT '云南茶叶销售原始数据表'
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION '/yunnan_tea_output'
TBLPROPERTIES ('skip.header.line.count'='1');

3.2.2 DWD层（数据仓库明细层）

对ODS层数据进行清洗、脱敏、规范化处理，形成明细数据层。包含维度表和事实表：

维度表设计：

-- 茶叶类型维度表
CREATE TABLE IF NOT EXISTS dwd_tea_type_info (
    tea_type STRING COMMENT '茶叶类型'
)
STORED AS ORC
TBLPROPERTIES ('orc.compress'='ZLIB');

-- 产地维度表
CREATE TABLE IF NOT EXISTS dwd_origin_info (
    origin STRING COMMENT '产地',
    region STRING COMMENT '所属区域'
)
STORED AS ORC
TBLPROPERTIES ('orc.compress'='ZLIB');

-- 等级维度表
CREATE TABLE IF NOT EXISTS dwd_grade_info (
    grade STRING COMMENT '等级',
    grade_level INT COMMENT '等级级别（1-4）'
)
STORED AS ORC
TBLPROPERTIES ('orc.compress'='ZLIB');

-- 日期维度表
CREATE TABLE IF NOT EXISTS dwd_date_info (
    transaction_date STRING COMMENT '成交日期',
    year INT COMMENT '年份',
    month INT COMMENT '月份',
    day INT COMMENT '日',
    quarter INT COMMENT '季度',
    week INT COMMENT '周',
    day_of_week INT COMMENT '星期几',
    harvest_month INT COMMENT '采集月份'
)
STORED AS ORC
TBLPROPERTIES ('orc.compress'='ZLIB');

-- 成交途径维度表
CREATE TABLE IF NOT EXISTS dwd_channel_info (
    transaction_channel STRING COMMENT '成交途径'
)
STORED AS ORC
TBLPROPERTIES ('orc.compress'='ZLIB');

事实表设计：

CREATE TABLE IF NOT EXISTS dwd_tea_sales_fact (
    tea_type STRING COMMENT '茶叶类型',
    origin STRING COMMENT '产地',
    grade STRING COMMENT '等级',
    production_tons DOUBLE COMMENT '产量（吨）',
    sales_tons DOUBLE COMMENT '销量（吨）',
    price_yuan_kg DOUBLE COMMENT '价格（元/公斤）',
    year INT COMMENT '年份',
    harvest_month INT COMMENT '采集月份',
    transaction_date STRING COMMENT '成交时间',
    transaction_channel STRING COMMENT '成交途径',
    sales_amount DOUBLE COMMENT '销售额（万元）',
    inventory_tons DOUBLE COMMENT '库存（吨）',
    sales_rate DOUBLE COMMENT '销售率（%）'
)
COMMENT '茶叶销售事实表'
PARTITIONED BY (dt STRING COMMENT '日期分区')
STORED AS ORC
TBLPROPERTIES ('orc.compress'='ZLIB');

3.2.3 DWS层（数据仓库汇总层）

基于DWD层进行汇总计算，生成各种汇总指标：

-- 每日茶叶销售汇总表
CREATE TABLE IF NOT EXISTS dws_daily_tea_sales (
    transaction_date STRING COMMENT '成交日期',
    total_production_tons DOUBLE COMMENT '总产量（吨）',
    total_sales_tons DOUBLE COMMENT '总销量（吨）',
    total_sales_amount DOUBLE COMMENT '总销售额（万元）',
    avg_price_yuan_kg DOUBLE COMMENT '平均价格（元/公斤）',
    total_inventory_tons DOUBLE COMMENT '总库存（吨）',
    sales_rate DOUBLE COMMENT '销售率（%）',
    online_sales_tons DOUBLE COMMENT '线上销量（吨）',
    offline_sales_tons DOUBLE COMMENT '线下销量（吨）'
)
PARTITIONED BY (dt STRING COMMENT '日期分区')
STORED AS ORC
TBLPROPERTIES ('orc.compress'='ZLIB');

-- 茶叶类型销售汇总表
CREATE TABLE IF NOT EXISTS dws_tea_type_sales (
    tea_type STRING COMMENT '茶叶类型',
    total_production_tons DOUBLE COMMENT '总产量（吨）',
    total_sales_tons DOUBLE COMMENT '总销量（吨）',
    total_sales_amount DOUBLE COMMENT '总销售额（万元）',
    avg_price_yuan_kg DOUBLE COMMENT '平均价格（元/公斤）',
    sales_percentage DOUBLE COMMENT '销售占比（%）',
    avg_sales_rate DOUBLE COMMENT '平均销售率（%）'
)
PARTITIONED BY (dt STRING COMMENT '日期分区')
STORED AS ORC
TBLPROPERTIES ('orc.compress'='ZLIB');

3.2.4 ADS层（数据应用层）

面向业务应用的数据层，存储各种分析结果：

-- 茶叶销售趋势分析表
CREATE TABLE IF NOT EXISTS ads_tea_sales_trend (
    year INT COMMENT '年份',
    month INT COMMENT '月份',
    total_production_tons DOUBLE COMMENT '总产量（吨）',
    total_sales_tons DOUBLE COMMENT '总销量（吨）',
    total_sales_amount DOUBLE COMMENT '总销售额（万元）',
    avg_price_yuan_kg DOUBLE COMMENT '平均价格（元/公斤）',
    sales_rate DOUBLE COMMENT '销售率（%）',
    year_month_str STRING COMMENT '年月'
)
PARTITIONED BY (dt STRING COMMENT '日期分区')
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\001'
STORED AS TEXTFILE;

-- 茶叶类型分析表
CREATE TABLE IF NOT EXISTS ads_tea_type_analysis (
    tea_type STRING COMMENT '茶叶类型',
    total_production_tons DOUBLE COMMENT '总产量（吨）',
    total_sales_tons DOUBLE COMMENT '总销量（吨）',
    total_sales_amount DOUBLE COMMENT '总销售额（万元）',
    avg_price_yuan_kg DOUBLE COMMENT '平均价格（元/公斤）',
    sales_percentage DOUBLE COMMENT '销售占比（%）',
    sales_rate DOUBLE COMMENT '销售率（%）',
    ranking INT COMMENT '排名'
)
PARTITIONED BY (dt STRING COMMENT '日期分区')
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\001'
STORED AS TEXTFILE;

-- 价格分析表
CREATE TABLE IF NOT EXISTS ads_price_analysis (
    tea_type STRING COMMENT '茶叶类型',
    origin STRING COMMENT '产地',
    grade STRING COMMENT '等级',
    avg_price_yuan_kg DOUBLE COMMENT '平均价格（元/公斤）',
    min_price_yuan_kg DOUBLE COMMENT '最低价格（元/公斤）',
    max_price_yuan_kg DOUBLE COMMENT '最高价格（元/公斤）',
    price_trend DOUBLE COMMENT '价格趋势（%）'
)
PARTITIONED BY (dt STRING COMMENT '日期分区')
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\001'
STORED AS TEXTFILE;

3.3 后端API服务

使用Spring Boot构建RESTful API服务，提供数据查询接口。

核心Controller代码：

@RestController
@RequestMapping("/api/tea")
public class TeaAnalysisController {

    @Resource
    private TeaAnalysisService teaAnalysisService;

    // 销售趋势分析
    @GetMapping("/sales/trend")
    public List<AdsTeaSalesTrend> getTeaSalesTrend() {
        return teaAnalysisService.getTeaSalesTrend();
    }

    // 价格分析
    @GetMapping("/price/analysis")
    public List<AdsPriceAnalysis> getPriceAnalysis() {
        return teaAnalysisService.getPriceAnalysis();
    }

    // 茶叶类型分析
    @GetMapping("/type/analysis")
    public List<AdsTeaTypeAnalysis> getTeaTypeAnalysis() {
        return teaAnalysisService.getTeaTypeAnalysis();
    }

    // Top10茶叶类型
    @GetMapping("/type/top10")
    public List<AdsTeaTypeAnalysis> getTop10TeaTypes() {
        return teaAnalysisService.getTop10TeaTypes();
    }

    // 健康检查
    @GetMapping("/health")
    public String health() {
        return "Tea Analysis API is healthy!";
    }
}

Service层实现：

@Service
public class TeaAnalysisServiceImpl implements TeaAnalysisService {

    @Resource
    private AdsPriceAnalysisMapper adsPriceAnalysisMapper;

    @Override
    public List<AdsPriceAnalysis> getPriceAnalysis() {
        QueryWrapper<AdsPriceAnalysis> queryWrapper = new QueryWrapper<>();
        queryWrapper.orderByDesc("avg_price_yuan_kg");
        return adsPriceAnalysisMapper.selectList(queryWrapper);
    }

    @Override
    public List<AdsTeaTypeAnalysis> getTop10TeaTypes() {
        QueryWrapper<AdsTeaTypeAnalysis> queryWrapper = new QueryWrapper<>();
        queryWrapper.orderByDesc("total_sales_amount");
        queryWrapper.last("LIMIT 10");
        return adsTeaTypeAnalysisMapper.selectList(queryWrapper);
    }
}

3.4 前端可视化

使用Vue.js + Element UI + ECharts构建数据可视化界面。

价格分析页面实现：

<template>
  <div class="price-analysis-container">
    <el-card class="page-header">
      <h2>价格分析</h2>
      <p>展示不同茶叶类型、产地、等级的价格数据和趋势情况。</p>
    </el-card>
    
    <div class="charts-container">
      <el-card class="chart-card">
        <div slot="header" class="chart-header">
          <span>价格分布</span>
        </div>
        <div ref="priceDistributionChart" class="chart"></div>
      </el-card>
      
      <el-card class="chart-card">
        <div slot="header" class="chart-header">
          <span>价格趋势</span>
        </div>
        <div ref="priceTrendChart" class="chart"></div>
      </el-card>
    </div>
    
    <el-card class="data-table-card">
      <div slot="header" class="table-header">
        <span>价格分析数据</span>
      </div>
      <el-table :data="priceData" style="width: 100%">
        <el-table-column prop="teaType" label="茶叶类型" width="150"></el-table-column>
        <el-table-column prop="origin" label="产地" width="150"></el-table-column>
        <el-table-column prop="grade" label="等级" width="100"></el-table-column>
        <el-table-column prop="avgPriceYuanKg" label="平均价格（元/公斤）" width="140">
          <template slot-scope="scope">
            {{ scope.row.avgPriceYuanKg || 0 }}
          </template>
        </el-table-column>
        <el-table-column prop="minPriceYuanKg" label="最低价格（元/公斤）" width="140">
          <template slot-scope="scope">
            {{ scope.row.minPriceYuanKg || 0 }}
          </template>
        </el-table-column>
        <el-table-column prop="maxPriceYuanKg" label="最高价格（元/公斤）" width="140">
          <template slot-scope="scope">
            {{ scope.row.maxPriceYuanKg || 0 }}
          </template>
        </el-table-column>
        <el-table-column prop="priceTrend" label="价格趋势（%）" width="120">
          <template slot-scope="scope">
            <span :class="scope.row.priceTrend >= 0 ? 'trend-up' : 'trend-down'">
              {{ scope.row.priceTrend > 0 ? '+' : '' }}{{ scope.row.priceTrend || 0 }}%
            </span>
          </template>
        </el-table-column>
      </el-table>
      
      <el-pagination
        @size-change="handleSizeChange"
        @current-change="handleCurrentChange"
        :current-page="currentPage"
        :page-sizes="[10, 20, 50, 100]"
        :page-size="pageSize"
        layout="total, sizes, prev, pager, next, jumper"
        :total="total">
      </el-pagination>
    </el-card>
  </div>
</template>

<script>
import axios from 'axios'
import * as echarts from 'echarts'

export default {
  name: 'PriceAnalysis',
  data() {
    return {
      priceData: [],
      currentPage: 1,
      pageSize: 10,
      total: 0,
      charts: {}
    }
  },
  mounted() {
    this.fetchData()
    this.initCharts()
  },
  methods: {
    async fetchData() {
      try {
        const response = await axios.get('/api/tea/price/analysis')
        if (response && Array.isArray(response)) {
          const allData = response
          this.total = allData.length
          const startIndex = (this.currentPage - 1) * this.pageSize
          const endIndex = startIndex + this.pageSize
          this.priceData = allData.slice(startIndex, endIndex)
          this.updateCharts(allData)
        }
      } catch (error) {
        console.error('获取价格数据失败:', error)
      }
    },
    
    initCharts() {
      this.charts.priceDistribution = echarts.init(this.$refs.priceDistributionChart)
      this.charts.priceTrend = echarts.init(this.$refs.priceTrendChart)
    },
    
    updateCharts(data) {
      this.updatePriceDistributionChart(data)
      this.updatePriceTrendChart(data)
    },
    
    updatePriceDistributionChart(data) {
      const teaTypes = data.map(item => item.teaType)
      const avgPrices = data.map(item => item.avgPriceYuanKg || 0)
      
      const option = {
        title: {
          text: '茶叶类型价格分布',
          left: 'center'
        },
        tooltip: {
          trigger: 'axis',
          axisPointer: {
            type: 'shadow'
          }
        },
        xAxis: {
          type: 'category',
          data: teaTypes,
          axisLabel: {
            rotate: 45
          }
        },
        yAxis: {
          type: 'value',
          name: '价格（元/公斤）'
        },
        series: [{
          name: '平均价格',
          type: 'bar',
          data: avgPrices,
          itemStyle: {
            color: '#409EFF'
          }
        }]
      }
      
      this.charts.priceDistribution.setOption(option)
    },
    
    updatePriceTrendChart(data) {
      const teaTypes = data.map(item => item.teaType)
      const priceTrends = data.map(item => item.priceTrend || 0)
      
      const option = {
        title: {
          text: '茶叶类型价格趋势',
          left: 'center'
        },
        tooltip: {
          trigger: 'axis'
        },
        xAxis: {
          type: 'category',
          data: teaTypes,
          axisLabel: {
            rotate: 45
          }
        },
        yAxis: {
          type: 'value',
          name: '价格趋势（%）'
        },
        series: [{
          name: '价格趋势',
          type: 'line',
          data: priceTrends,
          itemStyle: {
            color: function(params) {
              return params.value >= 0 ? '#67C23A' : '#F56C6C'
            }
          }
        }]
      }
      
      this.charts.priceTrend.setOption(option)
    },
    
    handleSizeChange(val) {
      this.pageSize = val
      this.fetchData()
    },
    
    handleCurrentChange(val) {
      this.currentPage = val
      this.fetchData()
    }
  }
}
</script>

<style scoped>
.price-analysis-container {
  padding: 20px;
}

.charts-container {
  display: flex;
  gap: 20px;
  margin-bottom: 20px;
}

.chart-card {
  flex: 1;
}

.chart {
  height: 400px;
}

.trend-up {
  color: #67C23A;
}

.trend-down {
  color: #F56C6C;
}
</style>

3.5 数据迁移

使用Sqoop将Hive分析结果导出到MySQL：

#!/bin/bash

# Sqoop导出脚本 - 价格分析表
sqoop export \
  --connect jdbc:mysql://localhost:3306/yunnan_tea_analysis \
  --username root \
  --password 123456 \
  --table ads_price_analysis \
  --export-dir /user/hive/warehouse/yunnan_tea_analysis.db/ads_price_analysis/dt=* \
  --input-fields-terminated-by '\001' \
  --input-null-string '\\N' \
  --input-null-non-string '\\N' \
  --m 1

# Sqoop导出脚本 - 茶叶类型分析表
sqoop export \
  --connect jdbc:mysql://localhost:3306/yunnan_tea_analysis \
  --username root \
  --password 123456 \
  --table ads_tea_type_analysis \
  --export-dir /user/hive/warehouse/yunnan_tea_analysis.db/ads_tea_type_analysis/dt=* \
  --input-fields-terminated-by '\001' \
  --input-null-string '\\N' \
  --input-null-non-string '\\N' \
  --m 1

四、系统部署

4.1 环境准备

硬件要求：

服务器：8核16G内存，1T硬盘
客户端：4核8G内存，256G硬盘

软件环境：

JDK 1.8
Hadoop 3.3.0
Hive 3.1.2
MySQL 8.0
Sqoop 1.4.7
Node.js 14.x
Maven 3.6.x

4.2 部署步骤

4.2.1 数据清洗部署

# 编译MapReduce项目
cd mapreduce
mvn clean package -DskipTests

# 上传原始数据到HDFS
hdfs dfs -mkdir -p /input/tea_data
hdfs dfs -put ../data/yunnan_tea_data.csv /input/tea_data/

# 执行MapReduce任务
hadoop jar target/mapreduce-1.0-SNAPSHOT.jar com.uniqlo.cleaner.TeaDataDriver \
    /input/tea_data /yunnan_tea_output

4.2.2 数据仓库部署

# 执行Hive建表脚本
hive -f scripts/hive_sql/01_hive_create_tables_tea.sql

# 执行Hive ETL脚本
hive -f scripts/hive_sql/02_hive_etl_tea.sql

4.2.3 后端服务部署

# 编译后端项目
cd backend
mvn clean package -DskipTests

# 启动后端服务
java -jar target/backend-1.0-SNAPSHOT.jar --spring.profiles.active=prod

4.2.4 前端应用部署

# 安装依赖
cd frontend
npm install

# 构建生产版本
npm run build

# 部署到Nginx
cp -r dist/* /usr/share/nginx/html/

4.3 系统验证

# 检查后端服务
curl http://localhost:8080/api/tea/health

# 检查前端服务
curl http://localhost:8082/

# 访问前端应用
浏览器打开：http://localhost:8082

五、功能展示

5.1 仪表盘

展示关键指标：产量、销量、销售额、平均价格，以及销售趋势图、Top10茶叶类型销售、价格分布等。

5.2 销售趋势分析

展示月度销售产量、销量和销售额变化趋势，支持同比和环比分析。

5.3 茶叶类型分析

展示各茶叶类型产量、销量和销售额占比，提供Top10茶叶类型销售排行榜。

5.4 产地分析

展示各产地茶叶产量、销量和销售额分布，提供地图可视化展示。

5.5 等级分析

展示各等级茶叶价格和销量分布，提供等级间对比分析。

5.6 价格分析

展示不同茶叶类型、产地、等级的价格分布，提供最高价格与最低价格对比。

5.7 成交途径分析

展示各成交途径销量和销售额占比，提供线上线下销售对比。

六、项目总结

6.1 技术亮点

完整的数仓分层设计：采用ODS、DWD、DWS、ADS四层架构，数据流转清晰
高效的数据清洗：使用MapReduce实现分布式数据清洗，处理大数据量
灵活的数据分析：基于Hive SQL实现多维度数据分析
友好的可视化界面：使用ECharts实现丰富的数据可视化效果
良好的扩展性：模块化设计，易于扩展新功能

6.2 业务价值

提高数据处理效率：自动化数据处理流程，降低人工分析成本
提供多维度数据分析：从多个角度挖掘数据价值
支持实时决策：快速响应市场变化
提升企业数据化运营能力：增强市场竞争力

6.3 未来规划

实时数据处理：引入Flink实现实时数据处理
机器学习预测：增加销量预测、价格预测等模型
移动端适配：开发移动端应用，方便随时随地查看数据
数据安全：加强数据加密和权限管理

七、参考资料

Hadoop官方文档：https://hadoop.apache.org/docs/
Hive官方文档：https://hive.apache.org/docs/
Spring Boot官方文档：https://spring.io/projects/spring-boot
Vue.js官方文档：https://vuejs.org/
ECharts官方文档：https://echarts.apache.org/

八、项目地址

作者：大数据技术爱好者
日期：2026年1月31日
版权声明：本文为原创文章，转载请注明出处

https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

【无标题】

一开始觉得这样很偷懒，后来发现其实比手写还累。你得把需求描述得足够精确AI才能给对的东西，这个过程其实在逼你提升技术表达能力和代码审查能力。还有就是经常发现AI写的代码有隐藏bug，不仔细看根本看不出来。我会先在脑子里把功能逻辑想清楚，这步不能跳。然后用大白话描述给AI，尽量把边界条件和异常处理也说清楚。它生成之后我一行行读，看到不对的就标出来让它改，改完我再读，来回到我满意为止。大家用AI写代码

AI编程社区

diansai-report-writer

AI助力电赛报告写作：开源工具diansai-report-writer问世针对全国大学生电子设计竞赛中设计报告写作的痛点，开发者推出开源AI工具diansai-report-writer。该工具作为AI Skill文件，通过对话交互方式，按竞赛评分标准分8步生成完整报告框架，涵盖方案论证、理论计算、测试分析等核心内容，并内置10项防扣分检查机制。支持Claude Code/Codex CLI等