大数据核心技术：Hadoop 全面入门指南

程序员赋能

313人浏览 · 2026-05-27 20:40:37

程序员赋能 · 2026-05-27 20:40:37 发布

大数据核心技术：Hadoop 全面入门指南

一、什么是 Hadoop？

Hadoop 是 Apache 基金会旗下的一个开源分布式计算框架，专为海量数据的存储与处理而设计。它的核心思想是：将大问题拆分成小问题，分发到多台机器上并行处理，从而突破单机的性能瓶颈。

Hadoop 的名字来源于创始人 Doug Cutting 的儿子给一只玩具大象起的名字，这也是为什么 Hadoop 的 Logo 是一头黄色小象。

二、Hadoop 核心组件

1. HDFS（分布式文件系统）

HDFS（Hadoop Distributed File System）是 Hadoop 的存储基础，具有以下特点：

高容错性：数据默认保存 3 个副本，某个节点宕机不影响数据访问
- 高吞吐量：适合大文件的批量读写，不适合低延迟访问
- 主从架构：由 NameNode（管理元数据）和 DataNode（存储实际数据块）组成

Client → NameNode（查询文件位置）→ DataNode（读写数据块）

2. MapReduce（分布式计算框架）

MapReduce 是 Hadoop 的计算引擎，将计算任务分为两个阶段：

Map 阶段：对输入数据进行映射，生成键值对（Key-Value）
- Reduce 阶段：对相同 Key 的 Value 进行聚合计算
  经典示例：单词计数（WordCount）

// Map 阶段：将每个单词映射为 (word, 1)
map("Hello World") → [("Hello", 1), ("World", 1)]

// Reduce 阶段：统计每个单词出现次数
reduce("Hello", [1,1,1]) → ("Hello", 3)

3. YARN（资源管理器）

YARN（Yet Another Resource Negotiator）是 Hadoop 2.x 引入的资源调度系统，负责：

管理集群中 CPU、内存等资源
- 调度各类计算任务（MapReduce、Spark、Flink 等）
- 实现多框架共用同一套集群资源

三、Hadoop 生态圈

Hadoop 不是单一工具，而是一个庞大的生态系统：

组件	用途
Hive	基于 SQL 的数据仓库工具
HBase	分布式 NoSQL 数据库
Spark	内存计算框架，比 MapReduce 快 100 倍
Kafka	分布式消息队列
Sqoop	关系型数据库与 Hadoop 之间的数据传输
Flume	日志数据采集工具
ZooKeeper	分布式协调服务

四、Hadoop 的适用场景

✅ 适合使用 Hadoop 的场景：

海量日志分析（TB/PB 级别）
- 离线数据仓库建设
- 用户行为分析
- 推荐系统的离线训练数据处理
  ❌ 不适合使用 Hadoop 的场景：
实时查询（延迟高）
- 小文件存储（HDFS 不擅长）
- 需要频繁修改数据的场景

五、快速搭建 Hadoop 环境

环境准备

# 安装 Java（Hadoop 依赖 JDK 8+）
sudo apt install openjdk-8-jdk

# 验证 Java 版本
java -version

下载并配置 Hadoop

# 下载 Hadoop 3.x
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

# 解压
tar -xzf hadoop-3.3.6.tar.gz

# 配置环境变量
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

核心配置文件

core-site.xml（配置 HDFS 地址）

<configuration>
  <property>
      <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
            </property>
            </configuration>
            ```
**hdfs-site.xml**（配置副本数量）
```xml
<configuration>
  <property>
      <name>dfs.replication</name>
          <value>1</value>
            </property>
            </configuration>
            ```
### 启动 Hadoop

```bash
# 格式化 NameNode（首次运行）
hdfs namenode -format

# 启动 HDFS
start-dfs.sh

# 启动 YARN
start-yarn.sh

# 验证启动状态
jps
# 应显示：NameNode、DataNode、ResourceManager、NodeManager