Hadoop 教程

Hadoop 教程：大数据入门指南

欢迎来到这个 Hadoop 教程！Hadoop 是 Apache 基金会的一个开源框架，用于分布式存储和处理海量数据（Big Data）。它特别适合处理非结构化或半结构化数据，帮助解决传统系统在处理 TB 级数据时的瓶颈，如存储成本高、处理速度慢等问题。如果你是大纲新手，这个教程将从基础概念入手，逐步介绍架构、安装和实际操作。教程基于 2025 年的最新实践，结合可靠资源（如 Apache 官方文档和教程网站）。

1. 什么是 Hadoop？为什么需要它？

Hadoop 源于 Doug Cutting 和 Mike Cafarella 的项目，最初用于搜索引擎 Nutch 的扩展。它以一个黄色玩具大象命名（Hadoop 是其儿子的玩具名）。Hadoop 的核心优势在于：

• 分布式处理：数据分布在廉价的商用服务器集群上，实现并行计算。
• 容错性：数据自动复制（默认 3 份），硬件故障时自动恢复。
• 可扩展性：从单个服务器扩展到数千节点，无需修改代码。

Big Data 的挑战：传统系统（如 RDBMS）处理数据时面临 3V 问题：

• Volume（体积）：数据量巨大（如社交媒体每天生成 PB 级数据）。
• Velocity（速度）：数据生成和处理实时性要求高。
• Variety（多样性）：数据格式多样（文本、图像、视频）。

Hadoop 通过 HDFS（分布式文件系统）和 MapReduce（并行处理模型）解决这些问题。例如，社交媒体平台使用 Hadoop 处理用户行为数据。

2. Hadoop 架构概述

Hadoop 生态系统包括核心组件和扩展工具。核心部分是：

• HDFS (Hadoop Distributed File System)：存储层。将大文件拆分成 128MB 块，分布存储在集群节点上。包括：
• NameNode（主节点）：管理元数据（如文件目录、块位置）。
• DataNode（从节点）：实际存储数据块。
• MapReduce：处理层。编程模型，用于并行计算：
• Map 阶段：输入数据拆分成键值对，进行初步处理（如词频统计）。
• Reduce 阶段：聚合 Map 结果，输出最终结果。
• YARN (Yet Another Resource Negotiator)：资源管理层。从 Hadoop 2.x 引入，负责调度任务和资源分配。包括：
• ResourceManager：全局资源管理。
• NodeManager：节点级资源管理。
• Hadoop Common：共享库，提供认证、配置等工具。

架构示意图（简化）：

• 客户端 → NameNode（元数据查询） → DataNode（数据读写）。
• 处理时：YARN 分配资源 → MapReduce 执行任务。

Hadoop 生态扩展包括 Hive（SQL-like 查询）、Pig（脚本语言）、HBase（NoSQL 数据库）等。

3. Hadoop 安装和环境准备

前提：Java 8+（Hadoop 依赖 Java），Linux/Unix 系统（推荐 Ubuntu）。Windows 可行但不推荐生产环境。

步骤（单机伪分布式模式，适合初学者）：

1. 下载 Hadoop：

• 访问 Apache 官网（https://hadoop.apache.org/releases.html），下载最新稳定版（如 3.3.x）。
• 解压：tar -xzvf hadoop-3.3.x.tar.gz。

1. 配置环境：

• 设置 JAVA_HOME：编辑 ~/.bashrc，添加 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64。
• 配置 Hadoop：编辑 $HADOOP_HOME/etc/hadoop/core-site.xml：
  xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
• 编辑 hdfs-site.xml（设置复制因子）：
  xml <property> <name>dfs.replication</name> <value>1</value> </property>

1. 启动服务：

• 格式化 NameNode：hdfs namenode -format。
• 启动：start-dfs.sh 和 start-yarn.sh。
• 检查：浏览器访问 http://localhost:9870（HDFS Web UI）。

常见问题：权限错误（用 sudo），端口冲突（修改 xml）。

4. HDFS 基础操作

HDFS 通过命令行操作：

• 创建目录：hdfs dfs -mkdir /user/input。
• 上传文件：hdfs dfs -put localfile.txt /user/input/。
• 查看文件：hdfs dfs -ls /user/input。
• 读取：hdfs dfs -cat /user/input/localfile.txt。
• 删除：hdfs dfs -rm /user/input/localfile.txt。

示例：上传一个文本文件，查看块分布：hdfs fsck /user/input/localfile.txt -files -blocks。

5. MapReduce 入门

MapReduce 用 Java 编写（或 Hive/Pig 简化）。示例：词频统计（WordCount）。

编写 Mapper（Map 阶段）：

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final IntWritable one = new IntWritable(1);
    private Text word = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] words = value.toString().split("\\s+");
        for (String w : words) {
            word.set(w);
            context.write(word, one);
        }
    }
}

编写 Reducer（Reduce 阶段）：

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    private IntWritable result = new IntWritable();

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

运行：

• 编译成 JAR：jar cf wc.jar *.class。
• 执行：hadoop jar wc.jar WordCount /user/input /user/output。
• 查看结果：hdfs dfs -cat /user/output/part-r-00000。

6. 实际应用示例

• 日志分析：用 MapReduce 处理 Web 日志，统计访问量。
• 推荐系统：结合 Mahout 库实现协同过滤。
• 集成 Hive：用 SQL 查询 HDFS 数据，如 SELECT word, COUNT(*) FROM table GROUP BY word;。

7. 最佳实践与注意事项

• 集群模式：多机安装需配置 SSH 无密码登录和 hosts 文件。
• 性能优化：调整块大小、增加节点、用 Tez 替换 MapReduce。
• 安全：启用 Kerberos 认证。
• 学习路径：先掌握 HDFS 和 MapReduce，再学生态工具。练习项目：处理 Kaggle 数据集。
• 常见错误：NameNode 内存不足（增加 heap size）、端口未开（防火墙）。

8. 进一步资源

• 官方文档：https://hadoop.apache.org/docs/stable/ （权威起点）。
• 在线教程：
• Edureka 的 Hadoop 教程：详细介绍 Big Data 问题和解决方案。
• DataFlair 的完整 Hadoop 系列：从基础到高级，包含 520+ 免费教程。
• TutorialsPoint 的简明指南：适合快速上手 MapReduce 和 HDFS。
• Simplilearn 的视频教程：YouTube 播放列表，视觉化学习。
• 书籍：《Hadoop: The Definitive Guide》by Tom White。
• 实践平台：Cloudera QuickStart VM 或 AWS EMR（免费试用）。

这个教程覆盖了 Hadoop 的核心，如果你有具体问题（如安装故障或代码调试），提供细节，我可以进一步帮助！开始动手吧，大数据之旅从这里启航。