做这一行的人大多有个感受学大数据绕不开 Hadoop面试问大数据也绕不开 Hadoop。这篇稿子是《跟韩工学 Hadoop 系列》的第 002 篇属于简介部分的翻译整理版。内容不是我临时拍脑袋写的而是把韩工多年带项目的笔记、讲课时候的原话、以及实际踩坑记录做了汇总更适合新手先把 Hadoop 的骨架搭起来。这个系列适合谁看打算入行大数据、备战面试、做课程设计、或者刚接手集群被各种组件搞晕的人。看完这一篇你至少能回答清楚三件事Hadoop 到底解决什么问题、它由哪些核心部件组成、以及我该从哪个版本和环境开始动手。1. 为什么学 Hadoop先搞清楚它解决什么问题1.1 先想想“大数据”背后的三个痛点很多人一上来就装 Hadoop装了之后又觉得它只不过是个能存能算的文件系统没什么特别。问题出在起点你没搞明白它为什么被设计出来所以你装完之后不知道往哪个方向用。我习惯把大数据场景下的问题压缩成三个痛点第一是存不下单台服务器硬盘再大也有上限而且数据增长速度远大于硬盘扩容速度第二是算不动数据存下来了但单机 CPU 和内存根本没法在合理时间内完成统计第三是“坏不起”机器越多故障越频繁这在物理上无法避免如果一台机器坏了整个系统就瘫痪这个系统没法用。Hadoop 对这三个痛点的回答分别是HDFS 把数据切成块分散到多台机器上逻辑上是一块大硬盘物理上每台机器只承担一小部分MapReduce 把计算任务分给多台机器并行跑再把结果合并回来数据块默认有多个副本某台机器坏了系统自动从其他副本恢复不影响业务。这才是 Hadoop 的底层逻辑——分布式存储、分布式计算、自动容错。1.2 Hadoop 不是一台机器而是一套“全家桶”很多新手把 Hadoop 理解成“一个大软件”这个比喻是错的。Hadoop 更像一个家庭HDFS 负责仓储MapReduce 负责加工车间YARN 负责调度和管理车间里的工人和原料。再加上后续不断加入的各种家庭成员比如 Hive、HBase、Spark这已经是一套庞大的生态。所以学 Hadoop 的时候我建议你在心里把它分成“底子”和“上层应用”。底子就是 HDFS、MapReduce、YARN这三个是 Hadoop 的根任何发行版都包含。上层是后来长出来的各种工具有的为了让你少写 Java有的为了让你能实时查询有的为了你做数据仓库更方便。先打底子再谈上层学习路径会清晰很多。提示面试时如果被问到“Hadoop 是什么”别只背教科书定义。先说它解决什么问题再拆成哪几块每块干什么最后补一句它是怎么实现容错和并行计算的。这种回答方式才像干过活的人而不是背笔记。2. Hadoop 核心组件与架构拆解2.1 HDFS存储层的“分布式文件系统”HDFS 全称 Hadoop Distributed File System说人话就是一台“逻辑上的超大硬盘”。它把文件切分成固定大小的块默认块大小在 Hadoop 2.x 以后是 128MB然后分散存储在集群的不同节点上。HDFS 的架构是主从模式一个 NameNode 加多个 DataNode。NameNode 管元数据你可以把它理解成一本字典记录着“哪个文件被切成哪些块、这些块在哪台机器上”。DataNode 就是真正存数据的工人负责读写数据块并定期向 NameNode 汇报状态。要特别注意几件事NameNode 是单点它挂了整个 HDFS 就不可用了这是 Hadoop 1.x 时代很痛的问题后来用 HAHigh Availability架构配合 Zookeeper 解决数据块的副本数默认是 3但这不是死规定如果你只是做课程设计、压根没有三台机器做真正意义的冗余完全可以改成 2 甚至 1NameNode 元数据需要持久化靠的是 FsImage 和 EditLog 两个文件生产上如果配置不当重启元数据丢失非常酸爽。2.2 MapReduce计算层的“分而治之”MapReduce 是 Hadoop 的计算引擎核心思想就四个字分而治之。Map 阶段把任务拆成多个小任务让它们在不同节点上独立执行Reduce 阶段把 Map 的结果汇总、排序、合并最终输出最终结果。比如你有一堆日志文件想统计每个关键词出现了多少次。Map 阶段会把每行文本拆成单词输出“单词, 1”这样的键值对Reduce 阶段把所有相同单词的计数加起来输出“单词, 总次数”。这个模型在设计上非常简单但正因为简单所以它能应对各种非结构化数据任务也容易做到并行。不过我得提醒你在实际业务里直接写 MapReduce 的 Java 代码非常痛苦。一次简单统计代码量动辄一两百行调试还麻烦。所以后来出现了 Hive把 SQL 翻译成 MapReduce 任务再后来 Spark 出现之后很多场景直接用 Spark 取代了原生 MapReduce 计算。但这不代表 MapReduce 不用学因为 MapReduce 是理解分布式计算最佳入口很多公司的老旧任务还在跑面试也爱问它的 shuffle 过程。2.3 YARN资源调度层的“管家”YARN 是 Hadoop 2.x 才引入的资源管理器它的作用是把集群的 CPU、内存统一管理起来然后按需分配给跑在上面的任务。没有 YARN 之前资源是被人为分块的没用上的资源闲着用上的资源还可能互相抢YARN 把资源做成统一池子谁要用就申请用完就释放。它的架构也是一个主从模式ResourceManager 管全局NodeManager 管每台机器上的资源。每个任务会有一个 ApplicationMaster负责和 ResourceManager 协商资源、监督任务执行。YARN 最聪明的一点是它把自己设计成了“通用的操作系统”不光是 MapReduceSpark、Flink 都能跑在 YARN 上。所以在生产环境里你经常会看到一套 Hadoop 集群上同时跑着好几种计算引擎靠的就是 YARN。从运维角度讲YARN 调度器有三种实现FIFO、Capacity、Fair。我见过的中小企业大多用 Capacity 调度器把生产队列和测试队列隔开避免测试任务把生产资源吃干净。如果你们公司追求多租户公平使用Fair 调度器更合适。这块内容在你做集群搭建和调优时一定会碰到。3. Hadoop 生态圈与主流版本选型3.1 生态圈里常用组件一句话认清Hadoop 生态圈很像一个小区有了底层的存储和计算HDFS、MapReduce、YARN就会有人在这个基础上盖各种楼。你不需要一开始全部掌握但至少要知道每栋楼是干嘛的这样看招聘 JD 和做技术选型时才不慌。组件作用一句话理解Hive数据仓库把 SQL 翻译成 MapReduce/Tez/Spark 任务你会写 SQL 就会做离线统计HBaseNoSQL 数据库在 HDFS 之上提供随机读写能力适合海量数据的实时查询Zookeeper分布式协调服务管节点状态、做分布式锁、给 HA 提供选主能力Spark内存计算引擎比 MapReduce 快很多适合迭代计算、机器学习特征处理Flink流式计算引擎毫秒级实时处理适合实时报警、实时大屏DistCp数据拷贝工具Hadoop 自带的集群内/跨集群大规模数据复制工具Sqoop数据迁移工具在关系型数据库和 HDFS 之间互导数据很多人在网上搜“Hadoop 和 Zookeeper 怎么整合”其实就是把 Zookeeper 部署好之后修改 HDFS 和 YARN 的高可用配置让主节点自动切换。课程设计和真实生产环境里都很常见后面我专门写一篇实操。还有一点值得提醒HBase 虽然跑在 HDFS 上但它有自己的 RegionServer 进程有自己的架构逻辑。你不能把它理解成“HDFS 上加了索引”它和 HDFS 的配合关系比这复杂得多。如果只是为了做一次性离线分析而引入 HBase大概率是杀鸡用牛刀。3.2 版本选型社区版还是发行版选 Apache 还是 CDH新手问得最多的一个问题“我该装哪个版本”这问题看似简单选错了后面全是坑。如果只是为了学习我建议选 Apache 社区版版本号选 Hadoop 3.3.x 或 3.4.x原因很简单文档全、踩坑贴多、兼容生态周全随便搜一个问题都有答案。不要去装 1.x太老很多新特性都没有学习价值低也不建议一上来就搞 2.7虽然十年前它是神但你要跟新工具做整合时各种 JAR 包冲突能让你崩溃。如果是公司生产环境一般不会直接裸用 Apache 社区版更多是买商业发行版或自建发行版。Cloudera 的 CDP、Hortonworks 的 HDP、以及国内云厂商的 EMR都是把 Hadoop 生态里一堆组件做兼容性测试再打包发布配上管理界面和运维脚本。虽然商业版有授权费用但它省下来的运维成本通常远大于授权费。还有一个思路值得考虑用 Docker 镜像跑 Hadoop。本地没那么多机器想快速起一个三节点集群做 demo拉一个 Hadoop 镜像配合 docker-compose十几分钟就能搞定。热词里搜“hadoop 的 docker 镜像”的人很多说明这个需求非常普遍。但注意Docker 里的 Hadoop 适合学习、测试和给客户做演示不敢说适合长期跑生产。4. 小白上手 Hadoop环境搭建与常见玩法4.1 伪分布式与集群模式怎么选Hadoop 有两种典型部署方式伪分布式Pseudo-Distributed和完全分布式Cluster Mode。伪分布式其实就是在一台 Linux 机器上让 HDFS 的 NameNode、DataNodeYARN 的 ResourceManager、NodeManager 都作为一个独立的 Java 进程跑在同一台机器上。它和你未来要维护的集群在配置层面非常接近但物理上只有一台机器。我特别建议新手先从伪分布式开始原因是排查问题成本低。你改配置、重启进程全部在一台机器上完成如果是集群配置同步、节点间网络、权限问题会叠加在一起出了问题你根本分不清是哪一环。等你把伪分布式跑顺了再处理这几件事准备三台或更多虚拟机配好 SSH 免密登录把 core-site.xml、hdfs-site.xml、yarn-site.xml 改成真正的主从结构启动顺序从先格式化 NameNode 开始然后逐步启动 HDFS 和 YARN。做过一遍集群模式你对“分布式”的理解会上一个台阶。提示不要在一开始就把目标和热度捆绑起来。搜“Hadoop 分布式集群搭建”的视频一大堆但我见过太多人照着敲一遍配置全对却还是起不来最后发现是/etc/hosts 里机器名映射写错。基础网络问题和 JDK 版本问题占了新手失败原因的七八成。4.2 安装配置的注意点和常见问题清单我把安装过程里的高频坑整理成一张自查表你照着一条条检查大概率能少熬几个通宵。检查项说明常见坑JDK 版本必须和 Hadoop 版本兼容通常装 Hadoop 3.x 配 JDK 8 或 JDK 11直接装 JDK 17部分组件会报不兼容SSH 免密集群节点间必须免密登录没配置 ssh-copy-id启动时反复要密码core-site.xml最核心的是 fs.defaultFS写成了 localhost导致跨节点访问失败hdfs-site.xml指定 NameNode 和 DataNode 数据目录用默认目录格式化后数据残留重启报错环境变量HADOOP_HOME、PATH 必须配置正确配了但没 source命令找不到防火墙节点间的端口必须放行默认防火墙拦掉 DFS 心跳和 RPC 通信NameNode 格式化只在第一次初始化时执行反复执行元数据丢失引发连锁问题再说一个我亲测很稳的学习路线先在 VM 虚拟机里装 CentOS 或 Ubuntu把 Hadoop 的 tar 包解压、改配置、启动、执行一个 wordcount 测试跑通之后再用 Docker 镜像快速搭建一个多节点集群练手最后如果时间和精力够再用三台云主机或者本地虚拟机搭一个完全分布式集群顺便把 Zookeeper 也装上去体验一下 HA 切换。这个过程下来你对“分布式”的理解绝对超过大多数培训班学员。4.3 DistCp一个必须会的底层工具很多人做数据迁移时第一反应是 scp 或者 rsync但在 Hadoop 集群之间复制海量数据这些工具并不可靠也不适合。Hadoop 自带的 DistCpDistributed Copy是更专业的选项。DistCp 的原理是基于 MapReduce 做分布式拷贝它会把复制任务拆分成多个 Map 任务并行执行所以几十 TB 的数据复制速度明显比单机 scp 快得多。基础用法是hadoop distcp hdfs://源集群:8020/data hdfs://目标集群:8020/data常用参数我整理一下-m指定并行的 Map 数-overwrite覆盖目标路径已存在的文件-update只同步那些源端有变化或新增的文件-delete删除目标端多余文件保持两目录完全一致。这组参数是面试常客也是实际运维必须掌握的。有一点要特别注意跨集群执行 DistCp 时最好在目标集群的一台机器上执行命令不要隔着一层跳板机操作否则可能的“当前用户身份不一致”或认证问题会让你排查到头秃。5. 面试高频点、课程设计与实战建议5.1 面试题高频点别再背概念要有逻辑从搜索结果来看“Hadoop 面试题”是搜索热词说明大家在面试前最需要的是“问什么、怎么答”。我总结几个面试官真正会考的方向并给出答题思路第一个是“HDFS 读写流程”。不要只背“Client 联系 NameNodeNameNode 返回 DataNode 列表”这种骨架要能说出细节写文件时按块写入写完一个块后由第一个 DataNode 流水线式复制给第二个、第三个读文件时是就近读取如果本机存有副本就直接本机读否则按网络距离选择 DataNode。第二个是“MapReduce 的 Shuffle 过程”。这是面试重灾区。你要能在黑板上画出Map 输出后先写入环形缓冲区达到阈值就溢写到本地磁盘分区、排序、合并然后 Reduce 端拉取属于自己分区的数据再归并排序最后才进 Reduce 函数。第三个是“NameNode 宕机了怎么办”。先回答单点问题再引出 HA 架构多个 NameNode 通过 Zookeeper 选主Active 节点挂了Standby 节点自动接管虚拟 IP 平滑切换。如果还知道 edit log 需要多个 JournalNode 共享基本可以拿高分。第四个是“为什么 Hadoop 1.x 慢2.x 有哪些改进”。这时候你要提到 YARN 的出现把资源调度和计算框架解耦。再说 3.x 里支持了 Erasure Coding、多个 NameNode 等新特性就会显得你有持续跟进。5.2 课程设计场景从零做一个拿得出手的项目“Hadoop 课程设计”和“基于 Hadoop 的……”这类热搜词说明很多人要交课程作业但不知道怎么定题。以我的经验课程设计切忌选太空泛的题目比如“基于 Hadoop 的电商数据分析平台”这种听起来高大上实际上你很难做深。我给你一套更容易落地的题目组合数据选公开数据集比如某电商平台的用户行为日志、某城市的出租车轨迹数据、某网站的访问日志。清洗和统计用 Hive 或 Spark SQL把结果写入 MySQL再套一个简单的可视化页面。如果要拿高分额外加一个用 MapReduce 手写 WordCount 或倒排索引的环节让老师看到你确实掌握了底层原理。这里有个很关键的加分点别只展示“我跑通了”。你要在报告里写清楚你遇到了什么问题、怎么排查的、最后的结论是什么。比如“集群节点时钟不同步导致任务失败改用 NTP 同步解决”这种真实排障经历比你列十个功能点更有说服力。5.3 一条从入门到实战的学习路线最后给出一条我认为经过验证的学习路线。第一阶段只看不做花两天时间搞清楚 Hadoop 是什么、能解决什么问题、核心组件有哪些也就是本文的内容。第二阶段动手安装伪分布式跑通 WordCount看懂日志理解进程关系大概需要三到五天。第三阶段搭建三节点完全分布式集群启用 Zookeeper HA体验主节点自动切换并把 Hive 装上去实现 SQL 查询 HDFS 数据大概一到两周。第四阶段做一个小项目离线统计某份真实数据集用 Hive 做 ETL把结果导出到 MySQL并用可视化库展示。有条件的话再对比 Spark 和 MapReduce 跑同一份数据的耗时差异。这个阶段大概需要两到三周做完之后你再去投大数据岗位至少简历上能写“独立搭建 Hadoop HA 集群并完成离线分析项目”。我个人在实际操作中最深刻的体会是Hadoop 这套东西入门门槛不在于难而在于信息太杂。网上教程阶段混乱有的教你装 2.x有的直接上 CDH有的让你用 Docker新手很容易迷失。所以别贪多先把无产出的概念和版本问题放到一边用一份固定版本、一套固定部署方式跑透之后再逐步扩展生态组件。你如果决定跟着这个系列走我后续会把伪分布式搭建、HA 高可用整合 Zookeeper、DistCp 数据迁移、Hive 部署这些压箱底的东西一篇一篇补完。先把这篇简介消化掉装好环境跑通第一个 WordCount我们再继续。