第2章 Hadoop分布式文件系统HDFS

技能目标

➤ 理解HDFS的体系架构

➤ 掌握HDFS的访问方式

➤ 掌握HDFS文件的读写流程

➤ 了解Hadoop序列化机制

本章任务

任务1　了解HDFS

任务2　使用HDFS处理移动通信数据文件

任务3　了解HDFS运行原理

任务4　实现移动通信数据的行文件方式存储

Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）是Apache 顶级项目Hadoop的一个核心构成，由于HDFS可以部署在普通硬件设备上，因此大多数企业都选择HDFS作为大数据业务的存储系统。本章主要讲解HDFS的体系架构、通过shell操作命令管理数据、HDFS的运行原理、序列化机制、常用文件格式等。