hadoop 学习记录

[TOC]

介绍hadoop相关的内容

• avro: 一种高效,跨语言的RPC及永久存储数据的序列化系统
• MapReduce:分布式数据处理模型和执行环境
• HDFS:分布式文件系统
• Pig:一种数据流语言和运行环境,用以检索非常大的数据集.Pig运行在MapReduce和HDFS的集群上;
• Hive:分布式,按列存储的数据仓库,Hive管理HDFS的存储的数据并提供基于SQL的查询语句
• HBase:分布式,按列存储的数据库,HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询;
• Zookeeper: 分布式,可用性的协调服务提供分布式锁之类的基本服务以前博文介绍了点击- ->上篇文章
• Sqoop: 在数据库和HDFS之间高效的传输数据的工具