All posts in 2004笔记

流式计算框架 storm 概述 storm是一个独立的流式计算框架，集群采取主从架构 特点 stor . . . Read more

Kafka 一、概述 是什么？ 2018之前 Kafka定位为 Messaging System(消 . . . Read more

Hive The Apache Hive ™ data warehouse software fac . . . Read more

Spark 一、Spark概述 定位： 快如闪电的统一分析引擎 全家桶分布式计算框架 框架组成： S . . . Read more

MapReduce 自定义OutputFormat 自定义类继承FileOutPutFormat实现 . . . Read more

MapReduce 分区 MR程序输出文件的个数由Reduce的数量决定 Reduce的数量由程序员 . . . Read more

MapReduce 切片 切片概念 按照某个大小对HDFS上的文件在逻辑上切分成多个部分， 每个部分 . . . Read more

MapReduce window运行环境 winutils.exe 找一个非中文的不带空格的路径 例 . . . Read more

Mapper MR编程入门 一个基本的MR程序 需要三个类 Mapper 每次读取一个kv对，进行处 . . . Read more

Flume 数据采集 服务 service 一个独立完整的软件，启动后一般监听固定的服务器端口，等待 . . . Read more