All posts in 2004笔记

简历 结构 根据招聘网站的模板 BOSS 智联 拉钩 个人信息 工作经历 公司名称 0000-00 . . . Read more

流式计算框架 storm 概述 storm是一个独立的流式计算框架，集群采取主从架构 特点 stor . . . Read more

Kafka 一、概述 是什么？ 2018之前 Kafka定位为 Messaging System(消 . . . Read more

Hive The Apache Hive ™ data warehouse software fac . . . Read more

Spark 一、Spark概述 定位： 快如闪电的统一分析引擎 全家桶分布式计算框架 框架组成： S . . . Read more

MapReduce 自定义OutputFormat 自定义类继承FileOutPutFormat实现 . . . Read more

MapReduce 分区 MR程序输出文件的个数由Reduce的数量决定 Reduce的数量由程序员 . . . Read more

MapReduce 切片 切片概念 按照某个大小对HDFS上的文件在逻辑上切分成多个部分， 每个部分 . . . Read more

MapReduce window运行环境 winutils.exe 找一个非中文的不带空格的路径 例 . . . Read more

Mapper MR编程入门 一个基本的MR程序 需要三个类 Mapper 每次读取一个kv对，进行处 . . . Read more