AmosCloud

Library

Have a Question?

If you have any question you can ask below or enter what you are looking for!

企业级大数据平台

hadoop平台介绍

Apache(实验室级别)

  • Apache开源基金会

  • 优势:
    开源、免费、迭代快

  • 缺点:
    功能不完善(不够个性化)
    没有专业人员维护和管理
    没有成熟的商业化解决方案

CDH(商用级别)

根据apache版本做了一些改动(将来开发时使用的是cloudera提供的maven依赖),
提供了良好的兼容性(解决了开源版本中各个组件不版本不兼容的情况)和
全面的管理功能(机器的管理,组件的管理,任务的管理)
cdh平台使用cloudera manager进行管理
cloudera manager是cloudera开发的一套web系统

居然提供了官方汉化版

  • c Cloudera

HDP(商用级别)

根据apache版本做了几乎没有的改动(将来开发时使用的是apache的maven依赖),
提供了良好的兼容性(解决了开源版本中各个组件不版本不兼容的情况)和全面的功能(机器的管理,组件的管理,任务的管理)
hdp平台使用apache 的 Ambari进行管理
Ambari是apache开源的一套web系统
Ambari只有英文版本

  • h Hortonworks
  • d distribution
  • p platform

FusionInsight HD(商用级别)

  • 华为

CDH的安装、配置

1.版本选择

由于cdh的版本直接规定了其中包含的所有大数据组件的版本,
所以安装时直接根据需要选择cdh的版本

目前服役的两个大版本

1.1 cdh5

1.2 cdh6

1.3 安装过程

参考:
http://www.amoscloud.com/?p=1175

  • 安装方式

    1. 在线安装
      将服务器连上外网,直接一边下载安装包一边进行安装
      优点:安装过程简单,获取的版本较新
      缺点:在国内不现实

    2. 离线安装
      提前下载安装包,做完整性校验,在本地搭建yum源,使用本地镜像安装
      优点:安装速度快,可靠可靠可靠
      缺点:麻烦