当前位置: 首页 / 技术干货 / 正文
好程序员大数据培训分享之Ambari和ClouderaManager对比

2020-05-26

大数据培训 好程序员 大数据

  好程序员大数据培训分享之Ambari和ClouderaManager对比,1 、什么是CDH,Ambari?

好程序员

  Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

  Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。

CDH简介 

  • Cloudera's Distribution, including Apache Hadoop
  • 是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建
  • 提供了Hadoop的核心
    – 可扩展存储
    – 分布式计算
  • 基于Web的用户界面

CDH的优点  

  • 版本划分清晰
  • 版本更新速度快
  • 支持Kerberos安全认证
  • 文档清晰
  • 支持多种安装方式(Cloudera Manager方式

2 、为什么需要他们

  • 1000台服务器的集群,最少要花费多长时间来搭建好Hadoop集群,包括Hive、Hbase、Flume、Kafka、Spark等等
  • 只给你一天时间,完成以上工作?
  • 对于以上集群进行hadoop版本升级,你会选择什么升级方案,最少要花费多长时间?

  • 新版本的Hadoop,与Hive、Hbase、Flume、Kafka、Spark等等兼容?

大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)

   手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题。

   工具部署呢,比如Ambari或Cloudera Manger。(当前两大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具来,可以说是一键操作,难点都在工具Ambari或Cloudera Manger本身部署上。

手工方式和工具方式比较:

比较点

手工方式

工具方式

难易度

难,几乎不可能成功

简单,易行

兼容性

自己解决组件兼容性问题

自动安装兼容组件

组件支持数

支持全部组件

支持常用组件

优点

对组件和集群管理深刻

简单、容易、可行

缺点

太复杂,不容易成功

屏蔽太多细节,妨碍对组件理解

 

工具比较:

工具比较

详细对比情况如下:

出版商:

hortonworks研发了Ambari和hdp的大数据分析集成平台
cloudera研发了cloudera manger和cdh大数据分析集成平台
稳定性:

cloudera相对来说比较稳定
ambari相对来说不稳定(页面打开速度慢)
资源消耗:

cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor总共大概1G
ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G
集群重启:

cloudera支持滚动重启(hdfs需要设计成ha,才能滚动重启)
ambari支持滚动重启(hdfs需要设计成ha,才能滚动重启)
集群升级(一般来讲不要轻易升级集群):

cloudera不支持滚动升级服务
ambari支持滚动升级服务(这个是ambari的优点,hdfs必须是ha)
二次开发:

cloudera不支持
ambari支持
服务版本:

cloudera较老
ambari较新
服务集成性:

cloudera较弱
ambari较强,支持es、redis、presto、kylin等
体验效果:

cloudera好
ambari相对差
安装过程:

cloudera复杂
ambari简单
邮件报警:

cloudera支持不好
ambari支持很好
安装包:

cloudera是parcel包
ambari是rpm包

 

好程序员公众号

  • · 剖析行业发展趋势
  • · 汇聚企业项目源码

好程序员开班动态

More+
  • HTML5大前端 <高端班>

    开班时间:2021-04-12(深圳)

    开班盛况

    开班时间:2021-05-17(北京)

    开班盛况
  • 大数据+人工智能 <高端班>

    开班时间:2021-03-22(杭州)

    开班盛况

    开班时间:2021-04-26(北京)

    开班盛况
  • JavaEE分布式开发 <高端班>

    开班时间:2021-05-10(北京)

    开班盛况

    开班时间:2021-02-22(北京)

    开班盛况
  • Python人工智能+数据分析 <高端班>

    开班时间:2021-07-12(北京)

    预约报名

    开班时间:2020-09-21(上海)

    开班盛况
  • 云计算开发 <高端班>

    开班时间:2021-07-12(北京)

    预约报名

    开班时间:2019-07-22(北京)

    开班盛况
IT培训IT培训
在线咨询
IT培训IT培训
试听
IT培训IT培训
入学教程
IT培训IT培训
立即报名
IT培训

Copyright 2011-2023 北京千锋互联科技有限公司 .All Right 京ICP备12003911号-5 京公网安备 11010802035720号