华为云大数据MapReduce服务,让有远见的人先用起来

2018年09月10日 16:24来源于:网络
分享:
我们用四年多的时间做了一个作业。这份作业的题目就是:如何让企业真正利用大数据全栈技术,开始盈利?而不是组建一个大数据部门或买了某款大数据产品,便认为站在了最前沿

我们用四年多的时间做了一个作业。

这份作业的题目就是:如何让企业真正利用大数据全栈技术,开始盈利?

而不是——

组建一个“大数据部门”或买了某款大数据产品,便认为站在了最前沿最猛烈的风口。吹着啤酒自嗨,生怕错过了这波革命浪潮的同时,心里却默想“大数据到底怎么实操落地?”

解决这个问题的关键,在于效率。大数据本就是为了效率而生的产物。

一个有价值的项目必须是服务提供商与企业双方效率都得以提升,它才有长期盈利的可能。用这个标准来衡量当前的大数据市场——服务商虽然把产品卖出去了,赚了钱。企业却没能真正解决实际问题,后者是因为头脑一热才加入大数据浪潮的。

原先搭机房的人现在开始摆平接口问题;原先买硬件的人现在准备购买运算节点;原先突发分析任务导致的业务宕机现在依旧没改观。

云上的数据库,一定要比自行搭建的数据库提供出更好的解决方案,才有价值。而这完全依赖于底层积累以及持续构建的技术体系,硬实力决定了产品的实战可用性,重要的不是水上的冰雕(宣传)多精致,而是冰山水下(技术)的那90%支撑。许多企业在等一个技术突破,解决效率和价格的问题。

很自豪的说,华为云EI·MapReduce可以。

华为聚集国内外顶尖的大数据专家,从2002年开始研究,已具备15年的技术积累,开源贡献亚洲第一。华为大数据在电信运营商、金融、公安等市场成功应用项目1000+。MapReduce服务成功融入华为在企业市场多年的大数据成功应用经验,并结合华为云计算和存储优势,为客户提供专业的云上数据专属服务。

我们通过阅读MapReduce(以下简称MRS)帮助文档终于帮大家打听到一些干货。

MRS版本带来了如下特性:

·开源开放

MRS提供了企业级一站式大数据服务,包含了业界主流的大数据开源技术(Hadoop,Spark,Hbase,Kafka,CarbonData,Storm等)。

·弹性伸缩

MRS提供弹性伸缩能力,可以自动在业务繁忙时申请额外资源,业务不繁忙时释放闲置资源,让用户按需使用,尽可能的帮助客户降低使用成本,聚焦核心业务。

·集群缩容

MRS新支持了集群缩容功能。用户可以根据业务需要简单的缩减Core节点或者Task节点,达到缩容的目的。MRS通过后台一系列算法智能的选择当前最合适的节点进行缩容,更好的实现用户的诉求。

·TaskNode

支持创建TaskNode节点,只作为计算节点,不存放持久化的数据,是实现弹性伸缩的基础。在MRS服务只作为计算资源的场景下,使用TaskNode节点可以节省成本,并可以更加方便快捷地对集群节点进行扩缩容,满足用户对集群计算能力随时增减的需求。

·多磁盘挂载

支持创建集群时非Master节点配置多磁盘,能够将集群中相应服务(如HDFS、Kafka等)的数据目录分散到多块磁盘上去,以满足服务对磁盘读写速度和集群的存储能力的要求,从而提升集群的运行效率,给予用户更好的使用体验。

·Hbase升级到1.3.1版本

支持开源Hbase1.3.1版本,包括Region Replicas、Date based tiered compaction、Multi WAL、REST API等新特性,在离线数据的实时读取、按时间戳批量查询等场景下性能有了较大的提升,支持使用REST对Hbase进行业务操作。

·4U8G低规格集群

MRS版本新发布了低配置集群。用户在对内存、CPU资源需求较低的场景时,可以创建低配置集群,使用低配置集群能大大降低使用MRS的成本,按需付费最高节省60%,包年包月最高节省58%。

·创建集群的效率提升

MRS 版本新优化了MRS集群的创建逻辑,使整个集群创建耗时减少为原来的一半,用户体验更好。

·Maven仓库

MRS 版本支持Maven仓库,开发人员可以直接在公网上下载到MRS组件的jar包来进行二次开发,大大提高了开发人员开发项目的自动化构建能力。使用指导请参见: http://support.huaweicloud.com/devg-mrs/mrs_06_0002.html。

·SMN

MRS支持实时地主动给用户发送短信和邮件,来通知集群变更结果以及大数据平台的告警信息,如:HDFS、Hive、Yarn等服务不可用,节点故障等。让用户及时感知风险,降低损失。

·包周期集群扩容

当您购买了MRS包周期集群后,在订购的周期之内,您的业务增长超过预期时,就会出现超出包周期订单规模外的扩容诉求,MRS服务支持包周期集群扩容能力,做到了在轻松帮助您完成扩容的前提下,让您继续享受着包周期的优惠。

您只需要在您业务需要的时候,打开MRS服务页面,点两下鼠标,便可扩容出您需要的节点数。整个扩容过程无需后台人工介入,只需几分钟,即可完美解决您遇到的日益上涨的业务数据压力。

·自定义引导操作

MRS提供标准的云上弹性大数据集群,目前可安装部署包括hadoop、spark等9种大数据组件,提供包括接入、实时计算、缓存、存储、批量计算的数据全生命周期服务。MRS在和客户的交流中发现,标准的大数据集群不能满足所有客户需求,有些客户需要安装自身业务所需的软件工具或运行环境,有些用户根据自身业务对大数据组件包做了修改,有些用户需要其他MRS还未支持的大数据组件。因此,MRS提供了自定义引导操作,用户可以以此为入口灵活配置自己的集群,通过引导操作用户可以自动化地完成:

?修改操作系统运行参数

?安装gradle、maven等工具软件

?对MRS已有大数据组件软件包做修改

?安装和运行MRS还未支持的大数据组件

引导操作是指启动集群组件前(或后)在指定的节点上执行脚本。您可以通过引导操作来完成安装MRS还没支持的第三方软件,修改集群运行环境等自定义操作。如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。

10月10日-12日在上海举行的华为全联接大会上,您将有机会全面接触华为云EI·MapReduce解决方案,体验MRS带来的全兴使用感受。趁现在,最低单日票价只要150,快来点击华为官网售票页面,开启未来通道吧!


分享:
相关阅读

卡萨帝现身德国800年城堡

当地时间6月10日,800年历史的德国Arenfels城堡官方Facebook上发布2分钟城堡宣传视频,其中多次出现卡萨帝产品的镜头。Arenfels城堡位于德国风景最美的莱茵河谷,整个城堡面积

2021-06-12

行业在抢“被动智能”风口!卡萨帝:“主动服务”

都2021年了,谁家还没有个智能家电?新家电买回来,先连wifi、再接入手机APP,都已经成了标准动作。不过,你家的智能家电,真的智能吗?当智能冰箱在大屏上推送了一堆菜谱

2021-06-11

三翼鸟是啥?这次海尔智家用RAP唱给用户听

6月4日,家住青岛市南区的空巢老人王爷爷,家里的浴室也摇身一变。洗澡前仅需一句话就能提前预约热水。洗澡时不仅可以随时一句话调整水温,而且还能变洗边听戏剧。洗完后地

2021-06-11

探店三翼鸟:场景果然是他的竞争力

又到了六月采买季,有不少新装修完房子的小伙伴都筹划着趁这次618的电商节,一次性买完家电安排好家具。所以,他们早早就开始泡在家电装修区看评测看对比,盘算家电和软装

2021-06-11