华为云大数据MapReduce服务,让有远见的人先用起来

2018年09月10日 16:24来源于:网络
分享:
我们用四年多的时间做了一个作业。这份作业的题目就是:如何让企业真正利用大数据全栈技术,开始盈利?而不是组建一个大数据部门或买了某款大数据产品,便认为站在了最前沿

我们用四年多的时间做了一个作业。

这份作业的题目就是:如何让企业真正利用大数据全栈技术,开始盈利?

而不是——

组建一个“大数据部门”或买了某款大数据产品,便认为站在了最前沿最猛烈的风口。吹着啤酒自嗨,生怕错过了这波革命浪潮的同时,心里却默想“大数据到底怎么实操落地?”

解决这个问题的关键,在于效率。大数据本就是为了效率而生的产物。

一个有价值的项目必须是服务提供商与企业双方效率都得以提升,它才有长期盈利的可能。用这个标准来衡量当前的大数据市场——服务商虽然把产品卖出去了,赚了钱。企业却没能真正解决实际问题,后者是因为头脑一热才加入大数据浪潮的。

原先搭机房的人现在开始摆平接口问题;原先买硬件的人现在准备购买运算节点;原先突发分析任务导致的业务宕机现在依旧没改观。

云上的数据库,一定要比自行搭建的数据库提供出更好的解决方案,才有价值。而这完全依赖于底层积累以及持续构建的技术体系,硬实力决定了产品的实战可用性,重要的不是水上的冰雕(宣传)多精致,而是冰山水下(技术)的那90%支撑。许多企业在等一个技术突破,解决效率和价格的问题。

很自豪的说,华为云EI·MapReduce可以。

华为聚集国内外顶尖的大数据专家,从2002年开始研究,已具备15年的技术积累,开源贡献亚洲第一。华为大数据在电信运营商、金融、公安等市场成功应用项目1000+。MapReduce服务成功融入华为在企业市场多年的大数据成功应用经验,并结合华为云计算和存储优势,为客户提供专业的云上数据专属服务。

我们通过阅读MapReduce(以下简称MRS)帮助文档终于帮大家打听到一些干货。

MRS版本带来了如下特性:

·开源开放

MRS提供了企业级一站式大数据服务,包含了业界主流的大数据开源技术(Hadoop,Spark,Hbase,Kafka,CarbonData,Storm等)。

·弹性伸缩

MRS提供弹性伸缩能力,可以自动在业务繁忙时申请额外资源,业务不繁忙时释放闲置资源,让用户按需使用,尽可能的帮助客户降低使用成本,聚焦核心业务。

·集群缩容

MRS新支持了集群缩容功能。用户可以根据业务需要简单的缩减Core节点或者Task节点,达到缩容的目的。MRS通过后台一系列算法智能的选择当前最合适的节点进行缩容,更好的实现用户的诉求。

·TaskNode

支持创建TaskNode节点,只作为计算节点,不存放持久化的数据,是实现弹性伸缩的基础。在MRS服务只作为计算资源的场景下,使用TaskNode节点可以节省成本,并可以更加方便快捷地对集群节点进行扩缩容,满足用户对集群计算能力随时增减的需求。

·多磁盘挂载

支持创建集群时非Master节点配置多磁盘,能够将集群中相应服务(如HDFS、Kafka等)的数据目录分散到多块磁盘上去,以满足服务对磁盘读写速度和集群的存储能力的要求,从而提升集群的运行效率,给予用户更好的使用体验。

·Hbase升级到1.3.1版本

支持开源Hbase1.3.1版本,包括Region Replicas、Date based tiered compaction、Multi WAL、REST API等新特性,在离线数据的实时读取、按时间戳批量查询等场景下性能有了较大的提升,支持使用REST对Hbase进行业务操作。

·4U8G低规格集群

MRS版本新发布了低配置集群。用户在对内存、CPU资源需求较低的场景时,可以创建低配置集群,使用低配置集群能大大降低使用MRS的成本,按需付费最高节省60%,包年包月最高节省58%。

·创建集群的效率提升

MRS 版本新优化了MRS集群的创建逻辑,使整个集群创建耗时减少为原来的一半,用户体验更好。

·Maven仓库

MRS 版本支持Maven仓库,开发人员可以直接在公网上下载到MRS组件的jar包来进行二次开发,大大提高了开发人员开发项目的自动化构建能力。使用指导请参见: http://support.huaweicloud.com/devg-mrs/mrs_06_0002.html。

·SMN

MRS支持实时地主动给用户发送短信和邮件,来通知集群变更结果以及大数据平台的告警信息,如:HDFS、Hive、Yarn等服务不可用,节点故障等。让用户及时感知风险,降低损失。

·包周期集群扩容

当您购买了MRS包周期集群后,在订购的周期之内,您的业务增长超过预期时,就会出现超出包周期订单规模外的扩容诉求,MRS服务支持包周期集群扩容能力,做到了在轻松帮助您完成扩容的前提下,让您继续享受着包周期的优惠。

您只需要在您业务需要的时候,打开MRS服务页面,点两下鼠标,便可扩容出您需要的节点数。整个扩容过程无需后台人工介入,只需几分钟,即可完美解决您遇到的日益上涨的业务数据压力。

·自定义引导操作

MRS提供标准的云上弹性大数据集群,目前可安装部署包括hadoop、spark等9种大数据组件,提供包括接入、实时计算、缓存、存储、批量计算的数据全生命周期服务。MRS在和客户的交流中发现,标准的大数据集群不能满足所有客户需求,有些客户需要安装自身业务所需的软件工具或运行环境,有些用户根据自身业务对大数据组件包做了修改,有些用户需要其他MRS还未支持的大数据组件。因此,MRS提供了自定义引导操作,用户可以以此为入口灵活配置自己的集群,通过引导操作用户可以自动化地完成:

?修改操作系统运行参数

?安装gradle、maven等工具软件

?对MRS已有大数据组件软件包做修改

?安装和运行MRS还未支持的大数据组件

引导操作是指启动集群组件前(或后)在指定的节点上执行脚本。您可以通过引导操作来完成安装MRS还没支持的第三方软件,修改集群运行环境等自定义操作。如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。

10月10日-12日在上海举行的华为全联接大会上,您将有机会全面接触华为云EI·MapReduce解决方案,体验MRS带来的全兴使用感受。趁现在,最低单日票价只要150,快来点击华为官网售票页面,开启未来通道吧!


分享:
相关阅读

新电视大热门!“爆款王”海信电视U7N:不止画质

天气转暖,万物生发,家装焕新也迎来今年第一波小高潮,不少朋友跃跃越试。配新家当然要考虑门面担当新电视,既要凸显家居格调,又要升级视听体验。到底哪款最好呢?不妨看

2024-04-25 News

小熊电器:一时红是运气,一直红拼实力

生活细节展现的是一个人的生活理念、品味和价值观。随着人们对生活仪式感的追求,像小家电这类家居好物越来越受年轻人欢迎。它们满足了消费者对产品除功能之外的高阶需求,

2024-04-25 News

意大利艺术家的作品搬到了卡萨帝酒柜上

借助国内连续8年高端引领优势以及海外多次智慧展出,卡萨帝已获超2000万次用户选择,成为高端领域少有的现象级品牌。其中,卡萨帝酒柜凭借可以媲美专业酒窖的科技实力被全球高

2024-04-25 News

意大利艺术家用上“艺术卡萨帝”

在国内,国际高端家电品牌卡萨帝连续8年高端引领;在海外,卡萨帝也在持续布局。通过亮相新加坡中国机电产品品牌展览会、德国IFA、米兰国际厨房家具展以及开展泰国曼谷首届思

2024-04-24 News