搜文章
推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 趣味科技v > 在大数据时代掘金,需要具备怎样的硬技术?

在大数据时代掘金,需要具备怎样的硬技术?

趣味科技v 2017-10-30

各种海量数据呈几何级数膨胀的大数据时代,为全球的科技企业都带来了前所未有的巨大商机。而如何在这片蓝海市场挖掘数据金矿,也成为了对各家公司自身核心硬技术的艰巨考验。





刘睿民的强大自信,来源于公司的骄人业绩。仅在2016年,这家成立才刚刚两年的创业公司,就已经收获了若干千万元级别的大单。其主要客户包括: 电网、深交所、中国移动、中国联通、统计局等。


“从这两年收获的大单来看,中国本土的内存数据库行业已经走过了试水期,正式进驻到国内外市场。与去年相比,国内的市场需求呈现出明显的递增趋势。”刘睿民补充道,“包括在海外市场,柏睿也将有所突破。”


刘睿民透露,基于他的分布式流数据内存数据库,柏睿数据将和房利美(美国大名鼎鼎的“两房”之一)在大数据实时分析领域展开深度合作。


作为国内唯一的一家基于内存数据库的大数据创业公司,柏睿数据的发展速度可以说相当惊人。


内存数据库将打破甲骨文数据库垄断市场


作为一名不折不扣的“海归”,刘睿民博士早年留学海外,并曾加盟惠普实验室主攻海量并行MPP数据库,曾先后参与Nonstop SQL/MP、SQL/MX及Neoview的实现。


在大数据时代掘金,需要具备怎样的硬技术?


2014年,刘睿民组建团队正式进军大数据MPP内存数据仓库引擎研究,公司拥有世界顶尖级的大数据平台研发团队,并在硅谷、澳洲以及印度设立了研发中心,创新性地推出了面向实时大数据分析领域的高性能分析应用平台——Rapids Data Platform(简称RDP)。该平台从功能上可划分为Rapids Hadoop、Rapids DB、RapidsStream,Rapids Manager等产品,为行业客户提供了从大数据存储到分析挖掘的完整解决方案。 


一直以来,柏睿数据的RDP产品都在用户中广受好评。以Rapids DB为例,其展现出的强大性能就令人不得不为之惊叹。在某证交所复杂的交易环境中,人们曾借助Hive1.2、Tez0.83、Rapids DB2.63、Spark 1.6对其进行测评,结果发现测试环境随着查询节点的不同,表现能力也各不相同。最令人惊讶的是,在Query10查询过程中,Hive、Tez、Spark这三者的速度几乎持平;但是Rapids DB这匹黑马却只用了1ms,完全秒杀其他所有测试环境。


事实证明,在小数据量情况下,Rapids DB的测试性能是传统数据库的2倍,而在大数据量的情况下则可以达到惊人的50-100倍。


在大数据时代掘金,需要具备怎样的硬技术?
测试场景


本土企业的创业感悟


回顾这两年的创业历程,刘睿民表示:“这其中的酸甜苦辣,只有我们自己知道。作为一线的从业人员,能够感受到国内内存数据库市场在明显地快速升温。几年前,做技术的人都知道,没有一个系统的使用可以绕得开数据库,而数据量越多,对数据库的依赖也越强。然而当时国内外的数据库市场都被甲骨文垄断,可以说没有系统可以绕开甲骨文。但是现在,我可以自豪地说,甲骨文已经属于过去式。2016年,我们的内存数据库将改写由甲骨文雄霸数据库市场的历史。”


政府、金融行业、运营商是主要买家


那么,今年以来柏睿数据所收获的若干千万级别大单,其买家究竟是谁呢?


刘睿民透露说,政府、银行、证交所是重要用户群。


首先,政府、银行、证交所对安全尤为重视,倘若重要信息被不法分子窃取,那么后果将不堪设想。而在这方面,柏睿的流数据库能够提供很好的解决方案。


其次,面对海量数据多渠道并发时代,柏睿的Rapids DB内存数据库突破了传统基于磁盘的数据仓库技术,解决了传统数据仓库难以分析结构化以外数据的难题,并充分利用内存的高性能,通过线性扩展及整合方案为企业带来大幅度显著效益提升。


再者,Rapids DB还能够帮助用户进行超高速的数据查询、分析及实时处理,在金融、电信、电力、游戏、广告、交通等领域,都有着非常广泛的应用前景。


刘睿民还补充道:“流数据库现在还是非常新的一个东西,所以并没有大范围普及,但是一些对技术前瞻性要求的行业,譬如电讯、金融、政府的客户已经在开始使用。”


内存数据库背后的新蓝海


作为一家创业公司,柏睿能够收获千万级别的大单显然并非偶然,这里面其实也有着深刻的时代背景。


首先,传统的数据库产品,已经远远不能满足当前海量的数据多渠道并发要求,新型数据库正在颠覆传统软件技术。


一直以来,甲骨文无疑是计算机单机共享内存时代“皇冠上的明珠”,是核心基础软件中唯一横跨CPU、操作系统的关键性技术。所以在很长的一段时间里,甲骨文在数据库领域的成就可以说是“一直被追随,从未被超越”。然而现在,柏睿数据所创造的分布式流数据库技术,是植根于互联网时代的产物,它恰恰是为解决数据流多并发导致的系统瘫痪问题而生,因而具备真正的互联网基因,能够解决海量数据多渠道来临时数据处理能力不足的核心问题。


众所周知,传统企业级内存数据库,尤其是MPP内存数据仓库由于技术壁垒非常高,市场一直由Oracle、SAP HANA、Teradata这三家国际数据库巨头牢牢把控。纵观国内数据仓库领域,迄今为止还没有一家国产厂商,能够在纯关系型MPP内存数据仓库方向上形成技术突围。因此此次柏睿数据在技术上的成功突围,可谓是中国本土企业在数据仓库领域的“诺曼底反攻”。




其次,中国的核心技术获国际话语权。


在美国孟菲斯ISO/IEC JTC1/SC32“数据管理与交换”分技术委员会2016年全会上,刘睿民代表中国代表团将其拥有的流数据库标准提交了大数据技术提案“SQL对MapReduce及与之相关的流数据处理的支持”。当时该数据库的各项指标准完胜美国、德国,获得SC32全会决议通过,即将成为2018国际数据库新国际标准。这是29年来,中国首度在国际标准委员会独立提出技术提案并获得通过。


刘睿民不无自豪地表示:“这充分说明,中国技术业已全面突破国际大数据核心技术壁垒,实现了真正意义上的国产化。”


刘睿民还提到,前段时间国外爆发了一场史无前例的网络攻击,就是数据库无法处理互联时代海量多渠道并发数据导致的悲剧。他指出,在万物互联的新时代,数以亿计的智能硬件设备连接到互联网,其数据量大到惊人。倘若不解决核心技术问题,未来这样的事件无论是在国内还是国外都会频繁发生,而流数据库就是解决这个问题的不二之选。


柏睿数据的制胜之道


当问到柏睿数据如何获得现有的过硬技术时,刘睿民自豪地介绍了他的制胜班底。


1、强大的研发团队


作为柏睿数据公司的创始人,刘睿民在创办公司前就曾担任多家世界级跨国IT公司的大中国区及亚太高管,归国前还在硅谷Tandem公司师从图灵奖大神级得主Jim Gray,共同参与过Tandem NonStop SQL/MP的内核编写。据业界权威人士介绍,Tandem公司的MPP分布式数据库,迄今为止依然在欧美高端市场傲视群雄。


而刘睿民所率领的强大研发团队,其成员不仅有最早期Tandem并行数据库的实现团队成员,也有长期供职于美国HP实验室的顶级系统架构师。这些人都是数据库技术领域的顶级专家,因为有着一个打造新时代世界级数据库的共同目标,所以被刘睿民整合到了一起。


2、强有力的资金后盾


早在去年,柏睿数据就已经完成了数千万级的Pre-A融资,领投机构为国内顶级基金蓝驰创投。这也是蓝驰创投在大数据核心技术方向上插下的一面重要旗帜。而之后信中利及浦发硅谷银行的加盟,也让刘睿民得以更加从容地应对市场。刘睿民认为,现在柏睿数据丝毫不担心市场,需要的只是时间而已,因为从客户的订单就可以看到,越来越多的企业正在深刻认识到当海量数据来临时,实时处理数据比仅仅存储更有意义!


刘睿民还透露,不久之后,公司将会以几个重点实验室为依托,在联邦查询引擎、流数据、数据库内机器学习引擎方面,推出更加贴合企业应用的产品。


写在最后


近年来,内存数据库广受各大行业欢迎。在大数据时代,人人都想多分一杯羹,未来世界必然是数据时代,谁拥有海量能被处理、分析、使用的数据,谁就能成为拥有未来数据金矿的人。


而从大数据中“挖出金矿”,是真正考验企业核心硬技术的阶段。就目前而言,这一技术现阶段对全球都是公平的,关键是谁能做到像习总书记所言,拥有站在国际高度标准的话语权!柏睿数据,一个互联网海量数据时代的新领航战舰已经起航。


趣味科技是由资深媒体人彭承文和他的小伙伴们悉心耕耘的科技自媒体中国科技自媒体100人,2016自媒体人百强。媒体传播矩阵覆盖逾二十家国内主流新闻客户端及网站专栏,内容涵盖移动互联、商用及企业级IT、电商及O2O等领域,合作洽谈请联系微信330167846

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《在大数据时代掘金,需要具备怎样的硬技术?》的版权归原作者「趣味科技v」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注趣味科技v微信公众号

趣味科技v微信公众号:funnytechnology

趣味科技v

手机扫描上方二维码即可关注趣味科技v微信公众号

趣味科技v最新文章

精品公众号随机推荐