• 大数据时代的星环号

    时间:2017-03-08 来源:《IT经理世界》 作者:王众 我要评论() 字号:T | T

  • 《三体》中,由于太阳系受到未知文明的打击而降维消失,地球人类仅剩的最后两人乘 “星环号” 曲率引擎驱动飞船离开太阳系,从而保存了地球文明。在2013年的上海,一帮研究大数据的专家携手创办了一家叫“星环”的公司,致力于在大数据时代打造一艘高速的航空母舰。这不是巧合,创始人兼CTO孙元浩正是因为读了《三体》,才定下了这个名字。

    星环科技的核心团队来自于英特尔的研发团队,是国内最早的大数据Apache Hadoop发行版团队,从2009年起即开始致力于大数据平台软件的自主创新和开发;彼时,基于Apache Hadoop开源技术的数据管理及分析平台提供商Cloudera刚成立一年,如今,Cloudera在“福布斯2016全球最佳云计算公司100强”中排名第五。

     

    国际舞台新玩家

     

    在“Gartner 2016年数据仓库及数据管理解决方案魔力象限”中,星环科技登上最具远见象限,且是唯一上榜的中国厂商。让星环科技与与老大哥Cloudera并肩而立的功臣产品Transwarp Data Hub (TDH)是基于Apache Hadoop和Apache Spark的分布式内存分析引擎和实时在线大规模计算分析平台。目前星环TDH已经在恒丰银行等多个领域有替代传统技术数据仓库的落地案例。

    2015年,星环科技的TDH4.0版本全面通过了TPC-DS  100T的99项测试。TPC-DS是TPC(事务处理性能委员会)评测决策支持系统的测试基准。这个测试集包含了对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,与真实场景非常接近,是难度较大的一个测试集,也是目前业界公认的数据仓库测试准则。到目前为止,能够通过100T测试的厂商寥寥无几。孙元浩介绍,TDH相比开源Hadoop版本有10~1000倍的性能提升,可以处理GB到PB级别的数据。

    “星环号”之所以能带着人类逃离太阳系,是因为其实现了超光速飞行;星环科技希望建立数据时代的里程碑,则要努力突破大数据存储、计算和管理的性能极限。事实上,较早启用大数据技术的金融业,其数据量在100TB至1PB级别;数据量级庞大的电信业,其数据量已经达到了PB级。比起数据爆炸的速度,目前的大数据处理技术还在追赶中,即便是百倍的提升,也只是一个开端。

     

    开辟无人区

     

    如今举国都在数据化,基于业务差异,不同行业对大数据分析的需求各有侧重,孙元浩分析,后Hadoop时代又回到了解决大数据的4个V上,即数据量(Volume)、数据类型(Variety)、速度(Velocity)和价值(Value)。

    目前,金融业重视海量数据处理效率,以及利用机器学习和深度学习为营销和风控等业务提供帮助;政府具有PB级数据,更看重如何用最低成本建设搜索引擎;相形之下,电力行业的要求更多样。电力行业的数据源来源于电力生产和电能使用的各个环节,其产业链前端的要求尤为复杂,华风数据和星环科技联手为国电电力宁波风电开发有限公司建立的风电场大数据分析平台就是一例典型应用,也造就了第一家成功将大数据应用于生产的风电场。

    首先,风电场通常具有地理环境恶劣、场站分散的特点,很难留住人才,因此对自动化、远程集控要求较高。其次,目前发电机组的数据采集和监控系统都是由风电机组制造商配套提供的,但是各厂家的系统互不兼容,因此数据类型复杂。

    另外,风能具有高度的随机波动性与间歇性,对电力供需平衡、电力系统安全以及电能质量带来了严峻挑战。智能风机上配备有大量的传感器。以每台风机每秒反馈1200个传感器数据为例,一个设有100台风机的风电场向数据中心回传的数据率相当于12万点/秒。传统的做法是先存储再处理;当发现问题时,为时已晚。这就要求风电企业及时掌握所有风机的实时数据和状况,以便及时调整检修。

    ……

  • 加入收藏
  • [ 作者:王众 ]
  • 分享到: 更多
    标签:
  • 相关推荐
    无相关信息
  • 最新消息
    · 大数据时代的星环号2017-03-08
    · Hadoop上的中国神兽2017-03-08
    · 落户中国的增长黑客2017-03-08
    · 那些国内的大数据创业之星2017-03-08
    · 新零售反扑2017-03-08
      已有条评论,查看更多评伦发表评论
  • 用户名:  密码:              匿名发表  | 注册会员
  • 网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述