【51CTO.com原创稿件】2016年11月25-26日,由51CTO.com主办的WOT 2016大数据技术峰会在北京粤财JW万豪酒店隆重召开。自2012年以来,WOT品牌大会秉承“专注技术、服务技术人员”的理念已经成功举办十二届,不仅积累了大量的专家资源,更获得广大IT从业者和技术爱好者的认可和好评,已成为业界重要的技术分享及人脉拓展平台。
在WOT2016大数据技术峰会的物联网主题专场,福建星瑞格软件有限公司高级技术顾问做了《Sinoregal 时间序列(TimeSeries) -海量数据应用》的演讲,会后记者针对当前热门的海量计算与数据库与他进行了详细沟通,以下是采访分享。
海量计算应用越来越广
星瑞格软件高级技术顾问杨俞平
星瑞格软件的杨俞平老师之前也在IBM工作过多年,主要从事数据领域相关的工作。目前星瑞格在做国产的高端数据库,包括一些信息安全相关的产品和一些技术方面的工作。
谈到海量计算,杨老师认为这是一个比较新的技术,实际上大家更多的都是在摸索的阶段,海量计算不能算单纯的数据量,更多的可能要看客户的业务场景。现在其实对于这单一的技术平台需要解决客户所有的问题,这个看来实际上是越来越不可能,更多的要推动不同的架构,根据业务的实际需求来解决实际的问题。
他认为,海量计算更多的应用是会在一些金融、电信方面,另外像互联网天然就具有这种海量计算基因,相当于数据的一个基础,将来这些都是重要的领域和发展方向。
通过数据库来处理海量数据
海量数据如何处理呢?据星瑞格软件高级技术顾问杨俞平表示:“目前对于时序大数据的存储和处理往往采用关系型数据库的方式进行处理,但由于关系型数据库天生的劣势导致其无法进行高效的存储和数据的查询。时序大数据解决方案通过使用特殊的存储方式,使得时序大数据可以高效存储和快速处理海量时序大数据,是解决海量数据处理的一项重要技术。该技术采用特殊数据存储方式,极大提高了时间相关数据的处理能力,相对于关系型数据库它的存储空间减半,查询速度极大的提高。”同时,他认为时间序列函数优越的查询性能远超过关系型数据库,非常适合在物联网分析应用。
据了解,星瑞格软件的Sinoregal DS数据库在解决海量数据处理的一项重要技术就是时间序列(TimeSeries),该技术采用特殊数据存储方式(列式存储技术),极大提高了海量时间数据的处理能力,相对于关系型数据库它的存储空间减半、查询速度提高。高效存储和处理海量数据的能力对于Sinoregal DS时序解决方案来说至关重要。
星瑞格软件的Sinoregal DS在物联网上的应用结合云端、大数据分析架构,由前端感知设备收集数据,透过网络回传到云端处理中心,通过分析后再将控制信息回传给控制器或发出警告, 进行各种精细或是细腻的即时处理,或是通过大数据分析模型, 将这些采集到的信息分析成具有特殊意义的数据。
在杨俞平老师的演讲中提到了几个案例,一个是车联网,主要做路测,根据路测的一些结果分析,给将来生产带来一些思考。此外还包括国家电网等方面行业案例,也都开始应用海量计算。
开源与商业数据库各具特色
谈到开源数据库,杨老师表示:互联网确实会走到整个IT的前端,包括一些新的技术,昨天听到的,比如百度,它的数据可能在万亿级别,实际上更适合于海量的互联网数据。那么星瑞格实际上它更多的是体现在属于结构化或者半结构化方面的价值,密度会比开源数据库高一些,相当于热数据或者温数据,在这方面商业数据库性能更强。
而开源数据库也不是全部的开源,后期对人员的开发、成本,综合考虑比较多。商业数据实际上更多的是为用户提供一个稳定、可靠、高效的产品,和持续的一个服务方式。因此两种数据库各具特色,用户要根据自己的技术实力和应用来选择。
【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】