随着大数据技术不断完善,基于Hadoop的数据分析平台相继落地。 IBM 在 2011 年发布了针对大数据处理和分析技术,在 SmartCloud 平台上新增基于开源环境 Apache Hadoop 的服务 InfoSphere BigInsights 分析软件,帮助企业用户解决面临的大数据的问题和挑战,同时实现与企业软件的对接。
IBM Biglnsights 是大数据分析平台InfoSphere的一部分,Biglnsights 可针对大规模的静态数据进行分析,它提供多节点的分布式计算,可以随时增加节点,提升数据处理能力。
深圳市颖源科技新近开发的股市情绪分析软件真是基于IBM BigInsights平台开发的系统。在2013 IBM技术峰会上,深圳市颖源科技CEO时俊杰先生为记者介绍了基于IBM BigInsights开发的这款股市情绪分析系统。该系统基于行为金融学理论和客观的机器学习算法,通过对股市涨跌数据、社会化媒体言论数据进行采集和挖掘,计算出的结果能够帮助投资者去洞察股市的情绪,从而预测市场走势。
深圳市颖源科技CEO时俊杰先生
大数据是一个很重要的核心,该应用通过与大数据结合,经过分析实现预测,体现大数据的价值。时俊杰先生指出,该股市情绪分析系统在国外已有成熟的案例,MarketPsych投资公司每天会对全球200万篇文章抽取和采集,分析出6000多家公司投资者的情绪。情绪指数就是给投资者提供这方面的参考。
颖源科技与新浪和腾讯微博合作,通过开放接口高效采集投资者对于股市的评价或者市场涨跌情绪的表达。颖源科技情绪的分析引擎包括中文分层技术、模块,还有语料管理模块、文本分类、主观句,还有机器模拟训练模块,情绪优化的算法,共同组成了这样的架构。
时俊杰表示,颖源科技之所以与IBM合作,是因为BigInsights平台提供了非常可靠并且健壮的大数据平台,加强了开源的Hadoop系统,变成能够支持企业级大数据分析平台,IBM新增GPFS文件管理系统,解决普通的Hadoop有单点故障的问题。
股市情绪分析系统有几个特点,海量文本分析语料库,不仅针对股市情绪分析,其他方面的分析原理是一样的。从数据来讲,Hadoop采用并行架构,此外BigInsights在开源上又做了优化,所以它的速度和性能有相当大的提升。
IBM软件集团大中华区信息管理软件总经理卢伟权先生
经过一段时间的测试,深圳市颖源科技股市情绪分析软件的预测结果与实际走势基本一致,近期将正式推出。颖源科技股市情绪分析系统的成功归结为两方面原因:一是IBM对于产品培训的支持,BigInsights的使用易于掌握及安装,使用和开发同样非常容易的。二是颖源科技在大数据方面投入大量人力物力,在大数据蓬勃发展的今天获得收益。
未来颖源科技将对微博的数据源进行扩展,扩展到包括对所有股票类的,比如论坛、门户文章抓取过来进行分析。
大数据如同一片新兴的大陆,如何在这片大陆立足生根与未来的发展有着直接的影响,颖源科技毫无疑问抢占了先机,我们也期待着更多的开发者关注大数据、关注BigInsights平台,使大数据带来更高的价值。