系统介绍
xStream多通道流式数据处理系统是一个适用于复杂应用场景的高性能、高并发、高可靠性、高可伸缩性的分布式实时数据处理系统。可以同时为应用于不同业务场景的边缘计算设备提供点状及流式数据的采集、存储、分析、计算等服务。只需普通的、由廉价PC组成的计算集群,无需单独购买价格昂贵、性能优越的服务器,xStream针对边缘计算设备的并发接入数量(集群)即可轻松达到十万以上级,实时数据的处理能力(集群)达百万级每秒。
系统特色
xStream中的“x”指代任意的应用场景(无限),从环境在线监测到环境移动执法、环保用电监管,再到实时视频监控、甚或其它非环境类的更为复杂的场景均能任意扩展,任意配置——各业务场景间既可高度耦合,亦可松散耦合及至实现更为严格的业务、数据隔离。Stream指代从边缘计算设备到用户端流动的实时数据流:按时间序列采集的点状数据以及音、视频、图片等流式数据。无论是点数据还是流式数据,xStream系统均根据事先制定的业务规则实时处理,处理结果存入分布式NoSQL数据库。
xStream部署环境简单,OS为Linux CentOS 7及以上版本,至少三台普通PC,每台PC安装Cassandra数据库及MySQL数据库,建立数据库集群。
系统优势
1)低成本,高性能。无需购买昂贵的服务器,只需三台以上的普通PC,使用开源、免费的linux服务器系统centOS组建计算集群即可获得极佳的处理性能。
2)可伸缩性。系统建设初期接入设备较少时,集群节点三台即可,当接入设备逐渐增多,数据量极速增长时,只需继续采购PC,横向增加集群节点即可大幅提升系统处理性能,增加节点数量无上限。
3)高可靠性。当数据库集群出现单个甚至多个节点宕机或者因磁盘故障出现数据损坏时,其它正常节点仍能提供可靠的数据存储及访问服务,故障节点一旦被修复重新加入集群,数据自动同步,无需人工干预。
4)完全自主知识产权的虚拟网络容灾系统。集群内所有网络节点绑定同一个虚拟地址,当单个或多个网络节点宕机时,系统自动切换网络服务到正常节点,确保数据接入、WEB、APP等关键服务不受影响,实现7x24小时无人值守。
5)完全自主知识产权的高性能实时库。采用高效的哈希存储算法,有效降低碰撞率,百亿条以上数据记录的检索时间稳定在微秒级。
6)高并发、多通道数据采集服务。系统采用异步通讯架构,能够充分发挥CPU多核处理器的能力,TCP并发链接数达到十万以上级。
7)多场景并发数据采集能力。系统可以提供任意多个、采用不同通讯协议的通讯通道为不同应用场景下的边缘计算设备提供数据接入服务。
8)分布式日志系统。登录到任意一个集群节点均可实时查看xStream在整个集群内的整体运行状态,系统管理员可据此监控并排查系统故障隐患,确保系统运行处于最佳状态。