Panopticon流简介:无编码的流处理
Panopticon Streams是与Panopticon可视化分析软件一起工作的流处理引擎,形成Panopticon流分析平台。
Streams直接连接到广泛的流媒体和历史来源,包括Kafka,并支持以下关键功能:
- 实时数据准备:将流数据与历史数据相结合
- 计算引擎:根据业务需求计算性能指标
- 聚合引擎:根据需要聚合数据
- 提醒引擎:突出显示针对用户定义阈值的异常
为业务用户而不是IT工程师
尽管Panopticon Streams是基于ApacheKafka和Kafka Streams构建的,但它不需要编码。它是为商务人士设计的。
用户可以在一个标准的web浏览器中构建一个新的定向数据流。它支持Kafka的所有好处,但没有它的复杂性。用户不需要知道如何用Java、Scala甚至KSQL编写一行代码。然后,他们可以启动流处理模型,并开始可视化其输出。在收到软件的几分钟内,他们就可以启动并运行——设计和部署他们自己的实时流业务流程。
通过Panopticon Streams,公司可以充分利用现有的数据基础设施:
- 卡夫卡
- Tick数据库(kdb+, OneTick)
- 消息总线(Solace, AMPS, RabbitMQ, ActiveMQ等)
- NoSQL (InfluxDB, Mongo, Cassandra, Elastic,更多)
- Hadoop(蜂巢、黑斑羚、火花、利维)
- SQL (MSSQL, Oracle, Sybase, Vertica, GreenPlum, Netezza, Postgres, MySQL,更多)
- Rest api和Web Sockets
- 平面文件(XML, JSON,文本)
- 立方体(MS SSAS, activepvot)
- 市场数据(汤森路透TREP RT)
- CEP (Kx kdb+tick, OneTick CEP, TIBCO StreamBase, SAP ESP)
在标准web浏览器中构建处理数据流的流:
- 订阅流数据输入,包括Kafka流和其他
- 从历史和参考数据源检索
- 连接数据流和表
- 在定义的时间窗口内聚合流
- 合并流
- 创建计算的性能指标
- 过滤流
- 分支流
- 合并和合并流
- 脉冲输出
- 根据已定义阈值的性能指标创建警报
- 输出到Kafka或电子邮件,或写入数据库,如kdb+、XDB或任何SQL数据库