Roadmap about seatunnel HOT 14 CLOSED

文档：

1. 插件开发介绍的不够详细，没有区分input，filter，output；example code也没有区分input，filter，output。

from seatunnel.

详细详尽的自动化功能、性能测试。

from seatunnel.

Livy:
https://github.com/cloudera/livy

Dynamic DSL：

支持在配置文件中增加if...else, 还有数据动态处理逻辑的技术方案：
QLExpress: https://github.com/alibaba/QLExpress
groovy: http://groovy-lang.org/
scala: scala 也可不编译执行

from seatunnel.

1. 生命周期注入业务逻辑：
   （1）如submit成功后，调用开发者自己开发的监控注册hook，向监控中心注册app。
   （2）每个batch完成后，调用batch listener，执行用户的业务逻辑，如发邮件。

2. ipip.net数据库插件。

3. 交互式验证程序配置，执行sql。

from seatunnel.

Spark UI监控页面，Waterdrop 性能和耗时占比统计。

from seatunnel.

集成 zeppelin, hue

http://gethue.com/

https://zeppelin.apache.org/

from seatunnel.

plugins:

1. Filter: ipip.net ip库解析插件; explode
2. Output: HBase, MongoDB插件。
3. Input:

from seatunnel.

流式机器学习。

from seatunnel.

自动监控和报警。

from seatunnel.

自动化脚本：waterdrop.sh start| status | stop,

from seatunnel.

支持kerberos

from seatunnel.

dataflow:

http://cloud.spring.io/spring-cloud-dataflow/

https://www.pipelinedb.com/

https://streamsets.com/tutorials/

from seatunnel.

csv source:
https://github.com/databricks/spark-csv

Hbase source/sink:
https://github.com/hortonworks-spark/shc

from seatunnel.

deploy fast data pipeline with dcos: https://dcos.io/

from seatunnel.