bda-research / tale Goto Github PK

tale is Extract, Transform, Aggregate, Load

业务无关模块

1. 日志模块
   1. 日志加载方式
   2. 日志格式标准
2. 配置模块
   1. 配置文件格式检查和验证器
   2. 配置规范，字段含意
3. 统计模块
   1. 数据成功和失败数量的统计

业务相关模块

模块间数据流转方式。模块，类，数据与方法的组织方式

1. 数据输入
   1. 数据源支持
      1. MongoDb
      2. MySQL
      3. Text based file
2. 数据转换（清洗），是否需要支持升维降维？
   1. 筛选
   2. 替换
   3. 类型转换
   4. 添加列
3. 数据计算
   1. 一般聚合
   2. cohort计算
4. 数据输出
   1. 输出到文本文件

模型设计 任务模型 Job 状态管理 生命周期管理 Task