💥🔥 Hey there! I'm Vue-PengHong.

前端极客开发工程师

一站式大数据平台AllData前端负责人

负责规划与设计开源项目AllData前端

熟悉MVVM框架Vue、TypeScript

熟悉HTML、CSS、JS、小程序开发

熟悉NodeJS、Http、Nginx、Webpack

熟悉Web、H5、Java后台开发、MySQL

AllData 一站式大数据平台

中文 | English

在线体验版 | Documentation | Installation | Architecture | Integration | Community

AllData社区项目官方文档 | AllData数据中台体验版地址 | AllData数据中台前端

Stargazers over time

Architecture

Component	Description	Important Composition
assembly	WHOLE PACKAGE BUILD FOR ALL DATA PLATFORM assembly engine	整包构建引擎
commerce	COMMERCE FOR ALL DATA PLATFORM commerce engine	商业业务引擎
dataAI	AI FOR ALL DATA PLATFORM artificial intelligence engine	人工智能引擎
dataDevops	DEVOPS FOR ALL DATA PLATFORM O&M Engine	运维引擎
dataGovern	DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine	数据治理引擎
dataHub	DATA HUB FOR ALL DATA PLATFORM Data HUB Engine	数据中台前端
dataOds	DATA ODS FOR ALL DATA PLATFORM data acquisition engine	数据源管理平台
dataOlap	OLAP FOR ALL DATA PLATFORM OLAP query engine	混合OLAP查询引擎
dataStudio	DEVELOP IDE FOR ALL DATA PLATFORM DEVELOP IDE ENGINE	批流一体开发IDE
dataSync	DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine	数据集成引擎
dataTasks	DATA Task FOR ALL DATA PLATFORM Data Task Engine	数据业务管理平台
docs	Document	文档
mlApps	MLAPPS FOR ALL DATA PLATFORM MLAPPS Engine	算法市场
oneData	MICROSERVICE FOR ALL DATA PLATFORM distributed storage engine	微服务引擎
oneHub	ONE HUB FOR ALL DATA PLATFORM ONE HUB Engine	数据平台引擎
oneLake	ONE LAKE FOR ALL DATA PLATFORM ONE LAKE engine	数据湖引擎
oneShop	BUSINESS FOR ALL DATA PLATFORM	商业项目
AllData	AllData社区项目通过二开大数据生态组件，以及大数据采集、大数据存储、大数据计算、大数据开发来建设一站式大数据平台	Github一站式开源大数据平台AllData社区项目

AllData社区商业计划图

AllData社区项目业务流程图

AllData社区项目树状图

全站式AllData产品路线图

AllData社区项目时间旅行

开源大数据平台原型图

在线预览

Integration

Data Quality

Livy访问查看JOB

Flink1.16 OGG-JSON解析

S3 Hudi成功写入

1、数据平台

AllData is one of the few open source big data platform projects on Github. It will develop into a successful solution to solve a series of problems in big data e-commerce scenarios. It will also become a general big data base for other developers to use and Contribution, my original intention is to create a product that is useful to society.

2、商城展示

3、数据来源

	商城前台：
		mall-shopping-app: 商城App
		mall-shopping-app-service: 商城App服务
		mall-shopping-wc: 商城小程序
		mall-shopping-mobile: 商城前台
		mall-shopping-pc: 商城pc端
		pcAdminService: 商城pc端服务
		mobileService: 商城前台服务（小程序和前台接入此接口）
	商城后台：
		mall-admin-web: 商城后台
		pcAdminService: 商城后台服务

4、数据收集

log-collect-server:
服务端日志收集系统
log-collect-client:
支持各app集成的客户端SDK，负责收集app客户端数据；
data-import-export:
基于DataX实现数据集成(导入导出)
data-spider:
爬虫平台支持可配置的爬取公网数据的任务开发；

5、数据存储

分布式文件系统：hdfs
分布式数据库：hbase、mongodb、elasticsearch
分布式内存存储系统：redis

6、数据计算

compute-mr（离线计算）: Hive、MR
compute-realtime（流计算）: storm、flink
multi-dimension-analysis（多维度分析）: kylin, spark

7、数据开发

task-schedular: 任务调度
task-ops: 任务运维

8、数据产品

data-face: 数据可视化
data-insight: 用户画像分析

9、数据应用

system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统，实现日志搜索平台
system-apm: skywalking监控平台
system-deploy: k8s，scala，playframework，docker打包平台。
job-schedule: 任务提交平台