数据工程相关笔记
使用 Docker 搭建相应的环境:
配置环境的文件,需要存放在 build
目录
- JDK 文件,
jdk-8u162-linux-x64.tar.gz
- Hadoop 安装文件,
hadoop-3.1.3.tar.gz
使用 Dockerfile 配置基本的环境,使用 docker compose
解决分布式环境。在搭建过程中踩过的坑:
- Dockerfile 中
ENV
和ARG
等语句时,多参数整合为一行会出现报错,该用每个参数一个ENV
/ARG
- 以 Dockerfile 搭建的容器为基础,使用
docker compose
启动容器 Dockerfile 中最后使用了CDM
出现退出情况,因此在 Dockerfile 中取消CDM
语句