Ambiente para estudo dos principais frameworks big data em docker.
Esse setup vai criar dockers com os frameworks HDFS, HBase, Hive, Presto, Spark, Jupyter, Hue, Mongodb, Metabase, Nifi, kafka, Mysql e Zookeeper com a seguinte arquitetura:
- Instalação do Docker ToolBox no Windows / Mac ou o docker no Linux
- Instalação do git
OBS: Existe um git na instação do Docker ToolBox, caso já tenha instalado não precisa instalar novamente
OBS: Esse passo deve ser realizado apena uma vez. Após o ambiente criado, utilizar o docker-compose para iniciar os containers como mostrado no tópico INICIANDO O AMBIENTE
OBS: A criação do diretório é importante para os mapeamentos necessários
-
No Windows:
- Criar na raiz do seu drive o diretório docker ex: C:\docker
-
No Linux:
- Criar o diretório na home do usuário ex: /home/user/docker
git clone https://github.com/fabiogjardim/bigdata_docker.git
-
No Windows:
Abrir o Docker Quickstart Terminal, isso fará com que a VM default seja criada no VirtualBox
No DOS, dentro do diretório bigdata_docker, renomear o arquivo docker-compose_windows.yml para docker-compose.yml
move docker-compose_windows.yml docker-compose.yml
Executar o arquivo virtualbox_config.bat
O arquivo bat cria/reacria a VM default com disco de até 100GB, 8GB de memória, drive do repo compartilhado como /d e todas as portas necessárias mapeadas
OBS: se o ser driver raiz for diferente de C:, alterar o arquivo virutalbox_config.bat na parte indicada no comentário. A memória também pode ser alterada no local indicado.
-
No Linux: Não é necessário alterar nem executar nada
No Windows abrir o Docker Quickstart Terminal, do Linux um terminal
docker-compose up -d
docker image ls
docker container ls
No Windows abrir o Docker Quickstart Terminal
docker stop [nome do container]
docker stop $(docker ps -a -q)
docker rm [nome do container]
docker rm $(docker ps -a -q)
docker container inspect [nome do container]
docker-compose up -d [nome do container]
docker-compose up -d
docker container logs [nome do container]
- HDFS http://localhost:50070
- Presto http://localhost:8080
- Hbase http://localhost:16010/master-status
- Mongo Express http://localhost:8081
- Kafka Manager http://localhost:9000
- Metabase http://localhost:3000
- Nifi http://localhost:9090
- Jupyter Spark http://localhost:8889
- Hue http://localhost:8888
- Spark http://localhost:4040
docker exec -it datanode bash
docker exec -it hbase-master bash
docker exec -it datanode bash
docker exec -it kafka bash
jdbc:mysql://database/employees
jdbc:hive2://hive-server:10000/default
jdbc:presto://presto:8080/hive/default
Usuário: admin
Senha: admin
Usuário: [email protected]
Senha: bigdata123
Usuário: root
Senha: secret
Usuário: root
Senha: root
Authentication Database: admin
- https://zookeeper.apache.org/
- https://kafka.apache.org/
- https://nifi.apache.org/
- https://prestodb.io/
- https://spark.apache.org/
- https://www.mongodb.com/
- https://www.metabase.com/
- https://jupyter.org/
- https://hbase.apache.org/
- https://sqoop.apache.org/
- https://hadoop.apache.org/
- https://hive.apache.org/
- https://gethue.com/
- https://github.com/yahoo/CMAK
- https://www.docker.com/