gwon6482 / data_engineer_should_know Goto Github PK

데이터 엔지니어가 알아야 할 모든 것들을 정리합니다. 자료 출처는 각 문서의 하단을 참조하시기 바랍니다.

• 1. Data Engineering
  • 1-1. Hadoop Ecosystem
  • 1-2. ELK Stack
  • 1-3. Kubernetes and Docker
• 2. Computer Science
  • 2-1. Operation System
  • 2-2. Database
  • 2-3. Network
  • 2-4. Programming Language
  • 2-5. Data Structure and Algorithm
  • 2-6. common sense
• 3. Fields of Study

데이터 엔지니어가 알아야 할 기술 질문

• Apache Hadoop
  • HDFS의 replication-factor를 3->5로 변경하면 최대 몇 번의 장애까지 견딜 수 있는가?
  • Hadoop 3.x의 Erasure Coding
  • YARN이 도입된 이유
  • HA consensus of HDFS
  • 손상된 블록을 탐지하고 처리하는 프로세스
  • Parquet와 칼럼 기반 스토리지
  • Parquet의 압축 알고리즘
  • Standby Namenode vs Secondary Namenode
  • YARN scheduler
  • HDFS의 read/write/replication 절차
  • RDBMS의 SQL과 Hadoop MapReduce의 차이점
  • MapReduce spilling
  • Hadoop 서버의 vm.swappiness 설정
  • 클라이언트에서 hdfs write를 위한 옵션을 설정하려면 어떤 xml 설정파일을 수정해야될까?
• Apache Spark
  • RDD, DataFrame, Dataset
  • SparkContext and SparkSession
  • Spark Executor의 메모리 구조
  • PySpark에서 Scala UDF / Python UDF 성능 비교
  • 언어별 Spark API 성능 차이
  • RDD 커스텀 파티셔닝
  • RDD Aggregation: groupByKey vs reduceByKey
  • repartition과 coalesce의 차이점
  • Spark access first n rows: take() vs limit()
  • 효율적인 DataFrame Join 전략
  • Spark의 memoryOverhead 설정과 OutOfMemoryError
  • spark.executor.memoryOverhead와 spark.memory.offHeap.size 설정은 어떻게 다른가?
  • Project Tungsten의 주요 Spark 성능 개선 사항은 무엇인가?
  • Java 직렬화 vs Kryo 직렬화
  • ORC, Parquet 등 Spark에서 사용할 수 있는 데이터 소스 포맷과 압축 알고리즘
  • k8s에서 Spark Job을 수행한다면 종료 후 로그는 어떻게 확인해야될까? (Spark History Server? AWS S3 logging?)
  • Spark Job에 과도하게 많은 Memory/CPU를 할당해주면 무슨 일이 일어날까?
• Apache HBase
  • Major Compaction vs Minor Compaction
  • Region Server architecture
  • Time series Row key design: Salting, Empty region
  • Region's locality
• Apache Hive
  • Partition, Bucket, Index
  • Why isn't the metastore in hdfs?
  • Which is faster, SORT BY or ORDER BY in HiveQL?
  • What is HCatalog?
  • Hive UDF란?
• Apache Kafka
  • Kafka의 partition은 많을 수록 좋을까?
  • Kafka Streams Topology
  • Kafka에서 Zookeeper의 역할
  • Kafka + Spark Streaming : 2가지 Integration 방법 비교
  • Kafka + Spark Streaming : 파티션 수와 컨슈머 수 정하기
  • Kafka의 exactly-once delivery
  • ISR (In Sync Replica)
• CDH setup
  • Set up Virtual Box
  • Install Cloudera Manager
• Common Questions
  • Top 50 Hadoop Interview Questions You Must Prepare In 2020
  • Top Hadoop Interview Questions To Prepare In 2020 – HDFS
  • Top 20 Apache Spark Interview Questions 2019
  • Top 62 Data Engineer Interview Questions & Answers
  • Hadoop MapReduce Interview Questions In 2020
  • Top Hadoop Interview Questions To Prepare In 2020 – Apache Hive
  • Lambda architecture

• Elasticsearch
  • 성능 튜닝하기 : Shard, Replica의 개수와 사이즈 등
• Logstash

• Docker
  • Container vs VM
  • Difference between Docker and process
• Kubernetes Cluster
  • Pod
  • Replica Set
  • Deployment
  • Service
  • Namespace

• 멀티스레드와 멀티프로세스
• 교착상태(deadlock)의 발생조건
• 다익스트라의 은행원 알고리즘
• 세마포어와 뮤텍스
• 프로세스 스케줄러
• CPU 스케줄링 알고리즘
• 페이지 교체 알고리즘
• 페이징과 세그먼테이션, 그리도 단편화
• Big-endian, Little-endian
• 캐시 메모리와 버퍼 메모리
• 페이지 캐시와 버퍼 캐시
• Polling과 Interrupt
• Sync와 Async, Blocking과 Non-blocking
• Context Switching이 진행되는 단계

• 데이터 무결성 (Data Integrity)
• 데이터베이스 인덱스
• 데이터베이스 정규화
• 파티셔닝과 샤딩의 차이
• 트랜잭션과 ACID
• DDL / DML / DCL / TCL
• DELETE / TRUNCATE / DROP
• Top 50 SQL Interview Questions
• PostgreSQL vs MariaDB
• MongoDB 고가용성 아키텍처

• TCP and UDP
• TCP's 3-way handshake, 4-way handshake
• HTTP 요청 메소드: GET과 POST의 차이

• Java
  • 인터페이스와 추상클래스의 차이, 그리고 다형성
  • JVM, JIT Compiler, GC
  • GC의 종류
  • Java 메모리 누수
  • On-heap과 Off-heap
  • String 대신 StringBuffer, StringBuilder를 쓰는 이유
  • static 선언과 GC
  • Primitive type, Reference type, Wrapper class
• Scala
  • Scala의 함수형 프로그래밍 성질
• Python
  • GIL(Global Interpreter Lock)

• Array vs Linked List
• Stack and Queue
  • Stack으로 Queue 구현하기
• Tree
  • Binary Search Tree (BST)
  • AVL Tree
  • Heap
• Hash Table
• Graph
  • Dijkstra algorithm
• Sorting
• Recursion
• Dynamic Programming

• MVC Pattern
• Idempotence(멱등성)
• 테스트 도구와 절차
• 트래픽/트랜잭션량 측정
• Singleton 패턴을 사용하는 이유

머신러닝, 데이터분석 등 관심있는 연구 분야와 수행 프로젝트 정리

• Anomaly Detection
• Churn Prediction
• NLP
• Recommender System
• ideas
  • PySpark 클러스터 환경에서 각 노드별 python package 일괄 관리 툴
  • Apache Nutch의 streaming 버전, Spark 기반의 웹 크롤러

• https://www.edureka.co/blog/interview-questions/hadoop-interview-questions-hdfs-2/
• https://acadgild.com/blog/top-20-apache-spark-interview-questions-2019
• https://github.com/JaeYeopHan/Interview_Question_for_Beginner
• https://wikidocs.net/23683