I'm ML(machine learning) Engineer who specialize in DeepLearning.
- Languages: Python(๋งํฌ , Java, C++(๋งํฌ)
- Tool : Slack , Zoom, Git(๋งํฌ) ,VsCode ,Jupyter Notebook, drawio
- CS: Data structures and algorithms(๋งํฌ), Networking , Operating System ,Programming Language , Theory and Compiler , Database , cryptology
- AI: Pytorch(๋งํฌ),Deep Learning(๋งํฌ),NLP,Computer Vision , Machine Learning ,Linear Algebra, Statistics & Probability
- Cloud: GCP
1 . Pytorch Tutorial ์คํ ์์ pytorch/tutorials#1845
์์ธํ ๋ณด๊ธฐ
2021.Aug - 2022.Jan
- 3๊ฐ์ Team์ ์ ๊ทน์ ์ผ๋ก ์ด๋๋ฉฐ , ๋ฌธ์ ๊ด๋ฆฌ ๋ฐ GIt์ ์ฌ์ฉํ ํ๋ก์ ํธ ๊ด๋ฆฌ. ์ด๋ฅผ ํตํด ์ฃผ๋์ ์ผ๋ก ์๊ฒฉํ์ ์ ์ด๋์์.
- ๋ด๋ถ Competetion์์ Team์ ๋ฆฌ๋ํ์ฌ , ๊ฐ๊ฐ 3๋ฑ , 6๋ฑ์ ์ฑ๊ณผ๋ฅผ ๋ฌ์ฑํจ
- ๊ธฐ์ด Coruse์์ Math,Python,Data Visualization , DeepLearning Architecture ๊ด๋ จ ์ง์์ ์ต๋ํจ.
- NLP Course Track์ ์ ํํ์ฌ LLM,ODQA,Relation Extraction ๋ฑ์ task๋ฅผ ํ์ตํ์์.
- ๋ด๋ถ ์ปค๋ฎค๋ํฐ์์ ๋งค์ผ ๊ธ์ฐ๊ธฐ ํ๋ ๋ฐ Q&A ํ๋์ ์ ๊ทน์ ์ผ๋ก ์ํ์ฌ BoostTech๋ฅผ ๋น๋ธ ์บ ํผ์ ์ ์ ๋จ
2021.Aug - 2021.DEC
- Coursera์ DeepLearning Specialization Course๋ฅผ ์๊ฐํ์ฌ ๋ฅ๋ฌ๋ task์ ๋ํด ์ด๋ก ์ ์ธ ์ง์์ ๊ฐํํจ
- Google Cloud์ Professional Data Engineer ์๊ฒฉ์ฆ์ ์ทจ๋ํจ.
์์ธํ ๋ณด๊ธฐ
- DeepLearning Paper์ ๋ชจ๋ configuration์ ๋ณต์ ํ์ฌ ๋ ผ๋ฌธ์ ์ฑ๋ฅ์ ์ฌํํ๊ณ ์ ํจ.
- ํ์ฌ ์งํ์ค
- 4๋ช ์ ํ์ ๋ฆฌ๋ํ๊ณ , ์ฌ๋์ ์ฌ์ฉํ์ฌ ๊ฐ์ธ ์ ๋ฌด ๊ด๋ฆฌ, ์ค์ ์ฌ์ฉํ์ฌ ๋ฏธํ ์ ์งํ , ๊ตฌ๊ธ ๋๋ผ์ด๋ธ๋ฅผ ์ฌ์ฉํ์ฌ ๋ฌธ์ ๊ด๋ฆฌ ๋ฐ GIt์ ์ฌ์ฉํ ํ๋ก์ ํธ ๊ด๋ฆฌ. ์ด๋ฅผ ํตํด ์ฃผ๋์ ์ผ๋ก ์๊ฒฉํ์ ์ ์ด๋์์. ์ ์ ๊ฐ ๋ด์ค ๊ฒ์ํ ๊ด๋ จ ๋ด์ค๋ฅผ ๊ฒ์ํ๋ ๊ณผ์ ์ ์ค์ด๊ธฐ ์ํด์ ๊ด๋ จ ๋ด์ค ์ค๋ํซ์ ์ ์ฅํ๋ LLM Aplication์ ๊ฐ๋ฐํด์ ๊ด๋ จ ๋ด์ค ๊ฒ์์ 4๋จ๊ณ ๊ณผ์ ์ 1๋จ๊ณ๋ก ์ค์ฌ์ ๊ฒ์์๊ฐ์ 40% ๊ฐ์.
- 84๋ง๊ฐ์ ๋ด์ค ๋ฐ์ดํฐ๋ฅผ ์์งํ์ฌ ๊ฐ์ธ์ ๋ณด,์ ์๊ถ,ํน์๋ฌธ์ ๋ฑ์ ์ ๊ทํํ์์ ์ฌ์ฉํ์ฌ ์ ๊ฑฐ ํ๊ณ ๋ง์ถค๋ฒ์ ๊ต์ ํ๋ ์ ์ฒ๋ฆฌ ์งํ
- Huggingface์์ ์ ๊ณตํ๋ klue/roberta-large model์ Pytorch์์ ์์งํ ๋ด์ค ๋ฐ์ดํฐ๋ก fine-tuning ํด์ ODQA model์ ๊ตฌํ .Weight & Bias ํ๋ซํผ์์ Bayesian Search๋ฅผ ์ฌ์ฉํ์ฌ Hyperparameter search๋ฅผ ์ํ. baseline ๋๋น 30%์ ์ฑ๋ฅ ํฅ์
- User flow์ Data Flow๋ฅผ ์์ฑํ์ฌ specification์ ๋ง๋ค๊ณ , fastapi๋ฅผ ํตํด์ ๋ชจ๋ธ์ ์นAPI๋ก ๋ง๋ ํ GCP์ server์ ๋ฐฐํฌํจ
- Github ๋งํฌ :๋งํฌ Youtube ๋งํฌ:๋งํฌ
- 5๋ช ์ ํ์ ๋ฆฌ๋ํ๊ณ , ์ค์ ํตํด ์๊ฒฉ์ผ๋ก ํ์ ์งํ ๋ฐ weight&bias ์์ ํ์ hyperparameter search ๋ฐ model evaluation ๊ฒฐ๊ณผ๋ฅผ ๊ด๋ฆฌํ์ฌ ์ฃผ๋์ ์ผ๋ก ์๊ฒฉํ์ ์ ์ด๋์์.
- Competition์์ ,๋ฌธ์ฅ์์ 2๊ฐ์ entity๊ฐ์ ๊ด๊ณ๋ฅผ ๋ถ๋ฅํ๋ Model์ Pytorch์์ klue/Roberta-large-Model์ Fine-tuningํ์ฌ ๊ฐ๋ฐํจ. Weight & Bias ํ๋ซํผ์์ Bayesian Search๋ฅผ ์ฌ์ฉํ์ฌ + Hyperparameter search๋ฅผ ์ํ. 19๊ฐ์ ์ฐธ๊ฐ์กฐ ์ค ์ต์ข 6๋ฑ์ํจ. baseline-model์ error๋ฅผ 50% ์ .
- Github ๋งํฌ ppt ๋งํฌ
- 7๋ช ์ ๋ฆฌ๋ํ๊ณ , ํ ์ ์ฒด์ ์ฝ๋ ๋ฆฌ๋ทฐ๋ฅผ ๋ด๋นํ๊ณ GIt์ ํตํ์ฌ ํ๋ก์ ํธ ๊ด๋ฆฌ ๋ฐ ์ค์ ํตํ์ฌ ์๊ฒฉํ์ ์งํ์ ํจ. ์ฃผ๋์ ์ผ๋ก ํ ์ ์ฒด์ ์ฝ๋ ์ํคํ ์ณ๋ฅผ ํต์ผํ๊ณ ์๊ฒฉํ์ ์ ์ด๋์์.
- Competetion์์ ๋์ด,์ฑ๋ณ,๋ง์คํฌ ์ฐฉ์ฉ์ ํ์ธํ๋Image Classification ๋ชจ๋ธ์ Pytorch์์ ๊ตฌํํ์ฌ , 39๊ฐ์ ์กฐ์ค 8๋ฑ์ด๋ผ๋ ์ฑ๊ณผ๋ฅผ ์ป์์ต๋๋ค. Python์ sequence type์ด ์ฌ์ฉ๋ ์ฝ๋๋ฅผ generator type๋ก ์์ ํ์ฌ ๊ธฐ์กด ์ฝ๋์ Memory ์ฌ์ฉ๋์ 1/3์ผ๋ก ์ค์ฌ์ ์ต์ ํ๋ฅผ ํ์ต๋๋ค.
- Github ๋งํฌ
- ๋ฌด๋ถ๋ณํ ์ ์ฑ ๋๊ธ์ ๊ณ ํต๋ฐ๋ ์ฌ๋๋ค์ ๋์์ฃผ๋ LLM application์ ๊ฐ๋ฐ. 100๋ง๊ฐ์ ๋๊ธ ๋ฐ์ดํฐ๋ฅผ ํฌ๋กค๋งํ์ฌ ์ ๊ท์์ผ๋ก ์ ์ฒ๋ฆฌํ๊ณ Bert model์ Tensorflow์์ large scale trainingํ์ฌ Sentiment Classifier ๋ชจ๋ธ์ ๊ฐ๋ฐ. Pretrained Huggingface model ๋๋น ์ฑ๋ฅ์ด 30% ์ฆ๊ฐ. ๋ด๋น๊ต์๋์ด ๋ด๋นํ๋ 3๊ฐ์ ํ์ค์์ 1๋ฑ์ ํด์ ํ๊ณผ ์ต์ข ๋ฐํํ์์ ๋ฐํ.
- ์กธ์ ๋ ผ๋ฌธ๋งํฌ
- Tensorflow์ API๋ฅผ ์ฌ์ฉํ์ฌ Object Detection Application ์ ์์ฑํ์ฌ ์ ํ๋ 90 %๋ฅผ ๋ฌ์ฑ
- Binary Classifiaction์ผ๋ก Face Verification Model์ scratch๋ถํฐ ์์ฑํ์์ผ๋ ์คํจ. ์ฌ๊ธฐ์, Pretrained model์ ์ค์์ฑ์ ๊นจ๋ฌ์
- Github๋งํฌ:(https://github.com/woongjoonchoi/final-project-level3-nlp-19) ,๋ธ๋ก๊ทธ๋งํฌ:(https://woongjun-warehouse.tistory.com/25)
๊ฐ์ธ์ ์ผ๋ก ๊ณต๋ถํ OCW,Mooc and STEM books.
์์ธํ ๋ณด๊ธฐ
certificate(link )
Assignment(๋ฒํผํด๋ฆญ)
NoteTaking(๋ฒํผํด๋ฆญ)
Python self-studying by STEM Book and Cpython github source.
์์ธํ๋ณด๊ธฐ
STEM Books about Python Beginner ~ Intermediate
Note Taking
Python Peformance๋ฅผ ๋ด๋ถ ๊ตฌํ ๊ด์ ์์ ๋ฐ๋ผ๋ด ๋๋ค.
Note Taking
STEM book about git in terms of Distributed Version control system
์์ธํ๋ณด๊ธฐ
์์ธํ ๋ณด๊ธฐ
- Google ML bootcamp 2021 Aug - 2021 Dec
- Naver Boostcamp AI tech 2021 AUg - 2022 Jan
- Computer Science(B.S.) ,KoreaAeroSpace univ 2015-2021