원하는 유튜브 영상을 STT를 통한 text 추출 및 요약, 키워드 추출, MRC를 지원하는 서비스입니다.

강혜윤	고우진	김윤혜	윤주엽	이민준

.
├── bin
│   ├── frontend
│   │   ├── main.py
│   │   ├── frontend.sh
│   │   └── check_summary.py
│   │
│   ├── backend
│   │   └── main.py
│   │
│   ├── models
│   │   ├── postprocessing
│   │   └── kobart_summary2_v_1
│   │   
│   ├── asr_inference.py
│   ├── dataset.py
│   ├── key_bert.py
│   └── utils.py
│
└── conf
    ├── decode_asr.yaml
    ├── fast_decode_asr.yaml
    └── fast_decode_asr_ksponspeech.yaml

위 서비스를 제대로 실행하기 위해서는 front-end와 back-end을 서로 다른 가상환경에서 실행해야 합니다.

conda create -n frontend python=3.8.13

conda create -n backend python=3.8.13

conda activate frontend

(frontend)
pip install streamlit
pip install streamlit_player
pip install typeguard
pip install espnet
pip install espnet_model_zoo
pip install transformers
pip install pydub

conda activate backend

(backend)
pip install pytube
pip install moviepy
pip install git+https://github.com/SKT-AI/KoBART#egg=kobart
pip install konlpy
pip install sentence_transformers
pip install fastapi
pip install uvicorn
pip install pydub
apt-get update && apt install default-jdk

ESPnet pre-train model with ksponspeech을 다운로드 받으려면 다음을 실행하세요.

(frontend) tools/download_mdl.sh

Postprocessing pre-train model을 다운로드 받으려면 여기 를 클릭하세요.
모델은 압축을 풀어 ~~/espnet-asr/bin 에 postprocessing_model이라는 이름으로 넣습니다
모델 폴더 경로 : ~~/espnet-asr/bin/postprocessing_model

kobart pre-train model을 다운로드 받으려면 여기 를 클릭하세요.
모델은 압축을 풀어 ~~/espnet-asr/bin 에 kobart_summary(frontend/main.py에 있는 load_model() 경로에 맞춰서)이라는 이름으로 넣습니다
모델 폴더 경로 : ~~/espnet-asr/bin/kobart_summary

혹은, 다음 사이트를 방문하여 원하는 텍스트 후처리 모델을 다운로드하세요. https://plaid-raja-512.notion.site/4c07fd772e334dc9a3d7dbc4acd1bcce

shell의 cd 기능을 이용하여 다음 폴더로 이동한 뒤, 다음 명령어를 통해 실행시킵니다.

~~/espnet-asr/bin/frontend
sh frontend.sh

~~ /espnet-asr/bin/backend
python main.py

다음 링크에서 확인하실 수 있습니다.

https://plaid-raja-512.notion.site/Review-53fbb44d11dd45dbbc9a0de79a25353f