View Code? Open in Web Editor
NEW
This project forked from choihkk/nix-tts
License: MIT License
Python 11.71%
Jupyter Notebook 88.06%
Cython 0.11%
Dockerfile 0.12%
nix-tts-1's Introduction
- nix-tts를 구현하여 vits 오픈 소스와 함께 한국어 데이터셋(KSS)을 사용해 빠르게 학습합니다.
- KSS 데이터셋은 기본적으로 44kHz인 점을 감안하여 22kHz로 resampling할 수 있도록 utils.load_wav_to_torch()를 수정했습니다.
- data_utils.py 내부 get_audio method에는 spectrogram을 생성하고 저장한 뒤 다시 읽어오게끔 하는 부분이 있지만 해당 부분을 주석처리했습니다.
- data_utils.py 내부 get_text method를 kss 스크립트에 맞추어 변경했습니다.
- utils.py 내부 load_filepaths_and_text func. 를 data_utils.py 입력 형식에 맞게끔 수정했습니다.
- stft_loss.py 를 추가하고 models.py SynthesizerTrn 부분 speaker embedding if문 일부를 수정했습니다.
- conda 환경으로 진행해도 무방하지만 본 레포지토리에서는 docker 환경만 제공합니다. 기본적으로 ubuntu에 docker, nvidia-docker가 설치되었다고 가정합니다.
- GPU, CUDA 종류에 따라 Dockerfile 상단 torch image 수정이 필요할 수도 있습니다.
- vits 오픈소스에서 제공하는 영어 문장은 국제음성기호(ipa)를 사용하지만 본 레포지토리에서는 일반적인 한국어 전처리 기법을 사용합니다.
- 별도의 pre-processing 과정은 필요하지 않습니다.
- Nix-TTS에서 제안하는 model parameters와 일치하지 않고 조금 더 작은 수치로 구현되었습니다.
- 학습 단계에서 Nix-TTS에서 제안하는 Text Aligner를 사용하지만, 추론 단계에서는 Text Aligner를 사용하지 않습니다.
- download dataset - https://www.kaggle.com/datasets/bryanpark/korean-single-speaker-speech-dataset
unzip /path/to/the/kss.zip -d /path/to/the/kssmkdir /path/to/the/nix-tts/data/datasetmv /path/to/the/kss.zip /path/to/the/nix-tts/data/dataset
cd /path/to/the/nix-ttsdocker build --tag nix-tts:latest .
nvidia-docker run -it --name 'nix-tts' -v /path/to/nix-tts:/home/work/nix-tts --ipc=host --privileged nix-tts:latestcd /home/work/nix-tts/monotonic_alignpython setup.py build_ext --inplacecd /home/work/nix-ttsgit clone https://github.com/jaywalnut310/vitscd /home/work/nix-tts/vits/monotonic_alignpython setup.py build_ext --inplacecd /home/work/nix-ttsln -s /path/to/the/nix-tts/data/dataset/ksspython train_encoder.py -c ./config/kss_distil_encoder.json -m kss -g 0python train_decoder.py -c ./config/kss_distil_decoder.json -m kss -g 0- arguments
- -c : comfig path
- -m : model output directory
- -g : gpu number
- (OPTIONAL)
tensorboard --logdir=outdir/logdir
Tensorboard mel-spectrograms
- Nix-TTS: An Incredibly Lightweight End-to-End Text-to-Speech Model via Non End-to-End Distillation
- Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech
- SpeedySpeech: Efficient Neural Speech Synthesis
- RAD-TTS: Parallel Flow-Based TTS with Robust Alignment Learning and Diverse Synthesis
- One TTS Alignment To Rule Them All
nix-tts-1's People
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent