[TTS] 도커 컨테이너 환경에서 MeloTTS 모델 테스트하기 (feat. RTX 5070ti)

 

1. 서버 환경은  

Ubuntu 24.04.2 LTS 

하드웨어 구성은 아래와 같다 

CPU AMD Ryzen 7 7700 GPU NVIDIA GeForce RTX 5070 Ti

메인보드 ASUS TUF Gaming B650M-PLUS (STCOM 유통)

메모리 G.Skill Flare X5 DDR5-6000 CL30 64GB (32GB x 2)

SSD WD Blue SN580 M.2 NVMe SSD 500GB 

 

TTS 테스트는 도커 환경에서 진행되었다. 

 

 

2. 아이디어:  "한국어 구현이 자연스러운 음성 대화 챗봇" 만들기

 

 

3. TTS 모델 선정하기 

 

우리는 직접 모델을 학습시키고, 필요하다면 파인 튜닝(모델 구조 변경 수준에서의)까지 해보자는 목표를 가지고 tts 모델을 찾아보았다. 

가장 중요했던 것은 오픈소스 형태이면서 학습 코드 training py 파일을 제공하는가, 또한 제한된 시간 안에 서비스 형태로 구현해야 하기 때문에 한국어 사전학습이 완료된 모델이어야 했다. (안그러면 시간과 자원이 너무나도 많이 필요해진다) 

 

2번에서 언급했듯이 우리의 목표는 "한국어 구현이 자연스러운 TTS" 이다. 

우리는 여기서 "자연스러운 한국어"에 대해서도 정의를 할 필요가 있었다. 자연스럽다는 것은 결국 "느낌"이기 때문에 

"정답"을 가질 수 없다. 

- 인간이 어떤 포인트에서 "사람의 음성"을 듣고 자연스럽다고 느끼는지

- 자연스러움을 결정 짓는 요소는 어떤 것이 있는지 

등등 이외에도 다양한 관점에서 "자연스러운 한국어 음성", "대화체" 에 대해 정의해보고자 노력했다. 

 

일단 자연스러움에 대한 감을 잡은 뒤 TTS 에 대해 공부하고 머신러닝을 감당할 수 있는 ㅋㅋ 서버를 구축했다. 

십시일반.... 통장을 탈탈 털어 컴퓨터 부품들을 사모았다. .  ㅋ ㅋ 마치 포켓몬볼 모으듯이 ㅋ ㅋ ㅋ ㅋ

그렇게 이백만원이 훌쩍 넘는 소중한 컴퓨터가 드디어 완성 되었다 ㅋ ㅎ  

우분투를 깔고 포트포워딩도 해서 팀원들이 접속할 수 있도록 해주었다. 

 

이제 우리가 공부한 내용을 바탕으로 우리 아이디어를 구현할 수 있는 TTS 모델을 골라야했다. 

작년? 재작년 ? 모델인 5070ti 한 대로는 최최최신 TTS 를 가져다가 학습하기에는 다양한 제약이 있었고 한국어 학습이 이미 되어 있으면서 공식적으로 지원도 하고,,  오픈소스인,,, 무료 라이선스인 모델을 찾는 것은 당연하게도 어려운 일이었다. 

 

우선 최근에 (23년 이후) 공개되었으며 한국어 사전 학습이 된, 그리고 라이선스 문제가 없는 (MIT) TTS 중 하나인 Melo TTS 모델을 먼저 테스트 해보았다. (다른 팀원분은 GPT-SoVITS, Coqui-XTTS 등등을 차례로 보신다고 하셨다. ) 

 

 

4. Melo TTS 란? 

GitHub - myshell-ai/MeloTTS: High-quality multi-lingual text-to-speech library by MyShell.ai. Support English, Spanish, French,

 

- MIT 와 MyShell.ai가 개발한 고품질 다국어 텍스트-음성(TTS) 라이브러리

- 지원되는 언어: 영어(미국, 영국, 인도, 호주), 스페인어, 프랑스어, 중국어(영어 혼합), 일본어, 한국어 

- 고품질 다국어 TTS 라이브러리 제공, CPU 에서도 실시간 추론 가능한 효율적 모델 

 

특징

- 고품질 음성 합성: 모든 지원언어에서 자연스럽고 명확한 음성 생성. 다국어 TTS 솔루션 제공 

- 경량화 및 효율성: CPU 환경에서도 뛰어난 성능 발휘 

- 변분추론과 적대적 학습을 기반으로 한 End-to-End TTS 모델 VITS 기반

- 다양한 장치(CPU, GPU, NPU)에 대한 OpenVINO 툴킷 사용해 최적화 가능. 

 

 

5. 도커 컨테이너에 Melo TTS 테스트 하기 

 

 

5-1)  melo tts 깃 클론 (경로: eunsil/tts_models)

git clone https://github.com/myshell-ai/MeloTTS.git

 

 

 

5-2) Docker file 로 도커 이미지 빌드하기 

- Melo TTS 는 도커 지원하기 때문에 Dockerfile 이 저장소에 들어있음. 

docker build -t melotts-korean-env .

 

그러나 계속 되는 빌드 실패 .... ㅋㅋ

ㅋㅋㅋㅋ 

 

melo 에서 기본으로 제공하는 도커 파일 내용은 아래와 같다. 

FROM python:3.9-slim
WORKDIR /app
COPY . /app

RUN apt-get update && apt-get install -y \
    build-essential libsndfile1 \
    && rm -rf /var/lib/apt/lists/*

RUN pip install -e .
RUN python -m unidic download
RUN python melo/init_downloads.py

CMD ["python", "./melo/app.py", "--host", "0.0.0.0", "--port", "8888"]

 

알고 보니 이대로는 절대 이미지 빌드가 되지 않는다 

끝나지 않는 종속성 지옥에 갇히게 됨 ㅋ 

 

botocore 버전 충돌, PyTorch 버전 호환성 문제  등등 

작년에 공개된 오픈소스라 그런지 벌써 버전 충돌이 일어나는 모듈들이 넘 많았다. 

특히나 우리가 사용중인 5070ti 는 최신 gpu 모델에 속하기 때문에 이에 호환되는 파이토치, cuda 버전을 찾는 것도 일이었다. 

결국 최종적으로는 이미 이전에 도커에 tts 모델을 테스트해보신 팀원분이 도커 파일을 공유해주신 덕분에 해결할 수 있었다. 

진작에 도움을 청했어야 했는디... ㅠ 

 

수정된 docker file 은 아래와 같다. 

# 1. 베이스 이미지 설정: NVIDIA CUDA 이미지 사용
#    RTX 5070 Ti (sm_120) 호환성을 위해 NVIDIA 공식 CUDA 이미지를 사용합니다.
FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.04

# 2. 환경 변수 설정
ENV DEBIAN_FRONTEND=noninteractive
ENV TZ=Asia/Seoul
ENV PATH="/root/.local/bin:${PATH}"
# ENV CUDA_LAUNCH_BLOCKING=1 # GPU 오류 디버깅 시 유용, 평소에는 주석 처리

# 3. 시스템 도구 및 파이썬 환경 설치
RUN apt-get update && apt-get install -y --no-install-recommends \
    python3 \
    python3-pip \
    python3-dev \
    build-essential \
    curl \
    git \
    git-lfs \
    libsndfile1 \
    portaudio19-dev \
    && rm -rf /var/lib/apt/lists/*

# 4. 작업 디렉토리 설정 및 소스코드 복사
WORKDIR /app
COPY . .

# 5. 파이썬 라이브러리 설치 (가장 중요!)
RUN pip install --upgrade pip

# --- 이 줄을 추가합니다: PyTorch Nightly (최신 기능 및 CUDA 12.8 지원) 버전 설치 ---
#    팀원 분이 StyleTTS 2에서 성공한 바로 그 명령어입니다.
#    --pre: 프리릴리즈 버전을 포함하여 설치
#    --index-url: Nightly 빌드 다운로드 URL 지정 (CUDA 12.8용)
RUN pip install --no-cache-dir --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128

#    MeloTTS의 나머지 의존성 및 프로젝트 자체 설치
#    requirements.txt에 botocore, cached_path, gradio 등의 버전이 명시되어 있어야 합니다.
#    (그리고 requirements.txt에서 torch와 torchaudio는 반드시 제거되어야 합니다!)
RUN pip install -e .
RUN pip install huggingface-hub # 필요한 경우 추가

# 6. unidic 사전 및 모델 가중치 초기 다운로드 실행
RUN python3 -m unidic download
RUN python3 melo/init_downloads.py

# 7. WebUI 포트 노출
EXPOSE 8888

# 8. 컨테이너 실행 시 기본 명령어
CMD ["python3", "./melo/app.py", "--host", "0.0.0.0", "--port", "8888"]

 

requirements.txt

txtsplit
cached_path==1.6.2 
transformers==4.27.4
num2words==0.5.12
unidic_lite==1.0.8
unidic==1.1.0
mecab-python3==1.0.9
pykakasi==2.2.1
fugashi==1.3.0
g2p_en==2.1.0
anyascii==0.3.2
jamo==0.4.1
gruut[de,es,fr]==2.2.3
g2pkk>=0.1.1
librosa==0.9.1
pydub==0.25.1
eng_to_ipa==0.0.2
inflect==7.0.0
unidecode==1.3.7
pypinyin==0.50.0
cn2an==0.5.22
jieba==0.42.1
gradio==3.50.2
langid==1.1.6
tqdm
tensorboard==2.16.2
loguru==0.7.2
botocore==1.34.88

 

 

도커 이미지의 특징 

1. 재현성 (Reproducibility) : 이미지는 불변한다. 어떤 환경에서든 동일한 이미지 사용하면 동일한 개발환경, 결과 얻을 수 있음 !! “내 컴퓨터에서 되는데, 네 컴에서는 안돼” 못함 ㅋ
2. 격리 (isolation) : 이미지는 필요한 모든 것을 자체적으로 포함함!! 호스트 시스템의 다른 소프트웨어랑 충돌할 염려 없음.
3. 배포 용이성: 한번 만들어진 이미지는 다른 서버, 클라우드 환경으로 쉽게 옮겨 배포할 수 있음.

이미지 저장 경로: /var/lib/docker/ 디렉토리 아래 @@ 1!!

 

 

5-3) 도커 컨테이너 실행하기 

이미지 빌드가 완성 되었다. 

이제 컨테이너를 실행해보자!! 

#1. -it 옵션 : 세션이 끊기면 컨테이너도 같이 종료됨. exied

docker run --gpus all -it -p 8888:8888 -v "$(pwd):/app" melotts-korean-env


#2. -d 옵션: 도커 컨테이너를 "백그라운드에서도 동작하게" 
docker run --gpus all -d -p 8888:8888 -v "$(pwd):/app" --name melotts_webui melotts-korean-env



#2. --rm 옵션 : 종료와 동시에 "컨테이너 인스턴스" 삭제됨.
docker run --gpus all --rm -p 8888:8888 -v "$(pwd):/app" --name melotts_webui melotts-korean-env

- 이 중 하나를 골라 run 을 하면 Dockerfile 마지막 줄 CMD 창에 적힌 명령어가 실행된다. 

app.py -> 웹 ui 화면을 포트 번호 8888번을 사용해 열라는 뜻. 

 

 

도커 명령어 모음 

#현재 실행 중인 도커 컨테이너 확인
docker ps

#현재 실행 중 + 중지된 컨테이너 전부 확인
docker ps -a 

#이전 컨테이너 중에서 현재 사용 안하는 컨테이너 삭제 
#1)전체 삭제 
docker rm $(docker ps -a -q)

#2)특정 컨테이너 삭제 
docker rm [id 혹은 names 직접 입력] !!!! image 입력하면 안됨. !! 

#현재 exited 상태인 도커 컨테이너 다시 시작시키기 - 종료된 컴 켜기 
#docker ps -a 목록에 존재해야하며, exited(0) 인 상태여야함. 
docker start <컨테이너_ID_또는_이름>

 

 

 

5-4) 웹 ui 로 melo tts 추론하기 

melo tts 는 웹 ui 를 제공한다. 

 

컨테이너를 실행하면 위와 같은 웹 ui 화면을 열 수 있다. !!! 

처음 추론 시에는 3초 이내의 짧은 문장도 20초는 족히 걸리지만 이후 바로 빨라짐. 

 

자 이렇게 melo tts 를 도커 내에서 추론해보았다~! 

추론 결과는 아래에 있다. 한국어 음성 자체는 꽤 자연스럽다. 말투는 자연스럽지 않지만 확실히 

한국어 구현은 어려운 문제가 아닌 것 같다. 

 

 

 

"오늘 비 온다던데 우산 챙겼니? ... 어? 근데 지금은 비 안오는 것 같아" 에 대한 음성 파일이다. 

한번 들어보세요 

꽤 자연스럽지 않나욤? ㅇㅁㅇ 

audio.mp3

0.78MB

 

 

 

 

추론 결과와 최종 선택한 GPT-SoVITS 모델에 대해서는 다음 게시글에서 더 자세하게 다뤄볼 예정이다 안뇽