Whisper Mate – 영상, 녹음 파일 자동 번역 자막 생성 앱
Whisper Mate 어떤 앱 인가요?
Whisper Mate 오픈AI에서 개발한 자동 음성 인식 모델인 Whisper를 사용해 만든 앱 입니다. 오픈소스라 직접 깃헙에서 다운로드 받아서 사용하실 수 있습니다. Whisper Mate는 더 편리하게 사용할 수 있게 해주는 앱 입니다.
요즘 AI 덕분에 우리 삶의 많은 변화가 생기고 있는데요. 우연히 접하게 되었는데 꽤 재미있게 사용할 것 같아서 바로 구매했습니다. 무료 기능만으로도 상당히 쓸만하니 충분히 사용해보고 유료 기능이 필요하신 분만 구매하시면 됩니다.
위스퍼 메이트 기능
앱스토어 페이지에 나온 내용 입니다. 버전업 되면서 내용도 업데이트 될 수 있으니 해당 페이지에서 확인하시는게 더 정확할거예요.
- 오디오나 비디오 파일 변환
- (Zoom/Skype/Teams/기타 앱과 같은) 다른 앱에서 오디오 캡처 및 변환 지원 (macOS 13.0 이상 & 화면 녹화 권한 필요)
- DeepL 무료 API를 사용하여 자막 번역
- 텍스트 변환을 수정하기 위한 내장 자막 편집기
- SRT, VTT, CSV, JSON, SEGMENT로 내보내기
- 각 자막에 스피커 설정 지원
- 일괄 작업 실행과 같이 대부분의 작업에 일괄 선택 지원
- 변환 시작을 위해 파일 끌어서 놓기 지원
- 검색 전사에 직접 입력 지원
- 편집기에서 오디오나 비디오 파일을 프리뷰하여 재생 범위와 동기화 가능
- 선택한 자막의 미디어 범위를 새로운 미디어 클립 파일로 내보내기
- 하드 자막이 포함된 비디오를 원본 비디오에 덮어씌우고 사용자 정의 자막 스타일로 내보내기
- 비디오 프리뷰에서 자막을 직접 확인 (자막 스타일은 환경 설정 패널에서 사용자 정의 가능)
- 마이크 오디오 녹음 및 실시간 변환 지원 (macOS 13+)
- 자막 병합 기능. 세그먼트 범위와 자막이 하나의 행으로 병합됩니다.
- 앱 오디오 녹음은 자동으로 파일로 저장되며 새로운 변환 프로젝트로 전환할 수 있습니다.
- 자막 행 복제 및 내용 또는 시간 범위 수정을 통한 전체 자막 섬세 조정 가능
- 미디어 미리보기 재생 속도를 사용자 정의할 수 있습니다.
- ⌘+V를 사용하여 복사한 파일을 처리 대기열에 붙여넣기 지원
- Whisper 처리 시 CPU 사용량 표시
- 작업 목록을 정리하기 위해 컨텍스트 메뉴에서 프로젝트 아카이브 지원
- 자막 번역 컨트롤에서 Google Translate 지원
- 전체 크기의 미디어와 자막 레이아웃으로 미디어 미리보기 가능
- Finder의 “열기” 기능에서 미디어 파일 열기 지원
- 다국어 변환 지원
- 변환 또는 번역에 자주 사용하는 사용자 정의 언어 지원
Whisper Mate 사용방법
사용하기가 쉽고 간단해서 위스퍼 메이트 사용기 내용이 길지 않아 금방 읽고 사용하실 수 있을 것 입니다.
설정 메뉴
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1727-mmSz0D5p.webp)
일반에서는 그렇게 바꿀만한 옵션은 안 보입니다.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1749-ozhaVugs.webp)
언어에서 저는 Korean 하나만 선택했습니다. 캡처를 잘못함;
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1727-fPCFEVqK.webp)
저는 DeepL을 사랑해요.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1727-q7hV2N8i.webp)
취향에 맞게 선택
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-2209-mtUDJesc.webp)
플러그인 탭에서는 ‘저장 위치’만 설정해주시면 되겠습니다. 테스트 URL로 혹시 네이버TV 영상도 받아지는지 해봤는데, 안되네요. 유튜브는 쉽게 됩니다.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1702-7ZhHc5Jt.webp)
저는 8월 26일에 구매했습니다. 그래서 9.99달러/14,000원(환율, 애플 앱스토어 수수료 등이 포함된 가격이겠죠?)으로 구매가 가능했습니다. Lifetime(한번 구매하면 평생 사용)이라 한달만 즐겁게 가지고 놀아도 뽕 뽑는다고 생각해서 바로 구매했습니다.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1732-kDBHyHJR.webp)
여기 APP 탭에 나오는 앱들은 이미지, 동영상, ChatGPT 등 모두 AI를 활용한 앱들인데요. 찾아보면 모두 같은 제작자가 만든 것 입니다.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-Appstore.webp)
첫 시도
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1732-o42LOW14.webp)
마침 제가 제대로 된 자막이 필요한 영상이 유튜브에 떠서 테스트 해봤습니다. 캡처는 네이버로 되어있는데 저거 안돼서 뒤에 유튜브 주소로 바꿨습니다.
URL 추가 누르고 입력해주시면 되고, 여러개 받으시려면 엔터키 눌러서 줄바꿈 하시고 여러개 등록이 가능합니다.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1740-YVqM8gSn.webp)
엇! 아무 생각없이 했는데 youtube-dl 같은게 내장되어있는지 오디오, 화질, 확장자 별 다운로드가 가능합니다. 오오~
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1746-spi2Jn9j.webp)
상단 메뉴에서 ‘모델’누르시면 위의 화면이 나오는데요. 작은 / 기본 / 중간 / 큰 이렇게 나뉘어져 있는데 클 수록 작업 속도는 느려지고 퀄리티는 올라갑니다.
전문가라고 쓰여져 있는 ‘큰’ 모델은 유료 사용자만 가능합니다. 그게 두개 있죠? V1, V2인데 2가 더 좋다고 해요.
다 받고 나면..
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-2218-aSn0kPkG.webp)
사전 컴파일이라고 뜹니다.
![](https://netxhack.com/wp-content/uploads/2023/08/CleanShot-1751-RetBo6Ej.webp)
사전 컴파일을 해놓으면 작업 속도가 3배나 빨리진다니! 일단 이것에 대해서 잠깐 알고 넘어갈까요.
Core ML란?
![](https://netxhack.com/wp-content/uploads/2023/08/Core-ML.webp)
Core ML에 관한 설명은 애플 공식 홈페이지에 나온 내용을 먼저 읽어보시는 것도 좋겠습니다. – https://developer.apple.com/kr/machine-learning/core-ml/
Core ML은 CPU, GPU 및 Neural Engine을 활용하여 기기 내 성능을 최적화하는 동시에 메모리 공간과 전력 소비를 최소화합니다. 사람의 장치에서만 모델을 실행하면 네트워크 연결이 필요하지 않으므로 사람의 데이터를 비공개로 유지하고 앱의 응답성을 유지하는 데 도움이 됩니다.
간단하게 설명해드리면 위스퍼 메이트에서 Core ML 컴파일을 해놓으면 좋은 점은 ‘번역 및 자막 생성’ 작업을 할 때 인터넷이 아닌 컴퓨터 내부에서 이루어져서 한마디로 더 안전하고 더 빠른 작업을 할 수 있습니다.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-Core-ML-compile.webp)
두개 동시에 했더니 엄청 오래걸립니다. 자기전에 해놓고 아침에 확인해보시는게 좋을 것 같아요.
![](https://netxhack.com/wp-content/uploads/2023/08/Youtube-Translate.webp)
위 장면은 유튜브에서 지원한 ‘자동 번역 자막’입니다. 말이 이상합니다;;; 아까 위에서 유튜브 주소를 넣어서 다운로드 받았고 자막을 따고, ‘제대로 번역 된 자막’으로 다시 봅시다.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-2130-i3YK89c3.webp)
자동으로 스크립트가 모두 만들어졌습니다. 와우ㄷㄷ 제가 처음에 실수해서 영어로 설정해서 저렇게 나온 것 입니다. F Legend를 유튜브가 아까처럼 번역한거군요;;
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1756-bsERUSj5.webp)
내 사랑 Korean
내보내기
끝났으면 내보내기 해야겠죠? 저는 영상에 자막이 씌워진게 좋아서 ‘하드 자막 비디오 작성‘으로 했습니다.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1741-GNjVNKPL.webp)
상단 내보내기 버튼을 누른 뒤 선택.
![](https://netxhack.com/wp-content/uploads/2023/08/Whisper-Mate-1749-I3eo1U00.webp)
폰트 설정도 가능한게 좋습니다. whisper mate가 앞으로 업데이트 하면서 더 편리한 기능들이 추가 될거라 믿습니다. https://whisper.marksdo.com/ko 이 페이지 버전 변경 기록을 보면 꽤 열심히 개발하는 것 같습니다.
아참 개인적으로 저기 자막 설정에서 ‘외부 상자’ 체크하는게 더 보기 좋더군요. 자막을 자막 이렇게 배경이 들어가는 것 입니다. 일부 영상의 경우 하단에 기존 외국어 자막이 있는 경우가 있는데 그때 쓰시면 좀 더 낫습니다.
결과물
![](https://netxhack.com/wp-content/uploads/2023/08/Infuse-1748-vnLjpdnc.webp)
우리의 사랑스럽고 자랑스러운 좀비를 ‘빌어먹을 레전드’라고 발번역했던 나쁜 유튜브 자동 자막 기능… Whisper+DeepL이 훌륭한 품질로 한국어로 번역해줬습니다. 세상 진짜 좋아졌네요.
![](https://netxhack.com/wp-content/uploads/2023/09/Whisper-AI-japanese-translate.webp)
일본어도 잘 됩니다. 확실히 중간 모델 보다는 ‘큰(Large)’ 모델 번역이 낫습니다. 결과물을 보면 차이가 있어요.
자 이제.. 개인적으로 알고싶었던(..) 작업을 좀 해봐야겠군요. 흠흠.
메뉴에서 앱 정보를 더 많이 얻으실 수 있습니다.
유니버설로 윈도우도 되는거같아 땡기는데 이건 그래픽카드 성능과는 상관없는건가요?
몇달전에 깃헙에서 위스퍼 받아서 써봤는데 vram이 작아서 스몰 옵션 쓰니까 형편없더라구요ㅜㅜ
AI쪽은 GPU(그래픽카드)가 매우 중요합니다. 저는 맥북 m1pro로 돌렸는데 꽤 만족스러웠어요.
이거 윈도우 버전은 없어요!