Whisper Mate – 영상, 녹음 파일 자동 번역 자막 생성 앱

Whisper Mate 어떤 앱 인가요?

Whisper Mate 오픈AI에서 개발한 자동 음성 인식 모델인 Whisper를 사용해 만든 앱 입니다. 오픈소스라 직접 깃헙에서 다운로드 받아서 사용하실 수 있습니다. Whisper Mate는 더 편리하게 사용할 수 있게 해주는 앱 입니다.

요즘 AI 덕분에 우리 삶의 많은 변화가 생기고 있는데요. 우연히 접하게 되었는데 꽤 재미있게 사용할 것 같아서 바로 구매했습니다. 무료 기능만으로도 상당히 쓸만하니 충분히 사용해보고 유료 기능이 필요하신 분만 구매하시면 됩니다.

위스퍼 메이트 기능

앱스토어 페이지에 나온 내용 입니다. 버전업 되면서 내용도 업데이트 될 수 있으니 해당 페이지에서 확인하시는게 더 정확할거예요.

• 오디오나 비디오 파일 변환
• (Zoom/Skype/Teams/기타 앱과 같은) 다른 앱에서 오디오 캡처 및 변환 지원 (macOS 13.0 이상 & 화면 녹화 권한 필요)
• DeepL 무료 API를 사용하여 자막 번역
• 텍스트 변환을 수정하기 위한 내장 자막 편집기
• SRT, VTT, CSV, JSON, SEGMENT로 내보내기
• 각 자막에 스피커 설정 지원
• 일괄 작업 실행과 같이 대부분의 작업에 일괄 선택 지원
• 변환 시작을 위해 파일 끌어서 놓기 지원
• 검색 전사에 직접 입력 지원
• 편집기에서 오디오나 비디오 파일을 프리뷰하여 재생 범위와 동기화 가능
• 선택한 자막의 미디어 범위를 새로운 미디어 클립 파일로 내보내기
• 하드 자막이 포함된 비디오를 원본 비디오에 덮어씌우고 사용자 정의 자막 스타일로 내보내기
• 비디오 프리뷰에서 자막을 직접 확인 (자막 스타일은 환경 설정 패널에서 사용자 정의 가능)
• 마이크 오디오 녹음 및 실시간 변환 지원 (macOS 13+)
• 자막 병합 기능. 세그먼트 범위와 자막이 하나의 행으로 병합됩니다.
• 앱 오디오 녹음은 자동으로 파일로 저장되며 새로운 변환 프로젝트로 전환할 수 있습니다.
• 자막 행 복제 및 내용 또는 시간 범위 수정을 통한 전체 자막 섬세 조정 가능
• 미디어 미리보기 재생 속도를 사용자 정의할 수 있습니다.
• ⌘+V를 사용하여 복사한 파일을 처리 대기열에 붙여넣기 지원
• Whisper 처리 시 CPU 사용량 표시
• 작업 목록을 정리하기 위해 컨텍스트 메뉴에서 프로젝트 아카이브 지원
• 자막 번역 컨트롤에서 Google Translate 지원
• 전체 크기의 미디어와 자막 레이아웃으로 미디어 미리보기 가능
• Finder의 “열기” 기능에서 미디어 파일 열기 지원
• 다국어 변환 지원
• 변환 또는 번역에 자주 사용하는 사용자 정의 언어 지원

Whisper Mate 사용방법

사용하기가 쉽고 간단해서 위스퍼 메이트 사용기 내용이 길지 않아 금방 읽고 사용하실 수 있을 것 입니다.

설정 메뉴

일반에서는 그렇게 바꿀만한 옵션은 안 보입니다.

언어에서 저는 Korean 하나만 선택했습니다. 캡처를 잘못함;

저는 DeepL을 사랑해요.

취향에 맞게 선택

플러그인 탭에서는 ‘저장 위치’만 설정해주시면 되겠습니다. 테스트 URL로 혹시 네이버TV 영상도 받아지는지 해봤는데, 안되네요. 유튜브는 쉽게 됩니다.

저는 8월 26일에 구매했습니다. 그래서 9.99달러/14,000원(환율, 애플 앱스토어 수수료 등이 포함된 가격이겠죠?)으로 구매가 가능했습니다. Lifetime(한번 구매하면 평생 사용)이라 한달만 즐겁게 가지고 놀아도 뽕 뽑는다고 생각해서 바로 구매했습니다.

여기 APP 탭에 나오는 앱들은 이미지, 동영상, ChatGPT 등 모두 AI를 활용한 앱들인데요. 찾아보면 모두 같은 제작자가 만든 것 입니다.

첫 시도

마침 제가 제대로 된 자막이 필요한 영상이 유튜브에 떠서 테스트 해봤습니다. 캡처는 네이버로 되어있는데 저거 안돼서 뒤에 유튜브 주소로 바꿨습니다.

URL 추가 누르고 입력해주시면 되고, 여러개 받으시려면 엔터키 눌러서 줄바꿈 하시고 여러개 등록이 가능합니다.

엇! 아무 생각없이 했는데 youtube-dl 같은게 내장되어있는지 오디오, 화질, 확장자 별 다운로드가 가능합니다. 오오~

상단 메뉴에서 ‘모델’누르시면 위의 화면이 나오는데요. 작은 / 기본 / 중간 / 큰 이렇게 나뉘어져 있는데 클 수록 작업 속도는 느려지고 퀄리티는 올라갑니다.

전문가라고 쓰여져 있는 ‘큰’ 모델은 유료 사용자만 가능합니다. 그게 두개 있죠? V1, V2인데 2가 더 좋다고 해요.

다 받고 나면..

사전 컴파일이라고 뜹니다.

사전 컴파일을 해놓으면 작업 속도가 3배나 빨리진다니! 일단 이것에 대해서 잠깐 알고 넘어갈까요.

Core ML란?

Core ML에 관한 설명은 애플 공식 홈페이지에 나온 내용을 먼저 읽어보시는 것도 좋겠습니다. – https://developer.apple.com/kr/machine-learning/core-ml/

Core ML은 CPU, GPU 및 Neural Engine을 활용하여 기기 내 성능을 최적화하는 동시에 메모리 공간과 전력 소비를 최소화합니다. 사람의 장치에서만 모델을 실행하면 네트워크 연결이 필요하지 않으므로 사람의 데이터를 비공개로 유지하고 앱의 응답성을 유지하는 데 도움이 됩니다.

간단하게 설명해드리면 위스퍼 메이트에서 Core ML 컴파일을 해놓으면 좋은 점은 ‘번역 및 자막 생성’ 작업을 할 때 인터넷이 아닌 컴퓨터 내부에서 이루어져서 한마디로 더 안전하고 더 빠른 작업을 할 수 있습니다.

두개 동시에 했더니 엄청 오래걸립니다. 자기전에 해놓고 아침에 확인해보시는게 좋을 것 같아요.

위 장면은 유튜브에서 지원한 ‘자동 번역 자막’입니다. 말이 이상합니다;;; 아까 위에서 유튜브 주소를 넣어서 다운로드 받았고 자막을 따고, ‘제대로 번역 된 자막’으로 다시 봅시다.

자동으로 스크립트가 모두 만들어졌습니다. 와우ㄷㄷ 제가 처음에 실수해서 영어로 설정해서 저렇게 나온 것 입니다. F Legend를 유튜브가 아까처럼 번역한거군요;;

내 사랑 Korean

내보내기

끝났으면 내보내기 해야겠죠? 저는 영상에 자막이 씌워진게 좋아서 ‘하드 자막 비디오 작성‘으로 했습니다.

상단 내보내기 버튼을 누른 뒤 선택.

폰트 설정도 가능한게 좋습니다. whisper mate가 앞으로 업데이트 하면서 더 편리한 기능들이 추가 될거라 믿습니다. https://whisper.marksdo.com/ko 이 페이지 버전 변경 기록을 보면 꽤 열심히 개발하는 것 같습니다.

아참 개인적으로 저기 자막 설정에서 ‘외부 상자’ 체크하는게 더 보기 좋더군요. 자막을 자막 이렇게 배경이 들어가는 것 입니다. 일부 영상의 경우 하단에 기존 외국어 자막이 있는 경우가 있는데 그때 쓰시면 좀 더 낫습니다.

결과물

우리의 사랑스럽고 자랑스러운 좀비를 ‘빌어먹을 레전드’라고 발번역했던 나쁜 유튜브 자동 자막 기능… Whisper+DeepL이 훌륭한 품질로 한국어로 번역해줬습니다. 세상 진짜 좋아졌네요.

일본어도 잘 됩니다. 확실히 중간 모델 보다는 ‘큰(Large)’ 모델 번역이 낫습니다. 결과물을 보면 차이가 있어요.

자 이제.. 개인적으로 알고싶었던(..) 작업을 좀 해봐야겠군요. 흠흠.

메뉴에서 앱 정보를 더 많이 얻으실 수 있습니다.