일레븐랩스가 대화 도중 상대의 말을 내 언어로 들려주는 ‘일레븐랩스 리얼타임 번역’을 공개했다. 10월 21일 공식 발표에 따르면 이 모델은 90개 이상 언어를 지원하며, 현재 ElevenAPI 기업 고객을 대상으로 알파 서비스를 제공한다. 일반 크리에이터용 더빙 도구가 아니라 통신·상담·라이브 행사를 겨냥한 실시간 음성 번역 기술이다.

각자 자기 언어로 말하는 통화
이용 방식은 각자가 자기 언어로 말하고 상대방의 말도 자기 언어로 듣는 구조다. 회사는 번역된 말이 대화가 진행되는 동안 자연스럽고 표현력 있는 음성으로 전달된다고 설명했다. 통신사는 이를 통화 계층에 넣고, 고객센터는 상담원과 발신자 사이에 번역 기능을 둘 수 있다.
국제 행사도 활용처다. 참석자마다 연사의 말을 자기 언어로 듣도록 구성할 수 있어, 사전에 제작한 다국어 음원을 재생하는 방식과는 다르다. 다만 실제 행사에 적용하려면 현장 음향과 수음 상태, 참가자의 청취 환경을 함께 시험해야 한다. 발표 글은 구체적인 행사 운영 결과를 제시하지 않았다.
도이치텔레콤은 일레븐랩스와 함께 자사 ‘마젠타 AI 콜 어시스턴트’에 들어갈 새로운 통화 기능을 만들고 있다. 이는 협업 사례이지, 모든 통신사 이용자가 지금 바로 쓸 수 있다는 의미는 아니다.

언어를 바꿔도 목소리는 유지
기본 음성 모델은 실시간 용도로 최적화한 저지연 모델 ‘Eleven v4 Turbo’다. 자동 언어 감지를 지원하고, 여러 언어에서 한 목소리의 일관성을 유지하는 데 초점을 맞췄다. 브랜드나 상담 에이전트의 목소리가 시장마다 크게 달라지지 않도록 하려는 설계다.
목소리는 라이브러리의 1만 7,500개 이상 중에서 고르거나 인스턴트·프로페셔널 음성 복제 기능으로 만들 수 있다. 선택한 목소리는 세션 동안 유지된다. 복제 목소리를 도입하는 제작 현장이라면 원음 제공자의 동의와 이용 범위를 별도로 확인할 필요가 있다.
팀은 번역이 시작되는 속도도 조절할 수 있다. 회사는 요금이나 보험금 청구처럼 복잡한 대화에서는 번역 품질을, 빠른 문답에서는 낮은 지연을 우선하는 사례를 들었다. 다만 지연 시간을 밀리초 단위로 제시하거나 언어별 품질을 비교한 수치는 공개하지 않았다.

영상 더빙과는 다른 도입 판단
이번 발표의 핵심은 완성된 영상에 나중에 음성을 입히는 후반작업이 아니라, 대화가 이어지는 순간 언어를 연결하는 것이다. 라이브 방송이나 국제 온라인 행사를 운영하는 팀에는 활용 방향을 보여주지만, 기존 영상 전체를 자동으로 번역·배포하는 제품 발표로 받아들여서는 안 된다.
실시간 번역의 제작 흐름은 녹음·번역·더빙을 차례로 끝내는 후반작업과 다르다. 청중이 듣는 속도가 원래 발화와 어긋날 수 있으므로 질의응답의 간격, 발언 중 끼어들기, 발음이 불분명한 상황을 시험 항목으로 삼을 수 있다. 행사 전체에 적용하기 전에 짧은 세션으로 확인하는 접근이 필요한 이유다.
현재 제공 대상은 ElevenAPI 기업 고객이다. 도입 상담은 영업팀을 통하도록 안내했으며, 개인 이용자의 일반 공개 일정이나 구체적인 요금은 이 글에 담기지 않았다. 콘텐츠 사업자는 공개 사양만으로 제작비 절감이나 통역 인력 대체를 단정하기보다, 자사 언어 조합과 현장 조건에서 시험 가능한지부터 확인하는 편이 낫다.
참고한 자료
- 일레븐랩스 공식 블로그, 2026년 10월 21일 발표: https://elevenlabs.io/blog/realtime-translation