Google, 실시간 언어 번역과 음성 변환 AI 모델 'Audiofarm' 공개

Google, 실시간 언어 번역과 음성 변환 AI 모델 'Audiofarm' 공개

구글 AI

Google은

새로운 언어 모델 'Audiofarm'을 공개했다고 전합니다. 이 모델은 음성을 이해하고 실시간으로 다른 언어로 번역할 수 있는 기술로, 아직 연구 단계에 있지만 구글 번역과 같은 기존 서비스에 통합되거나 다른 제품이나 서비스 응용에 적용될지는 알려지지 않았습니다. 그러나 이는 텍스트와 음성을 모두 처리하고 생성할 수 있는 다중 모달 아키텍처를 실현한 것으로 주목할 만합니다.

 

'Audiofarm'은 텍스트 기반 대형 언어 모델인 'PaLM 2'와 음성 기반 오디오 생성 모델 'AudioLM'을 결합하여 텍스트와 음성을 처리하고 생성하는 기능을 갖추고 있습니다. 기존에는 개별적으로 훈련되어야 했던 음성 인식, 텍스트 음성 변환 및 음성 - 음성 번역과 같은 작업들을 단일 아키텍처로 통합합니다.

 

반응형

 

이를 위해 LLM 'Farm 2'의 사전 훈련된 텍스트 임베딩 매트릭스와 음성 임베딩 매트릭스를 결합하여 입력 형식에 공통적으로 사용되는 임베딩 표현을 학습합니다.

 

모델은 텍스트와 오디오 입력을 새로운 토큰 세트로 임베딩 한 후, 단일 디코더 특정 트랜스포머에 혼합된 토큰 시퀀스를 피드 하며 텍스트 또는 오디오 토큰을 디코딩합니다. 음성 토큰은 오디오 LM 단계에서 다시 음성으로 변환합니다.

 

 

AudioLM의 통합으로 인해 Audiofarm은 오랜 기간동안 일관되고 고품질의 음성을 생성할 수 있습니다. AudioLM은 입력 음성 다음에 오는 소리를 예측하고, 원본 화자의 리듬과 강세를 유지하면서 음성을 생성합니다. 이 과정은 GPT-3와 같은 언어 모델이 어떤 문장과 단어가 자주 연결되는지 예측하는 방식과 유사합니다.

 

모델은 어떤 유형의 소리 단편이 자주 함께 발생하는지 학습하고, 이를 역으로 사용하여 문장을 생성합니다. 이는 기존의 음성 - 텍스트 변환 시스템이 제공하기 어려운 웃음, 쉼표, 감탄사와 같은 텍스트로 쉽게 번역되지 않는 준언어적 정보를 보존하는 장점도 가지고 있습니다.

 

Google은 PaLM2의 언어 전문성과 AudioLM의 준언어적 정보 보존 기능으로 인해 Audiofarm이 자동 음성 번역 및 음성 - 음성 번역에서 최고 수준의 결과를 달성한다고 밝혔습니다.

 

특히, 텍스트와 음성을 모두 처리하고 생성할 수 있는 다중 모달 AI 모델이 확립되어 다중 모달 AI 연구에서 혁신적인 결과를 이끌어냈다는 평가를 받고 있습니다.

 

구글 AI

이 도입된 주제의 일반 대중에 대한

혜택과 우려에 대해 예를 들어 설명하면 다음과 같습니다.

 

이러한 모델이 상용화되면 일상 생활에서 수많은 이점을 누릴 수 있습니다. 가장 간단한 예로는 해외여행 시, 언어 장벽을 극복하여 의사소통이 원활해질 것입니다. 또 다른 예로는, 한국어로 말하는 사람이 말을 영어로 들리게 하고 싶다면 한국어로 말하면 된다. 그러면, 이 모델은 실시간으로 한국어를 번역하여 영어로 전달하고, 동시에 영어로 말한 내용을 한국어로 번역하여 상대방이 이해할 수 있도록 도와줄 것입니다. 이러한 기술을 비즈니스, 국제회의, 문화 교류 등 다양한 상황에서 적극적으로 활용될 수 있을 것입니다.

 

하지만 이에는 몇 가지 우려 사항도 존재합니다. 예를 들어, 개인 정보 보호와 관련된 문제가 그 중 하나입니다. 실시간 음성 변환 및 번역을 위해서는 사용자의 음성 데이터가 온라인으로 전송되어야 합니다. 이는 개인의 음성 정보가 외부로 유출될 가능성을 내포하고 있습니다. 이러한 문제에 대한 보안 및 개인 정보 보호 대책이 철저히 마련되어야 합니다.

 

또한, 기술의 제한 사항에 대한 우려도 있습니다. 현제의 기술은 주로 대화형 상황에서 작동하며, 특정 언어에 대한 번역 정확성이 완벽하지 않을 수 있습니다. 예를 들어, 사회적 문화적 맥락을 고려하지 못하고 번역하는 경우, 문제가 발생할 수 있습니다. 이러한 한계를 극복하기 위해서는 계속해서 연구와 개선이 이루어져야 합니다.

 

마지막으로,

이 주제의 미래 전망과 기대에 대한 글을 정리하면 이 글을 마무리하겠습니다.

 

Audiofarm과 같은 실시간 언어 번역과 음성 변환 기술은 현재 연구 단계에 있지만, 상용화되면 우리의 일상에서 혁신적인 변화를 가져올 것으로 기대됩니다. 이러한 기술은 문화 교류, 국제 비즈니스, 국가 간 협력 등의 분야에서 상호 이해를 촉진하고, 다양한 언어로 의사소통을 하는 데 도움이 될 것입니다. 또한 이러한 기술의 발전은 음성 인식 및 번역 기술, AI 연구분야의 발전에도 큰 영향을 미칠 것으로 예상됩니다.

 

하지만 이에 앞서 개인 정보 보호, 정확성 및 제한 사항 등의 문제를 주의 깊게 다뤄야 합니다. 적절한 보안 및 개인 정보 보호 대책을 마련하고, 기술의 한계를 극복하기 위해 노력해야 합니다.

 

앞으로 우리는 이러한 기술의 발전과 함께 더욱 편리하고 다문화적인 세상을 만들어 갈 수 있을 것입니다. 기술의 발전에 따라 경계를 넘어 소통할 수 있는 새로운 문화와 경제적 기회가 우리를 기다리고 있습니다. 우리는 이를 활용하여 더욱 다양하고 글로벌한 사회를 구축할 수 있을 것입니다.

 

https://typenine9.tistory.com/195

AI로 이제 편곡도 한다! Genie Music과 Juice의 협업으로 탄생한 Genie.Re:La 서비스

https://typenine9.tistory.com/183

AI와 스포츠: 데이터 분석과 예측으로 성과 극대화

https://typenine9.tistory.com/190

주민등록증에 인공지능 프로필 사진 사용 제한, 그 이유는?

https://typenine9.tistory.com/189

인공지능과 의료: 의료 혁신의 주역으로서의 인공지능의 역할