메타, 멀티모달 이미지 생성, 분석 가능한 카멜레온(CM3leon) 공개

메타, 생성AI 카멜레온 공개

 

 

멀티모달 이미지 생성과 분석을 지원하는 인공지능(AI) 모델이 등장했습니다.

지난 14일(현지 시각) Meta는 'CM3leon'이라는 멀티모달 이미지 생성 AI 모델을 공개했습니다. 이 모델은 이미지와 텍스트를 함께 생성하고 분석하는 기능을 갖추고 있으며, 관련 블로그를 통해 이미지에 대한 텍스트 설명도 제공합니다. 출시일은 언급되지 않았습니다. Meta에 따르면, Chameleon은 기존의 이미지 생성 AI 모델에서 사용되는 확산 모델 대신, 이미지 데이터를 일정한 크기의 패치로 나누어 의미론적 토큰으로 표현된 데이터로 변환하는 '마스킹된 토큰 모델링'이라는 사전 훈련 방법을 사용했습니다. 이는 ChatGPT와 같은 대규모 언어 모델을 구축하는 데에 일반적으로 사용되는 방법입니다. 이를 통해 Chameleon은 이미지 내에서의 패턴을 이해하고(이미지 인식) 새로운 패턴을 생성하는(이미지 생성) 방법을 학습하였습니다.

 

 

사전 훈련 후에는 Meta가 다양한 태스크 생성에 유용한 복잡한 프롬프트를 이해하도록 Chameleon을 세밀하게 조정하였습니다. 지도 학습 세부 조정을 통해 이미지 캡션 생성, 시각적 질문에 대한 답변, 텍스트 기반 편집, 조건부 이미지 생성 등 다양한 멀티모달 태스크를 수행할 수 있게 되었습니다. 또한, Map fine-tuning 기법을 적용하여 ChatGPT와 같은 텍스트 생성 모델을 훈련시켜 매우 효과적인 결과를 얻을 수 있었습니다.

 

특히, Meta는 Shutterstock에서 라이선스를 받은 수백만 장의 이미지 데이터셋을 사용하여 Chameleon을 훈련시켰습니다. Meta는 약 30억 개의 작은 텍스트 토큰 데이터셋으로 70억 개의 파라미터를 가진 Chameleon을 훈련시켰습니다. 이러한 방식으로 비주얼 질문에 답하거나 자막과 작업하는 등 다양한 시각 언어 태스크를 어려움 없이 수행할 수 있었습니다. Chameleon은 기존 AI 모델보다 5배 적은 계산량과 작은 훈련 데이터셋으로 더 높은 성능을 기록하였습니다. 이 접근 방식은 Chameleon이 원하는 정확한 이미지를 생성할 수 있게 합니다.

 

 

예를 들어, '사하라 사막에 있는 따끈따끈한 사슴뿔 선글라스를 쓴 작은 선인장'과 같이 복잡한 설명을 기반으로 개체를 성공적으로 생성할 수 있었습니다. 또한, 이미지와 텍스트 프롬프트가 주어졌을 때 동일한 모델을 사용하여 이미지를 텍스트의 지시에 따라 편집할 수도 있습니다.

 

 

Chameleon은 다양한 프롬프트를 기반으로 짧은 또는 긴 캡션을 생성하고 이미지에 관한 질문에 답변할 수 있습니다. 예를 들어, '개가 막대기를 들고 있는' 이미지에 대해 '개가 무엇을 가지고 있나요?'라고 물으면 모델은 '막대기'라고 대답하며, '주어진 이미지를 자세히 설명하세요'라고 물으면 모델은 '이 이미지에는 개가 입에서 막대기를 들고 있습니다. 표면에는 풀이 있고, 배경에는 나무가 있습니다'라고 답할 것입니다.

 

반응형

 

 

Chameleon은 텍스트 지시뿐만 아니라 입력으로 제공되는 구조적인 정보나 레이아웃 정보를 이해하고 해석하여 이미지 편집을 시각적으로 일관되고 문맥에 맞게 수행할 수 있습니다. 예를 들어, 이미지의 경계 상자 세그멘테이션에 대한 텍스트 설명을 주면 해당 설명에 맞는 이미지를 생성할 수 있습니다.

 

카멜레온(CM3leon)의 이점

 

멀티모달 이미지 생성 및 분석을 지원하는 인공지능(AI) 모델인 'CM3leon'의 등장은 일반 대중에게 다양한 이점과 우려 사항을 제기하고 있습니다.

 

이 모델의 이점 중 하나는 원하는 이미지를 자연어로 상세하게 설명하거나 질문을 통해 이미지를 편집할 수 있다는 점입니다. 예를 들어, 사용자가 '사하라 사막에 있는 따끈따끈한 사슴뿔 선글라스를 쓴 작은 선인장'이라고 설명하면 CM3leon은 해당 이미지를 생성할 수 있습니다. 이는 예술 창작이나 디자인 작업 등에서 창의성을 높여주는데 도움을 줄 수 있습니다.

 

또한, 이미지에 대한 텍스트 설명을 통해 시각 장애인이나 시각적으로 정보를 이해하기 어려운 사람들에게 이미지를 전달하는 데에도 활용될 수 있습니다. 또한, CM3leon은 이미지에 대한 질문에 대답하거나 이미지에 관한 자세한 캡션을 생성할 수 있는 능력도 갖추고 있습니다. 이를 통해 사진 앨범이나 뉴스 기사 등에서 사진에 대한 추가 정보를 제공할 수 있습니다. 예를 들어, '개가 무엇을 가지고 있나요?'라고 물으면 '막대기'라는 답변을 얻을 수 있고, '주어진 이미지를 자세히 설명하세요'라고 물으면 '이 이미지에는 개가 입에서 막대기를 들고 있으며, 풀이 있는 표면과 배경에는 나무가 보입니다'라는 자세한 설명을 얻을 수 있습니다.

 

카멜레온(CM3leon)의 우려점

 

그러나 이러한 기술이 발전함에 따라 일부 우려 사항도 제기되고 있습니다.

 

첫 번째 우려 사항은 개인 정보와의 관련성입니다. 이미지 생성 및 분석을 위해 수많은 이미지 데이터셋이 사용되는데, 이 중 일부는 개인 정보를 포함하고 있을 수 있습니다. 이러한 데이터가 부적절하게 사용되거나 유출될 경우 사생활 침해 등의 문제가 발생할 수 있습니다. 이에 대한 데이터 보호와 관련된 법적, 윤리적인 문제에 대한 적절한 대응이 필요합니다.

 

두 번째 우려 사항은 모델의 편향성과 오류 가능성입니다. AI 모델은 사전 훈련 단계에서 수많은 데이터를 학습하게 되는데, 이러한 데이터에는 사회적인 편향이나 오류가 포함될 수 있습니다. 그 결과, 모델이 생성한 이미지나 캡션에도 편향이 반영될 수 있으며, 잘못된 정보가 전달될 수도 있습니다.

 

이러한 문제를 완화하기 위해서는 다양한 데이터셋의 사용과 모델의 학습과정에서의 편향 보정이 중요합니다.

 

기술의 전망 및 기대감

 

미래에는 멀티모달 이미지 생성 및 분석 기술이 더욱 발전할 것으로 기대됩니다. 예술, 디자인, 교육, 의료 등 다양한 분야에서 이 기술이 적용되어 창의적인 작업과 효율적인 정보 전달에 큰 도움을 줄 것입니다. 또한, 보다 정확하고 다양한 데이터셋을 활용하여 모델의 성능과 신뢰성을 높이는 연구와 개선이 이루어질 것입니다. 그러나 동시에 개인 정보 보호와 편향 보정 등에 대한 논의와 대응이 함께 이루어져야 합니다. 이를 통해 더욱 안전하고 공정한 인공지능 기술의 발전이 이루어질 것으로 기대합니다.

 

https://typenine9.tistory.com/247

AI 보이스피싱 급증, 음성 딥페이크 탐지 기술로 잡아낼 수 있을까