OpenAI는 Unity와 협업하여 Text to Video 모델 Sora를 전격 발표했다. 아직 일반인들에게 출시되지 않았다.
Sora는 시각적 품질과 사용자의 지시에 따라 최대 1분 길이의 동영상을 생성할 수 있다고 한다.
Text로 영상을 생성하는 AI 사이트 중 대표적인 사이트는 Runaway, Pixverse, Vercel 등이 있으며, 특히 TextToVideo의 선두 격인 Runway는 Runway Gen-2를 발표하면서 이 시장의 최고 강자는 자신임을 보여주는 듯했다.
Runway Gen-2를 사용해 보면 알겠지만, 영상 속 일부 이미지들의 형상이 뭉개지거나 제대로 표현이 되지 않고, 어딘가 좀 어색한 부분이 눈에 띈다. 이 부분은 기술적으로 해결하기 어려운 문제처럼 보였다.
아래 Runway Gen-2가 생성한 운전 이미지를 보면 핸들의 일부가 뭉개져 있고, 왼손이 꺾어져 있는 듯 잘 표현되지 않았다.
Sora 영상에 대한 분석
그런데 OpenAI가 생성한 영상은 확실히 달랐다. OpenAI의 Sora 홈페이지에서 예시로 보여준 영상을 한번 살펴보자.
openai.com/sora
위 영상은 아래 Text만으로 생성되었다고 한다.
"Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.more"
(프롬프트 : 스타일리시한 여성이 따뜻한 빛을 발하는 네온과 애니메이션 도시 간판이 가득한 도쿄 거리를 걷고 있다. 그녀는 검은 가죽 재킷, 긴 빨간 드레스, 검은 부츠를 신고 있으며, 검은색 핸드백을 들고 있다. 그녀는 선글라스를 착용하고 빨간 립스틱을 바르고 있다. 그녀는 자신감 있고 캐주얼하게 걷고 있다. 거리는 축축하고 반사되어, 다채로운 빛의 거울 효과를 만들어낸다. 많은 보행자들이 주변을 걷고 있다. )
도쿄 거리를 걷고 있는 여성과 한 밤의 네온사인이 가득한 비온 후의 도쿄 거리가 전혀 어색하게 느껴지지 않는다. 자세히 보면 여자의 걸음걸이와 다리의 비율이 조금 어색한 것이 눈에 띄지만 전체적으로 보면 그렇게 눈에 거슬리는 정도는 아니다.
더욱 놀라운 것은 Sora는 단순히 Text를 영상으로 생성하는 것이 아니라 실제 세계에 이러한 사물이 어떻게 존재하는지도 이해한다는 점이다. 이를 바탕으로 Sora는 여러 캐릭터, 특정 유형의 동작, 피사체와 배경의 정확한 디테일이 포함된 복잡한 장면을 생성할 수 있다. 이는 그동안 Chat-GPT의 급속산 성능 향상을 통한 놀라운 Text 이해도를 토대로 Sora를 개발되었기에 가능한 것처럼 보인다.
아래 차량의 동적 영상을 생성한 것을 보면 놀라움을 감출 수 없다. 차체의 물리적 이해와 차량의 움직임에 따른 환경과의 물리적 상호작용을 제대로 이해한 듯한 영상을 생성해주고 있다.
생성 프롬프트 :
The camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from it’s tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. The dirt road curves gently into the distance, with no other cars or vehicles in sight. The trees on either side of the road are redwoods, with patches of greenery scattered throughout. The car is seen from the rear following the curve with ease, making it seem as if it is on a rugged drive through the rugged terrain. The dirt road itself is surrounded by steep hills and mountains, with a clear blue sky above with wispy clouds.
(카메라는 경사진 산비탈에 있는 소나무로 둘러싸인 가파른 비포장길을 빠르게 올라가는 검은색 지붕 랙이 있는 하얀 빈티지 SUV의 뒤를 따른다. 그것의 타이어에서 먼지가 풀리고, 햇빛이 비포장길을 따라 질주하는 SUV에 빛나며, 장면 전체에 따뜻한 빛을 던진다. 비포장길은 부드럽게 멀리로 굽어 있으며, 다른 차량이나 차들은 보이지 않는다. 도로 양쪽의 나무들은 적송이며, 여기저기 푸른 식생이 흩어져 있다. 차는 곡선을 따라 뒤에서 쉽게 보이며, 험준한 지형을 통한 거친 드라이브를 하는 것처럼 보인다. 비포장길 자체는 가파른 언덕과 산들로 둘러싸여 있으며, 위는 맑은 파란 하늘에 솜털구름이 있다. )
더욱 놀라운 영상은 아래 영상이다. 미술관을 영상으로 생성하였는데, 생성된 영상 속에 포함된 그림 하나하나가 정말 사실적으로 잘 표현되었다는 점이다.
생성 프롬프트 :
Prompt: Tour of an art gallery with many beautiful works of art in different styles.
(다양한 스타일의 아름다운 예술 작품들이 많은 미술관 투어)
sora의 약점 및 안전장치
그러나 아직 Sora 모델이 완벽한 것은 아니라고 OpenAI는 말한다.
"''현재 모델에는 약점이 있습니다. 복잡한 장면의 물리학을 정확하게 시뮬레이션하는 데 어려움을 겪을 수 있으며, 원인과 결과의 특정 사례를 이해하지 못할 수도 있습니다. 예를 들어, 사람이 쿠키를 한 입 베어 물었지만 나중에 쿠키에 물린 자국이 없을 수 있습니다.
또한 모델은 왼쪽과 오른쪽을 혼동하는 등 프롬프트의 공간적 세부 사항을 혼동할 수 있으며 특정 카메라 궤적을 따라가는 것과 같이 시간에 따라 발생하는 이벤트를 정확하게 설명하는 데 어려움을 겪을 수 있습니다. """
그리고 Sora는 여러 안전장치를 도입할 예정이다. 잘못된 정보, 혐오 콘텐츠, 편견과 같은 분야의 도메인 전문가인 레드 팀원들과 협력하여 모델을 적대적으로 테스트할 것이며, 극단적인 폭력, 성적인 콘텐츠, 혐오 이미지, 유명인 초상화, 타인의 IP를 요청하는 등 사용 정책을 위반하는 텍스트 입력 프롬프트를 확인하여 거부하는 텍스트 분류기를 적용할 예정이다. 또한 강력한 이미지 분류기를 개발하여 생성된 모든 동영상의 프레임을 검토하여 사용자에게 표시되기 전에 사용 정책을 준수하는지 확인하는 데 사용할 것이라 한다.
Sora의 생성 기술
소라는 정적 노이즈처럼 보이는 동영상으로 시작하여 여러 단계에 걸쳐 노이즈를 제거하여 점차적으로 변환하는 확산 모델로, 동영상을 생성한다.
Sora는 전체 동영상을 한 번에 생성하거나 생성된 동영상을 확장하여 더 길게 만들 수 있으며. 모델에 한 번에 여러 프레임을 예측할 수 있는 기능을 제공함으로써 피사체가 일시적으로 시야에서 사라져도 동일하게 유지되도록 하는 까다로운 문제를 해결했다고 한다.
GPT 모델과 마찬가지로 Sora는 트랜스포머 아키텍처를 사용하여 뛰어난 확장 성능을 구현한다.
동영상과 이미지를 패치라고 하는 작은 데이터 단위의 모음으로 표현하며, 각 패치는 GPT의 토큰과 유사하다. 데이터를 표현하는 방식을 통합함으로써 다양한 길이, 해상도, 종횡비를 아우르는 이전보다 더 광범위한 시각적 데이터에 대해 확산 변환기를 훈련할 수 있게 되었다.
Sora는 DALL-E와 GPT 모델에 대한 과거 연구를 기반으로 하며, 시각적 학습 데이터에 대해 매우 설명적인 캡션을 생성하는 DALL-E 3의 리캡션 기술을 사용한다. 그 결과 모델은 생성된 비디오에서 사용자의 텍스트 지시를 더 충실히 따를 수 있다.
이 모델은 텍스트 지침만으로 동영상을 생성할 수 있을 뿐만 아니라 기존 정지 이미지를 가져와서 동영상을 생성할 수 있으며, 이미지의 내용을 정확하고 세밀하게 애니메이션 화할 수 있다고 한다. 또한 모델은 기존 동영상을 가져와서 확장하거나 누락된 프레임을 채울 수도 있다.
누락된 프레임을 채우거나 기존 영상의 확장은 실제 영상 작업 시에도 많이 필요한 기술이기도 한다.
OpenAI, Text to Video 모델 Sora 전격 발표
OpenAI는 Unity와 협업하여 Text to Video 모델 Sora를 전격 발표했다. 아직 일반인들에게 출시되지 않았다.
Sora는 시각적 품질과 사용자의 지시에 따라 최대 1분 길이의 동영상을 생성할 수 있다고 한다.
Text로 영상을 생성하는 AI 사이트 중 대표적인 사이트는 Runaway, Pixverse, Vercel 등이 있으며, 특히 TextToVideo의 선두 격인 Runway는 Runway Gen-2를 발표하면서 이 시장의 최고 강자는 자신임을 보여주는 듯했다.
Runway Gen-2를 사용해 보면 알겠지만, 영상 속 일부 이미지들의 형상이 뭉개지거나 제대로 표현이 되지 않고, 어딘가 좀 어색한 부분이 눈에 띈다. 이 부분은 기술적으로 해결하기 어려운 문제처럼 보였다.
아래 Runway Gen-2가 생성한 운전 이미지를 보면 핸들의 일부가 뭉개져 있고, 왼손이 꺾어져 있는 듯 잘 표현되지 않았다.
Sora 영상에 대한 분석
그런데 OpenAI가 생성한 영상은 확실히 달랐다. OpenAI의 Sora 홈페이지에서 예시로 보여준 영상을 한번 살펴보자.
openai.com/sora
위 영상은 아래 Text만으로 생성되었다고 한다.
"Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.more"
(프롬프트 : 스타일리시한 여성이 따뜻한 빛을 발하는 네온과 애니메이션 도시 간판이 가득한 도쿄 거리를 걷고 있다. 그녀는 검은 가죽 재킷, 긴 빨간 드레스, 검은 부츠를 신고 있으며, 검은색 핸드백을 들고 있다. 그녀는 선글라스를 착용하고 빨간 립스틱을 바르고 있다. 그녀는 자신감 있고 캐주얼하게 걷고 있다. 거리는 축축하고 반사되어, 다채로운 빛의 거울 효과를 만들어낸다. 많은 보행자들이 주변을 걷고 있다. )
도쿄 거리를 걷고 있는 여성과 한 밤의 네온사인이 가득한 비온 후의 도쿄 거리가 전혀 어색하게 느껴지지 않는다. 자세히 보면 여자의 걸음걸이와 다리의 비율이 조금 어색한 것이 눈에 띄지만 전체적으로 보면 그렇게 눈에 거슬리는 정도는 아니다.
더욱 놀라운 것은 Sora는 단순히 Text를 영상으로 생성하는 것이 아니라 실제 세계에 이러한 사물이 어떻게 존재하는지도 이해한다는 점이다. 이를 바탕으로 Sora는 여러 캐릭터, 특정 유형의 동작, 피사체와 배경의 정확한 디테일이 포함된 복잡한 장면을 생성할 수 있다. 이는 그동안 Chat-GPT의 급속산 성능 향상을 통한 놀라운 Text 이해도를 토대로 Sora를 개발되었기에 가능한 것처럼 보인다.
아래 차량의 동적 영상을 생성한 것을 보면 놀라움을 감출 수 없다. 차체의 물리적 이해와 차량의 움직임에 따른 환경과의 물리적 상호작용을 제대로 이해한 듯한 영상을 생성해주고 있다.
생성 프롬프트 :
The camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from it’s tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. The dirt road curves gently into the distance, with no other cars or vehicles in sight. The trees on either side of the road are redwoods, with patches of greenery scattered throughout. The car is seen from the rear following the curve with ease, making it seem as if it is on a rugged drive through the rugged terrain. The dirt road itself is surrounded by steep hills and mountains, with a clear blue sky above with wispy clouds.
(카메라는 경사진 산비탈에 있는 소나무로 둘러싸인 가파른 비포장길을 빠르게 올라가는 검은색 지붕 랙이 있는 하얀 빈티지 SUV의 뒤를 따른다. 그것의 타이어에서 먼지가 풀리고, 햇빛이 비포장길을 따라 질주하는 SUV에 빛나며, 장면 전체에 따뜻한 빛을 던진다. 비포장길은 부드럽게 멀리로 굽어 있으며, 다른 차량이나 차들은 보이지 않는다. 도로 양쪽의 나무들은 적송이며, 여기저기 푸른 식생이 흩어져 있다. 차는 곡선을 따라 뒤에서 쉽게 보이며, 험준한 지형을 통한 거친 드라이브를 하는 것처럼 보인다. 비포장길 자체는 가파른 언덕과 산들로 둘러싸여 있으며, 위는 맑은 파란 하늘에 솜털구름이 있다. )
더욱 놀라운 영상은 아래 영상이다. 미술관을 영상으로 생성하였는데, 생성된 영상 속에 포함된 그림 하나하나가 정말 사실적으로 잘 표현되었다는 점이다.
생성 프롬프트 :
Prompt: Tour of an art gallery with many beautiful works of art in different styles.
(다양한 스타일의 아름다운 예술 작품들이 많은 미술관 투어)
sora의 약점 및 안전장치
그러나 아직 Sora 모델이 완벽한 것은 아니라고 OpenAI는 말한다.
"''현재 모델에는 약점이 있습니다. 복잡한 장면의 물리학을 정확하게 시뮬레이션하는 데 어려움을 겪을 수 있으며, 원인과 결과의 특정 사례를 이해하지 못할 수도 있습니다. 예를 들어, 사람이 쿠키를 한 입 베어 물었지만 나중에 쿠키에 물린 자국이 없을 수 있습니다.
또한 모델은 왼쪽과 오른쪽을 혼동하는 등 프롬프트의 공간적 세부 사항을 혼동할 수 있으며 특정 카메라 궤적을 따라가는 것과 같이 시간에 따라 발생하는 이벤트를 정확하게 설명하는 데 어려움을 겪을 수 있습니다. """
그리고 Sora는 여러 안전장치를 도입할 예정이다. 잘못된 정보, 혐오 콘텐츠, 편견과 같은 분야의 도메인 전문가인 레드 팀원들과 협력하여 모델을 적대적으로 테스트할 것이며, 극단적인 폭력, 성적인 콘텐츠, 혐오 이미지, 유명인 초상화, 타인의 IP를 요청하는 등 사용 정책을 위반하는 텍스트 입력 프롬프트를 확인하여 거부하는 텍스트 분류기를 적용할 예정이다. 또한 강력한 이미지 분류기를 개발하여 생성된 모든 동영상의 프레임을 검토하여 사용자에게 표시되기 전에 사용 정책을 준수하는지 확인하는 데 사용할 것이라 한다.
Sora의 생성 기술
소라는 정적 노이즈처럼 보이는 동영상으로 시작하여 여러 단계에 걸쳐 노이즈를 제거하여 점차적으로 변환하는 확산 모델로, 동영상을 생성한다.
Sora는 전체 동영상을 한 번에 생성하거나 생성된 동영상을 확장하여 더 길게 만들 수 있으며. 모델에 한 번에 여러 프레임을 예측할 수 있는 기능을 제공함으로써 피사체가 일시적으로 시야에서 사라져도 동일하게 유지되도록 하는 까다로운 문제를 해결했다고 한다.
GPT 모델과 마찬가지로 Sora는 트랜스포머 아키텍처를 사용하여 뛰어난 확장 성능을 구현한다.
동영상과 이미지를 패치라고 하는 작은 데이터 단위의 모음으로 표현하며, 각 패치는 GPT의 토큰과 유사하다. 데이터를 표현하는 방식을 통합함으로써 다양한 길이, 해상도, 종횡비를 아우르는 이전보다 더 광범위한 시각적 데이터에 대해 확산 변환기를 훈련할 수 있게 되었다.
Sora는 DALL-E와 GPT 모델에 대한 과거 연구를 기반으로 하며, 시각적 학습 데이터에 대해 매우 설명적인 캡션을 생성하는 DALL-E 3의 리캡션 기술을 사용한다. 그 결과 모델은 생성된 비디오에서 사용자의 텍스트 지시를 더 충실히 따를 수 있다.
이 모델은 텍스트 지침만으로 동영상을 생성할 수 있을 뿐만 아니라 기존 정지 이미지를 가져와서 동영상을 생성할 수 있으며, 이미지의 내용을 정확하고 세밀하게 애니메이션 화할 수 있다고 한다. 또한 모델은 기존 동영상을 가져와서 확장하거나 누락된 프레임을 채울 수도 있다.
누락된 프레임을 채우거나 기존 영상의 확장은 실제 영상 작업 시에도 많이 필요한 기술이기도 한다.
앞으로 Sora가 TextToVideo 영역에서도 센세이션을 불러일으킬 것으로 보인다.