AI로 뮤직비디오를 만든다면
소라로 만든 공식 뮤직비디오가 세상에 나오기 까지
5월 3일, 디렉터 폴 트릴로가 오픈AI 소라로 제작한 뮤직비디오가 공개되었습니다. 소라로 제작된 첫 공식 뮤비입니다.
제작자인 폴 트릴로*는 한 달 전부터 소라로 전문가 수준의 영상을 만드는 일에 골몰해 왔습니다. 제작에 난항을 겪었는지 19일 비즈니스 인사이더와의 인터뷰에서 '아직 영화에 쓰려면 멀었다'고 평하기도 했죠.
*폴 트릴로: AI, 스마트폰, 드론과 같은 실험적인 기술로 단편 영화를 제작하는 실험 영화 및 CF 감독입니다. 마이크로소프트, IBM, DELL, 이베이, 토요타, 포드 등의 광고를 감독했습니다.
가장 큰 이유는 결과물의 무작위성이었습니다. 폴 트릴로는 이 문제를 '(나의) 아이디어를 슬롯머신같이 뒤섞어버린다'고 표현했습니다. 챗GPT나 달리를 사용할때, 정확하게 원하는 결과물을 만들어내기 위해서는 여러번 프롬프트를 입력해야 하죠. 그마저도 제대로 반영이 안 될때가 많습니다. 아마도 이 문제로 꽤 오랜 시간 씨름했을 듯 합니다. 결과의 무작위성은 랜덤시드를 고정해서 겨우 보완한다고 해도, 해당하는 랜덤시드의 스톡이 충분하지 않다면 생성의 퀄리티가 낮아질 테니, 전문가 퀄리티의 영상 제작은 요원한 일처럼 보였겠죠.
하지만 끝내 본인 스스로 인정할 만한 수준의 뮤직비디오 제작에 성공했고, 이 영상은 인디밴드 워시드 아웃의 공식 뮤직비디오가 되었습니다. 소라가 생성한 700개의 클립 중 55개를 어도비 프리미어에서 4분 길이로 연결했고, 소라로 만든 그의 전작과 비슷하게 연속적인 줌샷으로 구성했죠. 여러개의 클립을 짜깁기해 만든 영상인 만큼 줌샷같이 동적인 화면 전환이 없다면 생성된 클립들이 다소 어색하게 연결되었을 거예요.
트릴로 감독은 트위터에서 "이 아이디어는 내가 10년 전에 생각만 하고 사실상 포기했었다. 마침내 이를 실현할 수 있었다"라고 말했습니다. 그는 다른 곳에서 캡처하거나 생성한 스틸 이미지를 가져오지 않고, 오직 소라의 텍스트-비디오 생성 기능만 사용했습니다. VFX와 같은 후반 작업도 소라에서 함으로써 비용과 시간을 크게 줄였죠. 또 55개의 개별 클립을 이어 붙였지만, 영상 전반에 걸쳐 캐릭터의 일관성이 인상적이라고 자평했습니다.
아마도 소라같은 생성형 툴이 영화나 드라마를 제작하기에는 무리가 있을 수 있습니다. 그정도로 긴 영상을 만드려면 사실상 지구 상의 모든 영상이 소라의 DB에 있어야 가능한데, 아직 어떤 영상 생성 AI도 그 단계까지 접근하진 못했으니까요. 하지만 트릴로가 실험했듯, 짧은 뮤직비디오 영상까지는 AI의 접근범위가 될 수도 있을 것 같습니다. 특히 빠르게 많은 뮤직비디오를 찍어내야 하는 아이돌 음악 시장이나 돈이 없는 인디밴드들에게는 환호할 만한 일이 될 수 있겠습니다.
