프롬프트에 텍스트 입력만으로 영화도 만든다 [티타임즈]

유니콘팩토리 2023.06.08 조회수

동영상 생성 AI의 미래를 보여주는 ‘런웨이’

텍스트와 이미지 다음 생성 AI 영역으로 주목받는 것은 동영상 분야. 이 중에서도 가장 대표적인 회사로 꼽히는 곳이 ‘런웨이'(Runway)이다. 이 회사 서비스를 이용하면 누구든 할리우드 특수 효과를 만들어낼 수 있고, 프롬프트에 텍스트 입력하는 것만으로 영상을 만들어 영화도 제작할 수 있다.

━

스테이블 디퓨전, 에에올 뒤에 이 회사가 있었다

━

런웨이는 2018년 뉴욕대학교에서 머신러닝을 연구하던 3명의 연구원이 모여 머신러닝 기반 동영상 편집 플랫폼을 개발한 것이 시작이다. 이들의 프로젝트는 2021년 이미지 생성 AI 프로그램으로 유명한 ‘스테이블 디퓨전’ 초기 버전 개발로 이어지기도 했다.

런웨이 창업자들은 마치 과거 화가들이 튜브 물감의 발명 덕분에 야외에서 그림을 그릴 수 있게 되고 인상주의 화풍을 탄생시켰던 것처럼, 예술가들이 머신러닝에 쉽게 접근할 수 있다면 보다 새로운 창의적인 아이디어를 시도해볼 수 있을 것이라 생각했다.

런웨이는 ‘AI 매직 툴’이라는 이름으로 30가지가 넘는 이미지, 동영상 생성 및 편집기능을 제공한다. 프롬프트를 입력해 이미지를 생성하는 ‘텍스트 투 이미지’ 기능은 물론이고, 텍스트를 입력해 피사체를 다른 사물로 바꾸거나 동영상에 각종 필터를 적용할 수도 있다.

방송이나 영화, 뮤직비디오 등 실제 현장에서 시각효과를 담당하는 전문가들에게 유용한 기능도 있다. 대표적인 것이 영상에서 필요 없는 부분을 지우는 ‘인페이팅’과 배경을 없애는 로토스코핑을 자동으로 가능하게 해주는 ‘그린스크린’이다.

특히 2023년 오스카 시상식에서 최우수 작품상을 포함해 7관왕에 오른 영화 ‘에브리씽 에브리웨어 올 앳 원스’의 두 돌멩이 대화 장면을 만드는데 런웨이의 그린스크린 기능이 활용됐다.

━

무에서 유를 창조하는 동영상 생성 AI

━

런웨이는 2023년 2월 본격적인 생성 AI 모델이라 할 수 있는 Gen-1을 출시했다. 프롬프트를 입력하거나 특정 이미지를 참조해 기존 영상을 새로운 영상으로 변환할 수 있는 모델이다. 또 한 달 뒤인 3월에는 기존 모델을 ‘멀티모달’ 기능으로 업그레이드한 Gen-2를 출시했다. Gen-1에서 영상을 만들 때 원본 영상이 꼭 필요했다면 Gen-2에서는 텍스트만으로도 영상을 만들어낼 수 있다.

‘텍스트 투 비디오’의 경우 2022년 메타나 구글이 이미 기술을 시연한 적 있다. 하지만 일반인들이 사용할 수 있게 프로그램을 풀지 않은 것과 달리 현재 런웨이는 Gen-1을 구독자들이 사용할 수 있도록 상용화해 서비스를 제공하고 있다.

최근에는 AI 영화제를 직접 개최했다. AI로 생성된 콘텐츠를 포함하거나 AI 기반 편집 기술로 만들어진 단편 영화 수백 편 중 10편의 결선 작을 선정해 대중에 공개한 것이다. 또 창업자 중 한 명은 현재 런웨이가 모든 장면을 텍스트 프롬프트로만 생성한 10분짜리 영화를 직접 제작하고 있다고 밝히기도 했다.