collections

[Bookmarks] RunwayML - 동영상 편집이 머신 러닝을 만나면

[광고가 아닌, 내가 찾고 나만 알기 아까운 흥미롭고 좋은 서비스나 툴들을 소개합니다]

 

동영상 편집이 쉬워지고 있다고는 하지만, 아직까지는 전문가의 영역이다. 간단하게 컷편집 정도야 너무 좋은 서비스들이 많지만, 자신의 스타일로 영상을 만들어내거나 여러 소스들을 합성하는건 쉽지 않다. 전문가의 영역이라는 말은 배워야할 것도 많고, 좋은 컴퓨터도 필요하다는 이야기이기도 하고, 동시에 '노가다'가 많이 필요한 영역이라는 의미이기도 하다. 처음 영상 쪽 작업을 할 때까지만 해도, 내가 앞으로 나아가고 싶은 분야를 소거법으로 정한다면 나는 영상부터 뺄 거라는 말을 공공연하게 하고 다닐 정도였다. 

하지만 허무하게도 나는 종종 영상 작업을 하고 있다. 그리고 여전히 영상 편집은 노가다도 많고, 비효율적인 부분도 많다. 특히 모든 소스를 계속해서 다운받아서 수정하고, 수정된 파일을 또 다시 다운받아서 저장하는 등 파일 관리도 너무 비효율적이고, 영상 일부를 지우거나 합성하는 작업은 크로마키나 그린 스크린으로 준비를 제대로 해서 찍어도 꼭 문제가 생긴다. 내가 하는 영상 작업은 평범한 수준이지만, 로토스코핑 (영상을 한 프레임씩 그려서 움직이는 방식)은 말그대로 1초당 최소 열 장 이상을 그려서 움직임을 만드는 중노동 작업이다. 

 

근데, 엄청난 서비스를 발견했다. 

RunwayML. 아직은 Beta인 기능도 많고, 시작한지 정말 얼마 안된 서비스인데, Patricio Gonzalez Vivo (The book of shader를 쓰신... 엄청난 분)의 웨비나에서 최근에 하는 일이라고 소개해주셔서 알게 되었다. 무려 영상 편집에 머신 러닝을 결합해서 더 쉽게 엄청난 영상을 만들게 해준다. 

https://runwayml.com/

 

Runway | CREATE IMPOSSIBLE VIDEO

Professional video editing powered by machine learning — all on the web.

runwayml.com

 

머신러닝을 결합하면 그래서 뭐가 되는데?

영상에서 인물, 물체, 깊이 등을 인식하는 기술의 정확도가 머신러닝과 함께 엄청나게 올라가면서, 사람이 판단해서 수작업으로 한 땀 한 땀 하던 작업이 버튼 하나로 가능해진다. 몇 가지 기능들을 소개하려고 한다. 

일단, 그린 스크린. 정확도가 상당히 높다. 뒤의 배경을 지우거나 물체를 선택할 수가 있고, 영상이 움직이면서 각도가 바뀌어도 한 씬에서만 그린스크린 영역으로 표시해주면, 나머지 영상에서도 그 부분을 계속 인식한다. 선택한 개체를 뒤의 배경과 자연스럽게 섞어서 지워주는 기능(Inpainting)도 있다.

 

심지어는, 영상 속의 물체들을 인식해서 라벨을 붙여주고, 특징이나 단어로 그 부분을 선택해주는 기능을 선보이기도 했다. 이 기능은 Experimental이라고 되어있는 걸 봐선 아직은 beta 정도인 듯 하다. 

 

실제로 영상을 전문적으로 하시는 분들에게도 이런 작업은 귀찮고 번거로운 작업인데, 그들의 반응 영상을 보면 이게 얼마나 엄청난 기술인지 감이 온다. 

https://youtu.be/fmJ74774RO8

 

 

여기에서만 기능이 끝이라면 사실 RunwayML은 영상 편집 툴이 아니라 마스킹 / 로토스코핑 툴 정도일 것이다. 이 서비스에서 ML Lab이라고 부르는 기능은 실제 머신러닝 모델을 가져와서, 또는 서비스 자체에서 데이터를 학습시켜서 자신만의 머신러닝 모델을 만들고 영상에 적용할 수 있게 해준다.

예를 들면 다양한 신발의 이미지를 학습 시킨 모델을 가지고 인공지능을 통해서 새로운 신발의 이미지나 영상을 만들어낸다던지, 일러스트 스타일을 학습시켜서 일반적인 촬영된 영상을 그 스타일로 변환하는 등의 작업이 가능하다. 아직은 적용된 예시들이 스타일을 적용시키는 좀 진화된 필터 느낌에 가까운데, 더 다양한 모델이 적용되면 활용도도 무궁무진해질 것 같다. 예를 들어 킹덤 같은 좀비물도, 분장 없이 엑스트라들과 찍고 영상 내의 인물을 다 좀비화 한다던지, 영상 속 빛의 방향이나 세기 등을 조절해서 새로 합성해준다던지, 하나하나 수작업이 아니라 내가 만들려는 영상의 목적에 맞게 이런 모델을 만들어서 작업하는게 더 빨라지는 시대가 오지 않을까? 벌써부터 커뮤니티에 올라오는 작업들을 보면 아 이걸 이렇게 활용할 수도 있구나, 싶은 재미있는 작업들이 쏟아져 나오고 있다. 

 

https://youtu.be/-2zZSiPbS00

 

이런 접근이 또 재미있는건, 이런 툴이 영상 디자이너 뿐만 아니라 모두가 쉽게 쓰면서 자신의 영역을 확장할 수 있다는 점이다. 일러스트레이터라면 자신의 스타일을 학습시켜서 영상까지 본인의 영역을 확장시킬 수도 있고, 3d 모델링을 배우지 않고도 새로운 신발, 화병 등을 어떤 데이터를 학습시키고 자신이 컨트롤하는지에 따라서 새롭게 디자인 할 수 있다는 의미이다.

 

영상 편집, 쉬워질 때도 됐다. 

아직은 초기단계의 서비스라 어떤 방향성으로, 어떤 기능들이 더 나올지 궁금하다. 인스타로 팔로우 하고 있는데 새 기능에 대한 업데이트가 엄청 빨라서, 잘 커서 영상 편집계를 뒤집어놓으셨으면 하고 기대중... ㅎㅎ 그들의 슬로건처럼 'Create impossible video'를 위한 엄청난 툴이 되어주길!

 

 

728x90