넷플릭스의 [오프닝 건너뛰기] 버튼은 어떻게 만든 걸까?

넷플릭스에서는 2018년 초부터 본편과 관계없는 구간을 건너뛸 수 있는 기능을 제공했다.

 

사용자의 빈지와칭을 최대화하기 위한 전략이다. 넷플릭스에서 최대한 많은 시간을 보내게 하기 위해 사용자 경험을 말 그대로 정말 매끄럽게 만들었다.

 

출처 :Mollie Sivaram

 

국내 IPTV에서도 건너뛰기 기능을 제공한다. 대부분이 노동집약적인 결과물이다. 오프닝, 다음화 건너뛰기 버튼 운영 기획과 인력을 관리하면서 여러 고충을 겪었다. 그러면서 든 생각이 있다.

 

"넷플릭스의 [오프닝 건너뛰기] 버튼은 어떻게 만든 걸까?"

 

넷플릭스가 잘 만든 AI 추천 시스템이 있다는 것은 아는데, 오프닝 건너뛰기도 AI로 작업했을까?

넷플릭스에서 공식 발표한 제작 방식이 없어 인터넷에 관련 자료를 검색해봤다.

 

제작 방식에 대한 예상을 보기 전에, 먼저 어떤 유형의 건너뛰기가 있는지부터 알아보자.

 

|  건너뛰기 버튼의 종류

1. 오프닝 건너뛰기 : 영상 맨 앞에 있는 오프닝 뿐만 아니라 영상 중간에 있는 오프닝도 건너뛸 수 있다. 7초 동안 버튼이 노출되며, 버튼이나 화면을 건들지 않을 경우, 버튼은 사라진다. 오프닝 구간 재생 중에 화면을 다시 터치할 경우 오프닝 건너뛰기 버튼이 다시 노출된다.

2. 줄거리 건너뛰기 : 지난 줄거리를 설명하는 내용을 건너뛸 경우, 버튼 명이 "오프닝 건너뛰기"가 아니라 "줄거리 건너뛰기"이다.  노출 정책은 오프닝 건너뛰기와 동일하다.

 

3. 다음화 바로보기 : 5초가 지나면 바로 다음 콘텐츠로 넘어가 버린다. 영화와 같은 단편 콘텐츠는 다음 화가 아니라 추천 콘텐츠가 자동 재생된다.

 

넷플릭스 건너뛰기 기능을 만든 방법에 대한 사람들의 의견을 정리해봤다.

 

|  블로거 Razeeb Mahmood의 의견 

- 인간, 인간, 인간 : 사람들이 몇 천 시간을 들여서 수동으로 타임스탬프를 찍었을 것이다.

- 오디오 태깅 : 가장 가능성이 있는 방법이다. 드라마 프렌즈를 예로 들자면, 앞부분에 등장하는 음악이 모두 동일하다. 컴퓨터 비전을 적용해 도입부를 인식하는 것보다 정확한 방법일 수 있다.

- 머신 러닝 : 에피소드마다 동일하게 나타나는 장면의 시각적 규칙을 인식해서 도입부를 알아냈을 것이다.

- 사용자 피드백 : 사용자가 스킵하는 구간 정보를 추적해서 도입부를 알아냈을 것이다. 

 

Netflix’s “Skip Intro” Feature — How the Hell do They do That?

 

 

|  블로거 Eugene Leychenko의 의견

- 인간의 태깅 : 이 블로거는 인간이 모두 태깅하는 것이라고 생각하지 않는다. 

- 머신 러닝 : 넷플릭스는 기술 집약적인 기업이다. 주마다 10억 시간의 시청 시간이 누적되는데, 그때마다 사람들의 스킵 이력이 누적된다. 이 데이터의 트렌드를 활용해 도입부가 시작되고 끝나는 구간을 알아냈을 것이다.

- 비전 인식, 오디오 인식의 방법도 있다.

 

Feature Teardown: Netflix’s “Skip Intro”

 

|  레딧 커뮤니티 답변

"Intro skip 기능은 인간이 찍은 걸까 아님 자동으로 만든걸까?"

 

- 답변 1 : 수동 입력임. 같은 시리즈에서도 인트로 구간이 조금씩 달라. 

- 답변 2 : 수동임. 제목이랑 캡션 정보 넣는 사람들도 있는데 그 사람들이 찍었을 것 같음.

- 답변 3: 자동화했을 걸? 소리 인식했음. 유튜브도 저작권 알아낼 때 음원 인식하잖아.

 

 

|  넷플릭스 건너뛰기 기능 공식 설명

보다가 앞부분 건너뛰기가 틀린 구간이 있으면 아래 링크에 리포트하라고 한다. AI가 부정확해서인지 사람이 오류를 만든 것인지에 관한 내용은 담기지 않았다. 넷플릭스가 별로 알려주고 싶지 않은가보다.

https://help.netflix.com/ko/node/63402

 

 

| 그래서 뭐가 답일까?

넷플릭스의 건너뛰기 기능은 수동 작업 결과물일 확률이 높다.

 

출처 : Wonderlane

 

이유 1: 넷플릭스는 인간 지능의 활용에 익숙하다.

 

넷플릭스의 추천 시스템은 방대한 데이터를 기반으로 한다. 넷플릭스는 추천 시스템을 고도화하기 위해 마이크로 장르 태그를 1,000개 이상 만들었다. 최적의 태그를 생성하기 위해선 콘텐츠 전문가, 즉 사람이 필요하다. 콘텐츠가 입수되면 약 30명의 콘텐츠 분석 전문가가 감상 후 카테고리 태그와 메타 데이터 생성한다.

 

이렇게 넷플릭스는 콘텐츠 데이터 생성을 위한 수동 작업에 익숙하다. 따라서 도입부, 다음 화 타임 태그를 다는 것도 마찬가지로 수동 작업 인력을 활용했을 확률이 높다.

 

영어권 사람들은 데이터 클렌징과 같은 노동을 인도에 맡긴다. (인간이 AI를 위한 데이터 처리하는 작업과 관련된, Amazon Mechanical Turk 등과 관련된 논문을 읽으면 알 수 있다.) 작업 방법이 이렇게 안 나오는 이유는 인도에 있는 노동자를 썼기 때문이 아닐까 싶다. 

 

출처 : Kevin Ku

이유 2: AI는 100% 정확하지 않다.

 

Seamless 한 서비스에 목숨 거는 넷플릭스가 AI의 결과만 신뢰하고 서비스를 내보냈을 리가 없다. 따라서 자동이 많이 적용되어도 80% 수준으로 적용되었을 것이다. 검수는 무조건 사람이 해서 내보내야 한다. 

 

프렌즈나 하우스 오브 카드처럼 도입부가 동일하고 음악이 똑같은 콘텐츠는 머신 러닝으로 구간을 파악할 필요도 없다. Rule base로 도입부를 인식할 수 있다.

 

그러나 모든 콘텐츠에 일관된 규칙이 적용되지 않는다. 다양한 유형의 콘텐츠가 있기 때문에 모든 콘텐츠를 자동화해서 인식하는 것은 불가능하다. 자동으로 인식한다고 해도 인간이 검수한 후 내보내지 않으면 서비스가 불편하게 느껴질 수 있다.

 

출처 : Moritz Mentges

 

이유 3: 넷플릭스는 전 세계 콘텐츠를 다룬다.

 

그런데 나라별로 콘텐츠의 도입부와 다음 화 구간을 지정하는 트렌드가 다르다.

 

예를 들어 우리나라 드라마는 끝 부분에 다음 회차 예고와 제작자 이름이 나오는 크레딧 화면이 동시에 나온다. 미국 콘텐츠로 학습시킨 AI는 그런 구간을 Ending 구간으로 지정해야 하는지 아닌지 알기 어렵다.

 

 

이유 4: 넷플릭스가 자랑하지 않는다.

 

건너뛰기와 관련된 정보를 찾기 어려운 것은 넷플릭스에서 관련된 정보를 별로 보여주고 싶지 않기 때문이다.

 

그들이 추천 기술을 자랑하는 모습과 상반된다. 영업 비밀일 수 있는 정보까지 알려준다. 그래도 기술을 선도하는 이미지에 도움이 된다고 생각하니까 그럴 것이다. 만약 넷플릭스가 건너뛰기 구간을 완벽하게 인식할 수 있는 기술이 있다면 분명히 자랑했을 것이다.

---

 

뭐 어떻게 만들었든 간에, 어쨌든 넷플릭스는 1년 반 동안 건너뛰기를 적용해왔다. 이제 거의 모든 콘텐츠에 건너뛰기 기술이 적용되어 있고, 넷플릭스를 따라 하는 타 회사들 또한 동일한 기능을 적용하고 있다.

 

이제 하나의 콘텐츠를 끝낸 지 5초 안에 화면을 닫지 않으면 다음 콘텐츠가 자동으로 재생된다. 멍 때리고 가만히 있으면 넷플릭스에서 빠져나올 수가 없다. 정신을 똑바로 차리지 않으면 영원히 화면을 닫을 수 없다.

 

다음 글에서 건너뛰기가 왜 위험한 지에 대해 자세하게 다뤄볼 예정이다. 

 

다음 : 넷플릭스의 건너뛰기 기능이 위험한 이유

 

▼같이 읽으면 좋은 글

SNS에 중독되는 이유, 우리의 잘못이 아니다 (넷플릭스 소셜 딜레마 후기)