[Netflix Tech Blog] 4K에 최적화 된 샷 기반 인코딩 : 이제 스트리밍!

 

[Netflix Tech Blog] 4K에 최적화 된 샷 기반 인코딩 : 이제 스트리밍!

작성자 : Aditya Mavlankar , Liwei Guo , Anush Moorthy 및 Anne Aaron

 

 

Netflix는 고객이 적절한 디바이스와 구독 플랜을 통해 4K 해상도로 즐길 수있는 지속적으로 확장되는 타이틀 컬렉션을 보유하고 있습니다. Netflix 는 카탈로그 전체의 8 비트 스트림 프로필 ¹ 외에도 이러한 타이틀에 대한 프리미엄 비트 스트림을 생성 합니다. 프리미엄 기능은 제목에 따라 10 비트 비트 심도, 4K 해상도, 높은 프레임 속도 (HFR) 및 높은 동적 범위 (HDR)의 조합으로 구성되며 탁월한 시청 경험을위한 길을 닦습니다.

몇 년 전에 출시 된 프리미엄 비트 스트림은 콘텐츠 특성에 관계없이 고정 된 4K 해상도 비트 레이트 (8, 10, 12 및 16 Mbps)로 고정 비트 레이트 래더로 출시되었습니다. 그 이후로 우리는 제목 별 인코딩 최적화 및 샷별 동적 최적화 와 같은 알고리즘을 개발 했지만 이러한 혁신은 이러한 프리미엄 비트 스트림에서 백 포트되지 않았습니다. 또한 GoP (그림의 인코딩 그룹) 기간 (또는 키 프레임 기간)이 스트림 전체에서 일정하여 GoP 경계와 일치하지 않는 샷 경계로 인해 추가적인 비 효율성을 유발했습니다.

카탈로그의 4K 타이틀 수가 계속 증가하고 더 많은 장치가 프리미엄 기능을 지원함에 따라 이러한 비디오 스트림이 회원과 네트워크에 점점 더 많은 영향을 미칠 것으로 기대합니다. 우리는 작년에 가장 발전된 인코딩 혁신 인 샷 최적화 인코딩 및 4K VMAF 모델 로 도약하기 위해 열심히 노력했으며 이를 프리미엄 비트 스트림에 적용했습니다. 더 구체적으로, 우리는 기존의 4K 및 10 비트 래더를

• 샷 기반 인코딩
• 카탈로그 전체 8 비트 스트림 프로필에 적용된 것과 유사한 동적 최적화 (DO)
• 향상된 인코더 설정.

이 블로그 게시물에서는 위에서 언급 한 최적화를 표준 동적 범위 (SDR) 10 비트 및 4K 스트림 (일부 타이틀도 HFR 임)에 적용 할 때의 이점을 설명합니다. HDR과 관련하여 우리 팀은 현재 Netflix의 비디오 품질 메트릭 인 VMAF에 대한 HDR 확장을 개발하고 있으며 이는 HDR 스트림을 최적화하는 데 사용될 것입니다.

¹ 8 비트 스트림 프로필은 최대 1080p 해상도로 이동합니다.

비트 레이트 대 품질 비교

4K 컬렉션의 타이틀 샘플에 대해 다음 플롯은 고정 비트 레이트 래더와 최적화 된 래더의 속도 품질 비교를 보여줍니다. 플롯은 새로운 최고 비트 전송률의 내림차순으로 정렬되었습니다. 이제 콘텐츠에 적응하고 각 타이틀의 전체적인 복잡성에 비례합니다.

그림 1 : 11.8Mbps의 새로운 최고 비트 전송률을 보여주는 스릴러 드라마 에피소드의 예

그림 2 : 8.5Mbps의 새로운 최고 비트 전송률을 보여주는 일부 동작이있는 시트콤 에피소드의 예

그림 3 : 6.6Mbps의 새로운 최고 비트 전송률을 보여주는 동작이 적은 시트콤 에피소드의 예

그림 4 : 1.8Mbps의 새로운 최고 비트 전송률을 보여주는 4K 애니메이션 에피소드의 예

모든 지점에 대해 표시되는 비트 전송률과 품질 은 해당 스트림 의 평균 이며 제목이 지속되는 동안 계산됩니다. 포인트 옆에있는 주석은 해당 인코딩 해상도입니다. 클라이언트 장치에서 수신 한 비디오는 장치의 디스플레이 해상도에 맞게 디코딩되고 확장된다는 점에 유의해야합니다. VMAF 점수 계산과 관련하여 4K 미만의 인코딩 해상도에 대해서는 VMAF 모범 사례 에 따라 바이 큐빅 업 샘플링을 가정하여 4K로 업 스케일링합니다. 인코딩 해상도 외에도 각 포인트는 목표 16 : 9 디스플레이 종횡비 (DAR)를 달성하기 위해 적절한 픽셀 종횡비 (PAR)와 연결됩니다. 예를 들어, 640x480 인코딩 해상도는 4 : 3 PAR과 쌍을 이루어 16 : 9 DAR을 달성하며 래더의 다른 지점에 대한 DAR과 일치합니다.

새로운 최고 비트 전송률이 1.8Mbps임을 보여주는 마지막 예는 매우 효율적으로 인코딩 할 수있는 4K 애니메이션 타이틀 에피소드에 대한 것입니다. 콘텐츠 적응 형 래더 최적화의 극단적 인 예입니다. 그러나 모든 애니메이션 타이틀이 비슷한 낮은 비트 전송률에 도달하는 것으로 해석해서는 안됩니다.

고정 비트 레이트 래더의 해상도와 비트 레이트는 미리 결정됩니다. 달성 된 비트 전송률의 사소한 편차는 인코더 구현의 전송률 제어가 목표 비트 전송률에 정확하게 도달하지 않기 때문입니다. 반면에 최적화 된 래더의 각 지점 은 해당 평균 비트 전송률을 생성하면서 비디오 품질 목표 함수를 최대화하는 것을 목표로 모든 샷에서 최적의 비트 할당 과 연관됩니다 . 결과적으로 최적화 된 인코딩의 경우 비트 전송률은 상대적인 복잡성과 전체 비트 예산에 따라 샷마다 다르며 이론적으로 각 코덱 수준 최대 값에 도달 할 수 있습니다. 다양한 포인트는 서로 다른 코덱 레벨로 제한되므로 서로 다른 디코더 레벨 기능을 가진 수신기는 해당 레벨까지 포인트의 해당 서브 세트를 스트리밍 할 수 있습니다.

고정 비트 레이트 래더는 종종 단계처럼 나타납니다. 타이틀 적응 형이 아니기 때문에 대부분의 인코딩 해상도로 "늦게"전환되고 결과적으로 비트 레이트가 증가하더라도 품질이 해당 해상도 내에서 균일하게 유지됩니다. 예를 들어, VMAF 점수가 동일한 1080p 포인트 2 개 또는 VMAF 점수가 동일한 4K 포인트 4 개로 인해 비트가 낭비되고 스토리지 공간이 늘어납니다.

반면 최적화 된 래더는 단조롭게 증가하는 곡선에 더 가깝게 나타납니다. 비트 전송률을 높이면 VMAF 점수가 증가합니다. 참고로, 플롯에 표시되지 않은 몇 가지 추가 포인트가 있는데, 이는 720p 또는 1080p 최고 인코딩 해상도로 제한된 스트리밍 세션과 같은 해상도 제한 시나리오에서 사용됩니다. 이러한 점은 볼록 선체 주 래더 곡선 아래 (또는 오른쪽)에 있지만 해상도가 제한된 시나리오에서 품질을 높일 수 있습니다.

인코딩이 어려운 콘텐츠

최적화 된 래더의 경우 하이 엔드에서 품질 채도를 감지하는 로직이 있습니다. 즉, 비트 전송률이 증가하여 품질이 향상되지는 않습니다. 이러한 비트 전송률에 도달하면 래더의 최상위 단계에 적합한 후보가됩니다. 지나치게 높은 비트 전송률을 방지하기 위해 추가 제한을 설정할 수 있습니다.

때때로 우리는 품질 스펙트럼의 가장 높은 끝에서 더 많은 비트를 필요로하는 타이틀을 수집합니다. 고정 비트 레이트 래더의 16Mbps 제한보다 훨씬 더 높습니다. 예를 들면

• 빠르게 변화하는 조명 효과 및 기타 세부 사항이있는 록 콘서트 또는
• 빠른 동작 및 / 또는 까다로운 공간 세부 사항이 포함 된 야생 동물 다큐멘터리

이 시나리오는 일반적으로 드뭅니다. 그럼에도 불구하고 아래 플롯은 최적화 된 래더가 최고 비트 레이트 측면에서 고정 비트 레이트 래더를 초과하여 최고 품질의 향상을 달성하는 경우를 강조합니다.

예상대로 낮은 또는 중간 비트 전송률 영역에서 비교하더라도 동일한 비트 전송률에 대해 품질이 더 높습니다.

그림 5 : 17.2Mbps의 새로운 최고 비트 전송률을 보여주는 액션과 풍부한 공간 세부 정보가 포함 된 영화의 예

시각적 예

예를 들어, 고정 비트 레이트 래더의 1.75Mbps 인코딩을 4K 컬렉션의 타이틀 중 하나에 대해 최적화 된 래더의 1.45Mbps 인코딩과 비교합니다. 4K 해상도는 상당히 많은 수의 픽셀을 수반하므로 두 인코딩에서 1024x512 픽셀 컷 아웃이 표시됩니다. 인코딩은 컷 아웃을 추출하기 전에 디코딩되고 4K 캔버스로 확장됩니다. 컷 아웃 사이를 전환하므로 차이점을 쉽게 찾을 수 있습니다. 또한 컷 아웃이 해당 비디오 프레임에 어떻게 맞는지 이해하는 데 도움이되는 해당 전체 프레임을 보여줍니다.

그림 6 : 깨끗한 전체 프레임 — 그 목적은 아래 컷 아웃이 프레임에 어떻게 맞는지 이해하는 것입니다.

그림 7 : 주석이 달린 2 개의 인코딩에서 1024x512 픽셀 컷 아웃 간 전환. 그림 6에 표시된 깨끗한 프레임에 해당합니다.

그림 8 : 깨끗한 전체 프레임 — 그 목적은 아래 컷 아웃이 프레임에 어떻게 맞는지 이해하는 것입니다.

그림 9 : 주석이 달린 두 인코딩의 1024x512 픽셀 컷 아웃 간 전환. 그림 8에 표시된 깨끗한 프레임에 해당합니다.

그림 10 : 깨끗한 풀 프레임 — 그 목적은 아래 컷 아웃이 프레임에 어떻게 들어가는 지 감지하는 것입니다.

그림 11 : 주석이 달린 두 개의 인코딩에서 1024x512 픽셀 컷 아웃 간 전환. 그림 10에 표시된 깨끗한 프레임에 해당합니다.

그림 12 : 깨끗한 풀 프레임 — 그 목적은 아래 컷 아웃이 프레임에 어떻게 맞는지 이해하는 것입니다.

그림 13 : 주석이 달린 두 개의 인코딩에서 1024x512 픽셀 컷 아웃 간 전환. 그림 12에 표시된 깨끗한 프레임에 해당합니다.

그림 14 : 깨끗한 풀 프레임 — 그 목적은 아래 컷 아웃이 프레임에 어떻게 들어가는 지 감지하는 것입니다.

그림 15 : 주석이 달린 두 개의 인코딩에서 1024x512 픽셀 컷 아웃 간 전환. 그림 14에 표시된 깨끗한 프레임에 해당합니다.

보시다시피 최적화 된 래더의 인코딩은 더 적은 비트로 더 선명한 텍스처와 더 높은 디테일을 제공합니다. 1.45Mbps에서는 완벽한 4K 변환은 아니지만 여전히 해당 비트 전송률에 대해 매우 칭찬 할 만합니다. 최적화 된 래더에는 고정 비트 레이트 래더에 비해 더 적은 비트로도 완벽한 4K 품질을 제공하는 더 높은 비트 레이트 포인트가 있습니다.

압축 및 비트 레이트 래더 개선

현장에서 새로운 스트림을 테스트하기 전에도 100 개 이상의 샘플 타이틀을 평가 한 최적화 된 래더와 고정 래더의 다음과 같은 이점을 관찰했습니다.

• BD (Bjøntegaard Delta) 속도를 계산하면 고정 비트 레이트 래더에 비해 평균 50 %의 이득 이 나타납니다 . 즉, 최적화 된 래더로 동일한 품질을 얻으려면 평균적으로 50 % 적은 비트 레이트 가 필요합니다 .
• 평균적으로 가장 높은 4K 비트 전송률은 8Mbps로 고정 비트 전송률 래더의 16Mbps에 비해 50 % 감소 합니다.
• 모바일 장치가 지속적으로 개선됨에 따라 10 비트 및 HFR과 같은 프리미엄 기능 (4K 해상도 제외)을 채택합니다. 이러한 비디오 인코딩은 모바일 장치에도 전달할 수 있습니다. 고정 비트 레이트 래더는 560kbps에서 시작하며 일부 셀룰러 네트워크에서는 너무 높을 수 있습니다. 반면 최적화 된 래더는 대부분의 셀룰러 시나리오에서 실행 가능한 낮은 비트 전송률 포인트를 가지고 있습니다.
• 최적화 된 래더는 고정 비트 레이트 래더에 비해 스토리지 공간이 더 작습니다.
• 새로운 래더는 1440p 해상도 (일명 ​​QHD) 포인트가 속도 품질 트레이드 오프의 볼록한 선체에 있고 대부분의 타이틀이 1440p 처리를받는 것처럼 보이는 경우 추가하는 것을 고려합니다. 결과적으로 평균 100 개 이상의 타이틀에서 1080p (QHD 또는 4K를 의미)보다 높은 해상도로 점프하는 데 필요한 비트 레이트 는 고정 비트 레이트 래더의 8Mbps에 비해 1.7Mbps 입니다. 평균 100 개 이상의 타이틀에서 4K 해상도로 점프하는 데 필요한 비트 레이트 는 고정 비트 레이트 래더의 8Mbps에 비해 3.2Mbps입니다.

회원 혜택

Netflix에서는 인코딩 최적화에 대한 A / B 테스트를 수행하여 클라이언트 장치의 재생 문제를 감지하고 회원이 경험 한 혜택을 측정합니다. 한 스트리밍 세션 세트는 기본 인코딩을 수신하고 다른 스트리밍 세션 세트는 새 인코딩을 수신합니다. 이를 통해 QoE (체감 품질)와 관련된 다양한 지표뿐만 아니라 오류율을 비교할 수 있습니다. 우리의 스트림은 표준을 준수하지만 A / B 테스트는 약간의 차이가있는 기기 측 구현을 찾을 수 있으며 때로는 찾습니다. 이러한 경우 우리는 최선의 해결책을 찾기 위해 장치 파트너와 협력합니다.

전반적으로 이러한 새로운 인코딩을 A / B 테스트하는 동안 이전 섹션에서 다룬 오프라인 평가와 일치하는 다음과 같은 이점을 확인했습니다.

• 고 대역폭 연결을 사용하는 회원 의 경우 평균 절반의 비트 전송률로 동일한 우수한 품질을 제공 합니다 .
• 대역폭이 제한된 회원의 경우 동일한 (또는 더 낮은) 비트 전송률로 더 높은 품질을 제공합니다. 동일한 인코딩 해상도와 비트 전송률에서 더 높은 VMAF 또는 이전에 스트리밍 할 수 있었던 것보다 더 높은 해상도를 제공합니다. 예를 들어 네트워크에 의해 720p로 제한되었던 회원은 이제 대신 1080p 이상의 해상도를 제공받을 수 있습니다.
• 대부분의 스트리밍 세션은 더 높은 초기 품질로 시작됩니다.
• 시간당 리 버퍼 수는 65 % 이상 감소합니다 . 회원은 또한 스트리밍하는 동안 품질 저하를 덜 경험합니다.
• 일부 디지털 권한 관리 (DRM) 시스템 개선 (이 블로그에서 다루지 않음)과 함께 감소 된 비트 전송률로 인해 초기 재생 지연이 약 10 % 감소합니다 .

다음 단계

최적화 된 스트림을 생성하기 위해 카탈로그의 4K 타이틀을 다시 인코딩하기 시작했으며 몇 달 안에 완료 될 것으로 예상됩니다. HDR 스트림에 유사한 최적화를 적용하기 위해 계속 노력하고 있습니다.

감사의 말

A / B 테스트 중에 도움을 주신 Lishan Zhu에게 감사드립니다.

이것은 인코딩 기술로 알려진 더 큰 팀과 다음과 같이 중요한 파트너십을 맺고있는 다양한 다른 팀의 공동 노력입니다.

• 다양한 플랫폼에서 Netflix 경험을 관리하는 다양한 클라이언트 장치 및 UI 엔지니어링 팀
• 데이터 과학 및 엔지니어링 팀의 도움이 우리가 실행하고 A / B 테스트를 분석하는 것이
• Netflix의 자체 콘텐츠 전송 네트워크를 관리 하는 Open Connect 팀
• 제품 에지 팀이 경험을 포함한 모든 클라이언트 장치에 대한 넷플릭스 경험이 다양한 인코딩 A / B 테스트에서 제공 수송아지
• 미디어 클라우드 공학 규모의 비디오 인코딩을 실행하기 위해 우리를 가능하게하는 컴퓨팅 플랫폼 / 오케스트레이션을 관리 팀

비디오 압축 연구에 대한 열정이 있고이 분야에 기여하고 싶다면 우리는 열린 입장을 가지고 있습니다.


https://netflixtechblog.com/optimized-shot-based-encodes-for-4k-now-streaming-47b516b10bbb

Optimized shot-based encodes for 4K: Now streaming!