AV1 스트리밍을 Netflix 회원의 TV로 가져오기

AV1 스트리밍을 Netflix 회원의 TV로 가져오기

 

AV1 은 AOMedia( Alliance of Open Media ) 의 로열티 프리 라이선스가 있는 최초의 고효율 비디오 코덱 형식으로, 전문 지식과 리소스에 대한 광범위한 업계 약속으로 가능합니다. Netflix는 AOMedia의 창립 멤버이자 AV1 개발의 핵심 기여자임을 자랑스럽게 생각합니다. AV1의 사양은 2018년에 공개되었습니다. 그 이후로 Netflix 회원에게 AV1 스트리밍을 제공하기 위해 열심히 노력해 왔습니다.

2020년 2월, Netflix는 AV1을 Android 모바일 앱으로 스트리밍 하기 시작했습니다 . Android 출시 는 VideoLAN, VLC 및 FFmpeg 커뮤니티에서 구축하고 AOMedia가 후원 하는 오픈 소스 소프트웨어 디코더 dav1d를 활용했습니다 . AV1 스트리밍이 특히 어려운 네트워크 조건에서 회원의 시청 경험을 개선했다는 사실에 매우 기뻤습니다.

소프트웨어 디코더를 사용하면 더 강력한 장치에서 AV1을 재생할 수 있지만 대다수의 Netflix 회원은 TV에서 좋아하는 프로그램을 즐깁니다. TV 플랫폼에서 AV1 재생은 일반적으로 배포하는 데 시간이 더 오래 걸리는 하드웨어 솔루션에 의존합니다.

2020년 내내 업계는 AV1 하드웨어 솔루션에서 인상적인 발전을 이루었습니다. 반도체 회사들이 다양한 소비자 가전 애플리케이션을 위한 디코더 SoC 를 발표했습니다 . TV 제조업체는 AV1 스트리밍이 가능한 TV를 출시했습니다 . Netflix는 또한 GPU의 추가 성능을 활용하는 게임 콘솔의 AV1 디코더용 오픈 소스 솔루션 을 개발하기 위해 YouTube와 협력했습니다 . 이렇게 짧은 시간에 생태계의 급속한 성장을 목격하는 것은 놀라운 일입니다.

오늘 Netflix에서 AV1을 TV로 스트리밍하기 시작했음을 발표하게 되어 기쁩니다. 이 고급 인코딩 형식을 통해 Netflix가 회원들에게 훨씬 더 놀라운 경험을 제공할 수 있다고 확신합니다. 이 기술 블로그에서는 이번 출시를 위한 노력과 회원에게 기대할 수 있는 혜택에 대한 세부 정보를 공유합니다.

TV에서 Netflix AV1 스트리밍 활성화

TV 플랫폼에서 새로운 스트리밍 형식을 출시하는 것은 쉬운 일이 아닙니다. 이 섹션에서는 이번 출시를 위해 직면한 여러 문제를 나열하고 해결 방법을 공유합니다. 보시다시피 우리의 "고도로 정렬되고 느슨하게 결합된" 문화가 이 다기능 프로젝트의 성공에 핵심적인 역할을 했습니다. 높은 정렬은 모든 팀이 동일한 목표를 향해 작업하도록 안내하는 반면 느슨한 결합은 각 팀이 민첩하고 빠르게 진행되도록 합니다.

과제 1: Netflix 스트리밍을 위한 최고의 AV1 인코딩 방법은 무엇입니까?

AV1은 사양에 정의된 수많은 인코딩 도구를 사용하여 광범위한 응용 프로그램을 대상으로 합니다. 이는 인코딩 레시피의 무한한 가능성으로 이어지며 Netflix 스트리밍에 가장 적합한 레시피를 찾아야 했습니다.

Netflix는 영화와 TV 프로그램을 제공합니다. 프로덕션 팀은 이 아트를 만드는 데 엄청난 노력을 기울이고 있으며, 멤버에게 스트리밍할 때 원래의 창작 의도를 충실하게 유지하는 것이 중요합니다. 이 목표를 달성하기 위해 Encoding Technologies 팀은 AV1 인코딩 레시피에 대해 다음과 같은 설계 결정을 내렸습니다.

• 우리는 항상 사용 가능한 가장 높은 소스 해상도와 프레임 속도로 인코딩합니다. 예를 들어, "Formula 1: Drive to Survive" 와 같이 소스가 4K이고 높은 프레임 속도(HFR)인 타이틀의 경우 4K 및 HFR로 AV1 스트림을 생성합니다. 이를 통해 고해상도 및 프레임 속도 재생을 지원하는 장치 및 계획에서 창의적으로 구상한 콘텐츠를 정확하게 표시할 수 있습니다.
• AV1 Main Profile이 8비트와 10비트 심도를 모두 허용하더라도 모든 AV1 스트림은 10비트 심도로 인코딩됩니다. 거의 모든 영화와 TV 프로그램은 10 이상의 비트 심도로 Netflix에 전송됩니다. 10비트 인코딩을 사용하면 창의적 의도를 더 잘 보존하고 아티팩트(예: 밴딩 ) 의 가능성을 줄일 수 있습니다 .
• 동적 최적화 는 샷 수준에서 레시피를 조정하고 지능적으로 비트를 할당하는 데 사용됩니다. Netflix 서비스의 스트림은 수백만 번 쉽게 시청할 수 있으므로 인코딩 측면의 최적화는 회원 경험을 개선하는 데 큰 도움이 됩니다. 동적 최적화를 통해 우리는 Netflix의 높은 시각적 품질 기준을 충족하기 위해 더 복잡한 장면에 더 많은 비트를 할당하는 동시에 훨씬 적은 비트로 동일한 고품질로 간단한 장면을 인코딩합니다.

과제 2: TV에서 원활한 AV1 재생을 보장하려면 어떻게 해야 합니까?

배포된 모든 Netflix AV1 스트림이 사양을 준수하는지 확인하는 인코딩 파이프라인에 스트림 분석기가 내장되어 있습니다. AV1 디코더가 있는 TV는 AV1 스트림의 원활한 재생을 보장하기 위해 사양 요구 사항을 충족하는 디코딩 기능도 있어야 합니다.

이러한 장치의 디코더 기능을 평가하기 위해 Encoding Technologies 팀은 일련의 특수 인증 스트림을 만들었습니다. 이러한 스트림은 동일한 프로덕션 인코딩 레시피를 사용하므로 프로덕션 스트림을 대표하지만 디코더를 스트레스 테스트하기 위해 극단적인 경우가 추가됩니다. 예를 들어 일부 스트림에는 사양에서 허용 하는 상한에 가까운 최대 비트 전송률이 있습니다. 클라이언트 및 UI 엔지니어링 팀은 두 장치 로그뿐만 아니라 화면에 렌더링 사진을 분석하는 이러한 스트림으로 인증 시험을 만들었습니다. 테스트에서 관찰된 모든 문제는 보고서에 표시되며 디코딩 기능의 차이가 식별되면 공급업체와 협력하여 디코더를 사양에 맞게 제공합니다.

과제 3: Netflix 규모로 AV1 인코딩을 출시하려면 어떻게 해야 합니까?

비디오 인코딩은 본질적으로 검색 문제입니다. 인코더는 모든 인코딩 도구에서 허용하는 매개변수 공간을 검색하고 최상의 결과를 산출하는 공간을 찾습니다. 이전 코덱보다 더 큰 인코딩 도구 세트를 사용하면 AV1 인코딩에 더 많은 CPU 시간이 소요되는 것은 놀라운 일이 아닙니다. Netflix가 운영하는 규모에서는 컴퓨팅 리소스를 효율적으로 사용하는 것이 필수적입니다. CPU 사용의 영향을 최대화하는 것은 다른 모든 코덱 형식의 경우와 마찬가지로 AV1 인코딩의 핵심 부분입니다.

Encoding Technologies 팀은 인코딩 레시피를 미세 조정하여 이 문제를 처음으로 해결했습니다. 이를 위해 팀은 압축 효율성과 계산 효율성 간의 균형을 최적화하는 것을 목표로 인코더에서 제공하는 다양한 도구를 평가했습니다. 여러 번의 반복을 통해 팀은 무시할 수 있는 압축 효율성 변화로 인코딩 속도를 크게 높이는 레시피에 도달했습니다.

인코더 속도를 높이는 것 외에도 컴퓨팅 리소스를 보다 효율적으로 사용할 수 있다면 총 CPU 시간도 줄일 수 있습니다. 성능 엔지니어링 팀은 Netflix의 리소스 활용 최적화를 전문으로 합니다. Encoding Technologies는 Performance Engineering과 협력하여 AV1 인코딩의 CPU 사용 패턴을 분석했으며, 우리의 연구 결과에 따라 Performance Engineering은 개선된 CPU 스케줄링 전략을 권장했습니다 . 이 전략은 인스턴스 유형에 따라 작업 크기를 적절하게 조정하여 인코딩 처리량을 개선합니다.

위의 개선 사항에도 불구하고 전체 카탈로그를 인코딩하는 데 여전히 시간이 걸립니다. Netflix 카탈로그의 한 측면은 모든 타이틀이 똑같이 인기가 있는 것은 아니라는 것입니다. 일부 타이틀(예: La Casa de Papel )은 다른 타이틀보다 더 많이 시청하므로 이러한 타이틀의 AV1 스트림은 더 많은 회원에게 도달할 수 있습니다. 관련 비용을 최소화하면서 AV1 인코딩의 영향을 최대화하기 위해 데이터 과학 및 엔지니어링 팀은 타이틀 인기도 및 기타 여러 요소를 고려한 AV1에 대한 카탈로그 롤아웃 전략을 고안했습니다.

과제 4: AV1 스트리밍을 지속적으로 모니터링하려면 어떻게 해야 합니까?

이번 출시로 AV1 스트리밍은 수천만 명의 Netflix 회원에게 도달했습니다. 이러한 스트리밍 세션에 대한 요약된 메트릭을 제공할 수 있는 도구 모음을 보유하는 것은 Netflix AV1 스트리밍의 성공에 매우 중요합니다.

데이터 과학 및 엔지니어링 팀은 스트리밍 경험 품질("QoE")에서 장치 성능에 이르기까지 광범위한 지표를 다루는 AV1 스트리밍을 위한 여러 대시보드를 구축했습니다. 이러한 대시보드를 통해 회원이 AV1을 스트리밍할 때 시간 경과에 따른 추세를 모니터링하고 분석할 수 있습니다. 또한 데이터 과학 및 엔지니어링 팀은 주요 지표에서 문제의 초기 징후를 감지하고 추가 조사를 위해 팀에 자동으로 경고를 보내는 전용 AV1 경고 시스템을 구축했습니다. AV1 스트리밍이 비교적 초기 단계에 있다는 점을 감안할 때 이러한 도구는 부정적인 회원 경험을 피하기 위해 각별히 주의하는 데 도움이 됩니다.

경험의 질 개선

우리는 AV1을 수천 개의 Netflix 타이틀에 대한 다른 코덱과 비교했으며 AV1에서 상당한 압축 효율성 향상을 보았습니다. 이 오프라인 분석의 결과는 매우 흥미로웠지만 우리에게 정말 중요한 것은 회원들의 스트리밍 경험입니다.

AV1의 향상된 압축 효율성이 회원 스트리밍의 QoE(경험 품질)에 미치는 영향을 평가 하기 위해 출시 전에 A/B 테스트 를 수행했습니다. Netflix는 콘텐츠를 여러 형식으로 인코딩하고 장치 기능 및 콘텐츠 선택과 같은 요소를 고려하여 주어진 스트리밍 세션에 가장 적합한 형식을 선택합니다. 따라서 AV1을 적용 가능한 각 코덱 형식과 비교하기 위해 여러 A/B 테스트를 만들었습니다. 이러한 각 테스트에서 자격이 있는 TV를 가진 구성원은 "통제"와 "치료"의 두 셀 중 하나에 무작위로 할당되었습니다. "치료" 셀에 할당된 것은 AV1 스트림을 수신한 반면 "제어" 셀에 할당된 것은 이전과 동일한 코덱 형식의 스트림을 수신했습니다.

이러한 모든 A/B 테스트에서 우리는 우리의 기대에 부합하는 "치료" 셀의 구성원에 대한 많은 메트릭에서 개선 사항을 관찰했습니다.

스트리밍 세션의 전체 스펙트럼에서 더 높은 VMAF 점수

• VMAF 는 Netflix에서 개발하고 오픈 소스로 제공하는 비디오 품질 측정항목으로, 시각적 품질과 밀접한 관련이 있습니다. 더 효율적이기 때문에 AV1은 동일한 비트 전송률에서 향상된 시각적 품질로 비디오를 제공하므로 더 높은 VMAF 점수를 얻을 수 있습니다.
• 이러한 개선은 심각한 네트워크 정체와 가장 낮은 시각적 품질을 경험하는 세션에서 특히 중요합니다. 이러한 세션의 경우 AV1 스트리밍은 버퍼링 속도에 영향을 주지 않고 최대 10 VMAF까지 품질을 개선합니다.

최고 해상도로 더 많은 스트리밍

• 압축 효율성이 높으면 스트리밍에 필요한 대역폭이 줄어들므로 재생이 해당 세션의 최고 해상도에 도달하는 것이 더 쉽습니다.
• 4K 적격 세션의 경우 평균적으로 스트리밍되는 4K 비디오의 지속 시간이 약 5% 증가했습니다 .

재생 중 눈에 띄는 품질 저하 감소

• 우리는 회원들이 뛰어난 재생 경험을 갖기를 원하며 플레이어는 변화하는 네트워크 조건에 적응하도록 설계되었습니다. 현재 상태가 현재 비디오 품질을 유지할 수 없는 경우 플레이어는 재생 중단 가능성을 줄이기 위해 더 낮은 비트 전송률 스트림으로 전환할 수 있습니다. AV1이 주어진 품질 수준에 대해 더 적은 대역폭을 사용한다는 점을 감안할 때 플레이어는 더 오랜 기간 동안 비디오 품질을 유지할 수 있으며 이전처럼 더 낮은 비트 전송률 스트림으로 전환할 필요가 없습니다.
• 일부 TV에서는 눈에 띄는 품질 저하가 38%까지 감소했습니다.

재생 시작 지연 감소

• 일부 TV에서는 비트 전송률이 감소하면 플레이어가 목표 버퍼 수준에 더 빨리 도달하여 재생을 시작할 수 있습니다.
• 평균적으로 AV1 스트리밍으로 재생 지연이 2% 감소하는 것을 관찰했습니다.

다음 단계

초기 출시에는 많은 AV1 지원 TV와 PS4 Pro와 연결된 TV가 포함됩니다. 우리는 AV1 스트리밍을 위한 더 많은 장치를 활성화하기 위해 외부 파트너와 협력하고 있습니다. 우리가 탐색하는 또 다른 흥미로운 방향은 HDR이 포함된 AV1입니다. 다시 말하지만 Netflix의 팀은 회원에게 가능한 최고의 화질을 제공하기 위해 최선을 다하고 있습니다. 계속 지켜봐 주세요!

감사의 말

이것은 Netflix의 많은 동료들의 기여로 이루어진 공동 노력입니다. 감사합니다.

• AV1 사양에 대한 통찰력을 제공한 Andrey Norkin 과 Cyril Concolato .
• AV1 인코딩 복잡성을 줄이는 작업에 대해 Kyle Swanson.
• 인코딩 레시피에 대한 유익한 토론을 위해 Anush Moorthy 와 Aditya Mavlankar .
• AV1 인증 테스트를 관리하고 장치 검증을 자동화하는 도구를 구축한 Frederic Turmel 과 그의 팀.
• AV1 인코딩의 리소스 활용도를 높이는 데 도움을 준 Susie Xia .
• AV1 재생 지원을 통합하고 경험을 최적화하기 위한 클라이언트 팀.
• 장치 공급업체와 협력하고 재생 문제를 조사하는 파트너 엔지니어링 팀.
• AV1 롤아웃을 위한 컴퓨팅 리소스를 수용하는 미디어 클라우드 엔지니어링 팀.
• AV1 롤아웃 관리를 위한 도구를 제공하는 미디어 콘텐츠 재생 팀.
• A/B 테스트 분석 및 AV1을 지속적으로 모니터링하는 데 도움이 되는 데이터 제공을 위한 데이터 과학 및 엔지니어링 팀.

비디오 기술에 대한 열정이 있고 Netflix에서 하는 일에 관심이 있다면 와서 우리와 채팅하세요! Encoding Technologies 팀은 현재 많은 기회를 갖고 있으며 더 많은 멋진 엔지니어가 합류하기를 고대하고 있습니다.

 

https://netflixtechblog.com/bringing-av1-streaming-to-netflix-members-tvs-b7fc88e42320

Bringing AV1 Streaming to Netflix Members’ TVs