AV1은AOMedia(Alliance of Open Media)의 로열티 프리 라이선스가 있는 최초의 고효율 비디오 코덱 형식으로,전문 지식과 리소스에 대한 광범위한 업계 약속으로 가능합니다.Netflix는 AOMedia의 창립 멤버이자 AV1 개발의 핵심 기여자임을 자랑스럽게 생각합니다.AV1의 사양은 2018년에 공개되었습니다. 그 이후로 Netflix 회원에게 AV1 스트리밍을 제공하기 위해 열심히 노력해 왔습니다.
2020년 2월, Netflix는AV1을 Android 모바일 앱으로 스트리밍하기 시작했습니다.Android 출시는 VideoLAN, VLC 및 FFmpeg 커뮤니티에서 구축하고 AOMedia가 후원하는 오픈 소스 소프트웨어 디코더dav1d를활용했습니다.AV1 스트리밍이 특히 어려운 네트워크 조건에서 회원의 시청 경험을 개선했다는 사실에 매우 기뻤습니다.
소프트웨어 디코더를 사용하면 더 강력한 장치에서 AV1을 재생할 수 있지만 대다수의 Netflix 회원은 TV에서 좋아하는 프로그램을 즐깁니다.TV 플랫폼에서 AV1 재생은 일반적으로 배포하는 데 시간이 더 오래 걸리는 하드웨어 솔루션에 의존합니다.
2020년 내내 업계는 AV1 하드웨어 솔루션에서 인상적인 발전을 이루었습니다.반도체 회사들이다양한 소비자 가전 애플리케이션을 위한디코더 SoC를발표했습니다.TV 제조업체는AV1 스트리밍이 가능한 TV를출시했습니다.Netflix는 또한GPU의 추가 성능을 활용하는 게임 콘솔의 AV1 디코더용오픈 소스 솔루션을 개발하기 위해 YouTube와 협력했습니다.이렇게 짧은 시간에 생태계의 급속한 성장을 목격하는 것은 놀라운 일입니다.
오늘 Netflix에서 AV1을 TV로 스트리밍하기 시작했음을 발표하게 되어 기쁩니다.이 고급 인코딩 형식을 통해 Netflix가 회원들에게 훨씬 더 놀라운 경험을 제공할 수 있다고 확신합니다.이 기술 블로그에서는 이번 출시를 위한 노력과 회원에게 기대할 수 있는 혜택에 대한 세부 정보를 공유합니다.
TV에서 Netflix AV1 스트리밍 활성화
TV 플랫폼에서 새로운 스트리밍 형식을 출시하는 것은 쉬운 일이 아닙니다.이 섹션에서는 이번 출시를 위해 직면한 여러 문제를 나열하고 해결 방법을 공유합니다.보시다시피 우리의"고도로 정렬되고 느슨하게 결합된"문화가 이 다기능 프로젝트의 성공에 핵심적인 역할을 했습니다.높은 정렬은 모든 팀이 동일한 목표를 향해 작업하도록 안내하는 반면 느슨한 결합은 각 팀이 민첩하고 빠르게 진행되도록 합니다.
과제 1: Netflix 스트리밍을 위한 최고의 AV1 인코딩 방법은 무엇입니까?
AV1은 사양에 정의된 수많은 인코딩 도구를 사용하여 광범위한 응용 프로그램을 대상으로 합니다.이는 인코딩 레시피의 무한한 가능성으로 이어지며 Netflix 스트리밍에 가장 적합한 레시피를 찾아야 했습니다.
Netflix는 영화와 TV 프로그램을 제공합니다.프로덕션 팀은 이 아트를 만드는 데 엄청난 노력을 기울이고 있으며, 멤버에게 스트리밍할 때 원래의 창작 의도를 충실하게 유지하는 것이 중요합니다.이 목표를 달성하기 위해 Encoding Technologies 팀은 AV1 인코딩 레시피에 대해 다음과 같은 설계 결정을 내렸습니다.
우리는 항상 사용 가능한 가장 높은 소스 해상도와 프레임 속도로 인코딩합니다.예를 들어,"Formula 1: Drive to Survive"와 같이 소스가 4K이고 높은 프레임 속도(HFR)인 타이틀의 경우4K 및 HFR로 AV1 스트림을 생성합니다.이를 통해 고해상도 및 프레임 속도 재생을 지원하는 장치 및 계획에서 창의적으로 구상한 콘텐츠를 정확하게 표시할 수 있습니다.
AV1 Main Profile이 8비트와 10비트 심도를 모두 허용하더라도 모든 AV1 스트림은 10비트 심도로 인코딩됩니다.거의 모든 영화와 TV 프로그램은 10 이상의 비트 심도로 Netflix에 전송됩니다.10비트 인코딩을 사용하면 창의적 의도를 더 잘 보존하고 아티팩트(예:밴딩)의 가능성을 줄일 수있습니다.
동적 최적화는 샷 수준에서 레시피를 조정하고 지능적으로 비트를 할당하는 데 사용됩니다.Netflix 서비스의 스트림은 수백만 번 쉽게 시청할 수 있으므로 인코딩 측면의 최적화는 회원 경험을 개선하는 데 큰 도움이 됩니다.동적 최적화를 통해 우리는 Netflix의 높은 시각적 품질 기준을 충족하기 위해 더 복잡한 장면에 더 많은 비트를 할당하는 동시에 훨씬 적은 비트로 동일한 고품질로 간단한 장면을 인코딩합니다.
과제 2: TV에서 원활한 AV1 재생을 보장하려면 어떻게 해야 합니까?
배포된 모든 Netflix AV1 스트림이 사양을 준수하는지 확인하는 인코딩 파이프라인에 스트림 분석기가 내장되어 있습니다.AV1 디코더가 있는 TV는 AV1 스트림의 원활한 재생을 보장하기 위해 사양 요구 사항을 충족하는 디코딩 기능도 있어야 합니다.
이러한 장치의 디코더 기능을 평가하기 위해 Encoding Technologies 팀은 일련의 특수 인증 스트림을 만들었습니다.이러한 스트림은 동일한 프로덕션 인코딩 레시피를 사용하므로 프로덕션 스트림을 대표하지만 디코더를 스트레스 테스트하기 위해 극단적인 경우가 추가됩니다.예를 들어 일부 스트림에는사양에서 허용하는상한에가까운 최대 비트 전송률이있습니다.클라이언트 및 UI 엔지니어링팀은 두 장치 로그뿐만 아니라 화면에 렌더링 사진을 분석하는 이러한 스트림으로 인증 시험을 만들었습니다.테스트에서 관찰된 모든 문제는 보고서에 표시되며 디코딩 기능의 차이가 식별되면 공급업체와 협력하여 디코더를 사양에 맞게 제공합니다.
과제 3: Netflix 규모로 AV1 인코딩을 출시하려면 어떻게 해야 합니까?
비디오 인코딩은 본질적으로 검색 문제입니다. 인코더는 모든 인코딩 도구에서 허용하는 매개변수 공간을 검색하고 최상의 결과를 산출하는 공간을 찾습니다.이전 코덱보다 더 큰 인코딩 도구 세트를 사용하면 AV1 인코딩에 더 많은 CPU 시간이 소요되는 것은 놀라운 일이 아닙니다.Netflix가 운영하는 규모에서는 컴퓨팅 리소스를 효율적으로 사용하는 것이 필수적입니다.CPU 사용의 영향을 최대화하는 것은 다른 모든 코덱 형식의 경우와 마찬가지로 AV1 인코딩의 핵심 부분입니다.
Encoding Technologies 팀은 인코딩 레시피를 미세 조정하여 이 문제를 처음으로 해결했습니다.이를 위해 팀은 압축 효율성과 계산 효율성 간의 균형을 최적화하는 것을 목표로 인코더에서 제공하는 다양한 도구를 평가했습니다.여러 번의 반복을 통해 팀은 무시할 수 있는 압축 효율성 변화로 인코딩 속도를 크게 높이는 레시피에 도달했습니다.
인코더 속도를 높이는 것 외에도 컴퓨팅 리소스를 보다 효율적으로 사용할 수 있다면 총 CPU 시간도 줄일 수 있습니다.성능 엔지니어링 팀은 Netflix의 리소스 활용 최적화를 전문으로 합니다.Encoding Technologies는 Performance Engineering과 협력하여 AV1 인코딩의 CPU 사용 패턴을 분석했으며, 우리의 연구 결과에 따라 Performance Engineering은 개선된CPU 스케줄링 전략을권장했습니다.이 전략은 인스턴스 유형에 따라 작업 크기를 적절하게 조정하여 인코딩 처리량을 개선합니다.
위의 개선 사항에도 불구하고 전체 카탈로그를 인코딩하는 데 여전히 시간이 걸립니다.Netflix 카탈로그의 한 측면은 모든 타이틀이 똑같이 인기가 있는 것은 아니라는 것입니다.일부 타이틀(예:La Casa de Papel)은 다른 타이틀보다 더 많이 시청하므로 이러한 타이틀의 AV1 스트림은 더 많은 회원에게 도달할 수 있습니다.관련 비용을 최소화하면서 AV1 인코딩의 영향을 최대화하기 위해데이터 과학 및 엔지니어링팀은 타이틀 인기도 및 기타 여러 요소를 고려한 AV1에 대한 카탈로그 롤아웃 전략을 고안했습니다.
과제 4: AV1 스트리밍을 지속적으로 모니터링하려면 어떻게 해야 합니까?
이번 출시로 AV1 스트리밍은 수천만 명의 Netflix 회원에게 도달했습니다.이러한 스트리밍 세션에 대한 요약된 메트릭을 제공할 수 있는 도구 모음을 보유하는 것은 Netflix AV1 스트리밍의 성공에 매우 중요합니다.
데이터 과학 및 엔지니어링 팀은 스트리밍 경험 품질("QoE")에서 장치 성능에 이르기까지 광범위한 지표를 다루는 AV1 스트리밍을 위한 여러 대시보드를 구축했습니다.이러한 대시보드를 통해 회원이 AV1을 스트리밍할 때 시간 경과에 따른 추세를 모니터링하고 분석할 수 있습니다.또한 데이터 과학 및 엔지니어링 팀은 주요 지표에서 문제의 초기 징후를 감지하고 추가 조사를 위해 팀에 자동으로 경고를 보내는 전용 AV1 경고 시스템을 구축했습니다.AV1 스트리밍이 비교적 초기 단계에 있다는 점을 감안할 때 이러한 도구는 부정적인 회원 경험을 피하기 위해 각별히 주의하는 데 도움이 됩니다.
경험의 질 개선
우리는 AV1을 수천 개의 Netflix 타이틀에 대한 다른 코덱과 비교했으며 AV1에서 상당한 압축 효율성 향상을 보았습니다.이 오프라인 분석의 결과는 매우 흥미로웠지만 우리에게 정말 중요한 것은 회원들의 스트리밍 경험입니다.
AV1의 향상된 압축 효율성이 회원 스트리밍의 QoE(경험 품질)에 미치는 영향을 평가하기 위해 출시 전에A/B 테스트를 수행했습니다.Netflix는 콘텐츠를 여러 형식으로 인코딩하고 장치 기능 및 콘텐츠 선택과 같은 요소를 고려하여 주어진 스트리밍 세션에 가장 적합한 형식을 선택합니다.따라서 AV1을 적용 가능한 각 코덱 형식과 비교하기 위해 여러 A/B 테스트를 만들었습니다.이러한 각 테스트에서 자격이 있는 TV를 가진 구성원은 "통제"와 "치료"의 두 셀 중 하나에 무작위로 할당되었습니다."치료" 셀에 할당된 것은 AV1 스트림을 수신한 반면 "제어" 셀에 할당된 것은 이전과 동일한 코덱 형식의 스트림을 수신했습니다.
이러한 모든 A/B 테스트에서 우리는 우리의 기대에 부합하는 "치료" 셀의 구성원에 대한 많은 메트릭에서 개선 사항을 관찰했습니다.
스트리밍 세션의 전체 스펙트럼에서 더 높은 VMAF 점수
VMAF는 Netflix에서 개발하고 오픈 소스로 제공하는 비디오 품질 측정항목으로, 시각적 품질과 밀접한 관련이 있습니다.더 효율적이기 때문에 AV1은 동일한 비트 전송률에서 향상된 시각적 품질로 비디오를 제공하므로 더 높은 VMAF 점수를 얻을 수 있습니다.
이러한 개선은 심각한 네트워크 정체와 가장 낮은 시각적 품질을 경험하는 세션에서 특히 중요합니다.이러한 세션의 경우 AV1 스트리밍은 버퍼링 속도에 영향을 주지 않고 최대 10 VMAF까지 품질을 개선합니다.
최고 해상도로 더 많은 스트리밍
압축 효율성이 높으면 스트리밍에 필요한 대역폭이 줄어들므로 재생이 해당 세션의 최고 해상도에 도달하는 것이 더 쉽습니다.
4K 적격 세션의 경우 평균적으로 스트리밍되는 4K 비디오의 지속 시간이 약5%증가했습니다.
재생 중 눈에 띄는 품질 저하 감소
우리는 회원들이 뛰어난 재생 경험을 갖기를 원하며 플레이어는 변화하는 네트워크 조건에 적응하도록 설계되었습니다.현재 상태가 현재 비디오 품질을 유지할 수 없는 경우 플레이어는 재생 중단 가능성을 줄이기 위해 더 낮은 비트 전송률 스트림으로 전환할 수 있습니다.AV1이 주어진 품질 수준에 대해 더 적은 대역폭을 사용한다는 점을 감안할 때 플레이어는 더 오랜 기간 동안 비디오 품질을 유지할 수 있으며 이전처럼 더 낮은 비트 전송률 스트림으로 전환할 필요가 없습니다.
일부 TV에서는 눈에 띄는 품질 저하가 38%까지 감소했습니다.
재생 시작 지연 감소
일부 TV에서는 비트 전송률이 감소하면 플레이어가 목표 버퍼 수준에 더 빨리 도달하여 재생을 시작할 수 있습니다.
평균적으로 AV1 스트리밍으로 재생 지연이 2% 감소하는 것을 관찰했습니다.
다음 단계
초기 출시에는 많은 AV1 지원 TV와 PS4 Pro와 연결된 TV가 포함됩니다.우리는 AV1 스트리밍을 위한 더 많은 장치를 활성화하기 위해 외부 파트너와 협력하고 있습니다.우리가 탐색하는 또 다른 흥미로운 방향은 HDR이 포함된 AV1입니다.다시 말하지만 Netflix의 팀은 회원에게 가능한 최고의 화질을 제공하기 위해 최선을 다하고 있습니다.계속 지켜봐 주세요!
Linux – X11, Wayland 및 GBM 윈도우 시스템 용 단일 Linux 바이너리
많은 내부 API 변경
Github에서 전체 변경 로그를찾을 수 있으며앱 스토어 (Google Play, Apple App Store, Windows…)에서 직접 또는Kodi 웹 사이트의다운로드 섹션에서플랫폼에 Kodi 19를 설치할 수 있습니다.
지침에 따라 Ubuntu 20.04에 설치합니다.
1
2
3
4
sudo apt install software-properties-common
sudo add-apt-repository ppa:team-xbmc/ppa
sudo apt update
sudo apt install kodi
변경 로그에는 AV1 소프트웨어 비디오 디코딩 만 언급되어 있으므로Elecard에서AV1 비디오를다운로드하여 사용해보았습니다.AMD Ryzen 7 2700U 옥타 코어 프로세서가 장착 된 노트북이 있는데 720p AV1 비디오를 재생할 수 있지만 1080p 비디오는 고르지 않았고 4K 비디오는 볼 수 없습니다.
libdav1d는 비디오 디코딩에 하나의 코어만 사용하는것 같습니다. 곧 출시 될 Kodi 20이 지원되는 GPU에서 하드웨어 비디오 디코딩을 사용하고 AmlogicS905X4와 같은 AV1 지원이 포함 된 Arm SoC 하나를 사용할 것으로 기대합니다.
Android TV를 지원하는 8K TV가 많이 있지만 YouTube 콘텐츠를 스트리밍 할 때 표준 Android TV 상자는 4K로 제한되었습니다. 플랫폼에서 더 높은 해상도의 동영상을 사용할 수 있더라도 말입니다.
8K 비디오 스트리밍 지원은 이제 안드로이드 TV 버전 2.12.08을위한 유튜브와 함께 안드로이드 TV에 대해 제한된 방식으로 배포되고 있습니다 . 앞서 말했듯이 옵션을 보려면 Android 10 이상을 실행해야하므로 매우 제한적인 출시입니다.
8K TV가없는 경우에도 저해상도 디스플레이에서 이러한 고해상도 콘텐츠를 시청할 때 축소의 이점을 누릴 수 있습니다. 즉, 제한이 있다면 수많은 8K YouTube 동영상을 Android TV 셋톱 박스로 스트리밍하면 실제로 데이터 제한을 망칠 수 있습니다. H.266 비디오 인코딩이 곧 제공되기를 바랍니다. 향상된 비트 전송률 대 품질 이점이 이러한 고해상도 콘텐츠를 온라인에서 사용할 때 실제로 도움이 될 것입니다.
이상하게도 몇 가지 변경 로그가있는 것 같습니다. 초기 변경 로그는 .av1 코덱으로 HDR 지원에 대한 언급을 제거했습니다. Cast Connect 지원 으로 대체 된 것으로 보입니다. 즉, Android TV 기기에 이미 설치된 관련 앱에서 스트림을 처리하고 표시합니다. 예를 들어 휴대 전화의 스트리밍 서비스에서 프로그램을 전송하면 해당 서비스의 Android TV 앱에서 프로그램을 재생합니다.
이는 'Cast를 Android TV와 결합하여 앱을 최신 Cast 환경으로 전환'하기위한 것입니다. 하드웨어 리모컨 사용을 포함하여 확장 된 제어가 가능하며 화면 해상도를 더 잘 제어 할 수 있습니다.
원래 변경 내역 :
8K 비디오 재생 지원
AV1 HDR 재생 지원
일부 장치에서 향상된 네트워크 성능
일부 장치의 글꼴 문제 수정
초기 실행시 검은 색 화면이 표시되는 문제 수정
기타 다양한 플랫폼 개선
업데이트 된 변경 로그 :
YouTube Music 시작 화면 표시
Cast Connect 지원
Android 10 이상에 대한 제한된 8K 지원
향상된 해상도 선택
잘못된 날짜 및 시간 문제 수정
기타 다양한 플랫폼 개선
앞서 언급했듯이 Android TV 용 YouTube 2.12.08 업데이트를 다운로드하더라도 여전히 기기에서 8K 동영상 콘텐츠를 보지 못할 수 있습니다. 장치에 옵션이있는 경우 아래 댓글 섹션에서 사용중인 항목을 알려주십시오. Google Play 스토어 에서 앱을 다운로드하여 행운을 시험해 볼 수 있습니다 .
한 여성이Getty Images를 통해독일 베를린에서 2020 년 1 월 3 일에 스마트 폰의 NETFLIX 앱을보고 있습니다.
2015 년 Netflix는Amazon, Google, Intel 및 기타 회사와 협력하여 최신 장치에서 잘 작동하는 로열티가없는 코덱을 개발할 것이라고발표했습니다.2 년 전 그들은AV1 코덱으로 노동의 결실을 밝혔습니다. 이는 그들이지불하고 싶지 않은 라이센싱 지불의 자유뿐만 아니라 4K HDR 비디오를 스트리밍하는 데 사용되는 데이터의 양을 최대 30 % 절약 할 것을 약속했습니다.이제 Netflix는 "선택"타이틀 세트에서 AV1을 사용하기 시작했으며 "데이터 저장"기능을 활성화 한 Android 사용자에게만 해당됩니다.
AV1을 사용하여 재생을 제한하는 한 가지 이유는 하드웨어 지원이 부족하기 때문에 사람들이 동일한 비디오를 시청하기 위해 더 많은 배터리 수명을 사용할 수 있음을 의미합니다.재생 및 성능 설정에서 YouTube 비디오에서 VP9 대신 AV1을 이미 활성화 할 수있지만 480p 이상에서 사용하려면 강력한 컴퓨터가 필요하다는 경고 메시지가 표시됩니다.