8K 비디오; 제목 별 인코딩; HDR 지표

8K 비디오; 제목 별 인코딩; HDR 지표

 

 

이 기사는 8K 영상을 사용한 두 가지 테스트 세트를 문서화합니다. 첫 번째 장면은 영화 Ripartenza의 두 장면으로, 두 번째 장면은 원본 기사의 부록으로 제시된 River Plate 축구 경기 장면입니다. 

 

저는 20 년 전에 사랑하는 친구 로렌을 만났습니다. 그녀가 (당시) 두 명의 어린 소녀가 있다는 것을 알았을 때, 그녀는 미소를 지으며 나에게 손가락을 흔들면서“어린 소녀들, 작은 문제들, 큰 소녀들, biggggg 문제들”이라고 말했습니다. 우리는 둘 다 매우 운이 좋았지 만 그녀가 말한 것은 의심의 여지없이 사실입니다. 그리고 타이틀 별 인코딩과 관련하여 결과는 1080p 비디오, 작은 문제, 8K 비디오, biggg 문제입니다.

 

여기 뒷이야기가 있습니다. 8K 산업 협회의 일부 사람들은 내가 제목 별 인코딩에 대한 프레젠테이션을 보고 8K에 대한 데이터가 있는지 물었습니다. 나는 안된다고 말했다. 그들은 Ripartenza라는 제목의 8K 파일을 보냈습니다. 그림 1은 MediaInfo 데이터를 보여줍니다. 10 비트 색상 심도의 ProRes 422 형식의 25fps 8K 파일이지만 BT.709 색상 원색을 사용하므로 내가 얻은 버전은 HDR이 아닙니다.

그림 1. 첫 번째 소스 파일.

 

나는 파일을 재생하고 두 개의 세그먼트를 조각했습니다. 하나는 말하는 머리, 다른 하나는 농구장에서 춤추는 발레리나. 이 명령을 사용하여 두 개의 30 초 세그먼트를 추출했습니다.이 명령은 댄스 시퀀스 (-ss 00:06:30)의 시작을 찾고 오디오 및 비디오의 30 초 (-t 00:00:30)를 복사합니다.

 

ffmpeg -y -ss 00:06:30 -i Ripartenza_8K.mov -c:v copy -c:a copy -t 00:00:30 Ripartenza_ballet_source.mov

 

이것은 두 개의 소스 파일을 만들었습니다. 하나는 로우 모션이고 다른 하나는 하이 모션입니다. 그런 다음 다음 FFmpeg 명령을 사용하여 x265와 10 비트 출력 및 CRF 25 품질 수준을 사용하여 두 소스를 인코딩했습니다. 설명하자면 CRF는 목표 품질을 달성하기 위해 데이터 속도를 변경하는 인코딩 모드입니다. 이러한 유형의 응용 프로그램에서 CRF는 소스 파일의 복잡성을 측정합니다. 데이터 속도가 높을수록 파일 인코딩이 더 어려워집니다.

 

ffmpeg -y -i Ripartenza_ballet_source.mov -c:v libx265 -an -crf 25 -pix_fmt yuv420p10le Ripartenza_ballet_CRF25.mp4

 

그런 다음 PSNR, SSIM 및 SSIMPLUS 메트릭을 사용하여 품질을 측정했습니다. VMAF를 사용해 보았지만 HP Z840 워크 스테이션의 32GB 메모리가 부족한 것으로 판명되었습니다. 내가받은 파일이 SDR이기 때문에 이는 SDR 메트릭입니다.

표 1은 데이터 속도 및 메트릭 점수 측면에서 결과를 보여줍니다. 댄스 클립은 7.8Mbps, Talking 헤드는 2.5Mbps로 300 % 델타 데이터 속도를 볼 수 있습니다. 이론적으로 CRF가 완벽하게 작동했다면 측정 항목은 거의 동일해야합니다. SSIM 및 SSIMPLUS에서는 그랬지만 PSNR에서는 상당히 다양했습니다. 즉, PSNR에서 45dB 이상의 값은 일반적으로 시청자가 구별 할 수 없으므로 52.69와 61.63의 차이는 시각적으로 무관합니다. 여기 에서 언급했듯이 0.99 이상의 SSIM 점수는 눈에 띄지 않는 인공물을 보여주고 인간 시청자가 비디오 품질을 우수하다고 평가할 것이라고 예측합니다.

 

SSIMPLUS 점수는 " 원본 자산이 완전 하다고 가정하고 인코더 손상으로 인한 성능 저하를 측정하는 데에만 초점을 맞춘 "인코더 성능 점수 (EPS) 였습니다. SSIMWAVE는 현재 4K보다 큰 비디오에서 SVS를 계산하지 않기 때문에 SSIMPLUS Viewer Score (SVS) 대신 이것을 사용했습니다. 두 SSIMPLUS 측정 항목 모두에서 80 점 이상의 점수는 주관적인 시청자에 의해 우수한 품질로 평가되므로 EPS 점수는 상당히 좋았고 SSIM 점수를 확인합니다.

표 1. 비교적 유사한 품질을 제공하려면 3 배 더 높은 데이터 속도가 필요합니다.

 

메트릭을 사용하여 주관적인 품질을 예측하는 데 회의적인 부분이 있음을 알고 있지만 제가 사용하는 Moscow State University 비디오 품질 측정 도구의 가장 큰 특징 중 하나는 파일 기간 동안 점수를 확인한 다음 프레임을 검사하는 기능입니다. 비디오의 모든 지점. 그림 2에서는 파일 기간 동안 프레임별로 SSIM 점수를 추적하고 댄스 클립에서 가장 낮은 점수가 프레임 706 정도임을 보여줍니다.

그림 2. 발레 클립의 기간 동안 SSIM 점수를 보여주는 VQMT 플롯.

 

재생 헤드를 해당 프레임으로 드래그하고 오른쪽 하단의 프레임 표시를 클릭하면 도구가 그림 3과 같이 프레임을 표시하고 소스와 인코딩 된 프레임 사이를 전환하여 미묘한 차이도 볼 수 있습니다. SSIM 점수가 예측했듯이 소스 프레임과 인코딩 된 프레임 간의 차이가 거의 없었습니다. 내가 사용하는 SSIMPLUS VOD 모니터에는 파일 재생 시간 동안 점수를보고 프레임 품질을 확인하는 유사한 기능이 있습니다 ( 여기 비디오 참조 ).

그림 3. 소스와 인코딩 된 프레임 비교.

 

그림 3은 전체 8K 데이터 속도가 예기치 않게 낮은 이유를 보여줍니다. 소스는 50 또는 100fps가 아닌 25fps 였을뿐만 아니라 셔터 속도도 상대적으로 느려 움직임이 많은 장면에서 프레임이 약간 흐려지고 비디오를 압축하기 쉽습니다. 전반적으로 비디오는 좁은 피사계 심도로 아름답게 촬영되어 다시 낮은 복잡성에 기여했습니다. 다음에 보시 겠지만 8K 축구 경기를 100fps로 인코딩하면 필요한 데이터 속도가 5 ~ 6 배 더 높아질 수 있습니다.

 

하지만 잠깐, 더 있습니다

8K 협회의 사람들과 함께 이러한 결과를 검토 한 후 더 역동적 인 영상이 포함 된 추가 클립을 요청하기로 결정했습니다. Harmonic, Inc는 Club Atletico San Lorenzo 와 Club Atletico River Plate 간에 제작 한 축구 경기의 하이라이트를 제공 할 수있었습니다 . 이것은 BT.2020 색상 원색이있는 59.94 8K 파일입니다. 확인한 결과 하이라이트에는 상대적으로 낮은 모션 시퀀스가 ​​없었습니다. 처음부터 끝까지 액션과 드라마였습니다. 따라서 첫 번째 클립에서했던 것처럼 높고 낮은 모션 시퀀스를 비교할 수있는 방법이 없었습니다.

그림 3. 두 번째 소스 파일.

산만하지는 않지만 사과와 오렌지색이 나는 곳입니다. 위와 같이 축구 경기에서 30 초 분량의 영상을 추출한 다음이 명령 문자열을 사용하여 Rec 2020으로 인코딩했습니다.

ffmpeg -y -i Riverplate_source.mp4 -c:v libx265 -crf 25 -pix_fmt yuv420p10le -color_primaries 9 -color_trc 16 -colorspace 9 Riverplate_CRF25.mp4

그런 다음 새로운 브랜드 인 Moscow State University 비디오 품질 측정 도구 버전 13의 각 메트릭에 대한 HDR 버전을 사용하여 축구 경기에 대한 PSNR 및 SSIM을 계산하고 결과를 표 2의 Ripartenza의 말하는 헤드 세그먼트와 함께 제시했습니다. 또한 HDR 옵션을 사용하여 SSIMPLUS 점수를 계산했습니다.

축구 클립의 데이터 속도는 말하는 머리 시퀀스보다 거의 18 배 더 높고 메트릭 점수는 PSNR의 경우 상당히 낮지 만 SSIM 및 SSIMPLUS의 경우에는 그다지 중요하지 않습니다. 이에 비해 1080p 비디오의 경우 대부분의 간단한 말하는 머리 푸티지는 2.5 – 3Mbps로보기 좋으며 액션 스포츠에는 약 6-9Mbps가 필요합니다. 약 1 : 3의 델타입니다.

표 2. 낮은 품질을 제공하려면 17 배 더 높은 데이터 속도가 필요합니다.

 

나는 메트릭스가 근본적으로 다르다는 것을 알고 있으며, 현재로서는 HDR 버전의 PSNR 및 SSIM이 주관적인 관찰로 어떻게 변환되는지 말할 수 없습니다. 위에서 설명한대로 프레임을 비교했는데 소스와 인코딩 된 축구 경기 사이에 거의 차이가 없음을 확인했습니다.

또한 HDR과 SDR 영상을 비교하는 것은 여러 가지 이유로 인해 본질적으로 결함이 있음이 분명합니다. 메트릭 점수가 비슷하더라도 HDR TV에서 보는 HDR 영상은 SDR TV에서 보는 SDR 영상보다 더 좋아 보일 것입니다. 밝기 및 확장 된 색상 팔레트. HDR PSNR 및 SSIM 점수가 SDR 점수와 동일한 지 여부도이 시점에서 불분명합니다. Talking 헤드 시퀀스를 43.4Mbps로 인코딩하면 2.5Mbps보다 눈에 띄게 나아 보이지 않을 것이며 엄청난 대역폭을 낭비하게 될 것이라고 절대적으로 확신 할 수 있습니다.

 

결론

제작자는 가능한 한 효율적으로 특정 품질 수준을 제공하려고합니다. 당연히 1080p의 소스 비디오에 따라 크게 달라지는 품질을 제공하는 데 필요한 데이터 속도는 프레임 속도와 동적 범위의 차이로 인해 8K에서 훨씬 더 다양합니다. 고정 비트 레이트 래더를 사용하는 경우 인코딩하기 어려운 클립에서 필요한 품질을 달성하려면 지나치게 높아야하므로 쉽게 인코딩 할 수있는 클립이 낭비됩니다.

 

제작자는 타이틀 당 외에도 기존의 200 % 제한 VBR 최대 값을 300 % 이상으로 확장하는 방법을 모색해야합니다. 이것이 두 개의 소스 시퀀스가 ​​단일 클립에 포함되어 있었다면 전체적인 품질을 높이기 위해 필요했을 것입니다.

 

마지막으로 HDR 메트릭에 대해 매우 잘 아는 사람들이 있지만 저는 그들 중 하나가 아닙니다. 어떤 측정 항목을 적용하고 얼마나 의존해야하는지에 대한 많은 문제가 있습니다. HDR 비디오의 품질을 측정하기 위해 SDR 메트릭을 사용해서는 안된다는 것을 알고 있습니다 ( High Dynamic-Range / Wide-Color-Gamut Video에서 시각적 품질 손상 진단 , HDR 이미지 품질 평가를위한 객관적 품질 메트릭 벤치마킹 참조 , 및 높은 동적 범위 이미지 및 비디오의 품질 예측의 실용성) . 또한 VMAF가 HDR에 대한 교육 을 받지 않았기 때문에 VMAF가 HDR 비디오의 주관적인 평가를 정확하게 예측할지 여부는 불분명 합니다.

 

앞서 언급했듯이 모스크바 주립 대학 비디오 품질 측정 도구 버전 13은 여러 HDR 메트릭을 선보입니다. 그러나 가장 입증 된 HDR 지원 측정 항목은 SSIMWAVE의 SSIMPLUS로, Dolby 인증  을 받았으며 HDR 등급이 실제 주관적인 등급과 높은 수준으로 일치하는지 확인하기 위해 광범위한 테스트를 거쳤습니다.

 

 

 

https://streaminglearningcenter.com/metrics/8k-video-per-title-encoding-hdr-metrics.html

8K Video; Per-Title Encoding; HDR Metrics