도코모, 세계 최초 8K VR과 5G에서 음악이나 스포츠 생방송 & 시청 시스템을 개발
NTT 도코모는 26 일 세계 최초로 360도 8K VR 라이브 영상 전송 · 시청 시스템을 개발했다고 발표했다. 스포츠와 음악의 라이브 이벤트를 실시간으로 360도 8K 영상으로 촬영 / 배달 가능하며, 헤드 마운트 디스플레이 (HMD)를 통해 VR 라이브 영상을 시청할 수있다.
360도 8K 영상 전송에 필요한 영상 합성 및 압축을 실시간으로 행하는 경우 연산 처리 부하가 4K의 4 배 높고, 소프트웨어 처리가 곤란했다. 그래서 높은 처리 능력을 가진 FPGA (Field Programmable Gate Array)를 채용하고 고부하 작업을 FPGA에 맞춘 형태로 알고리즘을 검토. 고밀도 실장 개발하는 것으로, 영상 합성 및 압축의 실시간 처리 (30fps)을 실현. 스포츠 나 음악 이벤트에 이용하는 것으로, "마치 그 자리에있는듯한 매우 몰입 형 라이브 VR 체험을 즐길 수있는"라고하고있다.
HMD에서 볼 때 여러 잘라 영상 (타일)으로 분할 시청 방향 만의 영상을 재생하여 재생에 걸리는 처리 부하를 낮추는 '파노라마 슈퍼 엔진 인코더'를 사용합니다. 생방송을위한 실시간 동작 할 수 있도록 알고리즘을 고안 한 인코더를 맞게 개발했다.
이번 시스템은 원주 방향으로 바깥쪽으로 배치 된 5 대의 카메라로부터 출력되는 4K 어안 형식 영상을 실시간으로 합성 (스티칭). 30fps에서 360도 8K 영상을 출력하는 실시간 스티칭 장치, 360도 8K 영상을 서버에 전달하기 위해 실시간으로 압축 (인코딩)하는 실시간 H.264 인코더, 360도 8K 영상을 여러 방향의 타일로 분할 실시간 파노라마 슈퍼 엔진 인코더 (GPU로 구성) 타일을 사용자의 시청 방향에 맞게 전달하는 전달 서버로 구성한다.
FPGA 채택 실시간 H.264 인코더에서 실시간 파노라마 슈퍼 엔진 인코더로 전송이 필요한 처리량 80 ~ 200Mbps 배포 서버에서 HMD에 필요한 처리량 80Mbps에서 이러한 전송에 5G를 활용한다.
이 시스템은 "도코모 5G 오픈 파트너 프로그램」참가 기업 · 단체 (1,503 단체) 용으로 제공하는 상설 5G 기술 검증 환경"도코모 5G 오픈 랩 Yotsuya '에 전시 될 예정이다. "앞으로도 5G 시대의 음악 이벤트 나 스포츠 등의 새로운 엔터테인먼트 경험을 실현하기 위해 고품질의 VR 기술의 개발에 종사」라고하고있다.