소니의 전기 자동차를 체험. 놀라움의 "가상 배경"영상 시선 추종의 입체도

 

소니의 전기 자동차를 체험. 놀라움의 "가상 배경"영상 시선 추종의 입체도

 

소니가 'CES 2020'에서 선보인 전기 자동차 컨셉 카 「VISION-S '를 실제로 체험. 그 외에도 회사의 강점 인 센싱을 활용 한 다양한 영상 기술 등 소니 부스의 볼거리를 소개한다.

CES 2020 소니 부스

소니 전기 자동차 컨셉 카 「VISION-S '를 체험

부스에서 가장 주목 받고있는 것은 회견에서 요시다 憲一郎 사장 겸 CEO가 발표 한 소니의 컨셉 카 「VISION-S ".

많은 사람들이 촬영하는 「VISION-S '의 코너

"사람의 눈을 넘는"소니의 이미지 센싱 기술의 개념 "Safety Cocoon」에 따라 개발. 센서는 CMOS와 ToF 등 여러 종류를 총 33 개 배치. AI와 통신, 클라우드 기술을 활용 한 자동차 소프트웨어의 제어를 통해 다양한 각도에서 편안한 운전과 안전을 지원합니다. 각 기능은 지속적으로 업데이트된다.

안전과 편의성뿐만 아니라 영상이나 음악 등 엔터테인먼트도 중시하고있는 것도 특징. 몰입감있는 입체적인 음향을 제공하는 소니의 360 Reality Audio (360RA)를 차량에 최적화하여 탑재. 각 스피커 인클로저를 설치하여 음향을 컨트롤하면서 차 밖으로의 소리 누락도 방지 등 세세한 조건도 오디오를 다루는 소니 만의 특징이다.

운전석 헤드 레스트 아래의 둘레에 스피커를 내장하고 있습니다. 감싸 인 것과 같은 사운드를 실현

보이지 어렵지만 대시 보드 부분에 스피커를 내장

앞쪽에는 넓은 '파 노라 믹스 클린 "가 배치되고, 영화 등 다양한 엔터테인먼트 콘텐츠를 터치로 조작하고 즐길 수있게했다. 자동 운전의 보급으로 이러한 엔터테인먼트 경험의 편안함도 자동차의 중요한 열쇠가 될 것 같다.

파 노라 믹스 깨끗하고 차량 정보와 엔터테인먼트 콘텐츠를 표시

사이드 미러의 역할을하는 카메라의 영상도 전면 스크린에 표시

그린 백을 사용하지 않고 Crystal LED 영상으로 고급 배경 합성을 실현

전시를 한 눈에 알아 차리지 않을지도 모르지만, 실제로는 놀라운 영상을 실현하고있는 것이 「3D 공간 캡처를 사용하여 가상 제작 기술 " 영화에서 배경을 합성하고 싶을 때, 실제 깊이있는 배경을 표현할 수 있다는 것이다.

3D 공간 캡처를 사용하여 가상 제작 기술의 데모. 시네마 카메라의 전시처럼 보이지만 실제로는 더 깊은

이 기술은 배경에 대해 8K × 3K (10 × 4m)의 Crystal LED를 설치하고, 거기에 고화질 영상을 표시하고 실제 영화 등과 같이 카메라로 촬영. 배경 영상은 소니 픽쳐스 스튜디오에 세트를 고해상도 3 차원 데이터로 가져온 것으로, 카메라가 이동하면 센서로 감지하여 배경 영상도 실시간으로 변화. 평면적 인 카키와리 같은 그림이 아닌 적절한 시점과 깊이를 가진 배경 영상을 촬영할 수있는 점이 특징.

스튜디오를 본뜬 코너에서 실제로 카메라가 이동하면 그에 맞게 배경의 건물의 외관도 변화. 여기에서는 보도의 연석보다 뒤쪽이 Crystal LED 영상에서 바람에 날리는 낙엽은 CG로 합성 된 것이지만, 카메라에서 촬영 된 영상을 모니터로 볼 때 뒤에 실제 건물이 있는가? 같은 자연스러운 입체감을 표현. 담당자가 "IMAX 같은 대화면에서도 눈치 채지 못한 것"이라고 자신감을 보이는대로 너무 배경이 평면 디스플레이의 영상이라고는 몰랐다.

다양한 배경의 데이터를 저장하는 것으로, 세트의 실물이없는 장소에서도 그 배경을 사용하여 촬영이 가능하다. 또한 그린 백을 사용하는 경우와는 달리, 빛의 반사 등을 신경 쓰지 않고 촬영하기 쉬운 것도 장점이라고한다. 배경 화면 그림을 사용하는 기술은 이전부터 있었다는 것인데, Crystal LED의 리얼한 영상 표현하여 더욱 자연스러운 합성이 가능하게되었다고한다. 영화 등의 제작에있어서, 향후 강력한 무기가 될만한 기술이라고 느꼈다.

 

카메라가 이동하면 배경 영상의 입체감 (관점) 추종

 

모니터에 표시된 촬영 후 영상

시선을 쫓아 3D 영상 표시 라이트 필드 디스플레이

독자 기술에 의한 '시선 인식 형 라이트 필드 디스플레이 "는 나안 입체 영상을 표시 할 때 보는 사람이 관점을 바꿔도 추종하여 다양한 각도에서 고화질 입체 영상을 즐길 수 있다는 것. 예를 들어 사람의 머리의 영상이라면 위에서 바라 보면 정수리가 보이고, 좌우에서 개요 (바로 옆까지는 없지만 대각선 옆모습)이 보인다.

 

"시선 인식 형 라이트 필드 디스플레이"의 데모 영상

라이트 필드 디스플레이 기술은 이전부터있는 것이지만, 많은 시점의 영상을 만들고자하는만큼, 1 시점 분의 영상은 해상도가 떨어진다는 문제가 있었다.

이번 기술은 시선 / 얼굴을 알리고만큼 최적의 입체 영상을 실시간 렌더링으로 표시하기 위해 왼쪽과 오른쪽 눈에 보이는 영상 만 표시하기 위하여이 큰 차이. 소니의 고속 비전 센서와 얼굴 인식 알고리즘을 활용하여 기존에없는 초 고정밀 입체 공간 표현을 가능하게했다고한다.

이 기술은 VR과 AR 컨텐츠, 제품 디자인 등 다양한 크리에이터 다용도 입체 콘텐츠 제작 환경을 제공하는 것을 목표로한다.

얼굴 인식 기술을 사용하고 있기 때문에 카메라를 향해 (얼굴이 숨겨진) 사진에서는 전해 어렵지만 기존의 라이트 필드 디스플레이보다 확실히 높은 해상도로 영상이 표시되어있어 시선에 추종 부드러워 이었다

콘텐츠 크리에이터에 새로운 제작 환경을 제공

•  

 

https://av.watch.impress.co.jp/docs/news/1228159.html

ソニーの電気自動車を体験。驚きの“バーチャル背景”映像、視線追従の立体視も