2018. 2. 17. 13:53 OpenCV를 활용하기/가상 카메라를 활용한 Frozen time effect (논문)
image-based rendering를 활용한 bullet time camera(1)
(링크) High-quality video view interpolation using a
layered representation (2004- Microsoft Research)
무려 1484회나 인용된 논문입니다.(2004년 발표)
우선 동영상을 보시면 bullet time 영상을 8개의 카메라로 만들어 냅니다. 14년전 기술인데 현재까지 이렇게 훌륭한 기술이 상용화가 안되었다는 것이 이상할 정도입니다.
유튜브에 보면 "Interactive "Bullet-Time" 3D Video"라고 소개 되어 있며,
"image-based rendering" 알고리즘을 적용합니다.
이 기술이 왜 연구 하게 되었는지 이렇게 설명합니다.
(비전공자가 발로 번역한것이라 내용이 이상하더라도 이해 바랍니다. 상세한 내용은 원문 참조 바랍니다.)
" 스테레오 및 이미지 기반 렌더링의 모든 발전에도 불구하고 동적 장면에 대한 고품질의 고해상도 뷰를 렌더링하는 것은 여전히 매우 어렵습니다. 이 문제를 해결하기 위해 고해상도 카메라 (1024 × 768)와 새로운 색상 세그멘테이션 기반 스테레오 알고리즘을 사용하여 모든 카메라보기에서 고화질의 사진 일치를 생성합니다.
심도 불연속 근처의 영역에 대한 매트는 자동으로 추출되어 뷰 합성 중에 아티팩트를 줄입니다. 마지막으로, 대화 형 비율로 온라인 렌더링에 새로운 시간적 2 계층 표현이 사용됩니다. 입력 비디오가 오프라인으로 처리되면 우리의 실시간 렌더링 시스템은 언제든지 중간 뷰를 대화식으로 합성 할 수 있습니다.
대화식 "(Bullet Time)총알 시간" 기법은 몇 년 동안 TV 광고 및 장편 영화 시청자는 "정지 프레임"효과를 사용하여 시간을 멈추고 카메라 시점을 변경하는 환상을 보게되었습니다. 가장 초기의 광고는 Dayton Taylor의 필름 기반 TimetrackR 시스템2를 사용하여 제작되었습니다. 이 시스템은 고정 된 시간 슬라이스를 통해 움직이는듯한 환상을주기 위해 레일을 따라 배열 된 여러 스틸 카메라를 활용합니다.
1http://www.3dvsystems.com/products/zcam.html
2http://www.timetrack.com/
처음 등장했을 때, 그 효과는 신선하고 화려 해 보였습니다. 그리고 곧 그것은 많은 프로덕션에서 에뮬레이트되었습니다. 가장 유명한 매트릭스는 매트릭스에서 볼 수있는 "총알 타임"효과 일 것입니다. 불행히도, 이 효과는 일반적으로 일회성, 사전 계획된 사건입니다. 관측점 궤도는 미리 계획되어 있으며 원하는 보간 뷰를 생성하기 위해 많은 시간이 소비됩니다.
Digital Air의 MoviaR과 같은 최신 시스템은 비디오 카메라 배열을 기반으로하지만 소프트웨어보기 보간을 피하기 위해 많은 카메라가 필요합니다.
대조적으로, 우리의 접근 방식은 훨씬 더 유연합니다. 우선, 일단 모든 입력 비디오가 처리되면, 보기는 상호 작용합니다.
사용자는 시간을 조작 (정지, 감속 또는 역전)하고 원하는 대로 시점을 변경하여 동적 장면을 볼 수 있습니다. 시공간을 통해 다른 궤도를 촬영할 수 있기 때문에 두 가지 시청 경험이 동일 할 필요는 없습니다. 둘째, 고품질의 3D 스테레오 데이터를 사용할 수 있기 때문에 객체 조작 (삽입 또는 삭제)이 쉽습니다.
우리 시스템의 특징. 현재 시스템은 비디오를 획득하고 오프라인으로 형상 정보를 계산 한 다음 실시간으로 렌더링 합니다. 우리가 생각한 응용 프로그램에는 발레 및 무술과 같은 활동을 위한 동적 이벤트 및 교육용 비디오의 고품질 보관이 포함되어 있기 때문에 이 방법을 선택했습니다. 우리의 가장 중요한 관심사는 렌더링 품질이며, 현재의 스테레오 알고리즘은 매우 효과적이지만 전체 시스템이 실시간으로 작동 할 만큼 빠르지 않습니다. 우리 시스템은 몰입 형 원격 회의 (예: blue-c [Gross et al 2003]) 또는 실시간 (라이브) 방송 3D TV에 사용하기 위한 것이 아닙니다.
우리는 현재 한쪽 끝에서 다른 쪽 끝까지 약 30도에 걸쳐 1D 아크를 따라 배치 된 8 개의 카메라를 사용합니다. 우리는 시스템을 2D 카메라 배열로 확장하고 결국 360 ° 범위로 확장 할 계획입니다. 이것이 사소한 확장은 아니지만 Unstructured Lumigraph [Buehler et al. 2001]은 이를 성취하기 위한 올바른 틀을 제공한다. 우리 연구의 주된 기여는 Unstructured Lumigraph에 사용 된 대강 위임된 것 보다 훨씬 더 나은 결과를 만들어내는 깊이 있는 이미지 표현입니다."
아래 처럼 허접(?)한 구조임에도 불구하고 멋진 영상을 만들어 내었다는 것은...
아마도 전/후작업을 어마어마 하게 많이 했을 것이라 생각됩니다. (얼마나? 글쎄요.. 1달이상???)
< 문헌에 설명된 내용은 아래와 같습니다. >
8 개의 카메라가 수평 호를 따라 배치 된 비디오 캡처 시스템의 구성을 보여줍니다.
우리는 고해상도 (1024 × 768) PtGrey 컬러 카메라를 사용하여 8mm 렌즈로 15fps로 비디오를 캡처하여 약 30 °의 수평 시야를 만듭니다. 모든 입력 비디오의 실시간 저장을 처리하기 위해 Pt-Grey에게 두 개의 집중 장치를 구축하도록 의뢰했습니다. 각 집중 장치는 4 개의 카메라를 동기화하고 4 개의 비 압축 비디오 스트림을 광섬유 케이블을 통해 하드 디스크 뱅크에 파이프합니다. 두 개의 집중 장치는 FireWire 케이블을 통해 동기화됩니다.
카메라는 평평한 판에 마운트 된 36 "× 36" 캘리브레이션 패턴을 사용하여 모든 캡처 세션 전에 캘리브레이션됩니다.이 캘리브레이션 패턴은 모든 카메라 앞에 이동합니다. Zhang [2000]의 교정 기술은 유클리드 스테레오 복구에 필요한 모든 카메라 매개 변수를 복구하는 데 사용됩니다.
놀라운 것은
DSLR 카메라도 아닌 똑딱이(?) 디카로 만들어진 영상이라는 것입니다.
확인해 보니 PtGrey 컬러 카메라는 산업용 카메라로 글로벌셔터 기능있는 것입니다. 어쩐지 영상이 좋다라고 생각했었는데....
