사물의 숨겨진 속성을 드러내게 하는 새로운 비디오 기술(2015)

New video technology that reveals an

object's hidden properties(2015)

2015년에 처음 봤을때 , 깜짝 놀랐던 기억이 납니다.

당시에는 관련 지식이 부족해서 그냥 신기하다고 생각했는데, 지금 다시 보니 정말 대단합니다.

강연은 이렇게 시작합니다.

"움직임들 중 그 크기가 매우 미세해서 우리 눈에 분별하기 어려운 것들도 있습니다. 우리는 지난 몇 년에 걸쳐 인간이 보지 못하는 이 움직임을 카메라로 식별할 

수 있다는 사실을 알아냈습니다."

미세한 움직임을 포착해서

1)  비디오 영상만으로 소리를 재현해 내고,

2)  사물의 속성(어떤 형태로 움직이는지..)을 확장시켜 보여줄 수 있습니다.

원리는 아래와 같습니다.

1) 소리는 사물을 진동시키고,

2) 미세한 진동은 비디오로 촬영되어, 픽셀의 움직임을 음성신호로 전환한다....

먼거리에서도 가능합니다.

연사가 말했듯이 도청등에 사용할것이라 생각하지만

(도청 용도의 기능은 레이저를 활용해서 더 성능 좋은 장치들이 많다고 합니다..)

무엇 보다 놀라운 것은

일반 스마트폰에서 사용하는(값이 싸서) Rolling shutter 기술을 이용할 수 있다는

것입니다. (일반적인 Bullet time effect 카메라에서는 피하는 기술임에도 불구하고..)

약간의 동영상 촬영을 통해서 아래처럼

"Interactive Simulation"이라는 결과를 보여줍니다.

즉, 사진의 특정한 곳을 마우스로 잡아 당기면 그 힘에 비례해서 속성에 따라 움직입니다. (대략 원리는 감이 잡히기는 합니다..)

 

주로 영화 특수 효과에 활용했을때 가장 큰 효과가 있는듯합니다.

전체 강연 "강추"합니다. 

영상에 관심이 많으신 분이라면 꼭 한번 봐야 합니다. ^^

이 기술을 이용해서 

조만간 새로운 사진, 동영상 편집기술이나 혹은 제품이 나오지 않을까 예측해 봅니다.

Abe Davis의 정보를 더 찾아 봤습니다.

2017년도에 계속해서 논문도 발표하고, 

(아래 동영상도 정말 놀랍네요...)

Unstructured Light Fields 쪽으로 추가 연구를 진행하고 있는 것 같습니다.