MIT 최신 연구: Visually Indicated Sound

[동영상​:http://www.youtube.com/watch?v=0FW99AQmMc8] 

 

<소리 튜링 테스트?>

영문 비디오지만 내 글을 읽으면 그냥 소리만 들어도 된다!

MIT에서 Visually Indicated Sounds라는 연구 아티클을 냈다. 이것이 무슨 기술이냐 하면, 컴퓨터에게 4만 5천가지의 소리와 상황을 제시하여 컴퓨터가 소리와 상황의 연관을 학습(즉 소위 요즘 흥하는 딥-러닝 과제)하게 한 다음, 소리 없는 비디오를 제시하면 컴퓨터가 효과음을 그 비디오에 적절하게 입히는 것이다!

이 유튜브 동영상에서 제시되는 비디오들은 원래 무음 동영상이고, 컴퓨터가 스스로 소리를 입힌 것이다.

우리 사람들도 당연히 이런 기제를 가지고 있다. 간단하게 생각해서 우리는 어떤 상황에서 대충 어떤 소리가 날지 예상할 뿐만 아니라 가끔은 소리가 나지 않는데도 마치 들리는 것 같은 느낌을 가진다. 이런 점에서 AI가 스스로 그럴 듯한 소리를 입히는 것은 컴퓨터가 인간다울 수 있는지 묻는 테스트 - 튜링 테스트에서 소리 부문을 통과할 수 있는 능력을 제시한다는 것을 보여준다. 

 

페북에서 내가쓴글 그대로퍼옴

그럼이제 돔 건축물볼떄마다 허구연 나레이션 들을수있는고야?

그럼 cctv에 찍힌 입모양 보고
뭔 말하는지 알아낼수 있겠네
더 진화하면

ㄴ 오 이건 지금도 가능할듯

독순술로 먹고살던 사람들 다 굶어죽겠네

영화에 음향효과 담당자들 죄다 직업 잃을듯