MITの研究技術がまるでSF！鉢植えやポテチの袋をハイスピードカメラで捉えたら音が聞こえてきた
2014年08月15日
1: おんさ ★＠＼(^o^)／ 2014/08/12(火) 10:53:16.29 ID:???.net BE:302861487-2BP(1000)
無音の映像から音を取り出す技術…物体の振動からその場の音声再現に成功 2014.8.12 06:30
http://sankei.jp.msn.com/wired/news/140812/wir14081206300001-n1.htm
(本文)
音が生じたとき、人間の目には見えなくても、あらゆる物の表面にごくわずかな振動が起こる。鉢植えやスナック袋の映像から周囲の会話等を再構築する技術を、MITなどの研究チームが開発した。
http://youtu.be/FKXOucXB4a8
音が生じたとき、人間の目には見えなくても、あらゆる物の表面にはごくわずかな振動が起こる。画像上にとらえられたこの振動情報を使って、その場の音を再構築できるアルゴリズムが開発された。
研究チームはこのアルゴリズムを使って、防音ガラスの向こう側にあるスナック菓子の袋を約4.6mの距離から撮影した動画から、内容がわかる話し声を取り出してみせた。
論文の筆頭著者であり、マサチューセッツ工科大学（MIT）の博士課程で学ぶエイブ・デイヴィスは、「（音が生じるときの）振動によって、人間の肉眼には見えない、かすかな視覚信号が生じる」と説明する。
MITの研究者、マイクロソフト、およびアドビからなる研究チームは、水やアルミホイル、鉢植えの葉といった物から、有効な音声信号を取り出すことに成功した。
このアルゴリズムがうまく機能するには、映像の周波数が音声の周波数よりも高い必要がある。そのため研究者チームは、まずは2,000～6,000fpsで動画を撮影した。これは、市販されているハイスピードカメラが実現できるフレームレートよりかなり高い。
さらに研究者チームは、通常のデジタルカメラでの実験も試した。そして、60fpsで撮影した動画から、音声を再構築することに成功した。この場合の再構築された音声も、会話に参加している複数の人々の特徴を確認できるほどの音質だった。
この技術は犯罪捜査や諜報活動などに利用できるだろうが、デイヴィス氏は科学的研究にも使えると考えている。
物から音を再構築することで、その物自体について知ることも可能なはずだというのだ。音への反応は物によって違う。そのため研究チームは現在、さまざまな物について、物の音に対する反応から、物の素材と構造の特性を突き止めようとしている。
この研究成果は、8月11日から14日までヴァンクーヴァーで開催される国際会議兼展示会「SIGGRAPH（シーグラフ）2014」で発表される。
http://s2014.siggraph.org/
http://sankei.jp.msn.com/wired/news/140812/wir14081206300001-n1.htm
(本文)
音が生じたとき、人間の目には見えなくても、あらゆる物の表面にごくわずかな振動が起こる。鉢植えやスナック袋の映像から周囲の会話等を再構築する技術を、MITなどの研究チームが開発した。
http://youtu.be/FKXOucXB4a8
音が生じたとき、人間の目には見えなくても、あらゆる物の表面にはごくわずかな振動が起こる。画像上にとらえられたこの振動情報を使って、その場の音を再構築できるアルゴリズムが開発された。
研究チームはこのアルゴリズムを使って、防音ガラスの向こう側にあるスナック菓子の袋を約4.6mの距離から撮影した動画から、内容がわかる話し声を取り出してみせた。
論文の筆頭著者であり、マサチューセッツ工科大学（MIT）の博士課程で学ぶエイブ・デイヴィスは、「（音が生じるときの）振動によって、人間の肉眼には見えない、かすかな視覚信号が生じる」と説明する。
MITの研究者、マイクロソフト、およびアドビからなる研究チームは、水やアルミホイル、鉢植えの葉といった物から、有効な音声信号を取り出すことに成功した。
このアルゴリズムがうまく機能するには、映像の周波数が音声の周波数よりも高い必要がある。そのため研究者チームは、まずは2,000～6,000fpsで動画を撮影した。これは、市販されているハイスピードカメラが実現できるフレームレートよりかなり高い。
さらに研究者チームは、通常のデジタルカメラでの実験も試した。そして、60fpsで撮影した動画から、音声を再構築することに成功した。この場合の再構築された音声も、会話に参加している複数の人々の特徴を確認できるほどの音質だった。
この技術は犯罪捜査や諜報活動などに利用できるだろうが、デイヴィス氏は科学的研究にも使えると考えている。
物から音を再構築することで、その物自体について知ることも可能なはずだというのだ。音への反応は物によって違う。そのため研究チームは現在、さまざまな物について、物の音に対する反応から、物の素材と構造の特性を突き止めようとしている。
この研究成果は、8月11日から14日までヴァンクーヴァーで開催される国際会議兼展示会「SIGGRAPH（シーグラフ）2014」で発表される。
http://s2014.siggraph.org/
2: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 11:00:21.70 ID:xtDiy6s3.net
まぁ原理的に当然だわな。
4: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 11:05:12.26 ID:bsJWxdMq.net
あくまでハイスピードカメラ限定だよなｗ
取り出せるデータはフレーム数の半分以下。2000fpsだと1000Hzが限界。
普通のビデオ映像だと30fpsだから上限は15Hz。人間には聞こえねえｗ
取り出せるデータはフレーム数の半分以下。2000fpsだと1000Hzが限界。
普通のビデオ映像だと30fpsだから上限は15Hz。人間には聞こえねえｗ
7: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 11:40:48.59 ID:qjOByf6x.net
60fpsの動画からの音声の再構築のほうがスゲーなｗ
会話のフレーズのひな形とかを動画上の振幅の強弱のパターンに当てはめるんだろうけど
まさにデジタル読唇術
会話のフレーズのひな形とかを動画上の振幅の強弱のパターンに当てはめるんだろうけど
まさにデジタル読唇術
9: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 11:46:28.84 ID:EqEEA/DH.net
光学ズームできれば盗聴できるわけですね
10: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 11:51:58.96 ID:8CGW0m+R.net
国防総省からの依頼です
14: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 12:27:38.69 ID:yzWCafl5.net
>>10
静止衛星から盗聴できるってことだよな。
静止衛星から盗聴できるってことだよな。
12: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 12:17:28.31 ID:g/IZt8zH.net
将来的には衛星からの盗聴が可能になるな
13: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 12:22:02.61 ID:QYGhkXsV.net
藤子不二夫Ｆの短編でこんなのあったような、あれは静止画の写真から再現すると言うしろものだったが
16: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 13:16:05.51 ID:cWq/1isK.net
水やアルミホイル、鉢植えの葉、スナック菓子の袋
よりも使いやすいちっさいものが映像内にあるだけでいいのか
場所によってはとても使えそう
よりも使いやすいちっさいものが映像内にあるだけでいいのか
場所によってはとても使えそう
17: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 13:21:48.42 ID:PXKPdfmb.net
唇を読んだ（幻海の視力は6.0）みたいな感じか
18: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 13:28:35.11 ID:bsJWxdMq.net
原理、理解した。
フレームの差分から音声震動を取り出すんじゃなくて、デジカメの走査線移動から音声を取り出すのか。
それなら60fpsでなく、30fpsでも走査線次第で高音域でも疑似的に取り出せるな。
あとは人間の耳に、その合成音がどのような音として聞こえるかの問題か。
フレームの差分から音声震動を取り出すんじゃなくて、デジカメの走査線移動から音声を取り出すのか。
それなら60fpsでなく、30fpsでも走査線次第で高音域でも疑似的に取り出せるな。
あとは人間の耳に、その合成音がどのような音として聞こえるかの問題か。
20: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 14:02:45.84 ID:5DQXCDYm.net
>>18
あー、なるほどねー。ということはローリングシャッターのCMOSカメラ限定でCCDには使えないってことか。
自分は物体の共振周波数の違いとそれによる振幅の変化から音声を再構成するのか、とか勝手に想像してた。
今youtube見たら原理説明してたんだね。
あー、なるほどねー。ということはローリングシャッターのCMOSカメラ限定でCCDには使えないってことか。
自分は物体の共振周波数の違いとそれによる振幅の変化から音声を再構成するのか、とか勝手に想像してた。
今youtube見たら原理説明してたんだね。
19: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 13:38:49.85 ID:aCuYesZr.net
窓ガラスの振動をレーザー測定で音声化ってネタは冷戦スパイ映画の見過ぎです。
23: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 14:38:07.16 ID:kvHeP1Bl.net
でっち上げに必要な技術だな
警察や検察、公安が欲しがりｓ。。。。。。。。。。。。。。。。。
警察や検察、公安が欲しがりｓ。。。。。。。。。。。。。。。。。
24: 名無しのひみつ＠＼(^o^)／ 2014/08/12(火) 14:59:47.49 ID:cgYbJez1.net
技術よりも、こういうことをすれば声が拾えると考えた発想に驚く
![ミッション：インポッシブル／ゴースト・プロトコル [DVD]](http://ecx.images-amazon.com/images/I/51Pr320DerL.jpg)
引用元: ・【音】無音の映像から音を取り出す技術…物体の振動からその場の音声再現に成功 MITなどの研究チーム [2014/08/12]
