2017年10月22日

You are here:  / 東北地区の音響関連研究室一覧 / 東北文化学園大学
知能情報システム学科マルチモーダル研究室

東北文化学園大学
知能情報システム学科マルチモーダル研究室

担当教員:教授 牧野 正三,研究協力者:長野 雄

 

【研究室の概要】

音声,画像,種々のセンサーからの信号に対して,信号処理,自然言語処理,音声認識・理解,画像認識・理解,機械学習などの分野の手法・研究を適用・統合して,「人に優しく賢いシステム」をめざした研究を行っています。

 

【研究室の具体的なテーマ】

磁気ループを用いた街案内システム(図)

街角に設置した磁気ループに街案内情報を流し,Tモード付き補聴器によって周囲騒音に邪魔されずに音声情報を聴取できます。街角ごとに5つの磁気ループを設置し,これらループを管理するサーバ,多数の管理サーバを統括するサーバを設置します。統括サーバは交通状況に応じて適切なメッセージを流します。管理サーバには安価なRasberry Piを使用しています。視覚障害者,外国人,旅行者に優しいシステムです。

独居老人向け雑談システム

独居老人を対象として,音声による質問を認識して文章に変換し,形態素解析します。それを基にあらかじめ用意した応答パターンに基づいてランダムに種々のパターンで回答します。回答は音声と動画で行います。Yahoo!天気予報の情報を基に,システムの感情値を変更し,応答パターンに多様性を持たしています。

画像処理を利用した広告の注目度自動評価システム

ゲーム用音声・画像入力機器であるkinectの画像処理機能を利用して歩道脇の壁等に掲示された広告を, 通行人がどの程度注目しているかを自動的に評価するシステムの開発を行っています。通行人の検出,広告を観ているかどうかの検出を行い,一定時間内の通行人数と広告閲覧人数を検出し,広告の注目度を自動測定いたします。

その他,震災時に苦労した安否確認を,携帯電話に搭載された音声個人認証システムを利用して個人認証し,生存情報と位置情報のみを所属する企業等に送ることによって,震災対応の組織や活動を速やかに立ち上げるシステムを開発しています。また親密度に基づく単語了解度推定システム,雑音に強い音声変換方法の研究も行っています。

 

【研究室のPR】

情報科学,工学,心理学,医学等の知識や手法を統合して,「人に優しく賢い」情報処理システムを構築する学際分野です。何か新しいシステムを作ってみたい人,大歓迎します。

【もっと知りたい人のために】

http://web.tbgu.ac.jp/ait/makino/