2021年9月1日のブックマーク (2件)

  • 触れば物体の中身も分かる、布の手袋「eGlove」

    Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 浙江大学と東華大学の中国研究チームが開発した「eGlove」は、物体に触れると、それが何なのかをリアルタイムに特定する布製の手袋だ。品や日用品から体の部位まで、何を触ったのか、どこに触れたかをリアルタイムで高精度に識別する。

    触れば物体の中身も分かる、布の手袋「eGlove」
    Seamless
    Seamless 2021/09/01
    物体に触れると何なのか体のどこに触れたかをリアルタイムに特定する布製手袋。中指腹に電極。電気を流し物を触った際の振幅位相の違いを深層学習で分類。平均精度96.3%.コップに水が入っているか識別。
  • 読唇術で音声入力 スマホで口パクを自撮りし音声に変換「LipType」

    Innovative Tech: このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米カリフォルニア大学マーセド校の研究チームが開発した「LipType」は、音のない口パク映像を音声に変換する、深層学習を用いた読唇システムだ。スマートフォンのインカメラで口パクを自撮りして、話者の唇の動きを読み取る。 音声認識は、周囲が騒がしい場合には信頼性が低く、図書館や電車内などではプライバシーやセキュリティが損なわれる。声が出せない障害のある人はそもそも音声認識が使えない。 解決策としては、口パクのような無声発話による音声入力が挙げられる。無声発話時に動く顎の動きを捉えて音声に変換するものや、無声発話時に顎の下に設置したセンサーから皮膚が変動する顎運動と舌筋の運動を計測し音声に変換す

    読唇術で音声入力 スマホで口パクを自撮りし音声に変換「LipType」
    Seamless
    Seamless 2021/09/01
    唇の動きだけの音声なし映像をスマートフォンのインカメラで自撮りし深層学習で分類、意図した音声に変換する。照明条件が悪くても補正する前ステップ導入。訓練用データセット2万1635本,テスト用7140本。