音声・テキスト・画像・音楽の入出力に対応したマルチモーダル大規模言語モデル(LLM)「AnyGPT」が登場
音声・テキスト・画像・音楽など複数の種類のデータを一度に処理できるマルチモーダルな大規模言語モデル(LLM)の「AnyGPT」が発表されました。 AnyGPT https://junzhan2000.github.io/AnyGPT.github.io/ 既存の大規模言語モデル(LLM)のアーキテクチャやトレーニングパラダイムを変更することなく、安定してトレーニングすることができるという新しいマルチモーダルLLMがAnyGPTです。AnyGPTはデータレベルの前処理のみに依存しており、新しい言語を組み込むのと同様に、新しいモダリティのLLMへのシームレスな統合を促進することが可能。マルチモーダルアライメントの事前トレーニング用に、マルチモーダルテキスト中心のデータセットを構築することで、生成モデルを利用して大規模な「Any-to-Any」(任意のデータ形式から任意のデータ形式に出力できる)
ピアノの演奏動画から楽譜を自動作成 ディープラーニングで 京大が技術開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 京都大学の研究チームが開発した「Non-Local Musical Statistics as Guides for Audio-to-Score Piano Transcription」は、Web上のピアノ演奏動画の音声データから楽譜を作成する、深層学習（ディープラーニング）を用いた自動変換システムだ。 システムは、3段階で構成される。1段階目は、入力された動画の音の信号に対してMIDIシーケンスを深層学習ネットワークで推定（Multipitch detection）する。ピッチ解析用とベロシティ推定用のネットワークを別々で学習し、その出力を組み合わせてMIDIシーケンスを合成する。2段
ムービー・音楽・画像ファイルをどれでも好きな形式へ変換できるフリーソフト「Adapter」
PS3やXboxなどのデバイス形式を選択するだけで、デバイスに合う形式へ動画を変換でき、YouTubeや他の動画サイトから動画を好きな形式に変換し保存することが可能で、動画に限らず音楽や画像もいろいろな形式に変換できるのが「Adapter」です。WindowsとMacに対応している「Adapter」のインストールと操作方法は以下から。 ◆動画の変換形式 デバイス別に分けると以下の通りに。 Apple Android Sony Microsoft Nintendo BlackBerry Misc.Cell Phone Audio Only Other ◆音楽の変換形式 音楽については、これらが変換形式になっています。 ◆画像の変換形式 画像は以下の通りです。 Adapter - Free Image and Video Converter for Mac and PC http://www.
音楽ファイルをあらゆる形式に変換＆結合し、動画から音声を抽出できる無料ツール「Free Audio Converter」 : 二十歳街道まっしぐら
「Free Audio Converter」は音声変換、動画から音声抽出ができる無料ツールです。 サポートしている形式は以下の通り。 よく見かける拡張子はだいたいカバーできているかと。 音声を別の形式に変換することはもちろん、動画から音声を抽出することも可能です。 動作もサクサクしていて、日本語対応なので初心者の方にもおすすめ。 音声ファイルの結合も行えます。 以下に使ってみた様子を載せておきます。 まず「Free Audio Converter」へアクセスしましょう。 ダウンロードして、インストールします。 起動した画面はこのようになっています。 ファイル一覧が表示され、最下部に変換する形式がずらりと並びます。 右上には「ファイルを結合」する機能が。 音声ファイルおよび動画ファイルを読み込み、 最下部の変換形式を選びましょう。 変換するときの詳細設定です。 ビットレートなどカスタマイズで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
