Google、AIでファイルの種類を高速正確に判別できる「Magika」をオープンソースで公開

Googleは、AIを用いることでファイルの種類を高速かつ正確に判別できるツール「Magika」をオープンソースで公開したと発表しました。 Magikaは、あるファイルの中味が何なのか、記述されたプログラミング言語の種類、動画や画像、音声などのフォーマットの種類、ExcelやWord、PDFなどのオフィス系ソフトウェアの種類、OSの実行形式バイナリなどの種類を瞬時に判別してくれます。 下記はコマンドラインとしてMagikaを実行した例で、フォルダ内のファイルの種類を出力しています。 特別に最適化された1MBのモデルでを用いて推論を実行 Magikaはファイルの判別に、Kerasを用いて特別に最適化されたディープラーニングによる、わずか1MBのモデルを用いていると説明されています。 このモデルは推論エンジンのOnnx上で実行されています。実行速度はGPUを用いずCPU上で処理されたとしても数

[razokulover]

MSが作ってたらまどマギになってたのに惜しい...

[kotaponx]

base64でエンコードしたファイルが割とPEM判定されるのだけど……

[rdlf]

何に使うんだろうと思ったら拡張子を偽るマルウェアとかに使うのか。なるほど。偽装ファイル判定とか試しみたい。

[sakuro]

名前は /etc/magic にちなんでいるのかな → libmagic と file コマンドの話が書いてあった

[door-s-dev]

そのうちAIがレンダリングするブラウザが実装されそう

[kouchoubot]

こういう機械学習の使い方好き

[mohri]

マジか！ “GoogleはMagikaをGmailやGoogle Driveなどの何百万ものファイル処理にすでに活用しており、これまで同社が利用していたルールによるファイル判別と比べて50％の精度向上を実現”

[mohno]

拡張子を使わずファイル自身のデータのみで判別するのか。Expression や InDesign などは判別できないようだ。

[diveintounlimit]

なお極窓は1400種類以上の拡張子に対応。

[stealthinu]

ディープラーニング使って拡張子に頼らずにファイル種を推定してくれるツール。

[sds-page]

窓マギ

[misshiki]

“Googleは、AIを用いることでファイルの種類を高速かつ正確に判別できるツール「Magika」をオープンソースで公開したと発表”

[hevohevo]

おぉ。Gmailではすでにこれが活用されているんだ。すばらしい。

[operator]

DLで作ったfileコマンドの置き換えか

[amberjack115]

えーマジか

[auto_chan]

エーアイ・極窓だ

[ch416]

「マジカ」と読むか「マギカ」と読むか。

[daabtk]

“ため”

[cartman0]

判別アルゴじゃあかんの？

[bocuno]

極窓…

[racooon]

マジか！！

[kkobayashi]

まじか