はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Data Version Control(DVC)とは？ データ分析や機械学習のコードを書いているときに遭遇する以下のような問題を解決してくれるツールです。 データセットの管理がつらい 例えば、Gitのリポジトリで大きい容量のデータセットを管理することは不便になりがち Githubには1ファイルのサイズ上限100MBで、それ以上はpushできない(https://help.github.com/articles/what-is-my-disk-quota/) 実験条件が微妙に異なるときのバージョン管理 ハイパパラメータ、前処理、データセットが異なるときバージョン管理は煩雑になりがち 実験を再現できるようにする工夫が必要 データセット、スクリプト、各種パラメータなどがそろっていないとモデル作成が再現できない 中間生成ファイルが階層的にあり、最終的にモデルが生成されるといった時の再現性の担保

StarSpaceとは？ Facebook Researchが出しているOSSの自然言語処理ツールです。様々なタスクに対して用いることのできる分散表現を効率よく学習できるツールです。以下が、公式のgithubにStarSpaceで扱えるタスクとして挙げられていたものの例になります。 単語や文、ドキュメントレベルの分散表現の学習 情報抽出：エンティティ、ドキュメント、オブジェクトのランキング テキスト分類、そのほかのラベリングタスク メトリック、類似性の学習：文やドキュメントの類似性の学習 コンテンツベース、協調フィルタリングベースのレコメンデーション などなど。。。 それ以外にも様々なタスクを行えるツールとなっています。また、共通的なベクトル埋め込み空間で異なるタイプのオブジェクトを表現できるようしているのが特徴であるようです。名前の由来としては、Starが*(wildcard)、Spac

画像処理エンジニア検定とは CG-ARTS協会が実施しているエンジニアが画像処理技術を用いて開発、設計するときに求められるスキルを評価する試験です。7月の前期、11月の後期と1年に2回受験することができます。問題はマークシートの選択問題のみで、情報処理技術者試験のような記述式の問題はありません。 以下、検定公式サイトより引用 検定試験概要 「画像処理分野」の開発、設計に必要な知識の習得を評価する検定 想定職種 エンジニア プログラマ 開発・研修者 検定としては以下の2種類の検定があります。 ベーシック (ベーシックの試験範囲) エキスパート (エキスパートの試験範囲) ベーシックが画像処理の基礎知識のみを図る検定であるのに対し、エキスパートは専門知識の理解と応用をする能力が図られるので、エキスパートの方が難易度が高いです。そして、エキスパートの方が出題される試験範囲が広く、知識をより多く身