機械学習アプリケーションにおけるテストについて - Re:ゼロから始めるML生活
機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質の維持に苦労したりします。 ということで、不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになってくると思い、方法論について勉強しましたので、そのメモです。 非常に参考にしたのはこちら。 arxiv.org テストそのもののテクニックなどは、一般的なテスト駆動開発に関する書籍を合わせてをご参考ください。 テスト駆動開発 作者:Kent Beck発売日: 2017/10/14メディア: 単行本（ソフトカバー） テスト駆動P
ハイパラ管理のすすめ -ハイパーパラメータをHydra+MLflowで管理しよう- - やむやむもやむなし
機械学習をやっている人なら誰もが遭遇したであろうこの光景 (※写真はPyTorchのLanguage ModelのExampleより) Pythonのargparseでシェルから引数を受け取りPythonスクリプト内でパラメータに設定するパターンは、記述が長くなりがちな上、どのパラメータがmodel/preprocess/optimizerのものなのか区別がつきにくく見通しが悪いといった課題があります。 私は実験用のパラメータ類は全てYAMLに記述して管理しています。 YAMLで記述することでパラメータを階層立てて構造的に記述することができ、パラメータの見通しがぐっとよくなります。 preprocess: min_df: 3 max_df: 1 replace_pattern: \d+ model: hidden_size: 256 dropout: 0.1 optimizer: algo
データサイエンス・機械学習をやるためのエンジニアな本まとめ - 2019年版 - Lean Baseball
ここ1〜2年くらいで、業務やプライベートのデータ分析・データサイエンスで参考にした本（と一部本じゃないもの）をまとめてみました（注：もちろん全部読んでいます）.*1. なお, あくまでワタシ個人（@shinyorke）の見解に基づいた独自解釈であり、所属組織・チームの意向とは関係ありません（とだけ最初に断っておきます）. サクッとまとめると 「レベル感（はじめて・経験者）」だけででなく,「エンジニア面を鍛える or 理論を固める」の軸で考えると良い書籍・学び方に出会える確率上がる エンジニアでも理論でもどっちから初めても良い, がどちらかが得意な方が絶対幸せ（≒片方だけじゃお話にならない可能性） 個人的なオススメは「機械学習図鑑」「前処理大全」「機械学習のための特徴量エンジニアリング」そして「試して学ぶ機械学習」です. おしながき サクッとまとめると おしながき 対象読者&執筆者について
機械学習システムにおける「技術的負債」とその回避策 - Qiita
はじめに 空前のAIブームだった2017年、Yahooニュースでは毎日のように『〇〇が△△のAIを開発』のような見出しが目立ちました。2018年は『AIの運用』の時代になるとも言われています。 しかし、AI（機械学習）を載せたシステムの開発・テスト・運用の方法は2018年4月現在、まだ確立されていない分野です。 今回は、技術的負債という観点から、機械学習システム特有の課題点とその回避策のヒントまとめたGoogleの論文 Machine Learning: The High Interest Credit Card of Technical Debt (2014) を翻訳します。Google翻訳+軽い手作業ですのでご留意を。 ちなみにタイトル『機械学習：技術的負債の高金利クレジットカード』の意味は、機械学習システムがまるで高金利のクレジットカードのように、気づかないうちに技術的負債を蓄積して
数式で説明された機械学習の本を深く理解するために――大学数学の基礎を解説したシリーズ3編：CodeZine（コードジン）
『技術者のための基礎解析学』を皮切りに、『技術者のための線形代数学』が8月、『技術者のための確率統計学』が9月に翔泳社から発売となった。いずれも機械学習を支えている数学であり、本シリーズでは基礎からしっかりと解説されている。今回、シリーズ3編が揃ったのを記念して、著者の中井悦司さんからのメッセージを紹介する。 今年1月に『技術者のための基礎解析学』が刊行されたあと、8月に『技術者のための線形代数学』が、9月に『技術者のための確率統計学』が続けて発売となり、機械学習を支える数学を大学レベルの基礎から学び直す本シリーズの3編がついに出揃った。 本シリーズは、過去に機械学習の本を執筆された著者の中井悦司さんが「機械学習の教科書や文献を読むために数学を理解したい」という読者の声をもとに企画されたもの。2月のインタビューで、中井さんは企画意図を次のように述べている。 直接の経緯としては、私が過去に出
【Day-11】機械学習のチートシートを眺めたり、比べてみたり - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 11日目。 モデルを選び、試行錯誤しながら作っていく、そんな過程まで勉強してきました。 実装寄りの内容になったので、ここで一度機械学習界隈を俯瞰してみようと思いまして、調べると出てくる有名なチートシート Machine Learning Cheat Sheet (for scikit-learn) Microsoft Azure Machine Learning Cheat Sheet について、ここでまとめておきます。 用途ベースのMicrosoft Azure Machine Learning Cheat Sheet データベースのMachine Learning Cheat Sheet (for scikit-learn) 両者の違い 見て判断できるようにしておく 分類 blobs 三日月形 クラスタリング blobs 三日月形 まとめ 用途ベ
青空文庫のデータを使って、遅ればせながらword2vecと戯れてみた - 渋谷駅前で働くデータサイエンティストのブログ
もう既に山ほど解説記事が出回っていて、あまつさえそれを利用したwebサービスまで出てきてしまっているword2vecですが、うちの現場でも流行っているのでせっかくなので僕もやってみようと思い立ったのでした。 word2vecそのものについては昨年来大量にブログやら何やらの記事が出回っているので、詳細な説明は割愛します。例えばPFIの海野さんのslideshare(Statistical Semantic入門 ~分布仮説からword2vecまで~)なんかは非常に分かりやすいかと思います。 要するにword2vecって何よ Recurrent Neural Network（再帰型ニューラルネットワーク）で、単語同士のつながり（というか共起関係）に基づいて単語同士の関係性をベクトル化（定量化）し、これを100次元とか200次元に圧縮して表現するもの。。。みたいです（汗）*1。 ※以下のようにご指
Machine Learning | Google for Developers
A new and improved version of Machine Learning Crash Course is coming in August 2024. Stay tuned!
「異常検知と変化検知～機械学習プロフェッショナルシリーズ～」を読んで勉強会も開いて関連の情報とかも調べたのでまとめておく - St_Hakky’s blog
こんにちは。 ※このエントリは、途中ですが資料の共有とかのため、突貫で体裁だけ整えて掲載しています。異常検知と変化検知の分野は、初心者なので、「こんな手法あるよ」とか「こんな論文面白いよ」とかあれば教えてほしいです。 読んだ本 最近某勉強会でいろんな機械学習の勉強をしているんですが、私のデータ分析への興味が実世界への適用にあるのもあり、以下の本を一人読んで一人で発表することにしました(皆そんな感じで発表しているという笑)。 「異常検知と変化検知～機械学習プロフェッショナルシリーズ～」 サポートページ サポートページ：本のサポートページ – Dr. Ide's Home Page 目次 目次は以下のような感じです。 第1章 異常検知・変化検知の基本的な考え方 第2章 ホテリングのT2法による異常検知 第3章 単純ベイズ法による異常検知 第4章 近傍法による異常検知 第5章 混合分布モデルによ
機械学習プロジェクトのマネジメントの入り口 -『仕事ではじめる機械学習』を読んだ - - だいくしー(@daiksy)のはてなブログ
仕事ではじめる機械学習 作者:有賀 康顕,中山 心太,西林 孝発売日: 2018/01/16メディア: 単行本（ソフトカバー） ちょうど仕事で機械学習を用いた機能開発のプロジェクトの進行管理をしていて、目次をみたところ良さそうに思ったので読んでみました。 オライリーのEbookでPDF版を買ったのですが、まもなく紙版も出るようです。 まえがきには、CourseraのMachine Learningコースを受講するか、『ゼロからつくるディープラーニング』を読んでおくと良い、とありました。ぼくは直前に『ゼロからつくるディープラーニング』を読んだあとでしたが、いきなり1冊目に読んでも問題ないのではと思います。難しい数式などはあまり出てきません。とはいえ、ある程度の機械学習についての知識を持っているのが前提になっているので、少なくとも機械学習を取り扱う際によく出てくる用語の意味などはある程度知って
Free AI Photo Editor: Automatic Photo Editing with AI
Free AI Photo Editor Powerful AI toolset for all your creative photo and design editing needs. Remove background, objects, and watermarks. Apply generative fill to add objects or expand photos. Upscale and unblur to add the last finishing touches. Start Editing with AI AI Photo Editing Tools Our tools are specifically fine tuned to deliver the best-in-class results. New tools are being added const
系列ラベリング問題メモ - Negative/Positive Thinking
はじめに 系列ラベリング問題についてちょっと調べてみたのでメモ。 系列ラベリング(系列分類)問題とは ある系列xの各要素に適切なラベル列yを付与する問題 例えば「This is a pen」という文書の各単語に「This(代名詞) is(動詞) a(冠詞) pen(名詞)」のように品詞ラベルをつける問題(品詞タグ付け) 系列だけでなく木構造などへの適用もされている 構造学習 ラベル、木、グラフ、順序集合など 応用 品詞分類 形態素解析(ラティスのコスト計算なども) チャンキング(基本名詞句(Base NP)同定、固有表現抽出、文節まとめあげなど) 系列セグメンテーション問題 時系列解析や画像認識 など 系列ラベリング問題の特徴 普通の多値分類との違いは、「注目している要素xi以外の情報も使えること」と「クラスの数が膨大になりやすいこと」がある。 注目している要素以外の情報も使える 多値分類
Bayes 法による系統解析―原理
最近ではベイズ法を用いて（MrBayes を用いて）系統解析を行う論文も大分増えており， 方法論としてはほぼ定着した感があります。 しかしその原理や考え方についてはあまり広く理解されていないようでもあります。 そこで，筆者が幾つかの文献や資料を読んで理解した範囲で，その考え方を紹介しておきたいと思います。 筆者は数学（統計学）を専門にしているわけではありませんので，数学的に厳密な解説ではないかもしれませんが， その程度の解説と思って読んでいただければいいと思います。 正確・詳細な解説については末尾の参考文献・サイトを当たってみてください。 なお，間違いなどがありましたら，ご指摘のほどよろしくお願い致します。 ベイズの事後確率（Bayesian posterior probability）が最大となるような系統樹を求める方法です。 これは最尤法が尤度が最大となるような系統樹を求める方法である
新はてなブックマークでも使われてるComplement Naive Bayesを解説するよ - 射撃しつつ前転 改
新はてブ正式リリース記念ということで。もうリリースから何週間も経っちゃったけど。 新はてなブックマークではブックマークエントリをカテゴリへと自動で分類しているが、このカテゴリ分類に使われているアルゴリズムはComplement Naive Bayesらしい。今日はこのアルゴリズムについて紹介してみる。 Complement Naive Bayesは2003年のICMLでJ. Rennieらが提案した手法である。ICMLというのは、機械学習に関する（たぶん）最難関の学会で、採択率はここ数年は30%を切っている。2003は119/371で、32.1%の採択率だったようだ。 Complement Naive Bayesの位置づけは 実装が簡単 学習時間が短い 性能もそこそこよい という感じで、2003年段階にあっても、絶対的な性能ではSVMに負けていた。しかし、学習が早いというのは実アプリケーシ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなにおける機械学習の取り組み
【入門】 機械学習を行うための Python導入講座
データレイクを基盤としたAWS上での機械学習サービス構築