Feature Attributions の監視：Google はいかに大規模な ML サービスの障害を乗り越えたのか | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 9 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 Google で起きた大規模 MLOps の危機クラウディ・グルシアは Google のソフトウェアエンジニアであり、何十億ものユーザーにコンテンツを推薦している機械学習（ML）モデルに関わっています。2019 年 10 月、彼は ML 監視サービスからアラートを受けました。モデルの特徴量（ここでは、この特徴量を F1 とします）の重要度が下がってきていたのです。この特徴量の重要度は、モデルの予測において、特徴量の影響の大きさを表す指標である「Feature Attributions」で計測されています。この重要度の減少とともに、モデルの精度が急激に低下していました。 このアラートを受け、彼はすばやくモデルを再学習させました。その結果、F1 の代替となる 2 つの特徴量
Jupyter Notebook と VS Code でバッハの平均律第1番を分析する - miso_soup3 Blog
Jupyter Notebook で、楽譜を表示したり、その楽譜を再生してみたり、曲を分析したりしてみました。そのことについて書きます。分析といっても簡単なものです。 目次 Code, .ipynb 環境 VS Code で Jupyter Notebook music21 とは 曲の作成と表示 バッハの平均律を分析 分析 後半 参考 追記 Code, .ipynb Jupyter Notebook: https://mybinder.org/v2/gh/hhyyg/miso.py.music21bach/master ここにある2つの .ipynb ファイルから確認できます ただし、画像・音声生成部分などは再実行ができません GitHub: https://github.com/hhyyg/miso.py.music21bach 環境 Mac Visual Studio Code Pyt
汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita
今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER
『機械学習のエッセンス』はゼロからガチで機械学習を生業にしたい人が「いの一番に」読むべき一冊 - 六本木で働くデータサイエンティストのブログ
機械学習のエッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning) 作者: 加藤公一出版社/メーカー: SBクリエイティブ発売日: 2018/09/21メディア: 単行本この商品を含むブログを見る発売されてからだいぶ経ちますが、構想段階の頃より著者の「はむかず」さんこと加藤公一さんからお話を伺っていて注目していたこちらの一冊をようやく一通り読みましたので、サクッと書評めいた何かを書いてみようかと思います。 各章の概要 言うまでもなく実際の内容は皆様ご自身でお読みいただきたいのですが、これまでの書評記事同様に概要を簡単にまとめておきます。 第01章 学習を始める前に Python環境やAnacondaのインストールについての説明もなされているんですが、重要なのは後述する「本書は何を含まないか」という節。ここに本書の狙いの全てが書かれていると言って
Googleの機械学習のレッスンが無料で受けれて資格が貰える余暇。 ｜ ガジェット通信 GetNews
こんにちは。夏休みの最終日に宿題をやる派のひろゆきです。 ネットで暇つぶしにニュースサイトを見てる人も多いと思うんですが、「新しい知識を得る」ってエンタメなんですよね。 ってことで、ネットには無料でいろいろ覚えられるサイトがあったりするんですが、マサチューセッツ工科大学とか、ハーバード大学とかがやってるedXの機械学習のコースとか試してみたんですが、20分ぐらいで飽きちゃったりして、宝箱を開けたりとか別の事はじめちゃうんですよね。 Machine Learning https://www.edx.org/course/machine-learning-columbiax-csmm-102x-4 んで、スタンフォード大学やコロンビア大学が授業を公開してたりするCourseraに、Googleが提供してる機械学習のコースがあるのですね。 ちなみに、二日前から東京大学もコースを提供しはじめてます
人工知能(AI)ブームに乗りたい人に切符を提供してみる : 新規事業のつくり方
この記事は、以下の方向けに執筆しています。 ・とにかくAIブームに乗りたい方 ・転職してAI案件に携わりたい方 ・AIに必要な知識だけをざっくり身に付けたい方 関連記事：AI人材になるにはスキルよりまず職種を選択しよう 清水亮さんがAI人材の不足を言われてから、人材不足感は一向に変わっておらず、むしろ不足感が強まっている。企業が本格的に取り組み始めたのに、検証できる人材が誰もいない。データ分析経験があったり、Pythonでnumpyとか少し触れる人が、AI人材として急に売れっ子になるのを何度も見てきたし、その流れはしばらく続くんだと思う。 BIベンダも最近その流れに乗って売り込み始めた。コンサル会社は、AIコンサルと言い始めた。SIベンダは、AIの専門部署をたくさん作り始めた。メーカーもR&D中心にAI人材を採用しはじめてる。 CONNPASSで機械学習と名の付くセミナーはすべて人気で埋ま
Google、プログラミング不要で“機械学習”試せるサイト公開
サイトは、Googleが8月にリリースした、ブラウザ上で機械学習の訓練と推論を実行できるJavaScriptのライブラリ「deeplearn.js」を用いて作られた。サイトのソースコードはGitHub上に公開している。 Google Creative Labのデザイナーであるバロン・ウェブスターさんは、ブログで「機械学習について興味がある人々が、もっと簡単に機械学習を試せるようにしたかった」とコメントしている。 関連記事 Google、人間のように線画を描く人工知能「sketch-rnn」を養成中 Googleがお絵かきゲーム「Quick, Draw!」にユーザーが手描き入力した膨大なデータを学習材料に訓練した人工知能「sketch-rnn」は、ネコやブタの線画を人間のように描く。 Google、手描きの絵を機械学習でプロの絵に置き換える「AutoDraw」公開 AutoDrawは、タッチ
「自動生成」された美少女は、手書き美少女と区別がつくのか？ - プリキュアの数字ブログ
この４人の美少女キャラのうち、 ３つは、 「コンピュータで自動生成」したもの １つだけ 「人の手で描かれたもの」です。 どれが「人の手で描かれたもの」か、判りますか？ （答えは中ごろにあります） ＊＊＊＊＊＊＊＊＊＊＊＊ 美少女キャラクターをコンピュータが自動生成してくれるサイトがあります。 make.girls.moe 製作者twitter: Aixile@MakeGirlsMoe (@namaniku0) | Twitter （サイトの使い方の詳細などは下記サイトが参考になります） 1クリックで嫁がポンポン生まれるサービスが登場 深層学習で萌えキャラを自動生成 - ねとらぼ また、どうやって作っているかの解説論文も公開されています（英文） （どうも「Getchu.com」のサムネイルを学習させて画像処理しているっぽいですね・・） 何も考えず１クリックで、このレベルの美少女画像が無限に出
人工知能時代の音楽制作への招待 - Google Magenta 解説&体験ハンズオン (自習編) - - Qiita
音楽制作を行っていて人工知能技術に興味がある、あるいは機械学習をやっていて音楽が好きだ！そんな方に送る、機械学習による音楽生成のチュートリアル資料となります。本記事のみで、仕組みの理解から実際に音楽を生成して、SoundCloudで共有するまでの手順を網羅しています。 そして、本記事は先日実施した人工知能時代の音楽制作への招待 - Google Magenta 解説&体験ハンズオン -の自習用資料でもあります。 イベント自体は100名を超える方(開催前日の段階で倍率が5倍)に応募いただき、行きたかったけど行けなかった！という方も多いかと思うので、自習編にて内容に触れていただければと思います。 ※なお、会場のキャパを広げられなかった代わりに撮影をしていただいたので、後日講義動画が上がればそちらも掲載させていただきます。 ゴール 音楽生成とはそもそもどういう仕組みで、どんなアプローチが取られて
リクルートテクノロジーズのAIプロジェクト「A3RT（アート）」が始動、機械学習、ディープラーニングの6APIを公開 | Biz/Zine
株式会社リクルートテクノロジーズは、機械学習やディープラーニングを用いたソリューションAPI群「A3RT(アート)」を無料公開した。これまではリクルートグループ内に限定して展開したAPIを、外部に無料公開することで、多くのフィードバックを得ることで精度を向上させることが目的。リスト生成、文書分類、文章校正や対話など6種類を公開。順次拡大予定だという。 リスト生成、文章構成、画像分類など6API A3RT（アート）は「ANALYTICS & ARTIFICIAL INTELLIGENCE API VIA RECRUIT TECHNOLOGIES」の略称。今回、無料公開をするAPIは下記6種類となる。 ■Listing API リスト生成用API。ユーザーの行動ログをもとにアイテム間の相関リストや各ユーザーへのレコメンドリストなどを生成することが出来る。 ■Image Infuluence A
線画着色webサービスPaintsChainerを公開した - Qiita
http://paintschainer.preferred.tech こちらに先月記事にした線画の着色のデモを公開しました！！ 反響の大きかった皆さんに試していただけます！！（ちょっと期待値が上がり過ぎてないといいですがｗ） http://qiita.com/taizan/items/cf77fd37ec3a0bef5d9d 以前の記事『初心者がchainerで線画着色してみた。わりとできた。』はこちら。 ⇓そしてこちらがもじゃくっきーさんの使用例になっております。 GPUを使っている関係上アクセスが集中したりすると遅くなったりサーバーが落ちたりする可能性もありますが、生暖かく見守っていただければと思います。←たくさんの方に広まったこともあって、めっちゃ重くなっています。ぐぬぬぬ 画面はこんな感じっす。 線画ファイルを選択するととりあえず自動で塗ってくれます。 ※ただし、現状ではgifや
脳を活性化する曲、AIで自動作曲 「スーパー日本人」実現に一歩
大阪大学Center of Innovation（COI）拠点と科学技術振興機構（JST）は1月16日、ヘッドフォン型の脳波センサーで楽曲を再生しながらユーザーの脳波を測定し、脳を活性化する曲を自動作曲する人工知能（AI）を開発したと発表した。将来、家庭向けのシステムを構築できれば、個人が自らの脳をいつでも活性化でき、潜在力を発揮できる社会の実現につながるとしている。 あらかじめ準備した曲をユーザーに聴かせながら脳波を測定できるヘッドフォン型の脳波センサーを新たに開発。曲への反応と脳波の関係を機械学習し、メンタルを活性化する曲を自動作曲する。作曲した曲はその場でMIDIによりアレンジされ、シンセサイザーを用いた豊かな音色で再生できる。 脳を活性化する曲を自動作曲する音楽療法向けシステムは従来からあったが、過去に聴いた曲の類似曲を推薦するか、曲の特徴を細かく指定する必要があったという。 新シ
初心者がchainerで線画着色してみた。わりとできた。
ﾃﾞｰﾌﾟﾗｰﾆﾝｸﾞはコモディティ化していてハンダ付けの方が付加価値高いといわれるﾋﾟ-FNで主に工作担当のtai2anです。 NHKで全国放送されたAmazon Picking Challengeでガムテべったべたのハンドやロボコン感満載の滑り台とかを工作してました。 とはいえ、やっぱりちょっとディープラーニングしてみたいので1,2か月前からchainerを勉強し始めました。 せっかくなので線画の着色をしたいなーと思って色々試してみました。 線画の着色は教師あり学習なので線画と着色済みの画像のデータセットが(できれば大量に)必要です。 今回はOpenCVでカラーの画像から線画を適当に抽出しています。 抽出例 → カラーの画像を集めて線画を作ればデータセットの完成です。（今回は６０万枚くらい使っています） ネットワークの形ですが、U-netという最初の方でコンボリューションする時の層の出
画像認識対決 ~Microsoft VS Google VS IBM VS AWS~ - Qiita
はじめに この記事は、Life is Tech ! アドベントカレンダー2016 18日目の記事です。 はじめまして！iPhoneメンターのにっしーです。 「時間があるときに勉強しよう」と人工知能／機械学習／Deep Learning／認識技術といったトピックの記事の見つけてはストックしてきたものの、結局2016年は何一つやらずに終わろうとしているので、とにかく一歩でも足を踏み出すべく、 本質的な理解等はさておき、とにかく試してみる ということで画像認識技術に触れてみることにしました。 画像認識とは? 画像認識とは、画像データの画像内容を分析して、その形状を認識する技術のことである。 -- Weblio辞書 画像認識では、画像データから対象物となる輪郭を抽出して、背景から分離し、その対象物が何であるかを分析するのが基本になります。 しかし、人間なら無意識化に行われていることですが、コンピュ
畳み込みニューラルネットワークの仕組み | POSTD
(編注：2016/11/17、記事を修正いたしました。) ディープラーニングの分野でテクノロジの進化が続いているということが話題になる場合、十中八九畳み込みニューラルネットワークが関係しています。畳み込みニューラルネットワークはCNN（Convolutional Neural Network）またはConvNetとも呼ばれ、ディープニューラルネットワークの分野の主力となっています。CNNは画像を複数のカテゴリに分類するよう学習しており、その分類能力は人間を上回ることもあります。大言壮語のうたい文句を実現している方法が本当にあるとすれば、それはCNNでしょう。 CNNの非常に大きな長所として、理解しやすいことが挙げられます。少なくとも幾つかの基本的な部分にブレークダウンして学べば、それを実感できるでしょう。というわけで、これから一通り説明します。また、画像処理についてこの記事よりも詳細に説明
校正担当者必見!? 地味な誤字脱字で泣かないためのRecurrent Neural Networkのスゴイ生かし方
校正担当者必見!? 地味な誤字脱字で泣かないためのRecurrent Neural Networkのスゴイ生かし方：Deep Learningで始める文書解析入門（2）（1/2 ページ） 本連載では、Deep Learningの中でも、時系列データを扱うRecurrent Neural Networkについて解説。加えて、その応用方法として原稿校正（誤字脱字の検知）の自動化について解説します。今回は、本連載における「誤字脱字」の定義と「なぜRNNを利用する必要があるのか」「課題に対してRNNをどのように利用したのか」について。 本連載「Deep Learningで始める文書解析入門」ではDeep Learningの中でも時系列データを扱うRecurrent Neural Network（以下、RNN）とその応用方法としてリクルートグループ内で取り組んでいる原稿校正（誤字脱字の検知）の実現方
Budou - 機械学習を用いた日本語改行問題へのソリューション - ウェブ雑記
こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ
ディープラーニングで福沢諭吉を勉強させたら、こうなった。
なんというか、この結果を見たときは衝撃だった。 時は東京都知事選の結果が世を沸かせ、小池百合子氏が圧勝しメディアで話題になっていた時、ディープラーニングで文章を生成するという人工知能システムのテストのために試行錯誤をしていた、私のコンピュータ端末にこれが現れた。 若者もあり、あるいは才智｜逞《たくま》しゅうして役人となり商人となりて天下を動かす者もあり、あるいは智恵分別なくして生涯、飴《あめ》やおこし［＃「おこし」に傍点］四文の銭も、己《おの》が職分の何ものたるを知らず、子をばよく生めどもその子を教うるの道を知らず、いわゆる恥も法も知らざる馬鹿者にて、その子孫繁盛すれば一国の益はなさずして、かえって害をなす者なきにあらず。かかる馬鹿者を取り扱うにはとても道理をもってすべからず、不本意ながら力をもって威《おど》し、一時の大害を鎮《しず》むるよりほかに方便あることなし。 これすなわち世に暴政府
機械学習の種類: 教師あり学習編 - learning.ikeay.net
こんにちは、@ikeayです。 機械学習にもいろいろなモデル（アルゴリズム）があります。これらのモデルは優劣だけではなく、得意分野・不得意分野があったりするので、解きたい問題に応じて最適なものを選びます。 scikit-learnより どういう時にどういうモデルを使えばいいか、scikit-learnが用意しているチャートを参考にすると分かりやすいですね。 機械学習はまずは大きく、「教師あり学習」「教師なし学習」「強化学習」に分けられます。ざっくり説明すると、「教師あり学習」は問題と答えがセットになって学習する方法、「教師なし学習」は正解不正解のデータが入っていないので、クラスタリングや外れ値検出で傾向をつかむ学習方法、「強化学習」はいいことをしたら報酬を与えていく学習方法です。以下の記事にざっくりとまとめてあります。 learning.ikeay.net 今回はその中でも教師あり学習のモ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MakeGirlsMoe
