機械学習アプリケーションにおけるテストについて - Re:ゼロから始めるML生活
機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質の維持に苦労したりします。 ということで、不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになってくると思い、方法論について勉強しましたので、そのメモです。 非常に参考にしたのはこちら。 arxiv.org テストそのもののテクニックなどは、一般的なテスト駆動開発に関する書籍を合わせてをご参考ください。 テスト駆動開発 作者:Kent Beck発売日: 2017/10/14メディア: 単行本（ソフトカバー） テスト駆動P
Teachable Machine Tutorial: Bananameter
Hi! This is a tutorial for Teachable Machine, a web-based tool that makes creating machine learning models fast, easy, and accessible to everyone. In this tutorial, I’m going to walk you through making a machine learning model to detect how ripe a banana is using images. You don’t have to use bananas for this — you can use any fruit that changes color, or really, any three different objects — but
近似最近傍探索Indexを作るワークフロー - ZOZO TECH BLOG
はじめに こんにちは。ZOZO研究所のshikajiroです。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分かりやすいかもしれません。MLの開発にはChainer, CuPy, TensorFlow, GPU, TPU, Annoy、バックエンドの開発にはGCP, Kubernetes, Docker, Flask, Terraform, Airflowなど様々な技術を活用しています。今回は私が担当した「近似最近傍探索Indexを作るワークフロー」のお話です。 corp.zozo.com 目次 はじめに 目次 画像検索の全体像説明 Workflow Develop Application 推論APIの流れ 近似最近傍探索とAnnoy 近似
AI音声認識ってなに？仕組みからおすすめサービスまで分かりやすく解説 | AI専門ニュースメディア AINOW
最終更新日： 2023年3月19日 AIが人の声を認識する「音声認識」の技術発展が進んでいます。 この「音声認識」は、人が発した声をAIが分析することで、その内容を推測することができます。 近年はこの音声認識を生かしたサービスが増加しており、仕事から日常まであらゆる面で活用することができます。 今回は、音声認識に関してどのようなサービスがあるのかご紹介したいと思います。 AIと音声を活用している分野 AIと音声を組み合わせた分野は主に4つあります。 音声読み上げ 文字起こし 音声合成 音声認識 以下でそれぞれ解説していきます。 ①音声読み上げ 音声読み上げとは、文字情報（テキスト）を音声で読み上げる機能のことです。 この機能は開発した当初は機械的な音声して出力できませんでしたが、現在では人間が話してるように読み上げるソフトも開発されています。高齢者、文字を読むのが難しい方でも、文字ベースの
顔画像生成のためのデータセットを作る - すぎゃーんメモ
動機 TensorFlowの登場をきっかけに 機械学習によるアイドル顔識別 という取り組みをしていて、3年以上かけてコツコツとアイドルの自撮りを収集してラベルをつけてデータセットを作ってきたけど、 アイドルヲタクはもう辞めてしまって 現場にも全然行かなくなり、卒業・脱退の情報を追いながらラベルを更新していく作業を続ける情熱はすっかり薄れてしまった。 もうアイドル顔識別プロジェクトは終了にしよう、と思った。 しかし折角今まで集めたデータを捨ててしまうのは勿体無い。せめて最後に何か活用できないものか。 と考えて、「画像生成」に再び取り組んでみることにした。 過去に試したことはあったけど、それほど上手くはいっていない。 TensorFlowによるDCGANでアイドルの顔画像生成 TensorFlowによるDCGANでアイドルの顔画像生成 その後の実験など この記事を書いたのが2016年。 この後
高校生がリアルタイム投票サイトを公開したらいきなり1万PVを記録した話 - Qiita
今回は高校生の私たちが公開した投票サイトが三日で１万PVを記録したので、その経緯をサイトの紹介も含め、全て公開します。 qiitaで後日談を書きましたので、よかったらお読みください リンクはこちらです サイトの内容 名前はAICEVOTE(アイスボート) リンクはこちら ----> aicevote.com(大量アクセスで現在サーバーが不安定な状況です。ご了承ください。) このサイトを一言で言うとこんな感じです。 "投票用紙を氷に見立てた次世代のリアルタイム投票サイト" AICEVOTEとは 普通の投票とAICEVOTE（アイスボート）の違い 普通の投票 普通の投票では、投票箱A/Bに最終的に投票された票の数の比で結果が決まります AICEVOTE AICEVOTEでは投票用紙の代わりに氷を投票します。 それぞれの投票箱の底は網目になっています 時間が経てばあなたが投票した氷は少しずつ溶け
［速報］「Amazon CodeGuru」発表。機械学習したコンピュータが自動でコードレビュー、問題あるコードや実行の遅い部分などを指摘。AWS re:Invent 2019
Amazon Web Services（AWS）は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」の基調講演で、機械学習を用いて自動的にコンピュータがコードレビューをしてくれる「Amazon CodeGuru」を発表しました。 Amazon CodeGuruのコードレビュー機能は、Amazon自身のこれまでの大量のコードと、GitHubで公開されているポピュラーな1万のオープンソースソフトウェアのコードを基に機械学習のトレーニングを行ったモデルを用いて、対象となるコードを解析。 GitHubやCodeCommitのプルリクエストと連係し、問題があるとされた個所には人間に読める形式でコメントをしてくれるというもの。 並列処理や脆弱性の問題あるコードを指摘 例えばAWSにおけるベストプラクティスのコードから外れているものや、並列処理における問題などの指摘。
Gunosyの研究論文が推薦システムに関する国際会議「RecSys 2019」にて採択｜株式会社Gunosy
プレスリリース Gunosyの研究論文が推薦システムに関する国際会議「RecSys 2019」にて採択 株式会社Gunosy（本社：東京都港区、代表取締役CEO：竹谷祐哉、以下、Gunosy）は、Gunosy内の「Gunosy Tech Lab（読み：グノシー テック ラボ、以下、同ラボ）」にて、「推薦システムのためのマルチリービング手法の提案」（原題：Greedy Optimized Multileaving for Personalization）の研究結果を発表した論文が、推薦システムに関する国際会議 The ACM Conference Series on Recommender Systems (RecSys 2019)にShort Paperとして採択されたことをお知らせいたします。 RecSysは、推薦システムにおいて最も権威ある国際会議と言われております。第13回目となる2
(学習用環境構築メモ) DockerコンテナでJupyter Notebookを起動する。 - Qiita
概要 データ分析・機械学習を勉強するためにJupyter Notebookをインストールしたときのメモです。 勉強しようと思ったら講座でも書籍でも大体Jupyterの紹介がありますので、とにかく早く簡単にPythonの実行環境を整えたい方のために投稿します。Dockerなので環境の複製や共有も簡単にできます。 動作環境 $ uname -a ; docker --version ; firefox --version Linux hoge 4.17.2-1-ARCH ＃1 SMP PREEMPT Sat Jun 16 11:08:59 UTC 2018 x86_64 GNU/Linux Docker version 18.05.0-ce, build f150324782 Mozilla Firefox 60.0.2 Dockerのインストールが完了していて、Activeになっている前提で
scikit-learn でランダムフォレストによる多ラベル分類 - Qiita
まえがき 本記事は機械学習関連情報の収集と分類(構想)の❷を背景としています。 例えば某企業がクラウド上の某サービスを利用して Q&A システムを構築したニュースがあったとしましょう。 そうすると❷のローカルファイルシステムのフォルダ例から推察できるように、このニュースのインターネットショートカットは、 ・ツール/クラウド/某サービス ・機械学習/応用/Bot・対話システム ・社会動向/企業/某企業 の少なくとも３か所に配置されねばなりません。これらの分類は排他的ではないので、いわゆる多ラベル分類です。 調べてみると Python / scikit-learn でこのような問題を扱うアルゴリズムは多様ですが、それなりに API インタフェースが統一されていて、アルゴリズムを差し替えるだけで動作する様なコードが書けるようです。 そこで、そのAPI インタフェースを確認してみようというのが本記
scikit-learn: machine learning in Python
Simple and efficient tools for predictive data analysis Accessible to everybody, and reusable in various contexts Built on NumPy, SciPy, and matplotlib Open source, commercially usable - BSD license Classification Identifying which category an object belongs to. Applications: Spam detection, image recognition. Algorithms: Gradient boosting, nearest neighbors, random forest, logistic regression, an
機械学習プロジェクトを頑健にする施策 ML Ops Study #2
https://ml-ops.connpass.com/event/83919/
Kaggleにおける「特徴量エンジニアリング」の位置づけ 〜『機械学習のための特徴量エンジニアリング』に寄せて〜 - u++の備忘録
はじめに 『機械学習のための特徴量エンジニアリング』の書誌情報 Kaggleのワークフロー 1. （探索的データ分析） 2. ベースラインモデルの構築 3. Validationの構築 4. 特徴量エンジニアリング 5. ハイパーパラメータ調整 6. アンサンブル 『機械学習のための特徴量エンジニアリング』の貢献箇所 Kaggle観点で本書をオススメする読者 おわりに はじめに このたび、『機械学習のための特徴量エンジニアリング』をご恵贈いただきました。 Kaggleと親和性が高い書籍名で、Twitterのタイムラインなどを見るに、Kaggleに興味がある層を中心に大きな注目を集めているようです。 本記事では本書の発売に寄せて、Kaggleの自分流のワークフローと「特徴量エンジニアリング」の位置づけについての私見を述べます。その上で本書がKaggleのワークフローのどの部分に寄与するかを説
Vim script で機械学習 - Qiita
この記事は Vim Advent Calendar 2018 の最終日 25 日目の記事です。昨日は rhysd さんの「Vim の構文ハイライトでクリスマスツリー🎄を飾ってメリクリする」でした。今年も Vim Advent Calendar は完走しました。皆さんお疲れさまでした。 はじめに 昨今 Vim script は目覚ましい進化を遂げ、Vim script からタイマーも実行でき、プロセスを起動して非同期に通信できる様にもなりました。以前の様にコマンドを実行して Vim でのテキスト入力を妨げる事も少なくなってきました。 Vim script が扱える数値も既に64bit化されています。現在 pull-request されている blob 型 も入れば、ほぼ他の言語と同等の機能を得たと言えるでしょう。1 しかしながら世の中のプログラミング言語は機械学習へと足を延ばし、大量のデー
データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
改正著作権法が日本のAI開発を加速するワケ 弁護士が解説
この記事は「STORIA法律事務所」のブログに掲載された「進化する機械学習パラダイス ～改正著作権法が日本のAI開発をさらに加速する～」（2018年9月2日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 学習済みモデル生成のためには大量の生データや生データを基に生成した学習用データセットが必要となりますが、その際に著作物である生データ（文章、写真、静止画、動画など）を利用することも多くあります。 著作権法上、著作物は著作権者に無断で利用（ダウンロードや改変等）することは出来ませんが、実は日本の今の著作権法には47条の7という世界的に見ても希な条文があるため（詳細は後述）、AI（人工知能）開発目的であれば、一定限度で著作権者の許諾なく著作物を利用できます。 その点を捉えて、早稲田大学法学学術院の上野達弘教授は「日本は機械学習パラダイスだ」と表しています。言い得て妙で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Teachable Machine
GitHub - Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB: 💎1MB lightweight face detection model (1MB轻量级人脸检测模型)
分析の基礎（モデリング）/ Basics of analysis ~modeling~
最近のKaggleに学ぶテーブルデータの特徴量エンジニアリング
