鷲崎弘宜, "機械学習デザインパターン(ML Design Patterns)の解説", スマートエスイー & JST未来社会 eAIセミナー: 機械学習デザインパターン, 2021年3月30日Read less
【道具として使いこなす!】 膨大な観測データから普遍的な法則を抽出する手法とは? 高校数学レベルから始まり、Python入門、TensorFlowによる実装、最新の論文まで踏み込む入門書。 【著者サポートページ】 https://github.com/akio-tomiya/intro_ml_in_physics 【目次】 第1章 データとサイエンス 1.1 物理学とデータサイエンス/1.2 最小2乗法とオーバーフィット/1.3 テイラー展開と振り子の等時性/コラム:武谷の三段階論 第2章 行列と線形変換 2.1 ベクトル、行列と線形変換/2.2 変換としての行列/2.3 行列に関する色々/コラム:計算量のオーダー 第3章 確率論と機械学習 3.1 確率の基礎事項/3.2 教師あり学習と教師なし学習、強化学習/3.3 確率変数と経験的確率、大数の法則/3.4 大数の弱法則の証明/3.5 カ
www.kamishima.net ペドロ・ドミンゴスの『The Master Algorithm』は、ビル・ゲイツが AI 分野の必読書に挙げていたので注目し、ワタシも何度か文章の中で引き合いに出している。 ユートピアのキモさと人工知能がもたらす不気味の谷 - WirelessWire News(ワイヤレスワイヤーニュース) 我々は信頼に足るアルゴリズムを見極められるのか? - WirelessWire News(ワイヤレスワイヤーニュース) そして、邦訳の刊行が期待される洋書を紹介しまくることにする(2017年版)でも取り上げているが、この原著が刊行されたのは2015年である。それから5年以上経ち、もうこれは邦訳の話は流れてしまったかと半ば諦めていたところ、『マスターアルゴリズム 世界を再構築する「究極の機械学習」』の邦題で刊行される。ワオ! マスターアルゴリズム 世界を再構築する「究
原著:ペドロ・ドミンゴス 翻訳:神嶌 敏弘 イラスト:六七質 出版社:講談社 発行日:2021-04-21 ISBN:978-4062192231 本書は,ペドロ・ドミンゴス著『The Master Algorithm』の翻訳書で,近年の人工知能技術の進展を支える機械学習についての解説書です.機械学習とは,作業手順を明示的に指示しなくても,それをデータから学ぶ能力を計算機に与える技術です.この機械学習について,計算機科学や統計学の高度な知識を前提とせずに,その内側に踏み込んで仕組みを明らかにし,この技術の可能性と課題を論じています. 出版社ホームページ 版元ドットコム Googleブックス ネット書店:Amazon 楽天ブックス honto 紀伊國屋書店 電子書籍:Amazon 楽天ブックス honto 紀伊國屋書店 Apple 読書ログ: 読書メーター(電子版) ブクログ(電子版) 図書
機械学習やディープラーニングに必要な数学項目をピックアップし、そういった項目を教科書的~実践的にカバーしているオススメの「数学」本を紹介する。また中学~大学までの数学全体を学び直したい人向けの本も紹介。 連載目次 機械学習やディープラーニングを学んでいると、その内部の仕組みは計算式なので、やはりどこかしらで数式が出てくる。そこで数学の必要性を感じて本格的に学び始めるという人も少なくないだろう。 では、どのレベルから、どんな本で学べばよいのだろうか。これはケースバイケースで、あなたが大学生であれば大学レベルの本からスタートすればよいだろうが、大学から遠ざかって5年以上たつような社会人であれば、数学をもう少し基礎的なところから復習した方がいいかもしれない。 また、数学に10年以上のブランクがある場合、中学レベルの数学から部分的に記憶が欠落しているかもしれない。数学は積み上げ型の学問なので、一部
こんにちは,株式会社Ridge-iのリサーチチームの@machinery81です. 今回はNeurIPS2020で発表されたデータセットシフトを扱う機械学習に関連する論文を紹介します. 本記事は,Ridge-i主催の論文読み会で発表した以下の資料に基づいています. TL;DR 機械学習におけるデータセットシフト Covariate Shift Target Shift Concept Shift Domain Shift Sample Selection Bias Taxonomy of NeurIPS2020 papers about Dataset Shift 論文紹介 Rethinking Importance Weighting for Deep Learning under Distribution Shift Importance Weighting for Distribut
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。最近、ユーザーの検索体験の向上のために、以下の検索評価に関する本を読んでいました。 情報アクセス評価方法論 作者:酒井 哲也発売日: 2015/05/19メディア: 単行本 そこで今回は検索評価指標の1つであるsDCG (session-based Discounted Cumulative Gain)を使ってエムスリーの検索ログから体験の悪かった検索を抽出してみたのでその方法を紹介します。 現状の検索監視 現状の検索監視の問題 nDCG sDCG 線形横断 最下位クリックにおける検索結果の破棄 クリック=適合文書 nsDCGを実際の検索ログに使ってみる sDCGを使って感じたこと まとめ We're hiring !!! Reference 現
9名のKagglerの方にアンケートにご協力いただき、2020年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 2020年も数多くのデータ解析コンペが開催され、興味深い論文が多く発表されました。 昨年公開した「Kaggle上位ランカーの5人に聞いた、2019年面白かったコンペ12選と論文7選」は現時点で20,000人を超える方にご覧いただき、Kaggleを始めとするデータ解析コンペへの関心が非常に高まっていると感じました。 そして本年も9名のKagglerの方にアンケートにご協力いただき、2020年に面白かったコンペと論文を教えていただきましたのでその結果を紹介します。 (1)回答いただいたKaggler9名のご紹介 まずは今回のアンケートに回答いただいたのは以下9名のKagglerの方です。 aryyyyyさま(@aryyyyy221) カレーちゃんさま(@cu
CIFAR-10 (Canadian Institute for Advanced Research, 10 classes) The CIFAR-10 dataset (Canadian Institute for Advanced Research, 10 classes) is a subset of the Tiny Images dataset and consists of 60000 32x32 color images. The images are labelled with one of 10 mutually exclusive classes: airplane, automobile (but not truck or pickup truck), bird, cat, deer, dog, frog, horse, ship, and truck (but no
これ https://nnfs.io/neural_network_animations Sentdexさん(Harrison Kinsley)とは、Python機械学習のテック系ユーチューバーです。テック系、それも機械学習系なのに、100万人ものフォロワーもいます。 軽快な語り口調で、お茶目なとこもあり、自然な英語を話しますのでリスリングの勉強にもなります。 機械学習をTensorFlowなどのライブラリを使用せずに、わかりやすく説明しています。 書籍も販売しています。 チュートリアルビデオでは、数式をアニメーションでわかりやすく解説しています。これは、3b1bmanimというライブラリをベースに作成しているようです。
2020.07.06 ML Pipeline事始め – kedro(+notebook)とMLflow Trackingで始めるpipeline入門 – こんにちは。次世代システム研究室のT.S.です AI/機械学習が不可欠となった昨今、数多くの方がKaggleなどの分析コンペ参加から機械学習モデルの実験、そして本番環境への適用まで色々実施してらっしゃると思います。 私もその一員で、日々モデルの実験から本番機械学習基盤の構築まで色々な分野の機械学習関連業務に従事しております。 そうした中で(皆様も同じ悩みを抱えているかと思いますが)実験->本番適用->運用に渡って、色々な悩みを抱えています。 一例ですが、こん悩みがあります 実験を複数回繰り返した結果、実行結果とハイパパラメータの組み合わせがゴチャゴチャになる 実験時の処理がモジュール化していないため、処理順序の入れ替えや追加が困難 実験時
The selection of areas and methods is heavily influenced by my own interests; the selected topics are biased towards representation and transfer learning and towards natural language processing (NLP). I tried to cover the papers that I was aware of but likely missed many relevant ones—feel free to highlight them in the comments below. In all, I discuss the following highlights: Scaling up—and down
またお得なAmazon Monitronスターターキットもご用意されています。 (取り付けキット、5 個のセンサー、ゲートウェイのセット) 運用費用 Amazon Monitronはセンサー1つあたり年間50USDのランニングコストがかかります。 費用例 ■要件 5つのモーターを監視する必要がある。 上記を実現するためにAmazon Monitronスターターキットを購入し、 モーターごとに1つのセンサーを取り付け3年間使用した。 ■試算結果 スターターキット購入費用(715USD)+ センサー年間利用費用×5(250USD)×3年分 = 1465USD(3年間利用費用) 注意事項 ■ Amazon Monitron 利用可能な地域について 米国、英国、およびEUのみで利用可能です。(2021/04/16時点) ■必要なモバイル端末について Android8.0以降のスマートフォンが必要で
オセロのAIアルゴリズムをディープラーニングで作成し、私が勝てないぐらいまでには強くなった、という話です。 また私の場合は2ヶ月ぐらいかかってしまいましたが、実装自体はそんなに難しくなかったので、実装方法についても説明したいと思います。 この記事でわかることは、ディープラーニングでオセロのAIアルゴリズムを作る方法です。基本的な考え方は他のボードゲームも同じなので、流用できると思います。 対象読者は、TensorFlowなどディープラーニングのライブラリを使い始めて、MNISTの数字分類など基本的な処理はできたけれど、それ以外の問題だとやり方がわからない、というような方です。 きっかけ 私の所属するエンジニアと人生コミュニティで、リバーシチャレンジなるものが開催されたことがきっかけです。このコンテストは「リバーシならどこにこだわっても良い」というルールでした。 私は、ちょうど少しまえに「将
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
こんにちは。エンジニアのいもす (今城 健太郎) です。現在、投資ファンドを作るため金融時系列の予測モデルの研究開発を行っています。その予測モデルについて、PFN の今城健太郎・南賢太郎・伊藤克哉と野村アセットマネジメント株式会社の中川慧氏が共同で執筆した論文が、人工知能分野における世界トップクラスの国際会議である AAAI 2021 に採択されました。 今回採択された論文 Deep Portfolio Optimization via Distributional Prediction of Residual Factors では、深層学習を用いたポートフォリオ最適化を、様々な金融時系列の性質を帰納バイアスとして導入することで改善する手法を提案しました。本記事では、深層学習のモデル設計という観点でどのような面白さがあるかに触れつつ、採択論文について簡単に紹介します。 はじめに: 帰納バイ
[1] 本サイトでは、「PyTorch 公式チュートリアル(英語版 version 1.8.0)」を日本語に翻訳してお届けします。 [2] 公式チュートリアルは、①解説ページ、②解説ページと同じ内容のGoogle Colaboratoryファイル、の2つから構成されています。 両者は基本的には同じ内容です。本サイトでは 「Google Colaboratoryファイル」で、チュートリアルの日本語訳を用意しております(未完成分は順次公開いたします)。 [3] 本サイトのチュートリアルの閲覧および実行は、Google Colaboratory環境を前提とします。 (本サイトのライセンスはこちらとなります) [4] 本サイトに掲載している、日本語チュートリアルをまとめて配置したGitHubはこちらとなります。 [0] 目次(table of contents) 日本語解説へ [1] テンソル(T
こんにちは、データエンジニアの@masaki925 です。 この記事はMLOps Advent Calendar 2020 の19 日目の記事です。 MLOps には、その成熟度に応じて3つのレベルがあると言われています。 MLOps レベル 0: 手動プロセス MLOps レベル 1: ML パイプラインの自動化 MLOps レベル 2: CI / CD パイプラインの自動化 私の所属するチームでは現在ここのレベルを上げるべく取り組んでいますが、その中でデータサイエンティスト(以下、DS) とデータエンジニア(以下、Dev) の協業って難しいよな〜と思う事例があったので紹介したいと思います。 想定読者は以下のような方です。 これからMLOps を始めようとしている方 既存プロジェクトがあり、ML 等を使ってエンハンスしていきたいと考えている方 異文化協業に興味がある方 ML ワークフロー
R&D チームの奥村(@izariuo440)です。相変わらず深層学習モデルの推論に取り組んでいます。深層学習モデルの推論器として二年前に ONNX Runtime を軽くレビューしましたが、当時と比較するとかなり進歩しており、ONNX Runtime だけでなく ONNX 自体や関連ソフトウェアも成熟が進んでいるので、備忘録として私がお世話になっているものをかいつまんで紹介します。 OPTiM TECH BLOG Advent Calendar 2020 12/18 の記事です。 ONNX や ONNX Runtime は二年前の記事で少し解説しています。必要に応じてご参照ください。 tech-blog.optim.co.jp ONNX チュートリアル ONNX Model Zoo オプティマイザ その他 ONNX 関連のソフトウェア ONNX Runtime onnx-tensorrt
Googleを解雇されたAI倫理研究者が指摘していた「大規模言語モデル」の危険性:Googleさん(1/2 ページ) 先週の金曜日、いつも巡回している米国のIT系メディアがいっせいに、GoogleのAI部門、Google AIのEthical Artificial Intelligence(倫理的AI)チーム共同リーダー、ティムニット・ゲブルさんがGoogleをクビになったと報じました。 ゲブルさんが2日の夜、自らのTwitterで、Googleがいきなり自分をクビにしたとツイートしたのです。 ゲブルさんは、AI研究分野では著名で尊敬されている研究者。黒人で女性。かつてMicrosoft Research在籍中、今の顔認識は学習データが白人男性の顔に偏っているので肌の色が白くないと認識率が下がるという有名な論文を共著で発表しました。著者名は覚えていなかったけれど、私もこの論文(の記事)は印
株式会社Preferred Networks(本社:東京都千代田区、代表取締役 最高経営責任者:西川徹、プリファードネットワークス、以下、PFN)は、AIおよびデータサイエンスを基礎から学びたい大学生・社会人向けに、機械学習・深層学習の基礎学習コンテンツ4種を、個人向けオンラインAI人材育成講座 SIGNATE Quest*のマーケットプレイスで本日提供開始します。 各産業の専門分野にAIおよびデータサイエンスを応用することができる人材の大幅な不足が指摘される中、そうした人材の育成が国家戦略の重要テーマの1つとして位置づけられています。 PFNは深層学習フレームワークの開発、深層学習技術の産業応用において培ってきた経験をもとに、これからの社会を担う大学生・社会人向けに、機械学習・深層学習技術の活用に必須となる知識を習得するための4つの基礎学習コンテンツを提供します。 SIGNATE Que
世界にはインターネット接続が行えない場所が多く残されており、そんな場所にもインターネット環境を提供すべくSpaceXが「Starlink計画」で人工衛星を打ち上げたり、Facebookが「2Africa」で海底ケーブルを設置しようとしたりしています。Googleは「熱気球」でインターネット環境を提供する「Project Loon」を2015年から続けていますが、強化学習を利用したAIの開発により、プロジェクトが大きく前進したと発表されました。 Autonomous navigation of stratospheric balloons using reinforcement learning | Nature https://www.nature.com/articles/s41586-020-2939-8 Drifting Efficiently Through the Stratos
3つの要点 ✔️ Skip-Layer Excitationとself-supervised Discriminatorを提案し、パラメータの大幅削減に成功 ✔️ 少量データでも学習可能 ✔️ 1024×1024の画像もGPU1枚、数時間で学習可能 Towards Faster and Stabilized GAN Training for High-fidelity Few-shot Image Synthesis written by Anonymous (Submitted on 29 Sep 2020) Comments: Accepted at ICLR2021 Subjects: Computer Vision and Pattern Recognition (cs.CV); Image and Video Processing (eess.IV) Comm 概要 これまでのG
本記事はMLOps Advent Calendar 2020の 2 日目の記事です。 WebAssembly(Wasm)は機械学習モデルをデプロイする新たな手段になりうるでしょうか。 この記事では、機械学習モデル(特に Deep Learning)を Wasm でデプロイする周辺技術の動向や内部の仕組みをざっくりと説明します。 Table of Contents tkat0 です。WebAssembly(Wasm)面白いですね。 私も最近はyewでフロントエンドを書いて遊んでいます。Rust で React っぽいことできるのは新鮮で面白いです。 Wasm は、なんとなく速い JavaScript?とか機械学習で何に役立つの?とか思ってる方も多いと思います。 しかし、Wasm はブラウザでの推論時に使えるだけでなく、機械学習モデルのサービングやエッジデバイスでの推論にも使えると知ったら驚き
はじめに 「メルアイコン」と呼ばれる、Melvilleさんの描くアイコンはその独特な作風から大勢から人気を集めています。 上はMelvilleさんのアイコンです。 この方へアイコンの作成を依頼し、それをtwitterアイコンとしている人がとても多いことで知られています。 代表的なメルアイコンの例 (左から順にゆかたゆさん、みなぎさん、しゅんしゅんさんのものです (2020/12/1現在)) 自分もこんな感じのメルアイコンが欲しい!!ということで機械学習でメルアイコン生成器を実装しました!!.......というのが前回の大まかなあらすじです。 今回は別の手法を使って、キャラの画像をメルアイコンに変換するモデルを実装しました。例えばこんな感じで変換できます。 実装したコードはこちら 本記事ではこれに用いた手法を紹介していきます。 GANとは 画像の変換にあたってはUGATITという手法を使って
PyTorch, ONNX, Caffe, OpenVINO (NCHW) のモデルをTensorflow / TensorflowLite (NHWC) へお手軽に変換するDeepLearningCaffeTensorFlowPyTorchONNX 日本語 English 1. はじめに いつも左中間を狙うようなプチニッチなふざけた記事ばかりを量産しています。 この記事の手順を実施すると、 最終的に PyTorch製 高精度Semantic Segmentation の U^2-Net を TensorFlow Lite へ変換することができます。 下図のような感じです。 TensorFlow めちゃくちゃ扱いにくいです。 日々公開される最新のとても面白いモデルは軒並みPyTorch実装ですし、なんでTensorFlowで実装してくれないんだ!! と、常日頃思っています。 論文のベンチマ
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました: [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
Machine learning operations, MLOps, are best practices for businesses to run AI successfully with help from an expanding smorgasbord of software products and cloud services. Note: This article was updated in March 2023 with the latest information on MLOps software and service providers. MLOps may sound like the name of a shaggy, one-eyed monster, but it’s actually an acronym that spells success in
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く