実践 自然言語処理
自然言語処理（Natural Language Processing：NLP）の本格的な実践書。過去10年間で起きたブレークスルーにより、NLPは小売、医療、金融、法律など、さまざまな分野での利用が増えてきました。急速に利用が拡大する中で、産業界でNLPを使ったシステムを構築するのに必要な知識を学べる講座や書籍は不足していました。本書を読むことで、NLPの要素技術やSNS、Eコマース、医療、金融といった具体的なビジネスへの適用方法に加えて、NLPシステムを開発するためのベストプラクティスを詳しく学べます。 賞賛の声 序文 訳者まえがき まえがき 第I部 基礎 1章 自然言語処理入門 1.1 実世界での自然言語処理 1.1.1 NLPのタスク 1.2 言語とは何か 1.2.1 言語の構成要素 1.2.2 自然言語処理の難しさ 1.3 機械学習、ディープラーニング、そして自然言語処理の概要 1
本番環境での機械学習モデルの監視について (1/3)
このシリーズでは本番環境でのモデルの監視の必要性について考えていきます。全3回を予定しています。今回はその最初の回です。データの集計処理に不具合が発生してしまい、すべてのユーザーのログイン回数が0となってしまった場合に発生する事象について、ケーススタディとして見ていきます。 今回の要旨 機械学習を本番環境で用いる場合、モデルに投入するデータが壊れると結果が壊れる機械学習モデルの精度指標を監視するだけでは不十分なことがあるデータの型だけではなく、欠損を表す値の割合や値の分布の変化についても監視が必要TOC· はじめに · 主旨 · 前提: EC サイトのマーケティングキャンペーン · 背景 · 机上検証 · 評価結果 · ケーススタディ すべてのユーザーのログイン回数が0 · 問題発生 · 発生した事象 · 原因 ∘ 他チームの行った変更に対応できていない ∘ データの欠損について気がつけて
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
TensorFlowとPyTorchの相互変換はどうやるか 機械学習の困りごとに使える重み変換のテクニック
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。rishigami氏は、TensorFlow／PyTorchのモデル移植について発表しました。全2回。前半は、TensorFlow、PyTorchそれぞれのモデル実装の基礎と、それぞれの違い、重み変換のテクニックについて。 フレームワークにまつわる、ありがちな困りごと 石上氏：今回は「TensorFlow／PyTorchモデル移植のススメ」というタイトルで発表します。 あらためて自己紹介ですが、私は石上と申します。ハンドルネームは「rishigami」でやっていて、Kaggleでは現在Competitions Masterとなっています。ただ最近はちょっと忙しくて、Kaggleに参加できておらず、つい最近NFLコンペが開催された（※取材当時）ということで、ちょっとそ
東京工業大学、機械学習の講義ノートが無料公開 Pythonの実装も学べる | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
Amazon SageMakerを利用した効率的な機械学習 with Rust | ⬢ Appirits spirits
はじめに デジタルイノベーション部の浅田です。 クラウドを利用した開発を行うにあたって、クラウドを上手く利用しようとすればするほど、ローカル開発環境と本番環境（クラウド環境）とでの実装方法の差分を少なくすることが効率的に開発を行う上で重要になってきます。 例えば、Amazon DynamoDBを利用してサービスを開発しようとすると、ローカル開発環境でどのように開発を進めるか？という課題が生まれます。DynamoDBであれば、ローカルのエミュレータが提供されているので、それを利用するという解決策が考えられます。 機械学習においても、ローカル開発環境と本番環境とのやり方を統一できたほうが、効率的に開発ができます。 その一つのやり方が、Amazon SageMaker（以下SageMaker）を利用することで、ローカル環境と本番環境とで差分の少ない、統一的な方法で開発することです。 また、機械学
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
Twitter: ottamm_190 追記 2022/4/24 speakerdeck版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-falsebu-que-shi-xing-uncertainty-in-deep-neural-networks コンパクト版：https://speakerdeck.com/masatoto/shen-ceng-xue-xi-niokerubu-que-shi-xing-ru-menRead less
人工知能にコウメ太夫さんのツイートを学習させてみた - ニートの言葉
どうもこんにちは、最近何かを生成する系のAIで遊ぶことにハマってます、あんどう(@t_andou)です。 5年以上前の話ですが、人工知能に哲学書を読ませて哲学的な文章を書いてもらいました。 blog.takuya-andou.com 今回はその時よりも高度な「GPT-2」というものを使って、コウメ太夫さんのツイートを学習させてみたいと思います。 なぜコウメ太夫さんなのか コウメ太夫さんと言えば、毎日とても面白いギャグツイートすることで有名なかたです。 ですが、ごく稀に難解すぎてAIがツイートしてると疑われ、記事になることもあります。*1 AIが考えたと言われているツイート ミリンは１０％でミリン風調味料｛アルコール分１％未満｝は８％ということはキリン風ゾウ｛シマウマ縞数１００程度｝はドツチになるか考えいたら～、 竜宮城の乙姫さま生牡蠣当たってタイやヒラメにガスバナ～当ててました～。 チクシ
現状では、量子コンピュータを使っても特に高速に組合せ最適化問題や量子化学計算、機械学習は解けない件 by Yuichiro Minato | blueqat
こんにちは。最近米国でも量子コンピュータにまつわる誇大広告が問題になっています。米国ではすでに量子アニーリングを行っている企業はほとんどおらず、量子ゲート方式しかやっていないのにもかかわらず、誇大広告とはどういうことでしょうか？また、量子コンピュータに参入してしまった企業はどのように対策をしているのでしょうか。 特に誇大広告として語られてしまっているのが、 １，組合せ最適...
代理モデルによる機械学習モデルの説明 - Qiita
はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの説明をハンズオン的に紹介します．これは非常にシンプルかつ柔軟な手法ですが，アドホックな部分が多いためかハンズオン的な解説は見当たりませんでした．Christoph Molnar による Interpretable Machine Learning の Global Surrogate に概要は示されているので機械学習に詳しい人はこちらを読めば十分かもしれません．関連するライブラリに LIME や TreeSurrogate がありますが，わたしがこ
マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」（ORT Web）をオープンソースで公開
マイクロソフト、WebAssemblyとWebGLで推論エンジンを実装した「ONNX Runtime Web」（ORT Web）をオープンソースで公開 マイクロソフトは、WebAssemblyとWebGLで機械学習の推論エンジンを実装した「ONNX Runtime Web」（ORT Web）をオープンソースで公開しました。 INTRODUCING: #ONNXRuntime Web (ORT Web), a new feature in ONNX Runtime to enable JavaScript developers to run and deploy machine learning models in browsers https://t.co/Ey3tsNlkEe pic.twitter.com/9uGyK8Pra0 — onnxruntime (@onnxruntime)
「施策デザインのための機械学習入門」を完全に理解したサトシくんがポケモン捕獲アルゴリズムを実装する話 - kanayamaのブログ
プロローグ ストーリー編 第1章 感銘 step1. KPIの設定 step2. データの観測構造をモデル化する step3. 解くべき問題を特定する step4. 観測データのみを用いて問題を解く方法を考える step5. 機械学習モデルを学習する step6. 施策を導入する 第2章 絶望 第3章 反省 第4章 再起 step1（再） KPIの設定 step2（再） データの観測構造をモデル化する step3（再） 解くべき問題を特定する step4（再） 観測データのみを用いて問題を解く方法を考える step5（再） 機械学習モデルを学習する step6（再） 施策を導入する 第5章 俺たちの戦いはこれからだ！ 実装編 準備 擬似データの生成 意思決定モデルの学習 モデルのオフ方策評価 モデルの真の性能の評価 まとめ この記事を読んだ方はこんな記事も読んでいます（多分） @tkana
Googleが大量の機械学習用データベースを無料公開してた - Qiita
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）
マイクロソフト、初心者向けのIoTカリキュラム無料公開 12週間で学習できる | Ledge.ai
米マイクロソフト（Microsoft）は、あらゆる年齢層の人がIoT（モノのインターネット）の基礎を学べるように、GitHub上に無料のカリキュラム「はじめてのIoT、カリキュラム（IoT for Beginners, curriculum）」を無料公開した。 本カリキュラムは「IoT入門」「デバイスをインターネットに接続する」「アプリケーションロジックのクラウドへの移行」「IoTデバイスから在庫を確認」などで構成している。12週間／24レッスンで学習できる。 ＞＞公式ブログ 該当ページ（英語） マイクロソフト、初心者向けの機械学習カリキュラム無料公開 12週間で学習できるまた、米マイクロソフトは、無料のカリキュラム「Machine Learning for Beginners（初心者のための機械学習）」も公開している。本カリキュラムは12週間／24レッスンで学習できる。 本カリキュラムは
協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPの理論と実装のまとめ - Fire Engine
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyTorch の基礎 - Training
はじめに — 機械学習帳
猫でもわかるTabNet
Long-tail learning via logit adjustment
