おつかれさまです．今回はタイトルの通り，ベイズ学習を勉強する上で参考になる教科書やウェブの資料，論文等を紹介したいと思います． ベイズ学習は確率推論に基づいた機械学習アルゴリズムの構築論です．ベイズ学習を使えば，あらゆる形式のデータに対して，未観測値の予測や隠れた構造を発見するための統一的なアプローチをとることができるため，特に現代の機械学習アルゴリズムを深く理解し使いこなすためには必須の方法論になっています． １，　ベイズ学習の位置づけ まず，データサイエンスにおける他の方法論と，ベイズ学習の位置づけを簡単に俯瞰したいと思います． 僕の知る限り，ベイズ学習は1990年代ごろから登場してきた機械学習の方法論で，既存の学習アルゴリズムを確率モデルによって構築し，学習や予測の計算をすべて確率推論（条件付き分布と周辺分布の計算）で解決してしまおうという試みによってはじまりました．これにより，従来

社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクターやエンジニアにとっては、どのような機械学習の理解段階ならばタスクを任せられるかの判断をするのはなかなか困難です。そこで、このエントリでは機械学習を実タスクでやるまでに乗り越えるべき壁だと私が思っているものについて説明します。 第一の壁: 綺麗なデータで機械学習の問題を解ける 講義で扱われるような綺麗なデータを扱える 行列形式になっていて、欠損値や異常値もない 上記のデータを回帰や分類問題として解くことができる 実際に解く際にはライブラリを使って解いてよい 手法を評価する上で何を行なえばよいか(Preci

前回の投稿から大分時間が空いてしまいましたが、現在マーケティング部では、データサイエンスに関する知識を深めるために海外のデータサイエンス記事を翻訳するという取り組みを行っています。主に、KDnuggetsというサイトで紹介されている記事で人気のあるものを中心に選び、原著者より翻訳の許諾をいただけた記事を公開しております。不定期ですが、データサイエンスに関心のある皆様により良い情報を日本語でお届けできるように取り組んで参ります。 初回に取り上げたい記事はJames Le氏の「The 10 Algorithms Machine Learning Engineers Need to Know」です。機械学習の手法が網羅的に紹介されており、実用例も示されています。初めて機械学習に取り組む方のご参考になれば幸いです。 SOURCE https://gab41.lab41.org/the-10-alg

こんにちは。ぼへみあです。 先日、Developers Summit 2017に行ってきました。 去年は登壇していましたが、今年は訳あってHololense体験コーナーで「Hololenseスゴイやろ」ってドヤ顔してましたが、セッションも少しだけ見てきました。 機械学習や人工知能系のセッションは、ブームのせいかどこも人がいっぱいでした。 特に気になったのは、「AI礼賛時代にエンジニアはいかにしてサバイブすべきか」というセッションでした。 speakerdeck.com 特に、機械学習をサービスに導入しようとするプロジェクトの陥りがちなポイントに触れられていて、共感したと同時にとても参考になりました。 そこで本記事では、当該セッションの内容に自分の経験を加えて、機械学習プロジェクトのコツを述べたいと思います。 ゆるく小さく始める 人工知能がブームになって、「よーし、ウチも人工知能やるぞー」と

Learn data and AI skillsUnlock the power of data and AI by learning Python, ChatGPT, SQL, Power BI, and earn industry-leading Certifications. Start Learning for FreeDataCamp for Business

みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。

数あるフレームワークに付属するExample、機械学習モデルを実装してみた、という話。これらに共通して言えるのは「テストがない」ということです。 機械学習のモデルだって、アプリケーションに組み込まれればプロダクションコードの一部です。テストがない実装を本番環境に組み込むか？というと通常そんなことありえないと思います。 ([スタジオジブリ 紅の豚](https://www.amazon.co.jp/dp/B00005R5J6) より拝借) 忘れられがちな点ですが、機械学習モデルは「リリースした瞬間」が最高精度になります。なぜなら、リリースした瞬間こそがその時点で手に入るフルフルのデータを使って鍛え上げたモデルであり、それ以降はどんどん未知のデータが入ってくるためです。 そのため、モデルの精度、また妥当性をいつでも検証できるようにしておくというのはとても重要です。これは通常のコードにテストをつ

この記事は、Python Advent Calendar 2016の14日目の記事です。 概要 NewsDigestでは、配信するニュース記事のカテゴリを機械学習アルゴリズムによって分類しています。具体的には、１日約1000件の記事を「エンタメ」「政治」「スポーツ」といった10種類のカテゴリに分類しています。 NewsDigestでは、そのようなカテゴリ分類をサーバーモジュールに密結合で行うのではなく、社内に分類のための汎用APIを設けています。 この汎用 API を実現するにあたって、よりスケーラブルにするために、サーバーレス(AWS Lambda)な機械学習 API を検討したので、その紹介というか、サーバーレス API を作るためのチュートリアルになります。 実際に動く API は https://3lxb3g0cx5.execute-api.us-east-1.amazonaws.

そう言えば3年前にこんなまとめ的エントリを書いたのでした。この内容はそのままかなりの部分が2年前に刊行した拙著の原案にもなったということで、色々思い出深いエントリです。 なのですが。・・・この3年の間に統計学・機械学習・データマイニングの諸手法及びそれを取り巻くビジネスニーズには様々な進歩があり、そろそろこの内容にも陳腐化が目立つようになってきました。ということで、3年間の進歩を反映してアップデートした記事を書いてみようと思います。前回は「10選」でしたが、今回は「10+2選」に改めました。そのラインナップは以下の通り。 統計学的検定（t検定・カイ二乗検定・ANOVAなど） t検定 カイ二乗検定 ANOVA（分散分析） その他の検定 重回帰分析（線形回帰モデル） 一般化線形モデル（GLM：ロジスティック回帰・ポアソン回帰など） ロジスティック回帰 ポアソン回帰 正則化（L1 / L2ノルム

About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)

機械学習・データマイニング全般 変わりゆく機械学習と変わらない機械学習 [物理学会誌 2019]：機械学習・データマイニングについての専門家以外に向けた解説記事 機械学習・データマイニング分野の概要：分野全体の概要と国際会議動向まとめ資料 ML, DM, and AI Conference Map：人工知能，機械学習，およびデータマイニング関係の国際会議関連マップ データマイニング：4種類の主要分析タスクとデータマイニングによる知識発見プロセスについての学部前半レベルの説明資料 社会における機械学習 Fairness-Aware Machine Learning and Data Mining: Tutorial on data analysis considering potential issues of fairness 知識の森『機械学習の公平性』 [電子情報通信学会 2023

I'm Sebastian: a machine learning & AI researcher, programmer, and author. As Staff Research Engineer at Lightning AI, I focus on the intersection of AI research, software development, and large language models (LLMs). I used to hold a position as an Assistant Professor of Statistics at the University of Wisconsin-Madison (on a tenure track from 2018-2025). However, with a heavy heart, I recently

前回機械学習を学ぶなら数学が必要だという話をしました。 s0sem0y.hatenablog.com それと同時に、数学を極めてから機械学習をやるのではなく、機械学習をやりながら必要に応じて数学を学んでいくというスタイルをオススメしました。しかし、今から機械学習を学んでいこうという人にとって、機械学習の数式がわからないとき、果たしてどの数学を学べば改善が見込めるのかを判断するのは難しい問題かと思います。 そこで機械学習に現れる数式を実際に取り上げ、ケースごとにどの数学分野を補強すべきかの指針をまとめてみたいと思います。また、少しの定性的な理解を深める解説も載せておきます。今後のヒントになれば嬉しいです。 パーセプトロンでのケース 全て同じ意味、式変形が分からない人へ 入力ベクトルに対して、 という数式が現れます。この数式を大抵の本は以下のように変形します。 最初の式と、この式が全く同じ計算

Getting into machine learning (ml) can seem like an unachievable task from the outside. After this highly effective introduction, I continued learning on my spare time and almost exactly one year later I did my first ml project at work, which involved using various ml and natural language processing (nlp) techniques to qualify sales leads at Xeneta. This felt like a blessing: getting paid to do so