2024年版機械学習・データ分析の必須10冊+ガチ90冊+Next5冊=105冊 - Qiita
2023年版データ分析の100冊 が好評でしたので、2024年版を作りましたよ。 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせて理論のほかはPython本のみにしています 「本記事のR版のご要望があれば爆裂書きます！」と去年書いたのですが要望0 あはは、Rの本は今回撲滅しました！ こういうリストを挙げる奴は大抵読んでいない、と過去にも言われたのですが、未読本は削除しました 最近好著連発なので読んでいる途中だけど挙
2023-24年のKaggleコンペから学ぶ、NLPコンペの精度の上げ方
LLM関係のコンペがかなり多かったですね。 ベースラインノートブック 最近はほとんどのコンペがHuggingfaceのTrainerを使って学習が行われます（テーブルデータにおけるscikit-learnのような立ち位置です）。ChrisのNotebookは非常にシンプルにまとまっているのでぜひ参考にしてください。 分類（＋RAG） 回帰、分類 固有表現抽出 NLP・精度上昇で検討すること データを増やす LLMによるデータ生成 + ラベリング（CommonLit2 1st, DAIGT 1st, LLM Sci Exam 5th, PIIDD 1st） LLMによるデータ生成は必ずしも効果があるとは限らない データ生成方法も現状はベストプラクティスはない Mistral, Mixtral系列でデータ生成がよさそうな感じはする なお、LLMがラベル付けできないタスクでは厳しい印象です TT
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
Argo Workflowsを使った機械学習環境の構築手順 - アダコテック技術ブログ
はじめに テックリードの柿崎です。私たちは、機械学習のパラメータチューニングを効率よく行うため、KubernetesネイティブのワークフローエンジンであるArgo Workflowsを採用しています。この記事では、その導入手順の要点を紹介いたします。 導入の目的 Argo Workflows導入以前は機械学習のパラメータチューニングを行うにあたり以下の機能を独自に実装しており、属人化していました。 パラメータ探索のアルゴリズム インスタンスのスケーリング インスタンスの稼働状況の可視化 ジョブの進行状況の可視化 これらをより柔軟に活用できるようにして、開発、更新サイクルを早めていくことが導入の目的です。 前提条件 Kubernetes(EKS)はすでに構築済みであること Kubernetes、Helmについての基本的な知識があること Argo Workflowsの基本的な知識があること K
LLM開発のフロー | フューチャー技術ブログ
はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野・平野です。 今回は、昨今注目されている大規模言語モデル(LLM)の開発においてMLOpsチームがやるべきことを考えるため、まずはLLM開発の流れを調査・整理しました。 本記事はその内容を「LLM開発のフロー」という題目でまとめたものです。LLMを本番運用するときに考慮すべきこと、LLM開発・運用を支援するサービスやツール・LLMシステムの構成例などについては、「LLM開発でMLOpsチームがやるべきこと」と題して別記事でご紹介していますので、ぜひ併せてご覧ください。 ここでのLLM開発とは、「LLM自体の開発」および「LLMを活用したシステム開発」の両方を含みます。また、「LLM自体の開発」は学習フェーズ、「LLMを活用したシステム開発」は推論フェーズ、として記載しています。 本記事ではLLM開発における各フェーズの
[streamlit]Pythonで機械学習アプリを作ってみよう.vol01
はじめに 本格的な機械学習作業の前におおよその状態を掴んでおきたい時であったり、Pythonが分からない方とコミュニケーションを取りながら作業を進めたいケースではWEBアプリの活用が役に立ちます。 Pythonを用いてアプリ作成する方法はいくつかありますが、中でもstreamlitというライブラリはHTML、CSS、PHP、Javascriptの記述を必要としないという特徴から、多くのデータサイエンティストにとって比較的扱いやすいと言えるでしょう。 この記事では、streamlitに関するPythonコードの記述とその挙動を確かめながら簡単な機械学習アプリを実装してみます。 完成イメージ csvファイルで読み込んだデータセットから特徴量を選んで散布図を描画します 説明変数、目的変数を選択して重回帰分析またはロジスティック回帰分析にてモデリングを行います 対象となる方 機械学習アプリの作成と
![[streamlit]Pythonで機械学習アプリを作ってみよう.vol01](https://cdn-ak-scissors.b.st-hatena.com/image/square/494e9204e72fcabca2d536652597b5bb36871eb0/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--mhW0xTeX--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255Bstreamlit%25255DPython%2525E3%252581%2525A7%2525E6%2525A9%25259F%2525E6%2525A2%2525B0%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252582%2525A2%2525E3%252583%252597%2525E3%252583%2525AA%2525E3%252582%252592%2525E4%2525BD%25259C%2525E3%252581%2525A3%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%252588%2525E3%252581%252586.vol01%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%2525BE%2525E3%252581%2525A3%2525E3%252581%2525A4%2525E3%252582%252593%252540%2525E3%252583%252587%2525E3%252583%2525BC%2525E3%252582%2525BF%2525E3%252582%2525B5%2525E3%252582%2525A4%2525E3%252582%2525A8%2525E3%252583%2525B3%2525E3%252582%2525B9%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FGZFp1Y3BZVmNnRWpEa3pWQUVqUVB5V0lCRENjRWxfbnFjV1JWSzktZ3hwPXM5Ni1j%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
”美しい仮定”は精度を向上させる――「回帰分析」には対数（log）変換が有用な理由
AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す本連載『「AI」エンジニアになるための「基礎数学」再入門』。前回は最小二乗法および回帰分析について解説しました。 今回のテーマは、有用なケースが多いのでぜひ覚えてほしいテクニック「対数変換」です。前回の回帰分析に使えるものですが、「なぜ有用なのか？」についても解説します。 回帰分析の復習 前回学んだ単回帰分析について簡単に復習します。単回帰分析は、「y = ax + b」という数式である値を予測するものでした。例として、以下のような課題を与えられたとします。 課題：年収からその人の資産額を推測せよ 目的変数yが資産額 説明変数xが年収 使用するデータのイメージ Name y：資産額（万円） x：年収（万円） A
機械学習の推論WebAPIの実装をテンプレート化して使い回せるようした
概要 機械学習を利用したウェブサービスを開発していると、WebAPIとして外部から利用できる形で機械学習の推論を実行可能にしたいということがよくあると思います。私も幾度となくそうした実装をする中で使いまわし定番のコードを用意しているので、知識の棚卸しや改めて新しい技術を学ぶという意味でも、久しぶりに構造や技術スタックを刷新したものを今回作成しました。 そこで本記事は、テンプレート化した機械学習のWebAPI実装の構成と、そこから実際に機械学習の推論を行うWebAPIを作る過程を書いてみようと思います。 テンプレートプロジェクト 今回作ったテンプレートプロジェクトはyagays/fastapi-ml-templateです。 利用しているパッケージ/ツール 利用している技術スタックとしては以下のようになっています。 Web API Pythonのパッケージ依存関係管理： Poetry Webフ
ニューラルネットワーク入門
Pythonコードで理解するニューラルネットワーク入門 ニューラルネットワークの仕組みや挙動を、数学理論からではなく、Pythonコードから理解しよう。フルスクラッチでニューラルネットワーク（DNN：Deep Neural Network）を実装していく。 第1回 Pythonでニューラルネットワークを書いてみよう（2022/02/09） 本連載（基礎編）の目的 ・本連載（基礎編）の特徴 ニューラルネットワークの図 訓練（学習）処理全体の実装 モデルの定義と、仮の訓練データ ステップ1. 順伝播の実装 ・1つのノードにおける順伝播の処理 ・重み付き線形和 ・活性化関数：シグモイド関数 ・活性化関数：恒等関数 ・順伝播の処理全体の実装 ・順伝播による予測の実行例 ・今後のステップの準備：関数への仮引数の追加 第2回 図とコードで必ず分かるニューラルネットワークの逆伝播（2022/02/16）
機械学習の回帰データとしては、ボストン住宅価格データではなく、カリフォルニア住宅価格データを使おう
結論・サンプルコード 回帰のデータセットが欲しい場合、ボストンデータセットではなく、カリフォルニアデータセットを使いましょう。 ソースコード from sklearn.datasets import fetch_california_housing california_housing = fetch_california_housing() train_x = pd.DataFrame(california_housing.data, columns=california_housing.feature_names) train_y = pd.Series(california_housing.target) train_x.head() train_y.head() 結果 0 4.526 1 3.585 2 3.521 3 3.413 4 3.422 背景 ボストン住宅価格データはポリ
米不動産テック大手Zillowの大失敗に見るAI経営の教訓…｢予測モデルの過信｣｢目標設定のミス｣は他人事ではありません
こんにちは。パロアルトインサイトCEO・AIビジネスデザイナーの石角友愛です。 2021年最後の寄稿は、｢著名不動産テックの新事業“ZillowOffers”はなぜ大失敗したのか｣を考察します。 Zillowは、不動産情報サイト運営を手がける米国最大の不動産仲介マーケットプレイスです。2006年に創業して以降、米国の不動産情報に関するウェブ検索の約3割はZillowが持つとされ、取り扱う物件数は1億3500万件以上。2020年にはZillowウェブサイトに訪れる毎月のユニークビジター数が3600万人を記録しました（Zillowウェブサイトとアプリに関する統計はこちら）。 Zillowの従来のビジネスモデルは、家を売りたい人と買いたい人を集めるマーケットプレイスでした。主に、その仲介役の不動産エージェントに向けたビジネスモデルを特徴としています。賃貸用の不動産を管理している業者向けにリスティ
OSSのアノテーションツール Label Studio を使って、快適にアノテーションする
2022-01-09 Google Spread Sheet による即席アノテーションの限界データ分析で、ラベルがないデータに対して、自分でアノテーション(ラベルを付与)してデータの傾向を素早く掴みたい時がある。 例えば、文章に対してネガティブ・ポジティブなクラスを割り振ったり、画像に対して人が写り込んでいるか否かなどの簡単な分類タスクでは、お手軽に Google Spread Sheet などを使って、500 件のアノテーションはそこまで問題がなく気合でやれる。 実際の流れとしては、GCP を採用している場合、Google BigQuery から SQL でデータを抽出してそのまま Google Sprad Sheet に出力、=image()関数で CDN から画像の URL を参照できたりなどなどかなり便利。 Spread Sheet を共有して複数人でも作業ができるのも魅力的。 だ
数量を機械学習で当てる モデル作成時の工夫と性能説明手法 - エムスリーテックブログ
こんにちは。エムスリーエンジニアリンググループAI・機械学習チームの池嶋です。これは エムスリー Advent Calendar 2021 の16日目の記事です。 AIチームでは機械学習を使ったプロダクトを開発し、自社サービスの改善や医療の臨床領域における研究開発など、社内外で多くのビジネス課題解決を目指しています。 このブログでは、機械学習で数量を当てるという問題に対して、AIチームにおける「予測モデル作成時の工夫」と「モデル性能説明手法」について紹介します。 予測モデル作成時の工夫編 回帰ではなく分類モデルを使用 複数のモデルをアンサンブル 特徴抽出からモデル学習・推論までパイプライン化 モデル性能説明手法編 PR曲線やROC-AUC：直感的でない ローレンツ曲線：ユースケースが限定される パーセンタイルごとの実ラベル割合グラフ：セグメントが多いとわかりにくい 混同行列を多クラスに拡張
SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ
ロジスティック回帰とElo Ratingの関係 - ブログのとさか
はじめに 対戦ゲームのレーティングシステムとして多く採用されているElo Ratingですが， その計算式を見ると内部で行っていることはロジスティック回帰とほとんど一致することがわかります． この記事ではロジスティック回帰とElo Ratingについて簡単に説明し，それらの関係について見ていきます． また，ついでにこの事実を応用した格闘ゲームのキャラ相性解析のアイデアについて紹介したいと思います． ロジスティック回帰 ロジスティック回帰は2値分類問題の推論や分析に利用される一般化線形モデルの一つです． ロジスティック回帰ではロジット（対数オッズ）を線形モデルで予測します．*1 このことは予測確率を，線形モデルの出力を，ロジスティック回帰の重みベクトルを，バイアスを，入力ベクトルをとした時以下の式で表されます． 予測確率の計算 予測確率は以下の式で求まります．*2 更新式 ロジスティック回帰
動く「機械学習帳」、東工大教授が講義資料を無償公開 回帰や分類のグラフをアニメーションに
東京工業大学の岡崎直観教授が、大学の講義で使う資料「機械学習帳」をGitHubのホスティングサービス上で公開している。Webサイト上でPythonを実行できる開発環境「Jupyter Book」で作られており、利用者はPythonのコードとその実行結果を見ながら学べる。 同大学が2021年度4Q（12～2月）に開講する「機械学習」の講義ノート。学習できる内容は、単回帰、重回帰、ロジスティック回帰、ニューラルネットワーク、サポートベクトルマシン、クラスタリング、主成分分析、確率的勾配降下法、正則化といった機械学習の重要項目。初学者向けに原理なども丁寧に説明したとしている。 Pythonによって書かれたグラフは、学習回数や変数などで変動するものや3次元の場合はアニメーションとして視覚化されている。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
本当にわかりやすいAI入門
Stanford MLSys Seminars
Product Lessons from ML Home: Spotify’s One-Stop Shop for Machine Learning - Spotify Engineering
neptune.ai | The experiment tracker for foundation model training
