ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
ニューラルネットワーク入門
Pythonコードで理解するニューラルネットワーク入門 ニューラルネットワークの仕組みや挙動を、数学理論からではなく、Pythonコードから理解しよう。フルスクラッチでニューラルネットワーク（DNN：Deep Neural Network）を実装していく。 第1回 Pythonでニューラルネットワークを書いてみよう（2022/02/09） 本連載（基礎編）の目的 ・本連載（基礎編）の特徴 ニューラルネットワークの図 訓練（学習）処理全体の実装 モデルの定義と、仮の訓練データ ステップ1. 順伝播の実装 ・1つのノードにおける順伝播の処理 ・重み付き線形和 ・活性化関数：シグモイド関数 ・活性化関数：恒等関数 ・順伝播の処理全体の実装 ・順伝播による予測の実行例 ・今後のステップの準備：関数への仮引数の追加 第2回 図とコードで必ず分かるニューラルネットワークの逆伝播（2022/02/16）
機械学習の回帰データとしては、ボストン住宅価格データではなく、カリフォルニア住宅価格データを使おう
結論・サンプルコード 回帰のデータセットが欲しい場合、ボストンデータセットではなく、カリフォルニアデータセットを使いましょう。 ソースコード from sklearn.datasets import fetch_california_housing california_housing = fetch_california_housing() train_x = pd.DataFrame(california_housing.data, columns=california_housing.feature_names) train_y = pd.Series(california_housing.target) train_x.head() train_y.head() 結果 0 4.526 1 3.585 2 3.521 3 3.413 4 3.422 背景 ボストン住宅価格データはポリ
【徹底解説】変分ベイズをはじめからていねいに | Academaid
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 機械学習を勉強したことのある方であれば，変分ベイズ（VB：variational bayes）の難しさには辟易したことがあるでしょう。私自身，学部生時代に意気揚々と機械学習のバイブルと言われている「パターン認識と機械学習（通称PRML）」を手に取って中身をペラペラめくってみたのですが，あまりの難しさから途方に暮れてしまったことを覚えています。 機械学習の登竜門は，変分ベイズ（変分推論）だと私は考えています。また，VAE（変分オートエンコーダ；variational autoencoder）に代表されるように，変分ベイズは最近の深層学習ブームにおいて理論面の立役者となっている側面もあります。一方で，多くの書籍やWeb上の資料では式変形の行間が詰ま
A Chat with Andrew on MLOps: From Model-centric to Data-centric AI
In this event, Dr.Andrew Ng shared the skills he sees as fundamental to the next generation of machine learning practitioners, and followed with a Q&A. Let us know what you think of the presentation by filling out a quick survey at http://bit.ly/30yeWuO To learn more about us and signup for future events: DeepLearning.AI: https://www.deeplearning.ai/
形態素解析を行うだけのバッチをつくる - クックパッド開発者ブログ
研究開発部の原島です。今日は表題の渋いバッチをつくった話をします。 あっちでも形態素解析、こっちでも形態素解析 みなさん、形態素解析してますか？してますよね？クックパッドでもさまざまなプロジェクトで形態素解析をしています。 いや、むしろ、しすぎです。プロジェクト A でレシピを解析し、プロジェクト B でもレシピを解析し、プロジェクト C でもレシピを解析し、... といった具合です。ちなみに、形態素解析（の結果）が必要なプロジェクトとしてはレシピの分類やレコメンド、各種分散表現（e.g., word2vec）や BERT の学習などがあります。 もちろん、最終的に得たい解析結果が違うのであれば問題ありません。しかし、私が見たかぎり、ほとんどの場合は同じ（もしくは、同じにできそう）でした。であれば、 解析器をインストール（→ Dockerfile を試行錯誤） 解析対象を取得（→ SQL
State of Data Science and Machine Learning 2021
Download our executive summary for a profile of today's working data scientist and their tools
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI Shift
こんにちは AIチームの戸田です 近年、自然言語処理タスクにおいて、BERTを始めとするTransformerをベースとした事前学習モデルを感情分類や質問応答などの下流のタスクでfine-tuningする手法が一般的になっています huggingfaceのTransformersなど、事前学習モデルを簡単に使うことのできるライブラリもありますが、Kaggleなどのコンペティションで上位に入るには素のモデルのままでは難しく、ヘッダや損失関数などの工夫などが必要です 本記事では私がKaggleのコンペティションに参加して得た、事前学習モデルのfine-tuningのTipsを共有させていただきます 書きたい内容が多くなってしまったので、今回は学習の効率化について、次回精度改善について、と２回に分けて書かせていただきます 事前準備 学習データとして、先日終了したKaggleのコンペティション、C
[MLOps Tips] 社会実装・業務適用に向けた機械学習プロジェクトの進め方 - Qiita
はじめに 昨今、様々な機械学習（深層学習を含む。以降、ML）の手法が提案されるとともに、社会実装や業務適用に向けたプロジェクトが開始されています。 しかし、現実問題をMLで解き、社会的・実務上の価値に繋げることは容易ではなく、多くのプロジェクトがPoC（Proof of Concept, 技術の概念検証）で止まっています。（PoC疲れ、PoC地獄、PoC貧乏といった単語すら登場しています...） ここ数年で多くのPoCが行われた結果、様々な反省点や改善手法が提案されてきており、本記事では、特に有意義だった下記の2論文+個人的な経験を踏まえて、社会実装・業務適用に向けた機械学習プロジェクトの進め方について、まとめてみたいと思います。 参考文献 Using AntiPatterns to avoid MLOps Mistakes How to avoid machine learning pi
![[MLOps Tips] 社会実装・業務適用に向けた機械学習プロジェクトの進め方 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/08ceeeb5aea1870740b2a5255cc1a96914721914/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCTUxPcHMlMjBUaXBzJTVEJTIwJUU3JUE0JUJFJUU0JUJDJTlBJUU1JUFFJTlGJUU4JUEzJTg1JUUzJTgzJUJCJUU2JUE1JUFEJUU1JThCJTk5JUU5JTgxJUE5JUU3JTk0JUE4JUUzJTgxJUFCJUU1JTkwJTkxJUUzJTgxJTkxJUUzJTgxJTlGJUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgyJUI4JUUzJTgyJUE3JUUzJTgyJUFGJUUzJTgzJTg4JUUzJTgxJUFFJUU5JTgwJUIyJUUzJTgyJTgxJUU2JTk2JUI5JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0zMDUwMWYxYTFiMmRhNmU5MjczNjM5MDAyNGI5N2Y0MQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWt1YmImdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTU3MGQ2MzZiZTkwYWM5YzEwYTc2YWNhMzI4OGJkY2E3%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D55d6c175706329b03cd13c508f7a974c)
(PDF) Data mining for the online retail industry: A case study of RFM model-based customer segmentation using data mining
Many small online retailers and new entrants to the online retail sector are keen to practice data mining and consumer-centric marketing in their businesses yet technically lack the necessary knowledge and expertise to do so. In this article a case study of using data mining techniques in customer-centric business intelligence for an online retailer is presented. The main purpose of this analysis
表形式データに対する深層学習ライブラリの開発と実験 - Preferred Networks Research & Development
本記事は、2021年度PFN夏季インターンシップで勤務した平川雅人さんと畠山智之さんによる寄稿です。 はじめに 2021年度PFN夏季インターン生の平川雅人と畠山智之です。 今回のインターンでは、表形式データに対して様々な深層学習モデルを試すことができるライブラリを共同で開発しました。開発したライブラリは https://github.com/pfnet-research/deep-table で公開しています。 背景 近年、深層学習は画像や自然言語、音声の分野で目覚ましい成功を収めてきました。しかし表形式データに対しては、深層学習はそのような成功を遂げることは少なく、いまだにXGBoostやLightGBMのような決定木ベースのモデルが主流となっています。 深層学習の有望な手法として、決定木のアンサンブルを模倣して勾配ベースの学習を可能にしたNODE [1] や、スパースなattenti
Optimizing payments with machine learning
It’s probably happened to you at some point: You go to use a service for which you believe you’ve got a paid subscription, only to find that it’s been canceled for non-payment. That’s not only bad for you the customer: It causes negative feelings about the brand, it disrupts what should be a steady flow of revenue to the business, and a customer who finds themselves shut off might decide not to co
小さく始めて大きく育てるMLOps2020 | | AI tech studio
AI Labの岩崎(@chck)です、こんにちは。今日は実験管理、広義ではMLOpsの話をしたいと思います。 MLOpsはもともとDevOpsの派生として生まれた言葉ですが、本稿では本番運用を見据えた機械学習ライフサイクル（実験ログやワークフロー）の管理を指します。 https://www.slideshare.net/databricks/mlflow-infrastructure-for-a-complete-machine-learning-life-cycle 参考記事のJan Teichmann氏の言葉を借りると、 エンジニアがDevOpsによって健全で継続的な開発・運用を実現している一方、 多くのデータサイエンティストは、ローカルでの作業と本番環境に大きなギャップを抱えている クラウド含む本番環境でのモデルのホスティングが考慮されないローカルでの作業 本番のデータボリュームやス
YouTuberから学ぶデータサイエンスまとめ。海外チャンネル多め。 - Qiita
はじめに AdventCalendar何書こうかなぁと色々考えた結果、最近プログラミングや機械学習のレクチャーをしてくれるYouTuberの動画をよく見ているのでそれをシェアすれば良いのでは？と思い、まとめてみました 嘘です。あまりに過去書いたGCP関連のQiita記事が伸びないからグラドルが脇見せ始めるのと同じように売れ線の記事を書きたくなっただけです。 リンクをクリックするとそのままYouTube動画が開始されることがあるので、音声をオンにしている人(or 職場で見てる人)は注意してください 基本は再生リスト画面に飛ぶので再生されることは少ないですが直接動画に飛ぶリンクについては注記しております。チャンネルのイメージを掴んでいただくため引用の範囲でチャンネルTop画面をキャプチャしてます。 とりあえずここにあげてるのをチャンネル登録しておくと幸せになれる（はず） ジャンル チャンネル
異常検知ライブラリを作ってみた - Fire Engine
今回の記事は、前職消防士でゼロからプログラミングを始めた超未熟者の私が、異常検知ライブラリを作った話です。 なぜ作ったか マインド的背景 消防士を辞めてエンジニアに転職してから1年、いろんな技術に触れました。TensorFlow、scikit-learn、Dockerなどなど、必死になって使い方を覚えました。しかしだんだん、「これ、コマンド覚えてるだけで自分に何も技術身についてなくない？」という疑問や焦りが湧いてきて、自分は便利なツールを使いこなせるようになりたいんじゃなくて、いつの日かみんなが使って便利なツールを作る側になりたいんだ、ということに気づきました。そのような思いから今回初めてライブラリを作り、公開してみました。 データサイエンス的背景 世の中は時系列データで溢れています。ビジネスの場において、データの何かしらの変化の兆候を捉えて、いち早く意思決定をしたいという場面がよくありま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - parrt/animl: A python machine learning library for structured data.
GitHub - edublancas/ml-testing: 🐍 Material for PyData Global 2021 Presentation: Effective Testing for Machine Learning Projects
実臨床・Webサービス領域での機械学習研究 開発の標準化
A free online introduction to artificial intelligence for non-experts
Learning Machine Learning | Cloud AI | Google Cloud
