【保存版】課題から探すAI・機械学習の最新事例57選 | 宙畑
世の中の企業がどのように機械学習を活用しているのか事例を知り、業界全体や自社の目の前の業務で抱えている課題解決に活かせるかを考えるきっかけとなるよう、52種類の事例を紹介します。 近年、AIにおける要素技術のひとつである「機械学習」を活用したニュースを耳にすることが多く、漠然と自社でも活用したほうが良いのではないかと考えている方は多いのではないでしょうか。 世の中の企業がどのように機械学習を活用しているのか事例を知り、業界全体や自社の目の前の業務で抱えている課題解決に活かせるかを考えるきっかけとなるよう、57種類の事例を紹介します。 宇宙ビジネスメディアである本サイト「宙畑（そらばたけ）」では、そんな「機械学習」にインプットするデータの一つとして、俯瞰的・継続的にデータを取得可能な「衛星データ」を提案しています。事例と合わせて、「衛星データ」の可能性にも注目いただけると幸いです。 ※202
「生成Deep Learning」は久しぶりにワクワクするAI関係の本だった - karaage. [からあげ]
「生成Deep Learning」を読みました 生成に特化したAIの本「生成Deep Learning」を読みました。 生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする 作者:David Foster発売日: 2020/10/05メディア: 単行本（ソフトカバー） 独創力とは、思慮深い模倣以外の何ものでもない とは18世紀フランスの哲学者ヴォルテールの言葉とのことですが、AIによる模倣と創造の境界に関して考えさせられるような本でした。 本の内容は、オートエンコーダからはじまりGANでの画像生成、文章生成、音楽生成。アテンション、強化学習の世界モデルまでとタイトル通り生成系のAI技術を幅広くカバーしています。 結構骨太で、AIの本は1冊目という人が読む本ではなくて、何冊かAI関係の書籍を読んで、ある程度自分で実践して、生成系のAI（Auto Encoderと
![「生成Deep Learning」は久しぶりにワクワクするAI関係の本だった - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e716f3414d0fb9918c8f114d6308be989b9ecd8/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20201030%2F20201030014348.jpg)
pandas.DataFrameの行名・列名の変更 | note.nkmk.me
pandas.DataFrameの行名（index, インデックス）・列名（columns）を変更するには、rename()メソッドやset_axis()メソッドなどを使う。 既存の列をインデックスに設定するset_index()というメソッドもある。 関連記事: pandas.DataFrameの列をインデックス（行名）に割り当てるset_index 本記事のサンプルコードのpandasのバージョンは以下の通り。バージョンによって仕様が異なる可能性があるので注意。以下のpandas.DataFrameを例として使う。 import pandas as pd print(pd.__version__) # 2.0.3 df = pd.DataFrame({'A': [11, 21, 31], 'B': [12, 22, 32], 'C': [13, 23, 33]}, index=['ON
sklearnのpipelineの中身を理解する - Qiita
これは何か sklearnのpipelineを時々使っていたのだが、pipeline.fit_transform(X, y)とした時にpipelineの中ではどのような処理をしているのか、気になったので公式ドキュメント1やソースコード2を読んで、整理してみることにした。 なお、自分の抱いていた問題意識は下記コードのコメントに記載している。 人によっては「当たり前でしょ！!」って思うかもしれないが、どうしても気になってしまったので調べてみた。 # 問題意識1: 変換器ではfit_transform, 推定器ではfitが呼ばれている?? # 問題意識２: このタイミングで変換器もしくは推定器にパラメータを渡したい時はどうすればいい？？ # 問題意識3: 自作の推定器・変換器を入れたい場合に満たすべき要件は?? pipe.fit(X, y) # 問題意識4: 変換器ではfit_transform
condaでバージョン確認、インストール、アップデート - deepblue
conda info 今自分が動かしている環境名とcondaやpythonのバージョンなどを確認することが出来ます。 # 動作例 conda info active environment : blog active env location : C:\Users\USERNAME\AppData\Local\Continuum\anaconda3\envs\blog shell level : 7 user config file : C:\Users\USERNAME\.condarc populated config files : C:\Users\USERNAME\.condarc conda version : 4.8.3 conda-build version : 3.18.9 python version : 3.7.4.final.0 virtual packages :
特徴量選択のまとめ - Qiita
Kaggle Advent Calendar その2の23日目の記事です。 私はkaggleを始めたばかりでテーブルデータのコンペはTitanicしかやったことがないため、特徴量をどのように選べばいいのかよくわからなかったのでまとめます。 特徴量選択手法のまとめ 特徴量選択とは、機械学習のモデルを使用する際に有効な特徴量の組み合わせを探索するプロセスのことを表しています。 特徴量選択を行うことによりいくつかのメリットが得られます。 変数を少なくすることで解釈性を上げる 計算コストを下げて、学習時間を短縮する 過適合を避けて汎用性を向上させる 高次元データによって、パフォーマンスが下がることを防ぐ。 特徴量選択の種類 特徴量選択の手法は大別して3つ存在します。 Filter Method Wrapper Method Emedded Method Filter Method Filter M
モデリングのための特徴量の前処理について整理した - For Your ISHIO Blog
久しぶりのデータ分析関連の記事を書きたく、モデリングを行う上での特徴データの前処理について整理しました。本投稿は、下記courseraのKaggleコースの受講とその周辺情報のインプットを整理したものです。より詳細かつ正確な内容については受講してください。 www.coursera.org 目次 前処理の分類 Numeric（数値）データ 1. Min Max Scalar 2. Standard Scalar 3. Outliers（外れ値）への対処 4. rank transformation 5. log transformation／square root transformation Categorical / Ordinalデータ 1. Label Encoding 2. Frequency Encoding 3. One-Hot Encoding Datatimeデータ 1.
Kaggleデータセットまとめ - Qiita
Fintech Santander Customer Transaction Prediction https://www.kaggle.com/c/santander-customer-transaction-prediction/data Kaggle datasets in finance category (ファイナンス系kaggleデータ一覧) https://www.kaggle.com/tags/finance Bitcoin Price Prediction (LightWeight CSV) https://www.kaggle.com/team-ai/bitcoin-price-prediction Uniqlo (FastRetailing) Stock Price Prediction https://www.kaggle.com/daiearth22/uniqlo
不均衡データの確率予測 - Qiita
はじめに 機械学習でクラス分類を行う際、クラス分類結果と同時に、それらのクラスに属する確率も得たいときがあります。 正例のデータ数が負例のデータ数に比べて極端に少ない場合（このようなデータを不均衡データと呼びます）、それらのデータをすべて用いて予測モデルを構築すると、予測結果も負例となることが多く、正例のデータを精度よく分類することが難しくなる傾向があります。そこで、負例のデータ数が正例のデータ数と等しくなるようにアンダーサンプリングしたデータを用いてモデルを構築することが多いです。これによって、正例のデータも精度よく分類できるようになりますが、正例と負例のデータ数のバランスがもとのデータと異なるため、確率の予測結果に、アンダーサンプリングによるバイアスが生じてしまいます。 この問題への対処法は、すでに下記のブログなどにまとめている方もいらっしゃいますが、アンダーサンプリングしたデータで構
J. Psy. Sci., 35(2): 149-162 (2017)
DOI: http://doi.org/10.14947/psychono.35.26 149 Recent excitement about deep learning Shin Asakawa Tokyo Womens Christian University Brief introduction about current trends in deep learning was intended, including such as convolutional neural networks, and regions with convolutional neural networks. They have features as end-to-end, general purposes, and implementable based on recent advances in c
第9回 機械学習の評価関数（回帰／時系列予測用）を使いこなそう
連載目次 前々回は回帰問題、前回は分類問題の解き方を解説した。それぞれの評価時における精度指標（Metrics）として、回帰問題では平均絶対誤差（MAE）を、分類問題では正解率（Accuracy）を用いた。これらは、最も基礎的で一般的な評価関数（Metric function）である。実践では、より多様な評価関数を使い分けることになるだろう。 そこで今回は、回帰問題や時系列予測（後述）で使える代表的な評価関数をまとめる。具体的には、下記の7つの評価関数を説明する。 本稿は、一通り目を通すことでざっくりと理解したら、あとは必要に応じて個別に参照するという「辞書的な使い方」を推奨する。といっても、上記の順番で違いを意識しながら理解すればそれほど難しくはないので安心してほしい。 時系列予測について 本連載では、ここまで回帰（Regression）と分類（Classification）については説
正規化(Normalization)と正則化(Regularization) - Qiita
はじめに 正規化と正則化は，機械学習の中で戸惑いそうなキーワードの一つではないでしょうか？ 私自身，軽く「似たようなものでしょ？」って思ってた時に調べて「違うじゃん！」ってなった要素を備忘も兼ねてメモしておこうと思います． 正規化 英語ではNormalizationになる．似た言葉はScalingがある．通常，機械学習で使用する仮説関数$h_\Theta(x)$のパラメータ$\Theta$は複数ある．そして，学習データの情報もたくさんある．その中でも，スケールが異なるものがものが少なくない． たとえば，機械学習で物件の価格を予測しようとしたら，土地の面積や部屋数，階数，駅からの距離などが特徴量(Feature)となるだろう．これらはすべて単位が異なり，取りうる値も異なる． 集めてきたデータをそのまま学習させようとすると，収束速度が遅く，なかなか最小値に近づいてくれない．これは，土地の面積が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How am I doing with my score?
外れ値や欠損値のあるデータの解析
Kaggleハンズオン(タイタニック生死予測) spzcolab 201906
Machine Learning Design Patterns
AI搭載システムの品質保証 JaSST’18 Tokyo
ロジスティック回帰分析
機械学習の評価指標 ROC曲線 AUC
https://docs.conda.io/projects/conda/en/latest/commands.html