【機械学習】時系列データの前処理 -ラグ特徴量作成-｜はやぶさの技術ノート
こんにちは。 現役エンジニアの”はやぶさ”@Cpp_Learningです。仕事でもプライベートでも機械学習で色々やってます。 今回は時系列データの前処理（ラグ特徴量）について勉強したので、備忘録も兼ねて本記事を書きます。 時系列データとは 時系列について、Wikipediaでは以下のように説明しています。 時系列（じけいれつ、英: time series）とは、ある現象の時間的な変化を、連続的に（または一定間隔をおいて不連続に）観測して得られた値の系列（一連の値）のこと。 引用元：Wikipedia より直観的な説明をすると、データを可視化したとき横軸が時間なら、そのデータは時系列データといえます。 上図の縦軸が加速度センサの計測値、横軸が時間です。つまり、これも時系列データです。
特徴量と目的変数の関係性を可視化する（sklearnを使ってpartial dependenceを可視化する） | DevelopersIO
概要 当エントリは『機械学習 on AWS Advent Calendar 2019』の20日目のエントリです。 クラスメソッド 機械学習 on AWS Advent Calendar 2019 - Qiita クラスメソッド 機械学習 on AWS Advent Calendar 2019 ｜ シリーズ ｜ Developers.IO 先日、sklearnのversion「0.22」のリリースハイライトを見ていて「plot_partial_dependence」というAPIが気になり調べてみたので、結果をレポートします。 本エントリーの内容をざっくり言うと、「目的変数と特徴量の関係性」を可視化する際に便利なAPIである「plot_partial_dependence」が「sklearnの version0.22」でリリースされたのでその内容のレポートと、というものになります。 目的変数と
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
キホンから分かる製造業のAI事例 検査・検品に“AI研究員”も
SF作家ウィリアム・ギブスンの有名な言葉に、「未来は既に到来している。均等に配分されていないだけだ」というものがある。新しい技術が開発されたとき、それはあらゆる領域に均等に普及していくわけではない。 それはAI技術も同様で、地域や業界で導入の進み具合は異なる。業界ごとに見ると、それぞれどのような状況なのだろうか。今回は、製造業におけるAI活用例を紹介したい。 連載：よくわかる人工知能の基礎知識 いまや毎日のようにAI（人工知能）の話題が飛び交っている。しかし、どれほどの人がAIについて正しく理解し、他人に説明できるほどの知識を持っているだろうか。本連載では「AIとは何か」といった根本的な問いから最新のAI活用事例まで、主にビジネスパーソン向けに“いまさら聞けないAIに関する話”を解説していく。 （編集：村上万純） 製造業のAI導入状況 近年では製造業におけるAI・IoT技術の導入が進んでお
Deep Metric Learning 入門 - Qiita
1. Deep Metric Learning 概要 Metric Learningとは日本語で「距離学習」と呼ばれる方法で, 入力空間におけるサンプル同士の類似度が, ユークリッド距離やコサイン類似度などの尺度と対応するように別空間に埋め込むための変換を学習する方法です. この別空間のことを埋め込み空間や特徴空間といいます(以後, 埋め込み空間で統一). DMLは, この変換をDeep Neural Networkによって非線形に設計します. とりわけ入力が画像であれば, DNNとしてConvolutional Neural Networkが用いられます. 犬種を用いた例をあげます. $x_1$, $x_2$はチワワの画像を表しており, $x_3$は柴犬の画像を表しています. $x_1$と$x_2$は同じ犬種なので画像としての類似度が高いと言えます. 一方で$x_1$と$x_3$は異なる
Kaggleで勝つデータ分析の技術: 今までの機械学習本と全く違う最強の実務本 - nykergoto’s blog
この度光栄なことに著者の @Maxwell さんから「Kaggleで勝つデータ分析の技術」 を献本いただきました。 私事ですがこのような形で献本頂いたのは初めての経験だったのでとてもうれしくまた恐縮している次第です。 光栄なことに @Maxwell_110 さんからKaggleで勝つデータ分析の技術を頂きました〜 目次の充実が話題になってましたがサラッと見ただけでも濃い内容満載で読むのワクワクです😆 https://t.co/VTKmsR5Z6s pic.twitter.com/yuRS72YyTs— ニューヨーカーGOTO (@nyker_goto) October 2, 2019 「せっかく本を頂いたので書評をかこう!!」と思ってここ数日読み進めていたのですが、この本が自分がここ一年ぐらいで読んだ機械学習に関連する本の中でもずば抜けて内容が濃くまた情報量の多い本であったため「これは僕
ディープラーニングの研究が進めばAIのブラックボックス問題は解決しますか？
回答 (5件中の1件目) ディープラーニングは昔ニューラルネット（神経回路網）と言われていました。 モデルとなった神経回路網において、神経の結合、処理状態がわかれば考えていることがわかるのか？と言われればそれは無理ですね。これはブラックボックスです。 じゃ、考えていることがわかるようなニューラルネットは作れるかと問われれば、できないと断言はできない。 ちなみに三十年くらい前のAIの主要トピックスは。 エキスパートシステム これは専門家の知識を記述するもので内容はわかります。 ファジーシステム どこ行ったんでしょうね？ ニューラルネット でした。
［CEDEC 2019］ゲームの敵AIはAIに作らせる。「『強い』を作るだけが能じゃない！ディープラーニングで3Dアクションゲームの敵AIを作ってみた」聴講レポート
［CEDEC 2019］ゲームの敵AIはAIに作らせる。「『強い』を作るだけが能じゃない！ディープラーニングで3Dアクションゲームの敵AIを作ってみた」聴講レポート ライター：箭本進一 パシフィコ横浜で2019年9月4日〜6日，ゲーム開発者向けカンファレンス「CEDEC 2019」が開催されている。本稿では，AIにAIを作らせるというユニークな試みを紹介するセッション「『強い』を作るだけが能じゃない！ディープラーニングで3Dアクションゲームの敵AIを作ってみた」の模様をお伝えしたい。 「CEDEC 2019」公式サイト 4Gamer「CEDEC 2019」記事一覧 登壇したのはLuminous Productionsのプログラマー，上段達弘氏だ。スクウェア・エニックス入社後にゲームエンジン「Luminous Studio」の開発に携わり，「FINAL FANTASY XV」ではAI関連の実
[論文実装_その1] 畳み込みニューラルネットワークは何を見ているか - Qiita
1. はじめに PyTorchの使い方にも少し慣れてきたので、arXivに公開されているディープラーニング関連の論文の実装にチャレンジをはじめました。まず今回はVisualizing and understanding convolutional networksを実装してみました。本論文はディープラーニングの可視化の文献としてよく参照されているので1、以前から興味がありました。 本論文の流れは、前半でCNNの可視化手法を中心に取り扱い、後半では構築したモデルのパフォーマンスを取り扱います。有名な論文ということもあり、Web上で日本語の解説もこちらに公開されています。 本論文の概要に関しては上記リンクの解説の通りなので、本記事では上記解説であまり触れられていない提案された可視化手法の実装に重点を置いて解説してみようと思います。 2. 本論文の概要 CNNは画像分類において高い精度を実現する
![[論文実装_その1] 畳み込みニューラルネットワークは何を見ているか - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/2da067fe45c0ef4ccbb2784e78aa7d206ea749c0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU1JUFFJTlGJUU4JUEzJTg1XyVFMyU4MSU5RCVFMyU4MSVBRTElNUQlMjAlRTclOTUlQjMlRTMlODElQkYlRTglQkUlQkMlRTMlODElQkYlRTMlODMlOEIlRTMlODMlQTUlRTMlODMlQkMlRTMlODMlQTklRTMlODMlQUIlRTMlODMlOEQlRTMlODMlODMlRTMlODMlODglRTMlODMlQUYlRTMlODMlQkMlRTMlODIlQUYlRTMlODElQUYlRTQlQkQlOTUlRTMlODIlOTIlRTglQTYlOEIlRTMlODElQTYlRTMlODElODQlRTMlODIlOEIlRTMlODElOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTI2NzAwOWZiZjBjMmRiY2RhYTk3MjY4MTBjZDI4YzYz%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwb2tuLXl1JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xOTNhYTUyZjM2M2YyODE5MWJlNzY0NWVlMjE5YTYxNQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D6c25a15e74ade7019f0307efac1d2656)
【機械学習】学習プラットフォーム10選！ - Qiita
はじめまして、ますみです！ はじめに 最新の「機械学習の学習プラットフォーム」をさっくりとまとめてみました。 新しい情報は随時更新していきます。 目次（「機械学習」とAnd検索した時のヒット数順） Aidemy (7,430,000 件) AI academy (717,000 件) Amazon Machine Learning University (271,000 件) Elements of AI (141,000 件) Learn with Google AI (137,000 件) メディカルAIコース (135,000 件) Grow with Google (97,200 件) Chainerチュートリアル (65,000 件) Coursera (48,200 件) Codexa (26,100 件) それぞれの特徴 1. Aidemy (7,430,000 件) 圧倒的
ROC曲線とAUCについて定義と関係性をまとめたよ - Qiita
はじめに こちらの記事の内容を１枚絵にまとめたものになります。以下、文章で少しだけ補足します。 正解率系の各種指標について (参考)こちらの記事より引用させて頂きました。 クラス分類モデルの性能評価には様々な評価指標が存在しますが、上記の各種指標の計算で諸々算出されます。 用語を覚える際に混乱してしまいがちですが、以下の関係性さえ理解しておけば丸暗記しなくても思い出せます。 前一文字:正解か不正解かを示す -> T or F 後一文字:モデルからの予測分類を示す -> P or N 偽陽性は、FP(間違って陽性判定した数) / FP + TN(陰性全体の母数) 真陽性は、TP(正しく陽性判定した数) / TP + FN(陽性全体の母数) テキストでROC曲線とAUCをまとめる ①ROC曲線ってなんだ? クラス分類するためのスコア閾値を外部の変数として変化させ、偽陽性率を横軸に、真陽性率を縦
ディープラーニングも使える確率的プログラミングツール「Gen」を開発、MIT
ディープラーニングも使える確率的プログラミングツール「Gen」を開発、MIT：AIモデルやアルゴリズム作成の民主化に貢献 マサチューセッツ工科大学（MIT）の研究チームが開発した確率的プログラミングツール「Gen」を使えば、初心者でも簡単にAIに触れることができ、専門家は高度なAIプログラミングが可能になる。ディープラーニングよりも適用範囲の広いことが特徴だ。 【訂正：2019年7月4日10時50分 記事タイトルの一部に誤解を招く表現があり訂正しました。 訂正前：ディープラーニングを超える汎用AIツール→訂正後：ディープラーニングも使える確率的プログラミングツール】 マサチューセッツ工科大学（MIT）の研究チームは、2019年6月下旬に米アリゾナ州フェニックス市で開催されたカンファレンス「Programming Language Design and Implementation」で、新し
カプセルネットワークはニューラルネットワークを超えるか。 - Qiita
先日、こんな記事が上がっていました。 グーグルの天才AI研究者、ニューラルネットワークを超える「カプセルネットワーク」を発表 中々刺激的なタイトルですね。 ニューラルネットワークといえば、近年の機械学習分野を支える最も大きな技術の一つであると言えます。そんなニューラルネットワークを超えたカプセルネットワークとは一体何なのでしょうか。また、本当にニューラルネットワークを超えたのでしょうか。 本記事では、カプセルネットワークの仕組みを理解することで、従来のニューラルネットワークとの違いを比較していきます。 CNN カプセルネットワークに触れるにあたり、まず畳み込みニューラルネットワーク(Convolutional Neural Network; CNN)について理解しなければなりません。なぜなら、カプセルネットワークは、CNNをベースとして、CNNの欠点を克服するために生まれたモデルだからです
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac
DQN（Deep Q Network）を理解したので、Gopherくんの図を使って説明 - Qiita
概要 強化学習のDQN(Deep Q-Network)について理解したので、ゆるくGopherくんを使って説明を試みました。 DQNは人間を打ち負かしたAlphaGoでも使われています。 強化学習は書籍もネットの記事も難解なものが多いので、なるべく図で具体的に記載しました。 強化学習とは ある状態における最適な行動を学習する、機械学習の手法の一つ。 モデル化 ゴーファーくんがケーキを食べるために、最適な行動を学習することを例に考えてみます。 The Go gopher was designed by Renée French. エージェント ある環境で動くプレーヤー → ゴーファーくん 状態（status） エージェントが置かれている状況 $S=\{s_1,s_2,s_3 \cdots \}$ → どのマスにゴーファーくんがいて、どのマスにケーキがあるか？ 各マスに１〜９の番号をふる ゴー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「なぜ」を理解するAIの構築を、あの人工知能の第一人者は目指している
データハンドリングのためのSQL / SQL for data handling
Python Libraries for Interpretable Machine Learning
グーグルの天才AI研究者、ニューラルネットワークを超える「カプセルネットワーク」を発表
世界最速のスパコンが深層学習の最速記録、気象予測を新たな次元へ