機械学習による株価予想の十八手 - Qiita
1. 株価はサプライズによって動く 株式相場には常にプロの投資家がうごめいており、各銘柄の各種業績数値を常に予想して投資活動をしている。そんな状況下において、仮に「売上が前年比2倍」という決算が発表されても、株価が2倍になるわけではない。むしろ3倍が予想されていたのに、2倍だったら失望売りとなる。つまり事前予想と比較してこそ意味があり、staticな値や過去実績との比較を特徴量にすることはあまり意味がない。事前予想と決算の乖離、または前回予想と今回予想の乖離こそが意味のある特徴量であると言える。 2. 業績数値の単純な変化率では株価インパクトは測れない 営業利益の事前予想100億円に対し、決算が200億円の場合、 変化率 = （ 実績 - 予想 ) / 予想 の計算式を使うと、変化率は100%となる。 この変化率を特徴量にするのは一見もっともらしいが、株においてはこれは使いづらい。 営業利
SHAPで因果関係を説明できる？ - Qiita
はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開
(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
【Python】東京23区の中古マンション販売価格予測をやってみた - Qiita
参考文献 今回、以下サイトを参考にさせていただき、また大変勉強させていただきました。感謝申し上げます。 SUUMO の中古物件情報を Tableau で分析してみる ～データ収集編～ SUUMO の中古物件情報を Tableau で分析してみる ～データ予測編～ 機械学習を使って東京23区のお買い得賃貸物件を探してみた 〜スクレイピング編〜 オープンポータル （オープンデータ活用サイト、競売、人口、駅） 1.準備:パッケージインポートなど 1.1 Google Driveへのマウント、パッケージのインポート ここでは、Google CplaboratoryからGoogle Driveへファイル書き出し、読み込みをするための準備や、今回使うパッケージのインポートを行いました。また、後ほどデータ加工用の関数群も予め定義しておきます。 #ドライブ設定 PATH_GMOUNT='/content/
クラスタリングタスクで機械学習の流れを体験
はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 今回は機械学習への足がかりとなるような記事を書きたいと思ったので、クラスタリングタスクを通して機械学習の流れを大雑把に書いていこうと思います。 機械学習における基本的な データ分析 -> 予測 -> 評価の流れを体験しつつ、読んでいる間に気になるところがあればそこを深掘りしていくなど、機械学習への興味/勉強の第一歩としていただければと思います。 クラスタリングとは クラスタリングは機械学習における教師なし学習の一種で、データの類似度でデータをグループ(クラスタ)分けする手法のことを指します。 データに対して答えが存在する教師あり学習とは異なり、各データに答えがない状態で学習されるので、クラスタリングによってまとめられたデータのグループが何を示しているのかは解釈が必要となります。 しかしその分、ク
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog
はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが
グラフ機械学習のヘルスケア分野への応用の最前線 - Ridge-institute R&D Blog
こんにちは，株式会社Ridge-iのリサーチチームの@machinery81です． 今回はグラフデータを扱う機械学習のヘルスケア分野への応用のお話を紹介します． TL;DR 機械学習・データマイニングの応用先としてのヘルスケア分野 万能薬から精密医療へ 電子カルテ 創薬 患者調査 ヘルスケア分野を繋ぐグラフマイニング グラフ上の機械学習 古典的なアプローチ グラフの統計量に基づく手法 ランダムウォークに基づく手法 行列因子分解／テンソル因子分解に基づく手法 Graph Neural Network Graph Convolutional Network 創薬分野へのグラフデータの応用 ターゲットの識別 分子特性予測 グラフマイニングによる既存薬再開発 薬品と疾患の相互作用の分析 Combination repurposing 今後の見通し その他の話題 さいごに 参考文献 TL;DR 機械
PyTorchチュートリアル（日本語訳版）
[1] 本サイトでは、「PyTorch 公式チュートリアル（英語版 version 1.8.0）」を日本語に翻訳してお届けします。 [2] 公式チュートリアルは、①解説ページ、②解説ページと同じ内容のGoogle Colaboratoryファイル、の2つから構成されています。 両者は基本的には同じ内容です。本サイトでは 「Google Colaboratoryファイル」で、チュートリアルの日本語訳を用意しております(未完成分は順次公開いたします)。 [3] 本サイトのチュートリアルの閲覧および実行は、Google Colaboratory環境を前提とします。 （本サイトのライセンスはこちらとなります） [4] 本サイトに掲載している、日本語チュートリアルをまとめて配置したGitHubはこちらとなります。 [0] 目次（table of contents） 日本語解説へ [1] テンソル（T
AzureMLは機械学習をこれから勉強する人にとって最高の環境だった - Qiita
ブルベースの諫山です。 先日、機械学習の勉強会を職種・役職関係なく、非エンジニアも含め20名以上で開催しました。会社として今後、機械学習に力を入れていくに際し、共通言語を持つ必要性を感じたため、開催に至りました。 その研修ではAzureMLを使って簡単な回帰モデルの作成ができることをゴールとして課題設定したため、営業メンバーでも問題なく課題をこなすことができました。AzureMLでなければ、営業メンバーはきっと課題を完成させることはできなかったでしょう。今回はAzureMLが初学者の学習プラットフォームとしては最適である理由などをお伝えしたいと思います。 AzureMLを選んだ理由 エンジニアのみであれば、Pythonでコードを書くことも出来たでしょう。しかし、今回は営業メンバーも含まれているため、コードを書かせることは出来ません。一方、AzureMLはドラッグ＆ドロップで機械学習のステッ
光の物理現象でニューラルネットワークを実現できることを埼玉大が実証
埼玉大学は9月29日、脳のような高度かつ柔軟な情報処理を光の物理現象に担わせることで、ニューラルネットワークのような機械学習が可能となることを実証したと発表した。 同成果は、金沢大学 理工研究域機械工学系の砂田哲 准教授、埼玉大大学院 理工学研究科数理電子情報部門の内田淳史 教授、同・菅野円隆 助教らの共同研究チームによるもの。詳細は、米光学会誌「Optics Express」に掲載された。 近年、脳のように高度で柔軟で知的な情報処理が可能な高効率コンピュータの実現に向けた、革新的なコンピューティング技術の研究開発が世界各地で進められている。これまで、100万個の人工ニューロンを実装したニューラルネットワークなどが開発されて注目されているが、電子型デバイスとしての実装であることから、その処理速度やエネルギー効率の点で限界が指摘されている。 それに対し、最近になって期待が寄せられているのが、
エクストリーム「人類最強ボードゲームAI」AlphaZeroアルゴリズム入門 - Qiita
はじめに 僕が、この本に出会ったのは、かれこれ1ヶ月前のことになる。 それまでは、自分は「AlphaZero」のAの字も知らない「AlphaZero童貞」だった。 AlphaZero 深層学習・強化学習・探索 人工知能プログラミング実践入門 この本にであって、気づいたらAlaphaZeroを自分で実装するところまでいけた！ わかりやすい、大変オススメの本です。 (※この記事の図は、この本から引用しています。) この記事を読むことで、 「AlphaZeroのアルゴリズム概要はつかめた。」 というところまで、噛み砕いてエクストリームに説明できればと思います。(中田敦彦風) AlphaZeroのすごいところ まず、AlphaZeroをかいつまんで話すと ルールを与えるだけで、自分のコピーとひたすら対戦を繰り返し勝手に学習して、進化していく(強化学習と呼びます) いろんなゲームに転用可能 十分に学
深層学習入門 ~順伝播編~ - Qiita
対象者 深層学習シリーズの記事です。 前回の記事はこちらです。 ここでは順伝播について、まずはスカラでの理論を説明して、それから行列に拡張します。 前回記事で紹介したコードに追加していったり修正していく形となるので、まずは前回記事からコードを取ってきておいてくださいね〜 次回の記事はこちら 目次 スカラでの順伝播 スカラでの順伝播理論 スカラでの順伝播実装 行列での順伝播 行列での順伝播理論 行列での順伝播実装 __init__メソッドの実装 行列演算について 行列和 行列の要素積 行列積 転置 スカラでの順伝播 ここでは、スカラ(実数)での順伝播の理論と実装を説明します。といっても、だいたい基礎編で既に述べている通りです。 スカラでの順伝播理論 まずは理論ですね。 このニューロンモデルから見ていきます。 これを定式化すると$f(x) = \sigma(wx + b)$となることはここで述
深層学習入門 ~基礎編~ - Qiita
対象者 深層学習について勉強始めたいな〜って考えている人向け。 いきなりライブラリを利用して何か作るのも手ですが、やっぱりちゃんと理解するには「車輪の再発明」しないといけませんね〜 本記事は深層学習の基礎理論メインですが、できるだけ数式を少なくして図メインでざっくり説明します。 実装などは次回以降順番にやっていこうと思います。 次回の記事はこちらです。 目次 深層学習とは ニューロンモデル レイヤーモデルとニューラルネットワークモデル 活性化関数 シグモイド関数(sigmoid) tanh関数 ReLU関数 ソフトマックス関数(softmax) 計算グラフ 足し算の計算グラフ 掛け算の計算グラフ 割り算の計算グラフ 指数関数の計算グラフ 底がネイピア数の指数関数の計算グラフ 対数関数の計算グラフ 底がネイピア数の対数関数の計算グラフ sigmoid関数の計算グラフ sigmoid関数の順伝
【入門】強化学習 - Qiita
強化学習をざっと勉強した際のまとめです。 入門者の参考となれば幸いです。 強化学習とは 強化学習の位置付けはこのようになります。 【用語】 - 教師あり学習 - 教師データとして入力とその出力がある - 回帰や分類問題 - 教師なし学習 - 教師データがない - データの特徴を抽出したり、表現変換 強化学習では何をしていくかというと、 「将来の価値を最大化するような行動を学習」 していきます。 強化学習のモデル 強化学習の基本的な仕組みは次のようになっています。 以下の$t$は任意のステップを示します エージェント（意思決定者）: 意思決定と学習を行う主体 環境: エージェントが相互作用を行う対象 状態: 環境がエージェントの行動を反映した上で、エージェントに与える状況, $s_t$ 行動: $a_t$ 報酬: $r_t$ 方策: $π_t(s, a)$:確率分布で表される行動戦略。任意の
動画で学べる機械学習/AIまとめ – ツクレル – 自分自身のためにプログラミングしよう
機械学習をこれからはじめるにあたって、基礎知識も何もなくはじめても効率的とはいえません。便利なライブラリによって、数学の知識をしっかり押さえる必要はなくなってきていますが、それでも基本的な考え方は覚えておく方がいいでしょう。 今回はそんな機械学習について学べる動画を紹介します。 機械学習入門 01 機械学習とは – YouTube サイボウズ・ラボの中谷さんによる機械学習講座です。 機械学習入門 01 機械学習とは – YouTube 機械学習入門 02 線形回帰を学ぶ 機械学習入門 03 ディープラーニング入門 機械学習入門 04 総まとめ 上記4本構成になっています。 機械学習入門 01 機械学習とは – YouTube 【機械学習】AIとは？ | 機械学習とAIの関係/機械学習入門 – YouTube AIとは、からはじまって各技法について細かく解説されています。 AIとは？ | 機
Tensorflowの転移学習サンプルを機械学習の初心者がギリ分かるところまで噛み砕いてみた | DevelopersIO
せーのでございます。 機械学習というワードはかなり一般化され、エンジニアじゃない方なら「ああ、自動運転とかのやつでしょ」くらいに浸透しています。 特にエンジニアの方であれば「教師あり学習」「教師なし学習」「強化学習」がどういうものを指すか、というのはぼんやりイメージできるかと思います。 そんな機械学習、せっかくなので始めてみたい、とざっくり中身を見出した、、、くらいの方が今日のエントリーの読者対象となります。 今日のテーマは「転移学習」です。 転移学習のやり方を知りたい。最短で。 転移学習、というのはざっくり言うと「元々学習されているモデルを使って自分たちの使いたい方向に再学習すること」です。 機械学習をやりだすと必ず当たる壁が「データが足りない」というものです。特にディープラーニングを使って例えば画像の分類をしたい、とした場合、精度を出すには最低でも数百枚、一般的には数千枚〜数十万枚とい
機械学習の実装とアルゴリズムをバランス良く学べる書籍を執筆しました - Qiita
scikit-learnライブラリを用いて、機械学習の実装とアルゴリズムをバランス良く学んでいただく書籍を執筆しました。 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 既に発売開始しています。 機械学習の ・各種アルゴリズムの実装 ・それぞれのアルゴリズムの動作の仕組み これらを学んでみたい方に向けて執筆いたしました。 ご活用いただければ幸いです。 昨年書いた書籍 つくりながら学ぶ! PyTorchによる発展ディープラーニング（小川雄太郎、マイナビ出版） の、機械学習版のような位置付けです。 本記事では、 ・本書を書いたモチベーション ・本書の概要 ・本書の目次 を紹介いたします。 本書を書いたモチベーション 本書
機械学習で使う数学入門(社内勉強会) | DevelopersIO
社内勉強会で 機械学習で使う数学入門 の話をしました。 話した内容をブログにします。 目次 AI/ML/DL 人工知能(AI) 機械学習(ML) 深層学習(DL) 機械学習(モデル) MLの問題例 どう機械学習の問題を解くか 機械学習(目的関数) どのようにモデルの良し悪しを測るか 目的関数 目的関数の具体例1 目的関数の具体例2 微分 そもそも微分とは 微分でできること 勾配降下法 微分 まとめ 線形代数 線形代数とは 線形代数でできること 線形代数 まとめ 確率・統計 確率変数・確率分布 条件付き確率 ベイズの定理 混同行列(Confusion Martix) 確率・統計 まとめ 数学をどれくらい学ぶか とりあえず読もう 数式 微分 線形代数 確率・統計 自分の数学の勉強方法 Chainerチュートリアル Project Euler(プロジェクトオイラー) おわりに 参考 AI/ML/
［活性化関数］シグモイド関数（Sigmoid function）とは？
用語「シグモイド関数（Sigmoid function）」について説明。座標点（0, 0.5）を基点（変曲点）として点対称となるS字型の滑らかな曲線で、「0」～「1」の間の値を返す、ニューラルネットワークの活性化関数を指す。 連載目次 用語解説 AI／機械学習のニューラルネットワークにおけるシグモイド関数（Sigmoid function、厳密には標準シグモイド関数：Standard sigmoid function）とは、あらゆる入力値を0.0～1.0の範囲の数値に変換して出力する関数である。 図1に示すように、座標点(0, 0.5)を基点（変曲点）として点対称で、S（＝ς：シグマ）字型曲線のグラフになるため、「シグモイド関数」と呼ばれる。 ニューラルネットワークの基礎となっている情報処理モデル「パーセプトロン」（後日解説）では「ステップ関数」という活性化関数が用いられていた。しかし、「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
