はてなブックマーク

#はじめに ロジスティック回帰を理解するに当たっての前提知識となる、オッズとロジット変換について勉強したことをまとめました。 ##参考 オッズとロジット変換について理解するに当たって下記を参考にさせていただきました。 ロジスティック回帰分析(5)─ロジスティック変換の逆変換 統計分析を理解しよう-ロジスティック回帰分析の概要- StatQuest: Logistic Regression StatQuest: Odds and Log(Odds), Clearly Explained!!! #ロジスティック回帰 ##ロジスティック回帰概要 ロジスティック回帰はあるデータが特定のクラスに属する確率などを推計する際によく用いられるアリゴリズムです。 目的変数が量的変数のもの(ある月の店の売り上げなど)を予測する時には普通の線形回帰モデルが使用されますが、目的変数が質的変数のもの（このメールはス

#はじめに 本記事は機械学習を勉強していると必ず出てくる、最尤法によるパラメータ推定がテーマです。尤度推定という概念が中々頭に定着せずに苦しんだのでこちらにまとめることにしました。理解に苦しんでいる人の助けになれば幸いです。 ##参考 最尤法によるパラメータ推定の基礎を理解するに当たって、下記を参考にいたしました。 自然科学の統計学 最尤法によるパラメータ推定の意味と具体例 最尤推定量とは？初めての人にもわかる解説 StatQuest: Maximum Likelihood For the Normal Distribution, step-by-step! #最尤法によるパラメータ推定 ##尤度とは何か 「尤度」は下記のように表現することができます。 ある前提条件に従って結果が出現する場合に、逆に観察結果からみて前提条件が「何々であった」と推測する尤もらしさ（もっともらしさ）を表す数値を

はじめに 今回は次元削減のアルゴリズムt-SNE(t-Distributed Stochastic Neighbor Embedding)についてまとめました。t-SNEは高次元データを2次元又は3次元に変換して可視化するための次元削減アルゴリズムで、ディープラーニングの父とも呼ばれるヒントン教授が開発しました。今回はこのt-SNEを理解して可視化力を高めていきます。 参考 t-SNEを理解するに当たって下記を参考にさせていただきました。 Visualizing Data using t-SNE (元論文) t-SNE clearly explained StatQuest: t-SNE, Clearly Explained 【次元圧縮】t-SNE (t -distributed Stochastic Neighborhood Embedding)の理論 t-SNEの概要 t-SNEの源流

はじめに 最近、APIを用いて色々なデータを取得できないかを調べています。 Youtube Data APIを使用して動画の再生回数やいいね数などの情報取得する方法を調べて実践したので覚書的に記事にまとました。 参考 Youtube Data APIの使用に当たって下記を参考にいたしました。 PythonでYoutube動画検索 YouTube Data API の概要 Youtube Data API のリファレンス APIの使用準備 Youtube Data APIの登録 Youtube Data APIの取得にはまずGoogleアカウントが必要になります。 下記手順でYotube Data APIの登録を行い、APIキーを取得します。 Google Cloud Platformにアクセスした後新しいプロジェクトを作成 新たに作成したプロジェクトにチェックを入れた状態で「APIとサービ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ランダムフォレストのアルゴリズムについてポイントで理解できるようまとめてみました。数式は使っていません。決定木についての理解があることを前提に記載しているので、決定木のアルゴリズムについて知りたい方はこちらをご参照ください。 参考 ランダムフォレストを理解するに当たって下記を参考にさせていただきました。 英語ですがわかりやすく詳細に説明されているので、より詳しくランダムフォレストについて理解されたい方はご参照ください。 Random forests - classification description StatQuest:

はじめに k-means法について勉強した内容をまとめました。 最もベーシックなクラスタリングアルゴリズムです。 参考 k-means法の理解に当たって下記を参考にさせていただきました。 言語処理のための機械学習入門 (自然言語処理シリーズ)　高村 大也 (著), 奥村 学 (監修)　出版社; コロナ社 機械学習のエッセンス 加藤公一(著)　出版社; SBクリエイティブ株式会社 k-means法概要 k-means法とは何か k-means法は、まずデータを適当なクラスタに分けた後、クラスタの平均を用いてうまい具合にデータがわかれるように調整させていくアルゴリズムです。任意の指定のk個のクラスタを作成するアルゴリズムであることから、k-means法(k点平均法と呼ばれています。) k-means法のアルゴリズム k-mean法は具体的には下記のような工程を辿ります。 各点$x_{i}$に対

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今や自然言語処理の定番手法となっているWord2Vecについて勉強したことをまとめました。 そのアルゴリズムの概要を整理しライブラリを用いてモデルを作成しています。 参考 Word2Vecを理解するに当たって下記を参考にさせていただきました。 ゼロから作るDeep Learning ❷ ―自然言語処理編 斎藤 康毅 (著) 絵で理解するWord2vecの仕組み Efficient Estimation of Word Representations in Vector Space (元論文) gensimのAPIリファレンス

はじめに 今回はWord2Vecの発展としてDoc2Vecを勉強しました。 自然言語処理でよく求められるタスクとして「文書分類」や「文書のグルーピング(クラスタリング)」がありますが、それらを実施するには文書そのものの分散表現が必要となります。 Doc2Vecを用いればその分散表現を直接獲得することができます。 参考 Doc2Vecを理解するに当たって下記を参考にさせていただきました。 doc2vec(Paragraph Vector) のアルゴリズム Distributed Representations of Sentences and Documents (元論文) Doc2Vecの仕組みとgensimを使った文書類似度算出チュートリアル 自然言語処理技術の活用法　ーDoc2VecとDANを使って論文の質を予測してみた！ー Doc2Vecとは何か Doc2Vecは任意の長さの文章を固

#はじめに 「自然言語処理 Advent Calendar 2019」の7日目です。 以前投稿した「感情分析でニュース記事のネガポジ度合いをスコア化する」の記事内で課題に感じた、**「使える極性辞書あんまりない問題」**の解決を試みました。今回はfasttextを用いて極性辞書の自動生成に挑みます。 #参考 fasttextの学習の際に下記を参考にさせていただきました。 fastTextで自然言語(日本語)の学習モデルを生成する手順まとめ fastTextの学習済みモデルを公開しました #感情分析とは何か ##感情分析概要 感情分析とは様々なテキスト情報をテキストマイニングや機械学習の技術を用いて、その記述内容の感情を分析する手法です。ポジティブorネガティブの1軸の分析が最もオーソドックスな印象ですが、より細かい感情の分析に踏み込んでいるものもあります。 ##感情分析の方法 感情分析にお

はじめに Googleが量子超越性を実証したとのNewsが出て最近量子コンピュータが何かと話題だったので軽く調べていたのですが、誰でもお試しで量子コンピュータ(後述しますが、量子アニーリング方式の方でGoogleか開発を進めている方式とは異なる)を誰でもお試しで動かせる方法があったのでこちらにまとめました。 筆者は本領域の専門家ではないので、説明に誤りがある箇所があるかもしれません。その点はご了承ください。 参考 量子コンピュータの理解と、実際に量子コンピュータを動かすに当たって下記を参考にさせていただきました。 量子コンピュータが変える世界　寺部 雅能 (著), 大関 真之 (著)　出版社;　オーム社 D-wave Leap(量子コンピュータを動かすためにこちらで登録) Ocean Software Documentation(量子コンピュータを動かすためのPythonライブラリ) 量子

はじめに 文章の感情分析に挑戦したのでその内容をまとめます。 今回は公開されているニュースコーパスを材料にし、各記事のネガポジ度合いのスコア化に試みます。 参考 感情分析の実装に当たって下記を使用、参考にさせていただきました。 単語感情極性対応表 日本語評価極性辞書 感情分析とは何か 感情分析概要 感情分析とは様々なテキスト情報をテキストマイニングや機械学習の技術を用いて、その記述内容の感情を分析する手法です。ポジティブorネガティブの1軸の分析が最もオーソドックスな印象ですが、より細かい感情の分析に踏み込んでいるものもあります。 感情分析の方法 感情分析において最も一般的なのは文章に含まれる単語に着目する方法で、ポジティブ（ネガティブ）な文面にはそれ特有の単語が含まれるはずという考えに基づいています。そのような特定の単語を集めたリストを極性辞書と呼び、今回の感情分析ではこの極性辞書を用い