TF-IDFとword2vecを結合する - Qiita
fnc-1の優勝モデルでは、TF-IDFやword2vecをはじめ、5種類の特徴量が結合されています（さらに、deep learningとのアンサンブルモデルを構築している)。これを参考に、TF-IDFとword2vecを結合したら文書分類の精度が上がるのかを検証します。(ただし、ここではword2vecというより、nnlm-ja-dim128を使います) 事前準備 データはスクレイピングによって取得しましたが、著作権などもあるので、ここでは公開しません。しかし、手順だけ示しておきます: 二値分類モデルとして定義し、カテゴリー1とカテゴリー2を定義する。 カテゴリー1を提供しているニュースサイト数種から記事数千に対するタイトルと本文を抽出。 カテゴリー2を提供しているニュースサイト数種から記事数千に対するタイトルと本文を抽出。 Jupyter notebookで実行 データのロード。 In
なんだかよくわからないCSVファイルで機械学習（回帰）を試すまでにしたことまとめ - Qiita
はじめに データの分析を依頼されたのですが、秘匿情報が含まれるということから全然情報を頂けないままファイルを受け取り、初期診断をすることとなったので、その手順をまとめてみました。 前提条件として、これからこのような依頼が継続しそうなので、他のツールを使って確認するというのではなく、初期診断用のスクリプトを作成することを目的とします。 ファイルのエンコーディングを確認 まずはファイルを開くためにエンコーディングを確認します。 ここでは、日本語圏を対象としているので、日本語を扱うエンコーディングのみを試します。 f = lambda d, e: d.decode(e) and e encs = ["utf-8", "shift-jis", "euc-jp", "iso2022-jp"] datfile = open("sample.csv", "br") data = datfile.read
文系人間が機械学習をざっくりと説明してみる - Qiita
イントロ 文系・初心者の私が機械学習について少し学んだのでざっくりとまとめてみました。 初心者向けにざっくりとイメージだけ掴む感じで書いたのと独学なのとで間違っていることがあればご指摘ください。 この記事では下記について書きます。 ・機械学習ができるライブラリ ・scikit-learnでできること ・scilit-learnの使い方 そもそも機械学習とは 機械学習については下記のサイトが参考になりました。 https://qiita.com/taki_tflare/items/42a40119d3d8e622edd2 人工知能を形成している一部分という感じでしょうか。 機械学習の一部にニューラルネットワークというものがあります。ニューラルネットワークはざっくりいうと「人間の脳の機能を真似して作られた計算処理」という感じらしいです。ニューラルネットワークには入ってきたデータの特徴を絞り込ん
pythonで、不均衡データを識別が難しいサンプルを残してundersamplingしたいときは、imbalanced-learnのNearMissを使う - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? intro 分類タスクなどで、クラスごとのサンプル数が極端に偏っていることがあります。 そういった場合、一つの方法としてresamplingを行うことがあります。 どちらかといえばoversamplingを使うことのケースが多いかと思うのですが、 以下のようにundersamplingを使いたいケースがありました。 全部を使ってトレーニングするには、データが多すぎる。 偏りが非常に大きいため、Majority classを大幅に減らしたい 線形で分けにくいケースがある Majority classのうち明らかに識別できそうなものを除いて
scikit-learn入門 - Qiita
公式サイト 一般的な評価 下記の記事にもある通り、機械学習のライブラリの中ではやはり随一の知名度を誇り、アルゴリズムのバラエティにも富んでいます。 また、使い方も非常に簡単で、理論を勉強しながら実際にそれを現実的な問題に適用してみるということを簡単に行えるようにしてくれるライブラリです。 https://www.quora.com/What-are-the-best-open-source-machine-learning-libraries-written-in-Python 機械学習のモデル構築プロセス 画像引用：https://www.cloudpulsestrat.com/posts/googles-new-cloud-automl-broader-role-automated-machine-learning-ai データ・課題の整理をする ちょっと長くなってしまいますが、一番大
Yet another 機械学習で株価を予測する (1) - Qiita
1. はじめに これまでもQiitaには株価を機械学習/ディープラーニングで予想する、という記事が投稿されてきました (例えば参考文献の1)。果たしてそれに付け加えることがあるのか、という気もしますが考え方の整理も兼ねて投稿したいと思います。主な方針としては 日経平均(N225)がその日上がるか、下がるかを予測する N225を含む指標の、始値 (Open)、高値 (High)、安値 (Low)、終値 (Close)のみを使う 機械学習のライブラリとしてはscikit-learnを使う です。1については今日の終値が昨日の終値より安いか高いか正確に予測できたとしても、それで利益を出すのは難しそうだからです。ただし予測の難易度は上がります(70%の精度は夢のまた夢です)。2はデータの入手性によります。3はディープラーニング系のライブラリ(tensorflowなど)は使わないということです。これ
機械学習でサザエさんとじゃんけん勝負（SVM編） - Qiita
はじめに 先日、「サザエさんじゃんけん研究所」1様の「サザエさんじゃんけん白書」が話題になりました。 日曜夕方の代表的なアニメ「サザエさん」の次回予告で行われる「じゃんけん」を記録し、傾向と対策をまとめているという恐ろしい資料です。 1991年11月の開始から現在に至るまで、26年以上のじゃんけんの手が毎週分（執筆時点で1349回！）全て記録されているというから驚きです。2 さらに「サザエさんじゃんけん研究所」様では、傾向と対策を基にサザエさんと毎週じゃんけん勝負をしていて、1996年1月～2018年8月19日までの22年以上で、通算勝率70.4%を挙げているのです。3 前回、ニューラルネットワークを使ってサザエさんの手を予測する試み4を行ったところ、1996年1月～2018年8月12日の期間で通算勝率71.51%が得られました。 ある回の予測時には、それ以前の回の結果のみ使えるという（現
digdag on docker による機械学習モデルの継続的学習 - Qiita
こんにちは、CET というチームに所属している @kojisuganuma です。 普段は機械学習エンジニアリングと Splatoon2 をメインでやってます。 本記事では、個人的に勉強中の OSS ワークフローエンジン digdag を使って、機械学習モデルの継続的学習を実現してみたいと思います。ポイントは以下の通り。 digdag server, PosgreSQL を docker コンテナで動かす digdag のタスクを digdag server とは別コンテナの上で動かす scikit-learn を使って機械学習モデリング scikit-learn の学習済みモデルを cloudpickle でシリアライズ 対象読者 docker を使って digdag server を構築したい方 機械学習モデルの継続的学習を実現したい方 scikit-learn を使って機械学習モデリ
Pythonで英文類似記事検索アルゴリズム : TF-IDF, Cosine類似度 - Qiita
概要 急にリコメンドに興味を持ちまして、ニュースの類似記事検索アルゴリズムを試してみました。 アルゴリズムは、自然言語分野ではよく使われているTF-IDFとCosine類似度を用いました。 TF-IDFとは 文章をベクトル化するアルゴリズムの一つです。 TF : Term Frequency。単語の出現頻度。 IDF : Inverse Document Frequency。直訳すると「逆文書頻度」。 珍しい文字が入ると値が大きくなる為、単語の「希少性」を表しているとも言えます。 各文章の単語を抜き出し、全ての単語に対してTF(その文章が保持する単語数)とIDF(希少性)を掛け合わせたベクトルを作成します。このベクトルを用いることで、文章を用いた情報検索やクラスタリングが可能になります。 詳しくはこちらの記事などが分かりやすいです。 Cosine類似度とは 2つのベクトルがどれくらい同じ向
FunctionTransformer
FunctionTransformer# class sklearn.preprocessing.FunctionTransformer(func=None, inverse_func=None, *, validate=False, accept_sparse=False, check_inverse=True, feature_names_out=None, kw_args=None, inv_kw_args=None)[source]# Constructs a transformer from an arbitrary callable. A FunctionTransformer forwards its X (and optionally y) arguments to a user-defined function or function object and returns
2.5. Decomposing signals in components (matrix factorization problems)
2.5. Decomposing signals in components (matrix factorization problems)# 2.5.1. Principal component analysis (PCA)# 2.5.1.1. Exact PCA and probabilistic interpretation# PCA is used to decompose a multivariate dataset in a set of successive orthogonal components that explain a maximum amount of the variance. In scikit-learn, PCA is implemented as a transformer object that learns \(n\) components in
Nested versus non-nested cross-validation
Note Go to the end to download the full example code. or to run this example in your browser via JupyterLite or Binder Nested versus non-nested cross-validation# This example compares non-nested and nested cross-validation strategies on a classifier of the iris data set. Nested cross-validation (CV) is often used to train a model in which hyperparameters also need to be optimized. Nested CV estima
pythonでgensim+scikit-learnを使って文書分類してみた - Qiita
はじめに 文書分類をしたくなったが、fasttextによる自動分類が思ったように上手くいかなかった その理由は教師データの件数が少なかったかもしれないと考えた 少ない教師データでも上手くいく自動分類が欲しい 少し調べてみたら、gensim+scikit-learnでも分類できそうなので、そちらも試すことにした 前提 Windows 10 pro バージョン1803 Windows Subsystem for Linux(WSL)版ubuntu バージョン8.04 LTS (Bionic Beaver) Python 3.6.5 :: Anaconda, Inc. gensim==3.5.0 scikit-learn==0.19.1 mecab-python3==0.7 全体の流れ Linuxを用意する pythonを入れる 日本語コーパスを手に入れる 日本語パーサを入れる 分類ライブラリを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベイズ最適化シリーズ（2） －アンサンブル学習（Voting）の最適化－ - Qiita
散布図・重回帰分析の自分的まとめ - Qiita
機械学習 〜 データセット生成 〜 - Qiita
機械学習 〜 線形モデル（分類） 〜 - Qiita
機械学習で株価予測～scikit-learnで株価予測②：特徴量選択とデータの標準化、正規化～
GitHub - caioaao/wolpert: A stacked generalization framework. Built on top of scikit learn
機械学習で株価予測～scikit-learnで株価予測①～