機械学習の特徴量エンジニアリングをしていて行き詰まったから、主成分分析して2項目の角度を求めて追加してみたらこれが意外と精度向上につながって驚いている - Qiita
はじめに ...とあるデータで機械学習をすることになり、それなりの精度にはなったものの、そこから精度があがらずに困っていたら、ふと思いついたので、軽い気持ちで試してみたのがタイトルのとおり。 ちなみに万能ではありません。 時系列で繰り返しが多いものに向いていて、離散的なものでは結果がでないような印象があります。 また、こういうことをやってはいけない場面もあると思いますので、ご利用は自己判断で... もし、何か理論的に間違っているところなどがあれば、コメントでご指摘頂けると助かります。 以上、そんな感じでも良ければお試しください。 やっていることの概要 サンプルコード（追加前） 諸事情により実際のコードを示せませんので、処理内容は察して下さい。 以下のコードを使って学習と予測をしているとします。 # ライブラリ読込 import pandas as pd from sklearn impor
なぜn_estimatorsやepochsをパラメータサーチしてはいけないのか - 天色グラフィティ
ハイパーパラメータを探索するため、グリッドサーチやOptunaなどを利用することがあると思います。 しかし、「ハイパーパラメータ探索してみた」のようなQiita記事などでは間違って書かれていることも多いのですが、XGBoostやLightGBMの n_estimators ( num_boosting_rounds )やKerasの epochs をパラメータサーチの対象にしてはいけません。 いけません、というか、すごく無駄なことをしています。 なぜ、n_estimatorsやepochsを探索すると無駄なのか 理由はシンプルで、これらのパラメータは「大きい値で精度確認する過程で小さい値の結果も分かる」からです。 LightGBMのn_estimatorsは構築する決定木の数を表しています。 例として、n_estimators=5 (こんな小さい値で学習することはないですが、簡単のため)で
Pytorchの転移学習でフレンチブルドッグとブルドッグを見分ける - Qiita
はじめに 実家で飼っているフレンチブルドッグを散歩をしていると、おばちゃんに「あら、可愛いブルドッグね」とよく声をかけられます。 そこで、機械学習を使って、フレンチブルドッグとブルドッグを分類するモデルをつくろうと思います。 手順 モデルの構築は、以下の手順で行いました。 データの用意 モデルの学習（Jupyter Notebook） データの用意〜モデルの学習に際しては、ABEJA Platformを使いました。 データの用意 データは、Stanford Dogs Datasetを使います。 これは120の犬種カテゴリ、20,580枚の画像から成るデータセットです。 今回は、主にフレンチブルドッグとブルドックの分類に関心があるため、120犬種の中から、ブル系の犬種のデータのみを選定して使用します。 id 0: ボストンブル id 1: ブルマスティフ id 2: フレンチブルドッグ id
gensimに依存しない単語の類似度計算 - 機械学習・自然言語処理の勉強メモ
はじめに 前にgensimによる単語の類似度について書きました。 kento1109.hatenablog.com この手の記事はググればいっぱい出てくるので、gensimでモデルを作って単語の類似度を計算するのは難しくないと思います。 ただ、LSTMなどで学習した後の単語の分散表現の類似度を測定したい場合に、そのためだけにわざわざgensimのモデルを構築するのは面倒ですし、無駄かなと思います。 ある単語と別の単語の類似度を測定するだけの場合、そのベクトル同士で測定すれば良いですが、gensimのmost_similar関数のような「ある単語のベクトルに近いベクトルの単語をN個取ってくる」機能を実現する場合は少し実装が必要です。 １単語ずつループで回してコサイン類似度を計算する、なんてしていては計算速度が遅くなります。 そこで、scipyとnumpyのライブラリを活用した関数を考えました
Prophetを使って、30分でコウメ太夫の努力の結果をビジュアライズする。 - Qiita
私はコウメ太夫が比較的好きだ。 彼に遭った最初で最後の機会は、まだ私が小学生の頃。 ショッピングモールで**"徒然なるままに書き散らしたコウメ日記"**に興じる彼に出会った。 その時のネタは今でも覚えている。 「(チャンチャヵ チャン×2 チャチャンヵ チャン×2)×2 最近目が悪いので。 コンタクトにしてみたら。 自分の頭が禿げてる事を知りました。 チクショウ。」 子供ながらに思った。 **「消え去る日は近い」**と。 私の直感的予測は当たり、2年もしないまま彼は芸能界の表舞台から姿を消した。 そこから時は流れること十数年、Twitterで不死鳥の如く復活を遂げる彼を目撃した。 彼は2016年3月、何を思ったかチクショーネタを毎日つぶやく、 **"#まいにちチクショー"**キャンペーンを始動させた。 最初のtweetのいいね数はわずか160台と、始まりは静かだったが、 時間が経つに連れて
ChainerRL を Colaboratory で動かす - Qiita
TL;DR (英語版) https://colab.research.google.com/github/chainer-community/chainer-colab-notebook/blob/master/hands_on_en/chainerrl/quickstart.ipynb (日本語版) https://colab.research.google.com/github/chainer-community/chainer-colab-notebook/blob/master/hands_on_ja/chainerrl/quickstart.ipynb Colaboratory で、ChainerRLで動かした。 ChainerRL は、Chainerを使った深層強化学習ライブラリ。 Colaboratory は、Google が公開している無料で Jupyter noteboo
【組み合わせ最適化入門】カンファレンスのタイムテーブル決めをマッチング問題としてGoogle OR-Tools/Pulp/munkresで解く - フリーランチ食べたい
PyCon JPの運営メンバーとして自分は、昨年度のPyCon JP 2018のタイムテーブル決めに組み合わせ最適化問題を用いました。ちなみに最終的なタイムテーブルはアルゴリズムで算出された結果を人間がレビューして調整しています。 昨年度は時間の制約があり、いくつか反省点があったので今年は改善したいと考えています。 pyconjp.blogspot.com そういうわけで事前調査も兼ねて、カンファレンスのタイムテーブル決めを組み合わせ最適化問題として考え、それをPythonのライブラリを使って解く方法を書きたいと思います。 解きたい問題 カンファレンスのタイムテーブル決めでは下図のように部屋と時間が決まっていて、そこのトークを割り当てていくことが一般的です。 このとき、部屋の大きさ、時間帯やトークの内容が全く同一であれば何も考えずに隅から配置していけば良いのですが、現実には以下のような条件
不均衡なデータの分類問題について with Python – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト データマイニング界隈で人気のKDnuggetsで紹介されていた、”Dealing with Unbalanced Classes, SVMs, Random Forests, and Decision Trees in Python“のプログラムが残念なことに画像だったので、写経しました。せっかくなので、紹介させていただきます。内容としては不均衡データに対する処方の紹介で、プログラムはPythonで書かれています。ライブラリさえインストールできれば皆さんもすぐに実行で
DeepLabをMask R-CNNと比べてみた - じゅころぐAR
前回の続きで、物体検知＆セグメンテーションのライブラリ調査です。 最終的にはモバイルARで使う想定で評価しています。 ↓前回 jyuko49.hatenablog.com はじめに DeepLabの特徴 DeepLabの環境設定 ライブラリのインストール サンプル実行 コードを読んでみる テストスクリプトの作成 静止画（ローカルファイル） リアルタイム動画 性能比較 実行環境 Mask R-CNN 処理結果 処理時間（sec） DeepLab 処理結果 処理時間（sec） 結果まとめ 今後 はじめに Mask R-CNNをカメラでキャプチャしたリアルタイムの動画に適用したところ、すごくカクカクで思うように速度が出ませんでした。 GPU性能を活かせば速くなるらしいのですが、モバイルARで使うとなると、マシンスペックに頼るのは難しいです。 そこで代替のライブラリを探したところ、以下の動画を見つ
Object Detection with 10 lines of code
Part 2 of this tutorial for detecting your custom objects is available via this link. One of the important fields of Artificial Intelligence is Computer Vision. Computer Vision is the science of computers and software systems that can recognize and understand images and scenes. Computer Vision is also composed of various aspects such as image recognition, object detection, image generation, image
MLflow 〜これで機械学習のモデル管理から API 作成まで楽にできるかも〜 - Qiita
※下記に 1.0.0 版の記事書きました MLflow 1.0 リリース！機械学習ライフサイクルを始めよう！ - Qiita はじめに 機械学習をサービスとして運用するには以下のステップが必要となるのではないでしょうか。 （ちなみに仕事できかいがくしゅうしたことないので下記の 99 割は根拠無いです ） 要件定義 目的や目標値の確認 「機械学習のスコアが高い」と「要件を満たす」は等価じゃないことに注意 どう提供するのか 入力値がわかりきっているなら、夜間バッチで全通り予測するとか とはいえ大抵分からないから随時入力を受け取ったら予測するようにしたいのです API としてアプリケーションサーバーから呼ぶ ← 今回想定していること データの分析 EDA（探索的データ分析）ともいう 困ったら最低下記だけでもやれば良い気がしてます 【Pythonメモ】pandas-profilingが探索的データ
PyTorch (11) Variational Autoencoder - 人工知能に関する断創録
今回は、Variational Autoencoder (VAE) の実験をしてみよう。 実は自分が始めてDeep Learningに興味を持ったのがこのVAEなのだ！VAEの潜在空間をいじって多様な顔画像を生成するデモ（Morphing Faces）を見て、これを音声合成の声質生成に使いたいと思ったのが興味のきっかけだった。 今回の実験は、PyTorchの公式にあるVAEのスクリプト を自分なりに読み解いてまとめてみた結果になっている。 180221-variational-autoencoder.ipynb - Google ドライブ さっそく実験！いつものimport。 import os import numpy as np import torch import torch.nn as nn import torch.utils.data import torch.optim a
Kerasでカスタム損失関数を用いたモデルをロードするとValueError | Shikoan's ML Blog
Kerasで損失関数を独自に定義したモデルを保存した場合、load_modelで読み込むと「ValueError: Unknown loss function」とエラーになることがあります。その解決法を示します。 参考：https://github.com/keras-team/keras/issues/5916 テストデータ エラーを再現させるための問題設定として、以下のような関数で示されるデータを作ります。 $y = 2x \qquad (x<0)$ $y = 4x \qquad (x\geq 0)$ グラフで書くと次のようなデータです（グラフはさらに上の式にノイズを乗せています）。 このグラフは以下のコードのplot_data()を実行したものです。 import numpy as np import matplotlib.pyplot as plt # データの作成 def cre
Facebookの高速ベクトル計算ライブラリfaissをレコメンドAPIに使ってみる - Qiita
関。関連。関連といえばレコメンドですね。 というわけで今回はレコメンドエンジンに利用できそうな技術を紹介します。 MF系アルゴリズムの動的スコア計算 リブセンスでは以前から機械学習を用いたレコメンドエンジンを開発・運用しています。 ユースケースによりけりですが、最近ではMatrix Factorization(MF)系のアルゴリズムの利用が盛んです。 Non-negative matrix factorization - Wikipedia MFでは生成したユーザ・アイテムのベクトルの内積としてレコメンドのスコアを求めますが、ユーザやアイテムの数が多い場合、全てのユーザ×アイテムの組合せについてスコアを事前計算すると保持するデータサイズが非常に大きくなってしまいます。 このような場合はユーザ・アイテムのベクトルを別個に保持し、入力に応じて動的にスコア計算とソートを行ってレコメンド結果を返す
QUBOを使って日本地図の彩色問題やってみた - Qiita
量子アニーリングをする場合、QUBOというものを作って、それをイジング模型に変換することが多いようです。 日本地図を四色に塗り分けるためのQUBOを作って、古典アニーリングをやってみた話をします。 #量子アニーリング? 組み合わせ最適化問題を解く確率的アルゴリズムの一種です。 解きたい問題をイジング模型という強磁性体を模したモデルに置き換えて、量子的な効果を含む項を付け加えてコンピュータでシミュレーションすれば、ある種の問題でよい結果が得られる、という論文が昔にあったようです。 これが元々の量子アニーリングです。当時は、量子コンピュータで解くといった話は無く、普通のコンピュータで解くアルゴリズムでした。 ところが、ある日、D-Waveという会社が、実機を使って高速にイジング模型を解く機械を作ってしまいました。 量子アニーリングをする専用機ができてしまったわけですね。 実は、普通に古典コンピ
転職してからやってること - 兼雑記
転職してからやってるプロジェクトについて何か書いてみようかと思います。 https://github.com/pfnet-research/chainer-compiler/ 公式ぽいブログも書きました。 https://research.preferred.jp/2019/01/chainer%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E3%81%95%E3%82%89%E3%81%AA%E3%82%8B%E9%AB%98%E9%80%9F%E5%8C%96%E3%80%81%E3%83%87%E3%83%97%E3%83%AD%E3%82%A4%E3%81%AE%E7%B0%A1%E4%BE%BF%E5%8C%96%E3%80%81/ あまり綺麗にまとまった文章を書ける気がしないので、つらつらと時系列で思い出して行こうかと思います。 転職前、 define
闇のkerasに対する防衛術 - Qiita
他のDLライブラリを勉強するのが面倒という理由でkerasで実装されていないネットワークを組んではいけないというアンチパターンの話。つまり闇のkerasに対する防衛術の話です。 kerasでゴリゴリ学習コードを書いてはいけない kerasはLSTMが数行で書けたり、vggなどの有名なモデルが揃っている、便利なラッパーとなっていますが、kerasで実装されていない論文のコードを書くことは極力避けましょう keras以外に慣れていなくてもです。 とっととtensorflowかpytorchを勉強してください。 理由 通常のフィードフォワードな分類or回帰のネットワーク（全結合、CNN、autoencoderなど）や既にラッパーが用意されているLSTMは瞬時に実装できますし、パラメータチューニングも簡単なので是非kerasを使いましょう ただし以下のような場合は絶対にkerasを使わないでくださ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ハノイの塔を強化学習で解いてみた - Qiita
Tensorflowで実装されたBayesian Layersを試してみる - Qiita
EdwardとEdward2, TensorFlow Probabilityの相違点 - Qiita
