はてなブックマーク

この記事は何か lightGBMやXGboostといったGBDT(Gradient Boosting Decision Tree)系でのハイパーパラメータを意味ベースで理解する。 その際に図があるとわかりやすいので図示する。 なお、ハイパーパラメータ名はlightGBMの名前で記載する。XGboostとかでも名前の表記ゆれはあるが同じことを指す場合は概念としては同じ。ただし、アルゴリズムの違い（Level-wiseとLeaf-wise）によって重要度は変わるし、片方にのみ存在するハイパーパラメータもあるので注意。 lightgbm.readthedocs.io また、記事の構成などは以下を大いに参考にさせていただいた。 nykergoto.hatenablog.jp 網羅的には以下の記事もよさげ qiita.com この記事は何か そもそもGBDTとは ハイパーパラメータ どのような決定木

Textheroでできること 前処理 前処理メソッド clean 解析 ベクトル変換 可視化 散布図 ワードランキング ワードクラウド その他 参考 Textheroでできること PythonライブラリTextheroでは、自然言語処理を簡単にできる。機能としては下記が可能。 前処理・・・空白やURLの削除、大文字変換など 解析・・・文字列が人名か地名かなど(まだあまり機能がない） ベクトル変換・・・TF-IDFやPCAなど 可視化・・・ワードクラウドや散布図など なお、まだβ版なようでドキュメントが一部未整備だったり日本語対応をしていない模様。 github.com DataFrameを用いるサンプルコードのデータはTextheroのサンプル内にあるBBCのレポートを使う。 import texthero as hero import pandas as pd df = pd.read_

なにを書くか 岩波DS vol.3(因果推論)のp.91で傾向スコアを用いて「スマホアプリ利用時間」に対する「CM接触効果」を調べるようなデータについて。本文中では、傾向スコア(Propensity Score)を用いて平均CM接触効果(ATE)を測っているが、これはCM施策前後の比較としてDID(Difference In Difference)でもできるのでは？と考えて調べました。 岩波データサイエンス Vol.3 発売日: 2016/06/10メディア: 単行本（ソフトカバー） github.com では、そもそも どういうときに傾向スコアを用いて、どういうときにDIDを使うのか？ という疑問がわいたので、主に使い分けについて記載します。 なお、各手法の概要は以前書いた以下を参照。 knknkn.hatenablog.com knknkn.hatenablog.com 結論 それぞれ

初の機械学習プロジェクトを仕事でおこなった。その際に、各プロセスでこういう部分をみたり考えたりした方が良さそうだと思ったことをまとめる。 なお、機械学習プロジェクトの話は「仕事ではじめる機械学習」をはじめとして既に色々なところで議論されている*1。しかし、いくつか読んだがマクロな話が中心だったので、どちらかというとミクロ部分の機械学習モデルを構築する という部分を中心に書く。 なお、経験者から指摘されたり教えられた点を1度機械学習プロジェクトをやっていったんまとめただけなので、今後追加・修正される暫定版なことに注意。 ワークフロー 機械学習プロジェクトのワークフローはざっくりと以下のようになる。 1. 要件を定める やることとしては、 目的 スケジュール 期待値 どの程度の精度ならよいか どのようなアプローチを取るか を決める。 このあたりの話は、前述のように「仕事ではじめる機械学習」など

LightGBMを試してみる。 LightGBMはBoosted treesアルゴリズムを扱うためのフレームワークで、XGBoostよりも高速らしい。 XGBoostやLightGBMに共通する理論のGradient Boosting Decision Treeとは、弱学習器としてDecision Treeを用いたBoostiongアンサンブル学習のことを指す。 アンサンブル学習として、Boostingではなく、Bagging（の類似）だとランダムフォレストになるのかな？ knknkn.hatenablog.com www.codexa.net とりあえず使ってみるということで、理論などは置いとく。ちなみに下記がわかりやすかった。 qiita.com また、XGBoostの理論だが下記がわかりやすかった。XGBoostとLightGBMの違いは、決定木で学習するときにXGBoostではpr

SQLにおいて、サブクエリは可読性下がるからWITH句を使えという話をしばしば聞く。 ただ、最近あえてサブクエリで記述している人がいたので WITH句とサブクエリで何が違うか について考えてみた。 同じ抽出内容だが片方はWITH句、片方はサブクエリで書いた以下のSQLをベースに話す。 WITH句 WITH sub1 AS ( SELECT aaa ,bbb FROM tbl1 ) ,sub2 AS ( SELECT xxx ,yyy FROM tbl2 ) SELECT sub1.aaa ,sub1.bbb ,sub2.xxx ,sub2.yyy FROM sub1 INNER JOIN sub2 ON sub1.aaa = sub2.xxx ; サブクエリ SELECT sub1.aaa ,sub1.bbb ,sub2.xxx ,sub2.yyy FROM (SELECT aaa ,bb