Python tools for data visualization¶ Welcome to PyViz! The PyViz.org website is an open platform for helping users decide on the best open-source (OSS) Python data visualization tools for their purposes, with links, overviews, comparisons, and examples. Contents: Overviews of the OSS visualization packages available in Python, how they relate to each other, and the core concepts that underlie them
一発目から自由研究をしていないのですが、ご容赦ください。笑 lightgbmのカテゴリカル変数の扱い等がチーム内で話題になったため、メモも兼ねてまとめました。 本題 話題となったのは、以下の3点です。 label encoding1して入力するのと、カテゴリカル変数として入力する違い trainに存在しないが、testには存在するカテゴリーの扱い 欠損値の扱い これより、順に説明します。 1. label encoding[^1]して入力するのと、カテゴリカル変数として入力する違い label encodingして入力すると、普通の数値型変数と同様に閾値との大小関係で判定されます。カテゴリカル変数として入力すると、marugariさんがブログで紹介しているように変数A (is or is not) category_xで判定されるようです。ただ、カテゴリーに順序性がある場合は、カテゴリカル
Browse State-of-the-Art 10,955 benchmarks 4,908 tasks 131,075 papers with code
特徴量選択とは Borutaとは とりあえず使ってみる ベースラインの判別 Borutaの判別 Borutaのアイデアの概要 Borutaのアルゴリズム 1. 判別に寄与しないはずの偽の特徴量を作る。 2. 偽の特徴量と一緒にランダムフォレストを訓練。 3. 各特徴量の重要度と偽の特徴量の特徴量を比較。 4. 複数回比較し検定を行うことで、本当に重要な特徴量のみを選択。 検定について 1. 棄却したい帰無仮説と受容したい対立仮説を用意する。 2. 観測値から検定統計量Tを定める。 3. 帰無仮説が正しいとしてTの分布を求める。 4. 十分小さい有意水準αを定め、帰無仮説が正しいときにとなる領域を棄却域とする。 5. 観測されたTがに入っていたら対立仮説を受容し、入っていなければ帰無仮説を受容する。 まとめ 補足 使う際のTips等 2019/01/06追記 参考 特徴量選択とは 特徴量選択
はじめに 2018年8月19日から23日にかけてロンドンで行われたKDD2018(データマイニングの世界的なカンファレンス)に採択されていた『Customized Regression Model for Airbnb Dynamic Pricing』なる論文を読みました。 Airbnbで実装されている価格推薦モデルについての論文で、 ビジネス・ユーザー視点を取り入れており、 「価格を下げれば予約されていた」と、「もっと価格を上げていてもよかった」というニーズ それをうまくモデル化していて、 上記を損失関数として定量化 さらにシンプルな構造で理解しやすい ①予約確率の予測→②最適価格の提案→③パーソナライズと、マクロ→ミクロに落ちていく構造 という点において優れたデータサイエンスの応用例であると感じたため、主要な論点を要約しつつ解説に取り組んでみようかと思います。 はじめに 論文の要旨 最
GUI APP on Docker.md GUI APP on Docker Dockerで稼働するGUIアプリをMacOSXから利用する 参考:https://github.com/chanezon/docker-tips/blob/master/x11/README.md socatのインストール ソケットのリレーツール socat をインストールする $ brew install socat XWindowのインストール X11(XWindow) が含まれる xquartz をインストールする $ brew cask install xquartz インストール後に再起動すること 再起動後 xquartz & で X11 を起動し、環境設定>セキュリティから 「接続を認証」「ネットワーク・クライアントからの接続を許可」を有効にする Proxy設定 .bash_profile に 環境
IJCAIconf @IJCAIconf IJCAI 2018 Industry Days a unique networking where entrepreneurs and scientists discuss the future of #AI . See full program ijcai-18.org/industry-days/ pic.twitter.com/AaKksH1fhw 2018-06-11 16:14:05 IJCAIconf @IJCAIconf See all the keynote speakers at the premier international gathering of researchers in AI @IJCAI_ECAI_18. @ylecun, Max @tegmark, Danica Kragic, Nicole @immorli
今回は、KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」を紹介します。 Rでの実装は公開されていますが、Pythonでの実装は確認できなかったので、自前のPython実装も公開しています。 github.com アルゴリズムの概要 Pythonでの例 可視化のためのパッケージ読み込み サンプルデータの生成 可視化 K近傍を用いた特徴量抽出 可視化 iris での例 追記20180624 実装の修正 はてなホットエントリ入り アルゴリズムの概要 近傍数を、分類するクラス数をとした場合に、アルゴリズムは個の特徴量を生成します。生成される特徴量は下記のように、観測値と各クラス内の最近傍点との間の距離から計算されます。 とあるクラスに属する訓練データの中の第1近傍までの距離を1つ目の特徴量とする とあるクラスに属する訓練データの中の第2近傍までの距離の和を2つ目の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く