gensimのDictionaryの中身を簡単にまとめてみた - Qiita
gensimでLDAやらtfidfをする際に何かと必要になるgensimのDictionaryですが、大抵の場合それらの手法を適用する際にさらっと流されることが多いように感じたのでDictionaryについてのみ纏めました。あくまで内容としては公式サイトの説明を実際に試したものを載せている程度ですが、何かの参考になれば幸いです。(2018/12/25 dfsとnum_nnzを修正) 環境 gensim (3.4.0) Python 3.6.5 Mac 10.13.5 辞書作成 とりあえず辞書がないことには始まらないので、公式の例を借りてDictionaryを作成します。 >>> from gensim.corpora import Dictionary >>> texts = [['human', 'interface', 'computer']] >>> dct = Dictionary
CaboCha & Python3で文節ごとの係り受けデータ取得 - Qiita
最終的にやりたいこと 定期的に送られてくる報告書の類(書かれていることは毎回似通っている)を、一定のフォーマット・一定の文体で要約したい、というのが最終的なゴールです。既存の要約アルゴリズムも使うかもしれませんが、元の文は数パターン(ただし色々修飾がついている)のため、情報の優先順位をルールベースで実装しながらきっちり目的の文型に収めたいと思っています。 ここではルールを定義する前段として、CaboChaで分析した係り受けをPythonから操作する基本的な処理を作ってみたいと思います。 参考) CaboCha & Python3の環境構築(Windows版) まずPython3からCaboChaを使ってみる 環境構築編でも使ったCaboChaのサンプルコードを参考に、今回は、tree構造をデータとしてもparseしてみます。 ※setup.pyと一緒に配布されているtest.pyを参考にP
The R Graph Gallery – Help and inspiration for R charts
Welcome the R graph gallery, a collection of charts made with the R programming language. Hundreds of charts are displayed in several sections, always with their reproducible code available. The gallery makes a focus on the tidyverse and ggplot2. Feel free to suggest a chart or report a bug; any feedback is highly welcome! Stay in touch with the gallery by following it on Twitter. Oh and if you wa
Python で Uplift modeling - Qiita
鉄板は、介入してもしなくてもCVする顧客層です。介入にコストがかかる場合はコストが無駄になるので介入すべきではありません。例えば、直近の購買履歴があるアクティブユーザーがこの層に該当し、メール配信などによって購買を喚起しなくても購買してくれる場合は、メール配信のコストが無駄になってしまいます。 説得可能は、介入しない場合はCVしませんが、介入することではじめてCVする顧客層です。例えば、購買意欲はあるものの購買に踏み切れないユーザーがこの層に該当し、割引クーポンなどを配信することで、この層に属するユーザーが購買してくれる可能性が高くなります。 天邪鬼は、介入しない場合はCVしますが、介入するとむしろCVしなくなる顧客層です。介入することで利益が減少するため、絶対に介入してはいけない顧客層です。 無関心は、介入してもしなくてもCVしない顧客層です。例えば、直近の購買から長期間が経過している離
プロペンシティスコア（Propensity score; PS）（２）－PSに関する5つの誤解
プロペンシティスコア（Propensity score; 以下PS）に関するお話の後半はこの方法論に関する誤解に関してご説明したいと思います（前半をまだ読んでいない方は先に前半をお読みください）。PSはローゼンバウムとルービンが1980年代に開発した方法論であり、私はハーバード大学でルービンの因果推論を勉強し、そのフレームワークの中でPSを習いました（実際にはルービンの弟子に習い、ルービンはゲストとして1回来ただけでしたが・・・）。疫学の授業でもPSを習ったことがあり、それらを対比することでアメリカでもPSがしばしば間違って用いられていると思いました。ほとんどは1983年のローゼンバウムとルービンの論文をきちんと読んで理解していないための誤解だと思います。PSはきちんとした統計学的理論に基づいた方法論ですが、間違った方法で用いると正しい因果推論はできなくなってしまいます。PSに関する誤解を
アフリカ出身・京都精華大サコ学長 コロナ問題でわかった「日本人のホンネ」 | AERA dot. (アエラドット)
ウスビ・サコ京都精華大学長（写真＝大学提供）この記事の写真をすべて見る 世界的に感染が広がる新型コロナウイルス。アフリカのマリ共和国出身で京都精華大学学長を務めるウスビ・サコ氏に、新型コロナウイルスがもたらしたさまざまな問題点を語ってもらった。今回の事態から私たちは何を学んだらいいのか。日本の社会や教育のあり方について提言する。 ―――新型コロナウイルス感染拡大をどのように受け止めていますか。 感染が広がり始めたころ、私は医療崩壊が起きているアメリカやヨーロッパ、そしてアフリカをまわっていました。アフリカの空港では体温チェックがあり、ジェルで手を消毒させられ、アンケートでは渡航歴をたずねられました。当時の欧米は「自分たちの国の医療環境は充実しており新型コロナはアジアの問題で関係ない」と思っているようでしたが、それから2カ月も経たないうちに世界中に広まります。 すぐにいろいろなことが見えてき
PyCaretを使う(2)
前回の続きです。今回は「RからPythonへの道(9)」の重回帰分析でお話したデータセットを用いて、PyCaretで解析してみました。データセット内の多くの変数の中からhorsepower、width、heightの3つの数値データを説明変数として、priceを予測しました。 PyCaretの実力がよく分からないので、まずは何も考えずに前処理もしていないデータセットを入れて、priceの予測を試みました。しかし、結論から言うと、データセットを読み込ませただけでは、自動の前処理(欠損データ処理等)がうまく機能しませんでした。前処理のマニュアル(チュートリアル)をじっくり読んだわけでないので、見落としている設定等があるのかもしれません・・。この前処理がうまく行かなかったパターンについては次回以降お話します。 最終的には、説明変数3個、目的変数1個の欠損のないデータセットに加工して、実行させまし
#検察庁法改正案に抗議します Q&A : 東京法律事務所blog
弁護士の江夏大樹です。 ＃検察庁法改正案に抗議しますは大きな広がりを見せています。他方でこれに対する反論も多くみかけますので簡単なQ &Aを作成しました。随時、加筆・修正・更新していきます。 Q1 改正法は国家公務員全体の定年を６５歳に引き上げるものです。法案に反対する理由がわかりません。 （回答）改正法の内容をわけて考えましょう。 改正法は①検察官を含む国家公務員の定年を６３歳から６５歳に段階的に引き上げます。これは問題ありません。ここから問題ですが、改正法は②６３歳の段階で役職定年制（例えば検事長や検事正という役職は終わり）を採用し、内閣が認めれば、６３歳を超えてその役職を継続できるという制度を創設します。③検察官の定年も６５歳以降、内閣の判断で定年延長できるという制度になっています。この②③のように内閣の判断で検事総長、検事長、検事正といった役職を定年後引き続き行えることが問題なので
傾向スコアを用いた因果推論入門~実装編~ - 下町データサイエンティストの日常
0. はじめに 1. 対象データ 2. 先に各手法の結果を確認 3.準備 4. 基礎集計~CMを見た人と見ていない人での目的変数の差~ 5. 因果推論の流れのおさらい 6. 傾向スコアモデリング 6.1 モデリング 6.2 テスト / コントロールの傾向スコアの可視化 6.3Rでの傾向スコアモデリングの実装 7. 傾向スコアマッチング 7.1 結構面倒なpython 7.2 R (Matchingライブラリ) 7.3マッチングの評価 8.IPW 9. ダブルロバスト 9.1 回帰モデル 9.2ダブルロバスト 10.Proximityマッチング 11.改めて、各種手法による推定因果効果のまとめ 12.まとめ 0. はじめに 理論編に引き続き、実装を行なっていきます。 pira-nino.hatenablog.com 実装はpythonとRの両方で行いました。 作業用のコードは以下のgithu
こういう時だからこそ【Google Arts & Culture】を使って、自宅で美術館巡りをしてみませんか？ | たつブロ
更には、館内のストリートビューも楽しむ事も出来るので、美術館に行った気になることもできるかもしれませんね。 次にGoogle Arts & Cultureの特長を紹介します。 Google Arts & Cultureの特長 アート作品を拡大して見る事ができる 美術館などに行っても人気の作品の場合は、人混みで作品が見づらく遠目でしか見れない事もあります。 しかしながら、このGoogle Arts & Cultureであれば拡大できるので作品を間近で詳細に見る事ができます。 例えばこちらのルノワールの有名な絵画も このように拡大して見る事ができます。（これ以上拡大する事もできます） また解説も付いているので、勉強にもなるかと思われます。 アーティストに絞って作品を見る事ができる Google Arts & Cultureは、アーティストに絞って作品を見る事ができます。 気になるアーティストが
D.カーネギー「人を動かす」"書評" 誰からも好かれる人たらしが実践する人を動かす方法とは? - こひー書店(cohii book store)
D.カーネギー氏の名前を、ここ数年で知った人は多いのではないでしょうか？ 日本では、内容を要約した解釈本が大量に出版されました。これほど多くの派生本が出版されたのはやはり、「内容が濃いから」「教訓が万人に受け入れられる」以外に、「時間をかけて作られたものだから」を考えずにはいられません。 今回は名著『人を動かす』、D.カーネギー氏の著書を紹介します。 この本はデール・カーネギー氏によって書かれた本で、1936年に初版が発行されました。1981年にカーネギー協会が現代の事例を付け加えた改訂版を発行します。その５０年のうちに、全世界で1500万部の売り上げを記録しました。 私もこの本を読み、人に動かされるのではなく、"人を動かす"側の人間になれました。 デール・カーネギー氏は、アメリカで作家、教師、人との関わりのスキルをトレーニングするプログラムを開発して有名になった方です。著作には「人を動か
[計量経済学] [機械学習] Generalized Random Forest (GRF) について - ill-identified diary
概要 予備知識のセットアップ 目的は因果推論 一般化モーメント法 (GMM) カーネル回帰 ランダムフォレスト 本題 参考文献 概要Athey, Tibshirani, & Wager (2016, Generalized Random Forests) で提案されている Generalized Random Forest (GRF) について解説してみる. [1610.01271] Generalized Random Forests 2019/7/4 追記: この論文は Annals of Statistics にアクセプトされたようだ. projecteuclid.org 計量経済学と機械学習の両方の文脈を追う必要が出てくるので, 機械学習を学んできた人, (計量) 経済学を学んできた人, それぞれに対して伝わりやすいように説明を試みる. 先日の Tokyo R #71 で以下のよう
![[計量経済学] [機械学習] Generalized Random Forest (GRF) について - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/9353767e70282189cd548de7bb4252e363ca4800/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fa5590b9d6c39b8574f88aff44c57c5f0addcfa01%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fi%252Fill-identified%252F20180802%252F20180802002758.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CatBoost の feature importance | Keisuke Yanagi
Build a Slicer Panel in Power BI and take it to the next level (2019)