WebサービスのA/Bテスト代替手段としての観察データからの平均処置効果推定 - LIVESENSE Data Analytics Blog
こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は平均処置効果の推定方法について紹介します。より具体的にはマッチングや重み付けといった共変量のバランシングを利用してバイアスの小さい推定をする方法を使い、複数得られた推定結果を絞り込んで意思決定に使える結論を得るまでの流れを扱います。サンプルデータを使って実際に推定を行い結果を解釈するところまで行います。コードはRです。完全にコンセンサスのとれた因果推論方法・手順はおそらく存在しないので、現時点でよいのではと考えている方法の紹介になります。 今回紹介する方法のポイントは、共変量のバランシングによってモデル依存性が低下することを利用して信頼できそうな推定結果を絞り込んでいるところにあります。手法やモデルによって様々な推定値が得られますが、バイアスの評価方法がないため採用すべきものがわからないという問題があります。しかし、共
The Python Tutorial
The Python Tutorial¶ Python is an easy to learn, powerful programming language. It has efficient high-level data structures and a simple but effective approach to object-oriented programming. Python’s elegant syntax and dynamic typing, together with its interpreted nature, make it an ideal language for scripting and rapid application development in many areas on most platforms. The Python interpre
東京工業大学、機械学習の講義ノートが無料公開 Pythonの実装も学べる | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Amazon Redshiftのチュートリアルをやってみた！ | DevelopersIO
最近Redshiftを触る機会があり、こちらのチュートリアルをやってみました。 以前 AWS Certified Big Data Specialty を取得する際に勉強しましたが、だいぶ忘れていたので備忘録も兼ねてブログ化したいと思います。 ※個人的にわかりやすい手順にまとめているので、実際のステップと異なる部分がありますが、ご了承ください。 IAM Roleを作成する まずRedshiftがS3からソースデータをコピーしてくるために必要なロールを作成します。 AWSコンソールのIAM Roleの作成ページで以下を選択します。 ユースケースを選択 Redshift - カスタマイズ可能 アクセス許可ポリシーのアタッチ AmazonS3ReadOnlyAccess ロール名 任意（本ブログではmyRedshiftRoleと入力） Redshift クラスターを作成する Redshiftのク
Pythonのselfとかinitを理解する - Qiita
class some_class: def __init__(self,something): self.something = something def some_function(self): print(self.something) クラス構造を用いる理由は、主に大規模なソフトウェアの構築の際の効率化にあるらしく、小規模なコードであれば普通に関数だけ書いていくやり方でも混乱は起きない模様。参考までにどのような場合でクラスの活用が有効かを調べたところ、こちらには、次のメリットの記載があり。 ・グローバル変数を無くし、すべての変数を何らかのスコープに属させる ・処理を効率的に使い回す ・一つの処理は一つの箇所に実装し、修正箇所を最小化する ・関数実行中に、関数自身が再度呼び出される場合の対処 クラスとインスタンス こちらの記事にもあるように、Pythonのクラス構造はインスタンスの生
将来発生するトランザクション数を予測する方法 - ZOZO TECH BLOG
データサイエンティストの中村です。 webで発生するトランザクション（購買など）の中には、確率分布を仮定することで抽象化できる物があります。 今回は、トランザクションが発生する現象をモデリングする手法のひとつであるBG/NBDモデルと、この手法にもとづいて将来発生するトランザクションの回数を予測するためのライブラリであるlifetimesを紹介します。 トランザクションのモデリングについて 1987年にSchmittlein等によってPareto/NBDというモデルが提案されました。これは顧客の継続的に発生する購買行動に確率分布を当てはめ抽象化する手法で、結果として将来発生する購買を予測することに成功しました。顧客が離脱したか否かの判断や顧客生涯価値の見積もりが可能になるという点で、Pareto/NBDモデルは顧客分析における非常に強力なツールのひとつです。 Pareto/NBDをベースと
Python自然言語処理テクニック集【基礎編】
自分がよく使用する日本語自然言語処理のテンプレをまとめたものです。 主に自分でコピペして使う用にまとめたものですが、みなさんのお役に立てれば幸いです。 環境はPython3系、Google Colaboratory（Ubuntu）で動作確認しています。 Pythonの標準機能とpipで容易にインストールできるライブラリに限定しています。 機械学習、ディープラーニングは出てきません！テキストデータの前処理が中心です。 前処理系 大文字小文字 日本語のテキストにも英語が出てくることはあるので。 s = "Youmou" print(s.upper()) # YOUMOU print(s.lower()) # youmou 全角半角 日本語だとこちらのほうが大事。 全角半角変換のライブラリはいくつかありますが、自分はjaconv派。 MIT Licenseで利用可能です。 import jaco
【2021年最新】Pythonのおすすめ学習サイト8選！｜プログラミング・IT 未経験からの攻略法｜variiis PROGRAMMING MEDIA
Pythonは近年AIや機械学習、データ分析の分野で注目を集めている言語ですので、Pythonをこれから学ぼうという人は少なくないのではないでしょうか。 Pythonを習得できれば、ITエンジニアとしてスキルアップできますし、Pythonを使ってルーティンワークを効率化できたりもします。 Pythonは今後より需要が増していくことが予想されるので、将来性があり、学習する価値がある言語です。 そこで本記事では、Pythonに興味がある人向けにPythonのおすすめ学習サイトを紹介していきます。 本章では、Pythonのおすすめ学習サイトをまとめて紹介していきます。 Progate Progateは、Pythonを実際にコーディングしながら学習できるサイトです。 Progateでは、Python1～5までのコースがあり、初学者でも段階的にステップアップしていくことができます。 加えて、Pyth
【論文解説】Transformerを理解する
では、今回は2017年に論文「Attention Is All You Need」で提案された “Transformer” について詳しく解説したいと思います。 『Attention is All You Need』 Transformer とは、ChatGPT (GPT-4 などのGPT シリーズ) を含む重要な LLM (Large Language Model; 大規模言語モデル) や、BERT などのファインチューニングをすることによって高い精度を得ることができるモデルなど、現在重要な自然言語処理モデルで幅広く使われている重要な仕組みです。 ですので、自然言語処理を学ぶ人、業務で LLM を使って開発する人などは是非押さえておきたいモデルです 。 モデルの構造は知っているので、どのように実装するかを知りたい、という方は以下の記事をご参照ください。 Tensorflowを使ってセンチ
日本語処理にも革命！？分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】
日本語処理にも革命！？分かち書きをせず高品質な事前学習を実現する CANINE がすごい 【論文速報】
2019年末版 形態素解析器の比較 - Qiita
形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。 （SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです） MeCab 言わずと知れた形態素解析器。とりあえずMeCabを使うという人は今なお多いことでしょう。とにかく高速であるということと、システムと辞書が分離されているのが特徴です。またPythonから使うのも簡単になりました（Janomeというものがありましたがmecab-python3の方が高速です）。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。 辞書はIPA辞書が推奨されていますが、Un
Google Colabで統計的因果探索手法LiNGAMを動かしてみた｜Dentsu Digital Tech Blog
電通デジタルでデータサイエンティストをしている中嶋です。 前回の記事は「Airflow 2.0でDAG定義をよりシンプルに！TaskFlow APIの紹介」でした。 Advent Calendar 10日目となる本記事では因果探索の一手法であるLiNGAM(Linear Non-Gaussian Acyclic Model)の解説及び、Google Colabでの分析例について紹介します。 因果探索とは最近のトレンド 最近、広告配信やマーケティング分析の文脈で施策の効果を適切に評価する手法として実験計画法や因果推論が注目を浴びています。産業界でも株式会社ソニーコンピュータサイエンス研究所、クウジット株式会社、株式会社電通国際情報サービスの三社が提供するCALCという要因分析ツールや、最近はNECの因果分析ソリューション causal analysisも出ていたりと盛り上がりを見せています。
BERT（Keras BERT）を使用した文章分類を学習から予測まで紹介！ | cloud.config Tech Blog
概要 絶賛フロントエンド勉強中の井上です。今回は自然言語処理界隈で有名なBERTを用いた文書分類（カテゴリー分類）について学習（ファインチューニング）から予測までを紹介したいと思います。本記事では実装ベースでお話しするので、「そもそもBERTって何？」という方は検索するか、参考URLを載せておくのでそこから飛んでいただけると助かります。 目次 事前準備 学習 評価 予測 参考文献 事前準備 Google Colaboratory 学習は膨大な計算量が必要なので、Google Colaboratoryを使用します https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja 無料でTPU（Tensor Processing Unit）が使えるのでお得！ googleさんありがとうございます TPUはIntelのHaswellと
青木繁信氏：おしゃべりな部屋 （統計学ほか）
アクセスしていただき，ありがとうございます。 このページへのアクセスは，通算 6265344 回目です。 （1995年8月31日 からカウント開始） フォト蔵ふ つれづれなるままに ときどき一枚 狛犬ギャラリー 道祖神ギャラリー
黒川博文 Hirofumi Kurokawa - 因果推論のための計量経済学
畑農 鋭矢・水落 正明（2022）データ分析をマスターする12のレッスン〔新版〕 サポートサイトでは、練習問題の解説や、データ、StataやEviewsによる分析コードが提供されています。 今井耕介（2018）社会科学のためのデータ分析入門 上・下 原著：Kousuke Imai (2017) Quantitative Social Science: An Introduction サポートサイトでは、Rのコード等が提供されています。Rで実践しながら学ぶにも最適な書籍です。 Jeffrey B. Arnold: Quantatitive Social Science: The R Tidyverse Codeのサイトでは、 モダンなRパッケージTidyverseを使って、同書のコードを提供しています。 公式のTidyverse版もでました→ Kosuke Imai, Nora Webb W
Rでのナウなデータ分割のやり方: rsampleパッケージによる交差検証 - 株式会社ホクソエムのブログ
前処理大全の「分割」の章では、予測モデルの評価のためのデータセット分割方法が解説されています。基礎から時系列データへ適用する際の注意まで説明されているだけでなく、awesomeなコードの例がRおよびPythonで書かれており、実践的な側面もあります（お手元にぜひ！）。 しかし今回は、Awesome例とは異なる、より新しいやり方で・簡単にRでのデータ分割を行う方法を紹介したいと思います。前処理大全でも取り上げられているcaretパッケージですが、その開発者のMax Kuhnが開発するパッケージの中に rsample を使う方法です。ここでは前処理大全で書かれている一般的なデータと時系列データの交差検証による分割をrsampleの使い方を紹介しながらやっていきます。加えて、rsampleの層化サンプリングについても最後に触れます。 1. レコードデータにおけるモデル検証用のデータ分割 zeal
【Python】🍜ラーメンガチ勢によるガチ勢のための食べログスクレイピング🍜 - Qiita
１.簡単な概要 この記事ではPythonのBeautiful Soupを使った食べログ口コミスクレイピング方法について解説していきます！ 私自身🍜が大好きで昔は年間100杯以上食べ歩いてきた自称ラーメンガチ勢です。しかしながら、直近の健康診断にひっかかり、医者からドクターストップをかけられてしまいました。。。 行き場をなくしたラーメン熱を発散すべく**機械学習でラーメンレコメンド（隠れた名店をレコメンドで発掘）**に挑戦してみることにしました。 今回は、学習データを集めるためのスクレイピングです。 世の中に食べログスクレイピング記事はいくつかありましたが、 "ラーメン屋でかつ点数が高い名店のみ" を点数順に抽出する方法が見当たらなかったのでやってみました。 私自身スクレイピング初心者ですが、簡単に食べログの口コミが取得できましたので、是非チャレンジしてみてください。 ※食べログ規約にもと
決定木の可視化ライブラリ「dtreeviz」が凄かったのでまとめる - St_Hakky’s blog
こんにちは。 決定木の可視化といえば、正直scikit-learnとgraphvizを使うやつしかやったことがなかったのですが、先日以下の記事をみて衝撃を受けました。そこで今回は、以下の解説記事中で紹介されていたライブラリ「dtreeviz」についてまとめます。 explained.ai dtreevizの概要 dtreevizとは より良い決定木の可視化を目指して作られたライブラリです。 解説記事 : How to visualize decision trees Github : GitHub - parrt/dtreeviz: A python machine learning library for structured data. Sample Imagesdtreeviz/testing/samples at master · parrt/dtreeviz · GitHub 多
森を彷徨う - Qiita
本記事R Advent Calendar 201619日目の記事になります。 まえがき 皆様は今でも現役でrandomforest使っていますか？ xgboost, lightGBM, mxnetなど、新星が次々に登場しており、一時期に比べるとその存在感は薄くなってしまったかなと言う印象もあります。 とは言え、パラメータチューニングが比較的容易、結果が解釈しやすいなどの利点から、現在においても十分に一線級だと考えています。 最近のrandomforest実行パッケージ 最近のRを通じたrandomforest package色々については、 RでランダムフォレストやるならRboristかrangerか "ranger: A Fast Implementation of Random Forests"のメモ書き 最近のRのランダムフォレストパッケージ -ranger/Rborist- 新型の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rで機械学習：ランダムフォレストを使って、新規ユーザーの属性データから、1カ月後のアクティブユーザー数を予測する
