はじめに 最近、教師データを作成する際に質の高いデータが欲しいなとという思いが強くなってきました。 そんなときにクラウドソーシングにおけるラベルの品質管理という話を知りました。 少し調べてみましたので、まとめて用いられている手法を実装してみます。 クラウドソーシングの品質管理 クラウドソーシングにおいて、一人のワーカが行ったラベリングでは、機械学習の教師ラベルとして用いるには質が劣ってしまいます。 タスクの難易度により生まれる解答の個人差や金銭のみを目的としたワーカが、でたらめな回答をしてしまうことがあるためです。 この状態を解消するために、複数のワーカにラベリングを行ってもらい結果を統合します。 しかし、単純な多数決では上記のような質の悪いワーカの回答にひっぱられてしまい、得られたラベルの質も悪くなってしまいます。 そこで、複数のワーカのラベリングから真のラベルを推定してラベルの品質を高

電通デジタルで機械学習エンジニアをしている今井です。 本記事では、BigQueryで傾向スコア分析を行うための方法について紹介します。 広告効果ってあったの？広告効果とは、広告に接触した場合と接触していない場合とのその後のコンバージョン（例えば、購入金額や継続期間など）の差である、と言えます。 しかしながら、同一ユーザーにおいて、広告に接触した場合と接触していない場合とを同時に観測することはできません。 これを反実仮想（counterfactual）と呼びます。 そこで提案されたのが平均処置効果（average treatment effect, ATE）です。 広告に接触したユーザー群（𝑤=1）と接触していないユーザー群（𝑤=0）とのその後のコンバージョン（𝑦 ）の差を広告効果とするものです。 ここで、介入（広告に接触する）の有無以外の条件が公平になるようにユーザー郡が分かれていれ

「mdline」を使うと「タイムライン（年表）」を簡単に作れる．実装は必要なく，Markdown から HTML に変換できる．シチュエーションは限定的かもしれないけど，非常に面白く，試してみた！ github.com Ruby Releases History 今回は mdline を試すサンプルとして「Ruby Releases History」を作った．Ruby のバージョンごとにリリース日をタイムラインとしてプロットしている．そして Netlify に配信をしたため，以下の URL から実際にタイムラインを見れるようにしてある． https://ruby-releases-history.netlify.com/ リリース日など，データセットは以下の公式サイトを参考にした．流石に量が多く，今回は Mechanize を使ってシュッと Markdown を作った． www.ruby-

（注）国税庁「民間給与実態統計調査」を基に作成。専業主婦の配偶者と16歳未満の子供が2人いる会社員をモデルケースとした。2020年の予測値は16年の数値を基準とし、給与所得控除の上限額引き下げなどの影響を考慮した。 高所得層を中心に所得税負担が増している。AGSコンサルティングの和田博行税理士の協力を得て、ビジネスパーソンを対象にした民間給与実態統計調査（国税庁）から試算した。 注目すべきは「年収700万円」のラインだ。2001年以降、「年収700万円超」以上は所得税額が上昇し、「700万円以下」は軒並み減少している。 「1000万円超1500万円以下」の所得税負担は01年に88万8000円。16年には107万円に膨らんでいる。 「400万円超500万円以下」は01年に12万5000円だが、16年は9万2000円にむしろ減っている。 高所得層に厳しい税率改定と給与所得控除見直しの影響だ。2

This post gathers ten ML and NLP research directions that I found exciting and impactful in 2019. For each highlight, I summarise the main advances that took place this year, briefly state why I think it is important, and provide a short outlook to the future. The full list of highlights is here: Universal unsupervised pretrainingLottery ticketsThe Neural Tangent KernelUnsupervised multilingual le

平日は残業や友人との付き合いなどで帰宅が遅く、毎日眠い目をこすって仕事をこなし、休日はほとんど寝て過ごして終わってしまう……。そんな生活を送るdoors読者も少なくないのではないでしょうか。睡眠医学の発祥の地である米国スタンフォード大学の睡眠医学センターで臨床と研究を続ける河合真先生は、「日本人は慢性的な睡眠不足」と危機感を抱き、SNSで「寝よう！」と呼びかけています。連載第1回は、日本人が失ってしまった「睡眠リテラシー」について話してもらいました。 神経内科医から睡眠医学の道へ 日経doors読者の皆さん、こんにちは。米国スタンフォード大学で睡眠に関する臨床と研究を行っている河合真です。睡眠研究をする傍ら、SNSなどで睡眠に関する情報を日本語で発信しているのですが、フォロワーから返ってくる反応から日本人の現役で働いている世代の睡眠不足の深刻さ、またその睡眠リテラシーの低さに危機感を抱き、

以前 Kubeflow を MiniKF (Minikube ベースの VirtualBox イメージ) で導入しました。 blog.kondoumh.com その後 Ubuntu 19.10 のリリース時、Kubeflow が MicroK8s の Addon として導入できるようになるというアナウンスがありました。 ubuntu.com MicroK8s は Snap で簡単にインストールできる Kubernetes 環境です。Addon として Dashboard、CoreDNS、Istio などを microk8s.enable コマンドで簡単に導入できます。 blog.kondoumh.com そして、つい先日の MicroK8s 1.17 - 11 December 2019 で Addon として追加された模様です。 New addon: kubeflow. Give it

機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip