施策デザインのための機械学習入門〜データ分析技術のビジネス活用における正しい考え方 作者:齋藤 優太,安井 翔太技術評論社Amazon 著者よりご恵贈いただきました．いくつか読むべき本があったのですが，社内で読書会をするために優先して読みました．感想を書きます． 著者は当時学部生とは思えないスピードでトップカンファレンスに論文を通している齋藤優太氏とサイバーエージェントにて機械学習と経済学 (特に因果推論) の研究を行っている，「効果検証入門」の著者でも知られる安井翔太氏．監修はホクソエム社． 第一線で活躍する若手研究者が日本語で本を書くことがどんなに貴重か (一部の研究者が「日本語の原稿や国内学会は業績ではないので意味がない．運営負荷も高いために縮小・廃止すべきだ」「日本語の専門書は不要であり，原著を読める人間だけが読めばいい．」と主張している背景があります) という話をしても一部の人に

声優統計コーパスの音素バランス文，および音声データについて告知します． 告知 今後，音声を新規収録される場合には声優統計コーパス付属のバランス文ではなく，句読点情報が付与された JSUT コーパスまたは JVS コーパスの voiceactress100 (以降， voiceactress100 と呼びます) の使用を推奨します． 声優統計コーパスのバランス文と voiceactress100 は一部の単語が異なっており，完全な互換性がありません voiceactress100 は声優統計コーパスバランス文を音声処理の研究者が洗練したものです 声優統計コーパスの一部の読みはバランス文と一致していません．また，アクセントや句読点位置も統一されていません 上記の理由により，今後，音声を新規収録される場合には声優統計コーパス付属のバランス文ではなく voiceactress100 の使用を推奨し

効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 作者:安井 翔太発売日: 2019/12/27メディア: Kindle版 ゴールデンウィークの握手会が延期になり気力が完全に尽きてしまい(そもそも2020年のほとんどのイベントが延期または中止になっているわけですが)，同じく握手会が延期になった友人と「アイドルとシロクマのことを考えないでください状態になっていてつらい」「何か没頭できる事は無いの」という話になった結果，「効果検証入門」を読んだ． 「どうせ読むのならば短期集中で」ということで，一日目午後に1章と2章，二日目午前に3章，午後に4章，三日目午前に5章のペースで Zoom で交互に節単位を音読しながら進めた．2020年，30歳を過ぎて音読． 感想 数学力が低い自分でわかった気分になれる，非常に参考になった．明日からでも試したい．随所に「実際のビジネスの現場ではこんな滅茶苦茶

第22回情報論的学習理論ワークショップ (IBIS 2019) | 第22回情報論的学習理論ワークショップ, 2019.11.20〜23, ウインクあいちに行った． 昨年の札幌に比べると名古屋は近い いつもの胃ではなく腸の具合が完全に悪くて半分ぐらいまともに発表を聞かずにトイレにいた ウインクあいち2階上のトイレは人も少なくホールの音声も聞こえて快適 抗生物質を処方された時は忘れずに整腸剤も貰わないと本当に駄目だと痛感しました 有料のチュートリアルも聞きたかったのですが朝から握手会があったので断念 11/20 グラフ文法を用いたグラフ生成 「化学構造式のためのハイパーグラフ文法」を発表した（JSAI2018） で予習していた 分子グラフの生成をしたい (ハードな)原子価の制約を必ず満たす分子ハイパーグラフ文法を提案 ソフトな制約は VAE で学習する 全てを深層学習でやるのではなく，ハード

音声合成研究のために，コーパスをリリースしました．100名のプロ話者（声優・俳優）× 100発話(パラレル)を含んでいます．今すぐダウンロードできます！！https://t.co/FJXrl3owrX https://t.co/qGuUCSqIyA— Shinnosuke Takamichi (高道 慎之介) (@forthshinji) August 17, 2019 Shinnosuke Takamichi (高道 慎之介) - jvs_corpus このブログを読んでいる人間は全員知っているとは思いますが，東京大学の高道助教によって JVS (Japanese versatile speech) corpus が公開されました． JVS corpus は 100名のプロ話者から得られた様々な音声が含まれていますが，特に "parallel100" ... 話者間で共通する読み上げ音声

Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding (pdf) A Simple Convolutional Generative Network for Next Item Recommendation (WSDM 2019) を読もうとしたところ引用されていたのでまずはこちらから読む．WSDM 2019 の方は dilated 1d conv + residual unit という感じで WaveNet に非常によく似た形なのであまり読むモチベーションが上がらない．余談ですがこの構造を "A Simple but Hard-to-Beat Baseline" と名付ける著者らが理解できません． 問題はユーザ における閲覧などによって得られる 個の item の系列 を入力とし

www.amazon.co.jp 訳者よりご恵贈いただきました．8年前に kaggle のアカウントを作ったきりの人間であるため，この文章にさほど価値があるとは思えませんが感想を書きたいと思います． ロジスティック回帰や決定木，ランダムフォレストやニューラルネットワークなどの機械学習アルゴリズムにどのようにデータを入力するか，ただのデータをよりアルゴリズムのパフォーマンスが改善するように加工する作業を「特徴量エンジニアリング」と呼びます． 本書はその特徴量エンジニアリングの基礎である 変数の値をそのまま使うのか，二値化するのか，区分に分けて離散化するのか，対数を取るのか，値を一定の区間に揃えるのか テキストをどのように特徴量にするのか，どう処理すべきか，どう重み付けるのか カテゴリ変数をどのように扱うのか，カテゴリの数が増えた時にどう対処するか 変数の数が多い時にどう減らせば良いのか k-

タイトルの通りです．Wikipedia 本文を用いた埋め込みは 東北大乾研による日本語 Wikipedia エンティティベクトル BIZREACH によるHR領域向け単語ベクトル｜株式会社ビズリーチ 朝日新聞による朝日新聞単語ベクトル BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました – 原理的には可能 – データ分析界隈の人のブログ、もとい雑記帳 Out-of-the-box - 日本語Wikipediaで学習したdoc2vevモデル がありますが，リンク情報を用いた埋め込みは見かけなかったので公開します．このデータが誰かの何かの役に立てば幸いです． ダウンロードリンク 2 種類のファイルを用意しました． jawiki_n2v.txt.tar.gz : jawiki_n2v.txt.tar.gz は namespace ，ノード

タイトルそのままです． 機械学習領域において有名なデータはよくライセンスを確認してみるとそのままでは商用利用ができないことがしばしばあります． ブログや Qiita に書いたり，大学研究者であれば問題になりにくいとは思いますが，なんらかの企業に所属して研究開発やシステム開発を行っている場合には注意が必要になることがあるかもしれません*1． 色々あってライセンスについて少し調べたのと，ウェブ上での言及を見かけなかったのでここにメモを残します． MovieLens dataset MovieLens | GroupLens MovieLens dataset (以降 MovieLens) は GroupLens によって収集・公開されている映画の評価データです． このデータはそこそこの量があること，映画という馴染みの深い題材であることから，協調フィルタリングや行列分解を用いた推薦問題を解く際の

[1810.09591] Applying Deep Learning To Airbnb Search Airbnb における Search に Deep Learning を導入した話．「機械学習のシステムが既にあってそこにニューラルネットワークを導入したい人」に向けて書かれている． 論文調ではないのでまとめも箇条書き． モデルの概要 既存の GBDT -> 4層 (中間層は32個，ReLU で活性化) の NN (17年4月) -> Lambdarank NN (17年6月) -> GDBT/FM NN (18年3月) -> Deep NN (18年6月) と段階的に本番環境に導入してきた 最初の NN は損失関数を二乗誤差にしていた Lambdarank NN : 損失関数を Lambdarank のそれにして学習した GBDT/FM NN : 既存の NN に対して以下の特徴量を

CFGAN (CIKM 2018) を読もうと思ったら「そもそも発想としては IRGAN (SIGIR 2017) と GraphGAN (AAAI 2018) が先にあって……」と触れられていたので順に読むことにする． そもそもタイムラインで「CFGAN がはじめて商品推薦に GAN を使っていてすごい」という風潮で取り上げられていて，「2018年まで誰も思いついていないとかまさかそんな馬鹿な話があるわけないだろう」と思ったのがきっかけ． 結論から言うと 商品推薦に GAN を用いるのは CFGAN が初出ではなく IRGAN が初出であり， GraphGAN でも実現している CFGAN は IRGAN/GraphGAN における「真のデータを Generator がサンプリングしてしまうことで Discriminator が混乱して精度悪化を引き起こす」という問題に対して「離散的に点

KDD 2018 | Sequences of Sets 好きな研究者が何人かいて，タイトルで気になった論文の著者がその人だとちょっとうれしくなる．Cornell University の Jon M. Kleinberg や Google の Ravi Kumar ， Stanford の Jure Leskovec は気になって定期的に著者のページを見に行っている．Facebook の Lars Backstrom は久しく論文を書かなくなってしまったので悲しい． 今回の論文は Ravi Kumar が Co-Author に入っている． 集合 (set) の系列 (sequence) についてモデリングする．論文中では ある人物が送信したメールそれぞれの宛先を時系列でソートしたもの Stack exchange において投稿された質問に付与されたタグをユーザごとに集めてソートしたもの

KDD 2018 | Learning and Transferring IDs Representation in E-commerce EC サイトにおける商品 (item) の埋め込み (embedding) を学習する．その際，商品につけられたメタデータをまとめて学習する． 基本方針 ユーザの商品閲覧行動にもとづいて skip-gram を学習する．すなわち，窓幅を として を学習する．この時 である． が 次元の商品の埋め込みとして得られる． 商品と属性の埋め込み ここで，商品には様々な属性が付与されていることを考える．論文では例として ある「商品」(product，例えば iPhone X) は異なる店 (store) にて異なる商品 (item) として扱われている 「商品」にはブランド (brand) が付与されている 「商品」には階層的なカテゴリ構造 (cate-leve

KDD 2018 | Trajectory-driven Influential Billboard Placement 街頭広告をどのように選ぶかに取り組む。 問題設定としては 緯度経度で構成される軌跡 (trajectory) の集合 緯度軽度とコストで構成される街頭広告 (billboard) の集合 総予算 が与えられ、 軌跡 のいずれかの点が街頭広告 の半径 に入った時、確率 で影響を受ける (influenced) 街頭広告集合 に対する軌跡 への影響を とする とするときに影響が最大になるように広告を選ぶ問題を解く。 方針としては「実データにおける多くの軌跡は短い領域の中に存在する」という観測にもとづき、同じ軌跡になるべくクラスタが被らないように街頭広告をクラスタリングして解く。 DP の話が出てきたので読むのを止めた。 こういう話結構昔からやられてそうだけど最適化の世界はよ

[1711.07601] Pixie: A System for Recommending 3+ Billion Items to 200+ Million Users in Real-Time Pinterest における推薦の論文．Jure Leskovec が last author に入っているのでとりあえず読む． WWW が WebConf に名前が変わったのが悲しい． 概要 超大規模なサービスである Pinterest においてリアルタイムな推薦を実現する Pixie について説明する． 手法 Pinterest ではユーザは Board の下にそれぞれの pin を保存する．実現したいのは直近のユーザの行動によって得られた pin と重みの集合であるクエリ Q に対して適した pin を推薦したい． 基本的な方針は pin と Board を二部グラフとみなしてそのグラフ上を

はじめて桜島を見た．「農業とAI」セッションはモチベーションが面白い． [2G3-OS-10c-01] 動画像からの豚体の頭部方向識別に用いる特徴量 JSAI2018/Features values for recognition of swine's head direction from video. 豚の病気検知のために水を飲んでいるか，餌を食べているかの判定が必要 豚舎内の画像から尾なのか頭なのかを判定したい データを見続けた発表者の「皆さんはわからないと思うが私は豚の画像を見続けてきたのでこれが尾か頭かすぐにわかる」という言葉には重みがある [2G3-OS-10c-03] 牛の分娩予兆として映像から観測可能な状態の検知 JSAI2018/Detection of Cattle States Relevant to Calving from Video 牛の出産事故は経済

日本声優統計学会 にて声優統計コーパスを公開してほぼ一年．個人団体を問わず問い合わせのメールを頂いている． しかしよく考えたら Google Analytics の設定をまともに書いていなかったせいでどれぐらいダウンロードされたのか全く計測できていない．せめて，検索して見つけた範囲で利用されているブログ記事を集めた． 声優統計コーパスを使ってみる - 驚異のアニヲタ社会復帰への道 声優統計コーパスをアライメントしてみる | Hiho's Blog 日本声優統計学会の公開データを使って声優さんの声認識 – 京都の技術者ロードローラーさんのブログ 声優統計コーパスを使ったWaveNet音声合成/歌声合成に挑戦します - Monthly Hacker's Blog 声優統計のデータを使った、簡単なGMM声質変換のデモノートブック - Jupyter Notebook @__dhgrs__さんから

概要 [1703.00607] Dynamic Word Embeddings for Evolving Semantic Discovery word embedding の時系列変化が見たい(これどこかの論文でも見た気がする)． 例えば， apple という単語は昔は果物が連想されるだけだったが，今ではテクノロジー企業も連想されるだろう． 例えば， trump という人名だって「不動産」 -> 「テレビ」 -> 「共和党」と連想するものが時間と共に変化するだろう． そういうのが見たい． 問題は，従来の embedding の方法は学習時に回転を考慮しないため，異なる時点での embedding を対応付けることができない．そこで，従来手法では， 各時点での embedding を学習する 時点ごとの embedding を対応付ける alignment を解く という二段階のアプローチ