こんにちは。食べログシステム本部技術部データサイエンスチームの先端領域推進ユニットに所属する佐藤です。 私たちのユニットでは、先端領域技術を活用して多方面で価値を創造することをミッションとしており、生成AI技術を活用した業務効率化や開発生産性向上に取り組んでいます。その取り組みの１つとして、生成AI技術によって開発生産性を上げることを目的とした、コーディング支援ツール「GitHub Copilot」の導入を推進しています。 先日、GitHub Copilotの利用を促進させるために、社内ナレッジ共有イベントを企画・実施しました。このイベントは、参加者に実際の開発現場で使われているGitHub Copilotの利用例を投稿してもらい評価・表彰するというユーザ投稿型の取り組みです。このイベントを通じて全体の利用率を約1.2倍に向上させることができました。本記事では、その事例についてご紹介します

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform

概要 確率予測とCalibration(キャリブレーション)に関する勉強会に参加したので、学んだことの一部と、自分で調べてみたことについてまとめました。 概要 Calibrationとは Calibration Curve Calibrationの方法 Sigmoid / Platt Scale Isotonic Regression 確率予測に使われる評価指標 Brier Score ECE コード 不均衡データに対するCalibration LightGBMにCalibrationは不要か NNにCalibrationは不要か 追記 : Calibrationの検討について 追記 : 発表スライドについて 終わり techplay.jp 勉強会で使われていた言葉を、自分なりの言い方に変えています。 間違いがありましたら、コメントいただけたら嬉しいです。 Calibrationとは 普通

説明　自宅の鍵をなくした際、ついついパニックになるもの。家に入れなくなることや空き巣など防犯上のリスク、「悪い鍵業者にぼったくられてしまうかも……」と不安になる方もいるかもしれません。そこで「鍵をなくした際に見てほしいフローチャート」を作成しました。鍵をなくした際に探すべき箇所から、警察や大家さん/管理会社さんへの連絡の手順、鍵にまつわるお金の問題、鍵業者に依頼する際の注意点、再発防止策まで幅広い対処法を紹介しています。 自宅の鍵をなくした際、ついついパニックになるもの。家に入れなくなることや空き巣など防犯上のリスク、「悪い鍵業者にぼったくられてしまうかも……」と不安になる方もいるかもしれません。 カギの生活救急車では、そうした不安を少しでも和らげるため、「鍵をなくした際に見てほしいフローチャート」を作成しました。鍵をなくした際に探すべき箇所から、警察や大家さん/管理会社さんへの連絡の手順

はじめに まえおき このアカウントは、株式会社ブレインパッドのアナリティクス本部に所属する社員の有志によって運営されています。主に本部に所属する社員の活動をベースとした情報発信を行っていきます。今回は、kaggle活動推進プロジェクトメンバーの丸山がお送りします。 kaggle活動推進プロジェクトとは データ分析や機械学習の分野は、日々発展を続けています。したがってデータサイエンティストは、様々な分野の分析技術について幅広く・最新の知識を身につけていることが望ましく、そのために絶えずスキルアップに努める必要があります。 kaggleなどの外部分析コンペは、そのような新しい知識を身につける場としては最適であるものの、弊社でも「ハードルが高い」「一人だと続かない」といった声をよく聞きます。加えて、業務の傍ら業務に直接関係のない勉強をし続けるのは難しく、モチベーションが続かないことが多いですよね

株式会社ブレインパッドの2019年新卒研修資料です。モデリングに関する基本的な内容を扱っています。

※この記事で使用している多重代入法のパッケージは正式な多重代入法の枠組みとは異なりますのでご注意願います。 はじめに 最近多重代入法という欠損値補完の手法があることを知りました。 統計学の界隈では欠損値補完は多重代入法を使用するのがベターのようですが、 機械学習の文脈ではあまりその手法が使用されている形跡がなかったので、 なぜそうなのか調査・実験した結果を記述します。 参考資料 欠測データ処理: Rによる単一代入法と多重代入法 欠損値について 欠損には大きく以下の３種類があります。 ・MCAR(Missing Completely At Random):完全にランダムに欠損 ・MAR(Missing At Random):観測データに依存する欠損 ・MNAR(Missing Not At Random):欠損データに依存する欠損 多くの学習器は欠損値を入力できないので欠損値に対応する必要が

個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-８Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました （はてなブックマーク情報 @sek_165 さん ）

2019.4.10に行われたAWSのイベント"ML@Loft" での登壇スライドです。 https://awsmlatloft20190410tokyo.splashthat.com/ こちらのスライド↓で話しきれなかった部分をまとめた内容です。 https://speakerdeck.com/ysdyt/to-incorporate-deep-learning-into-actual-operation-system

特徴量選択とは Borutaとは とりあえず使ってみる ベースラインの判別 Borutaの判別 Borutaのアイデアの概要 Borutaのアルゴリズム 1. 判別に寄与しないはずの偽の特徴量を作る。 2. 偽の特徴量と一緒にランダムフォレストを訓練。 3. 各特徴量の重要度と偽の特徴量の特徴量を比較。 4. 複数回比較し検定を行うことで、本当に重要な特徴量のみを選択。 検定について 1. 棄却したい帰無仮説と受容したい対立仮説を用意する。 2. 観測値から検定統計量Tを定める。 3. 帰無仮説が正しいとしてTの分布を求める。 4. 十分小さい有意水準αを定め、帰無仮説が正しいときにとなる領域を棄却域とする。 5. 観測されたTがに入っていたら対立仮説を受容し、入っていなければ帰無仮説を受容する。 まとめ 補足 使う際のTips等 2019/01/06追記 参考 特徴量選択とは 特徴量選択

本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 自然言語処理の技術は近年、飛躍的に発展しており、検索エンジン、自動翻訳、チャットボットやスマートスピーカーの自動応答など、私たちの生活の中でも様々な場面で使われています。本ブログでは、自然言語処理の研究開発で得られた知見をもとに実施した、Doc2VecとDANを使って論文の質を予測するという取り組みについてご紹介します。 イントロダクション こんにちは、アナリティクスサービス本部の金田です。 現在私は、自然言語処理の研究開発チームにいます。直近では、文書間の類似度や文書クラスの判別について、最新の知見をキャッチアップして、社内に共有しています。本ブログでは、自然言語処理手法の一つであるDoc2VecとDANを使った論文の質の予測をご紹介します。 今回は、私が大学で専攻した素粒子理論の論文デ

面白いダジャレを言うと、何が起こるでしょうか。 そうです。布団が吹っ飛びます。 今回は、ダジャレを心から愛するブレインパッドのメンバー4人が制作した、最新ダジャレAIを搭載した次世代型おもしろダジャレ検知マシン『オフトゥンフライングシステム』のご紹介をさせて頂きます。 ※補足＆感謝 面白いと布団が吹っ飛ぶという発想は日テレ系列の大喜利番組「フットンダ」のリスペクトです 「オフトゥンフライングシステム」という名前はボーカロイドソング、『オフトゥンフライングシステム』があまりにもイメージとぴったり合ったため、名前を使わせていただきました。こちらの曲を無限ループしながら記事を読んでいただけると、より楽しめる仕組みになっております Product Summary オフトゥンフライングシステムとは何か。分かりやすく説明すると、ダジャレ検知AI『Shareka』とダジャレ評価AI『Ukeruka』が搭

機械学習における分類問題では、扱うデータセットに含まれるラベルに偏りのあるケースがある。 これは、例えば異常検知の分野では特に顕著で、異常なデータというのは正常なデータに比べると極端に数が少ない。 正常なデータが 99.99% なのに対し異常なデータは 0.01% なんてこともある。 このようなデータセットは不均衡データ (Imbalanced data) といって機械学習で扱う上で注意を要する。 今回は、不均衡データを扱う上での問題点と、その対処法について見てみる。 なお、登場する分類問題の評価指標については、以前このブログで扱ったことがあるのでそちらを参照のこと。 blog.amedama.jp 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.2 BuildVersion: 18C54 $ python

今回は、ハイパーパラメータを最適化するフレームワークの一つである Optuna を使ってみる。 このフレームワークは国内企業の Preferred Networks が開発の主体となっていて、ほんの数日前にオープンソースになったばかり。 ハイパーパラメータ自動最適化ツール「Optuna」公開 | Preferred Research 先に使ってみた印象について話してしまうと、基本は Hyperopt にかなり近いと感じた。 実際のところ、使っているアルゴリズムの基本は変わらないし、定義できるパラメータの種類もほとんど同じになっている。 おそらく Hyperopt を使ったことがある人なら、すぐにでも Optuna に切り替えることができると思う。 その上で Hyperopt との違いについて感じたのは二点。 まず、Define-by-run という特性によって複雑なパラメータを構成しやすく

本記事は、kaggle Advent Calendar 2018の11日目の記事です。 qiita.com 執筆のきっかけ 先日参加したKaggle Tokyo Meetup #5 の ikiri_DS の発表「Home Credit Default Risk - 2nd place solutions -」にて、遺伝的プログラミングで生成した特徴がLocal CV、Public LB、Private LBの全てで精度向上に貢献したという話がありました。 connpass.com 遺伝的プログラミングや遺伝的アルゴリズムは、大学の学部時代から興味があり、ブログでも何度か取り上げてきました。しかしKaggleなどで試したことはなかったので、自分で手を動かして検証してみようと考えた次第です。 upura.hatenablog.com upura.hatenablog.com 遺伝的プログラミン

こんにちは NewsPicks Advent Calendar 2018の 5日目を担当させていただきます、NewsPicks の戸辺と申します。 2年ほど前に「機械学習をゼロから1ヵ月間勉強し続けた結果」という記事を書き、多くの方に読んでいただきました。そこから引き続き機械学習に携わっており、今年も多くの機械学習系の記事を拝読させていただきました。それら中から「実戦でためになった」「機械学習の勉強に役に立った」という観点から、僕なりのベスト10をあげてみました。 長い冬休み(余談ですが、社会人で一番長く休めるときですよね!?)は知識のアップデートをするのにいい機会だと思いますので、まとめ読みしてみてはいかがでしょうか。 では、スタート！ まずは 2018年にみんなが使った Colaboratory 関連から 1位: 【スマホOK/実行しながら学ぶ】東大松尾研のデータサイエンティスト育成/

今回は、KaggleのWinner solutionにもなった「K近傍を用いた特徴量抽出」を紹介します。 Rでの実装は公開されていますが、Pythonでの実装は確認できなかったので、自前のPython実装も公開しています。 github.com アルゴリズムの概要 Pythonでの例 可視化のためのパッケージ読み込み サンプルデータの生成 可視化 K近傍を用いた特徴量抽出 可視化 iris での例 追記20180624 実装の修正 はてなホットエントリ入り アルゴリズムの概要 近傍数を、分類するクラス数をとした場合に、アルゴリズムは個の特徴量を生成します。生成される特徴量は下記のように、観測値と各クラス内の最近傍点との間の距離から計算されます。 とあるクラスに属する訓練データの中の第1近傍までの距離を1つ目の特徴量とする とあるクラスに属する訓練データの中の第2近傍までの距離の和を2つ目の