はてなブックマーク

当社データサイエンティストが、自然言語処理分野でよく用いられる「敵対的学習手法」から、「FGM（Fast Gradient Method）」「AWP（Adversarial Weight Perturbation）」手法をピックアップしてご紹介します。 こんにちは。アナリティクスサービス部の佐々木です。 今回は、自然言語処理の分野においてよく用いられる「敵対的学習手法」についてご紹介します。 敵対的学習とは 敵対的学習の手法 FGM（Fast Gradient Method） AWP（Adversarial Weight Perturbation） おわりに 参考文献 敵対的学習とは 深層学習モデルの発展により、自然言語処理分野を含め様々な分野で高い精度のモデルを作成できるようになってきた一方、入力に小さな摂動（perturbation）を加えただけで誤ったクラスに分類してしまう、敵対的サ

「データ活用をより多くの人が、より効率的に実施できるようになる取り組み」をエンジニア観点から自発的に実施するカルチャーを持つ、自社開発プロダクト「Rtoaster（アールトースター）」のエンジニアチーム。今回は、データ基盤チームで作成した BigQuery でのテストシステムを紹介します！ こんにちは、プロダクトビジネス本部開発部の柴内（データ基盤チーム）です。今回は、自社製品である「Rtoaster」プロダクトのデータ基盤チームで作成した BigQuery でのテストシステムについてご紹介します。 背景 データ基盤チームでは、 Rtoaster製品からリアルタイムに連携される、WebやアプリのトラッキングといったデータをGCSや BigQuery に蓄積するデータレイク データレイクにあるデータを BigQuery で加工・変換して利用しやすい形式にしたデータマートやデータウェアハウス

当社データサイエンティストが、高次元のデータをできる限り重要な情報を保持したまま低次元データに変換する「次元削減手法」について代表的な3つの手法をご紹介します。また、実際に画像データを用いて手法を試してみましたので、その結果もご紹介します！ こんにちは。アナリティクスサービス部の西條です。 今回は、高次元データを可視化する際に使用する手法の1つである次元削減についてご紹介します。 次元削減とは 次元削減の手法 PCA t-SNE UMAP 各手法の比較 おわりに 参考文献 次元削減とは 次元削減とは、高次元のデータをできる限り重要な情報を保持したまま低次元データに変換する手法のことです。我々が取り扱うデータの中には画像や音声といった高次元データが存在しますが、これらを直接可視化して特徴把握をすることは困難です。そこで、高次元データを人が理解できる次元数（主に2次元や3次元）まで落とし、可視

ブレインパッドでは進化の激しいデータ分析業界で最新情報をキャッチアップしていくため、様々な勉強会が社内で開催されています。その中のKaggle Code輪読会について、その目的や活動内容、実際に発表された内容をご紹介します。 こんにちは。アナリティクスサービス部の諸橋と申します。 この記事ではブレインパッド社内で行われている勉強会の一つである「Kaggle Code輪読会」についてご紹介します。 また、輪読会で紹介されたKaggle Code（※データ分析プラットフォームKaggleに投稿された分析コードのこと）とその議論の内容についても紹介します。 今回紹介するKaggle Codeはセンサーデータとして取得された時系列データをグラフ化し、そのグラフに対して画像分類を行うことで元々の時系列データの分類を行うという手法です。 技術的な内容と併せて、日々の勉強会を通してお互いに切磋琢磨し合う

当社自社開発プロダクト「Rtoaster」のAI機能「conomi-optimize」にも考え方を利用したアルゴリズムが使われている、多腕バンディッド問題。今回のブログでは、多腕バンディッド問題の内容と基本的な解法についてご紹介します！ こんにちは、アナリティクスサービス部の小野川です。 今回は多腕バンディット問題と呼ばれる問題の内容とその基本的な解法についてご紹介したいと思います。 多腕バンディット問題概要 多腕バンディット問題とは強化学習に含まれるもので、複数の選択肢のなかからよりよい選択肢、つまりより報酬を得られやすい選択肢を選ぶという問題です。 ビジネス現場でもWeb広告最適化やレコメンドなどで活用しうるもので、活用範囲は幅広くあります。(実は弊社の製品であるRtoasterでもこの問題の考え方を利用したアルゴリズムが使われています。) この問題を考える際、スロットマシンを使った例

発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transformerとは 自然言語処理における適用例 自然言語処理以外での適用例 時系列データに対するTransfor

今回のブログでは、発展を続ける「自然言語処理」技術の中から、さまざまな自然言語処理の課題を非常に高い精度で解決する「Transformer」モデルをテーマに、なぜ分析精度が高いのかを解説します！ はじめに こんにちは、アナリティクス本部アナリティクスサービス部の董です。 2017年に Google が発表した「attention is all you need」という論文で提案された「Transformer」は、機械翻訳や文章カテゴリの分類、文章生成等、さまざまな自然言語処理の課題を非常に高い精度で解決し、革命的な進歩で発展しています。当社でもTransformerモデルを業務に生かすことで、これまでは不可能だった分析が可能となっています。 本ブログでは、「なぜTransformerモデルでの分析精度が高いのか？」について、翻訳モデルをベースになるべく分かりやすい言葉で解説することを目標と

ブレインパッドの社員が「数理最適化技術」に関して連載するこの企画。 第5回は、多くの人が人生の過程で通るであろう「デート」を題材に、数学が得意でない方にもわかりやすく数式を使わずに数理最適化を紹介しています。 こんにちは、AIプラクティス部の日吉です。本ブログシリーズも第5回目を迎えました。 ご愛読いただき、ありがとうございます！ さて今回は、そろそろ皆様も数式に疲れてきた頃かなと思いますので、今回は敢えて数式を使わずに、「なぜデータサイエンティストが数理最適化を行うのか」をテーマに書いてみたいと思います。 そして、結論ファーストに書きます！「DX時代にデータを活用するからには、数理最適化といえどもデータサイエンティスト的素養が必要」だということです。（ありきたりではありますが。） そして、Platinum Data Blogブログの読者の多くの方は機械学習に興味があると思っています。「機

ブレインパッドの社員が「数理最適化技術」に関して連載するこの企画。 第2回は、当社のデータサイエンティストが、有名問題「ナップサック問題」の様々な解法を紹介しながら、実際に筆者が設定した問題例を解く過程を紹介しています。 こんにちは。アナリティクスサービス部の内池です。この記事では 【連載】ブレインパッドの数理最適化ブログ の第2弾として、最適化手法入門 (データサイエンス入門シリーズ) を読んで学んだことを活かし、現実の問題を様々な方法で解いていきたいと思います。 今回のテーマは組合せ最適化の有名問題であるナップサック問題です。ナップサック問題といえば「動的計画法」を思い浮かべる方が多いと思いますが、動的計画法だけでも様々なバリエーションがある他、動的計画法以外の効率的な解法も存在します。これらについて、実際に問題を解きながら追っていきましょう。 ナップサック問題とは 注意 様々な解法

数理最適化技術は、「データ活用の促進を通じて持続可能な未来をつくる」を企業ミッションとするブレインパッドにとって、必須の注力技術の1つです。 2020年10月1日、大阪大学に、ブレインパッドほかから寄付を受けた「大阪大学数理最適化寄附講座」が開設されました。同講座の教授を務められるのは、数理最適化技術の研究で大変著名な梅谷 俊治先生です。 これを機に、ブレインパッドも数理最適化技術に関するナレッジをさらに＆どんどん高めていこうということで、この公式ブログでも数理最適化に関する連載をスタートします！ こんにちは。CDTO（Chief Data Technology Officer） の太田です。 大阪大学にブレインパッドが寄付を実施し、「大阪大学数理最適化寄附講座」が開設されました。 それを記念して、社内有志とともに数理最適化に関する記事の連載を開始します。 11月前半までは各々が興味をもっ

ブレインパッドの社員が「数理最適化技術」に関して連載するこの企画。 記念すべき初回は、当社のCDTO（Chief Data Technology Officer）が、数理最適化に関する書籍の輪読会を通じて得たTipsをご紹介します！ こんにちは。CDTO (Chief Data Technology Officer) の太田です。 この記事は【連載】ブレインパッドの数理最適化ブログ（目次）の初回の記事です。 今回、「大阪大学数理最適化寄附講座」の開設に関わらせていただくことになったきっかけは、 TensorFlow User Group の有志の方々とともに主催している Optimization Night というコミュニティイベントでした。 現在、そのコミュニティのメンバー数名と週次の輪読会を開催しており、H. Paul Williams, Model Building in Mathe

自社開発サービスである「Rtoaster（アールトースター）」は、2019年にユーザー分析機能の「自動クラスタリング機能」をSpark(DataProc)からBigQueryMLに移行しました。 ブレインパッドの新卒2年目の自社サービス開発エンジニアが、新卒1年目で取り組んだ、この大きなプロジェクトでの経験についてご紹介します！ はじめに 背景 ユーザー分析機能と自動クラスタリング 移行前の環境と問題点 BigQuery ML について 実装 モデル移行の実装 結果 料金の削減 実行時間の削減 運用の問題解消 最後に はじめに 本記事は、ブレインパッドの自社サービスである「Rtoaster（アールトースター）」のユーザー分析機能のチームで開発をしている、新卒入社2年目のエンジニア柴内がお送りします。 私は新卒1年目だった昨年秋ごろ、ユーザー分析機能の「自動クラスタリング機能」をSpark(

2018年1月より、ブレインパッドが始めているQiita Organization。社員が投稿した「Qiita記事まとめ」として、2020年1月～5月の記事をご紹介していきます！ こんにちは。広報の中村です。 ブレインパッドのデータサイエンティスト・エンジニアが投稿する技術トピックをQiita Organizationにまとめています。 qiita.com このブログを執筆している日時点で167記事が投稿されています！ 今回は2020年1月～5月に投稿された記事をご紹介します！ 日付 タイトル（リンク） カテゴリ 2020.01.02 Google提供のDataflowテンプレートとJavaScriptの話 JavaScript、Google Cloud Platform、gcp、dataflow、ApacheBeam 2020.01.01 Google Cloud Speech API

2020年4月1日（水）、ブレインパッドに新たに24名の仲間が加わりました！ 新型コロナウィルスの影響で、世の中も会社の中も例年とは異なる状況ですが、みんな元気に頑張っています。 このブログでは、職種や大学時代の専攻分野などとともに新しい仲間たちをご紹介します！ こんにちは。広報の中村です。 2020年4月1日（水）、ブレインパッドに、データサイエンティスト、エンジニア、ビジネスの3つのコースから厳しい選考をくぐり抜けた精鋭24名が入社しました！ ブレインパッドは新卒・中途限らず毎年積極採用をおこなっているので、この24名という新卒人数も過去最多です。 ※新型コロナウィルス感染防止の観点から、入社後は新卒研修すべてをオンラインで実施しています。その様子については、後日ブログにてご紹介させていただきます！ 多彩なメンバーが集まりました！ ブレインパッドには多種多様なプロフェッショナルが集い、

ブレインパッドでは毎年学生向けのインターンシップを開催しています。今年の「機械学習エンジニアコース」学生の皆さんに取り組んで頂いた「機械学習による旅行プランニング」で提案された旅行に、ブレインパッドの取締役が実際に行ってみた！体験をご紹介します。 ミッション達成できてよかったです。本当に楽しい休暇でした！ 概要 こんにちは。ブレインパッドで取締役をしております塩澤です。 今年も優秀なインターン生が「機械学習による旅行プランニング」をテーマに、夏に当社でインターンシップに取り組んでくれました。 その中で開発頂いた「観光スポットの周遊プランニングAI」からアウトプットされた周遊プランで草津温泉を楽しんできましたので、その体験を記事にしたいと思います。 「観光スポットの周遊プランニングAI」についてはこちらをご覧ください！ blog.brainpad.co.jp 概要 はじめに まずは予約から！

ブレインパッドでは毎年学生向けのインターンシップを開催しています。今年も、昨年に続いて「機械学習エンジニア（Machine Learning Engineer, MLE）コース」を実施し、今回は3名がインターンシップに参加しました。その取り組みと成果をご紹介します！ こんにちは、アナリティクスサービス本部AIプラクティス部の伊藤です。 今回は、今年の8月末から9月にかけて実施した機械学習エンジニアコースのインターンシップの内容についてお伝えします。 はじめに インターンの紹介と取り組みテーマ インターンシップの進め方 最終報告会 宿泊先のレコメンド（恒川さん） 周遊プランニング（藤原さん） 寄り道先のランキング（佐藤さん） 懇親会 まとめ はじめに 今年は「機械学習による旅行プランニング」というテーマで1か月間のインターンシップを実施しました。京都と名古屋から、3名の方がインターンシップに

10月28日から31日にかけて、アメリカ・サンタクララで開催された「TensorFlow World 2019」の様子を、現地から速報します。 こんにちは。 CDTO の太田です。10月28日から31日にかけて開催されたTensorFlow World 2019に参加してきたので、その様子を報告します。 開催概要 TensorFlow World は、 Oreilly社主催の TensorFlow に関するイベントです。これまで TensorFlow のイベントと言えばTensorFlow Dev Summitがありましたが、こちらは完全に開発者のためのものでしたが、今回開催された TensorFlow World は、より多くの方をターゲットとしたイベントです。 開催場所はサンタクララ、開催期間は 10月28日 - 10月31日 の4日間で、前半2日間はチュートリアルとハンズオントレーニ

2019年10月15日（火）に当社のCDTOが主催した、数理最適化に興味のある人が集まる有志イベント「Optimization Night #1」が開催されました。 本ブログでは、運営者目線でのイベントの取り組み内容について紹介します！ こんにちは。CDTOの太田です。先日Optimization Night #1という数理最適化に関するイベントを開催したので、運営者側の目線で、会の内容や開催の経緯を紹介したいと思います。なお、当日の様子はYoutubeでご覧いただけます。 開催の経緯 私はTFUG (TensorFlow User Group)の運営もやっているのですが、全国8箇所あるTFUGのオーガナイザーが集まって議論していたときに、「（TensorFlow関係ないけど）数理最適化のイベントをやりたい」という発言をしたのがきっかけです。 なぜ数理最適化のイベントをやりたいと思ったかと

分析コンペサイト「SIGNATE」にて行われた「日本たばこ産業 たばこ商品の画像検出」にて、当社のデータサイエンティストチームが全1013チームの中で見事第3位に入賞しました！ 本ブログでは表彰式の様子についてご紹介したいと思います！ こんにちは。アナリティクスサービス部の井出です。 先日分析コンペサイトSIGNATEにて、日本たばこ産業株式会社（JT）がホストとなって行われた「たばこ商品の画像検出」に、同じくアナリティクスサービス部の兵藤さんと参加しました。結果、全1013チームの中で第3位の精度を出し、見事入賞しました！ プレゼンテーションも実施した表彰式当日の様子について紹介したいと思います。 ■コンペの概要・趣旨について SIGNATEとは データサイエンティストコミュニティです。ここでは、企業がホストとなってデータサイエンスコンペティションが行われています。 今回我々が参加した「

Amazon Web Services や Google Cloud をはじめとして様々なクラウドサービスが提供されています。クラウドサービスは、その目的や用途に合わせて、適切に設計・管理できてこそ価値を発揮します。というわけで今回は、ビッグデータに関する技術を問う AWS 認定ビッグデータ専門知識の試験に合格した当社社員が、合格までの道のりについてご紹介します。AWS Summit でインタビューに答えてもらった T シャツ こんにちは、アナリティクスサービス部の家入です。Google Cloud Next '19 や AWS Summit 2019 と毎年クラウド周りは賑やかですね。弊社ブログに掲載したイベントレポートはもうお読みいただけましたでしょうか？さて、世の中はそんなイベントや新サービスで盛り上がっていますが、例えば AWS のストレージや分析のサービスだけでも、S3、Dyna

当社の社員が行った、退職者・休職者予測を例に、機械学習・予測分析システム「SAP® Predictive Analytics」を使った予測モデル構築の流れをご紹介します！ こんにちは。デジタルソリューション本部 プレディクティブマーケティングサービス部の西村です。 弊社が販売支援やコンサルティング等を行っている機械学習・予測分析システム「SAP® Predictive Analytics」は、2006年の販売支援開始以降、マーケティング分野（顧客反応予測 等）を中心にご活用いただいています。 一方で最近は、働き方改革の流れから、人事労務分野での機械学習の導入と、SAP® Predictive Analyticsの活用を目指すクライアント企業が増えてきたように感じています。 SAP® Predictive Analyticsは、マーケティングに特化した予測分析ツールというわけではなく、特にデ

マーケティング活動のテーマとなる「顧客育成」を例に、当社の社員が、実際に当社で取り扱う独自性の強いツールがどう活用できるのかを紹介します！ 初めまして、デジタルソリューション本部 プレディクティブマーケティングサービス部の王と申します。 普段の業務は主に機械学習・予測分析システム「SAP® Predictive Analytics」を活用した“プレディクティブ（予測）”の案件を担当しています。 先日、マーケティングの勉強のため、先月発売され人気の『たった一人の分析から事業は成長する 実践 顧客起点マーケティング』を読みました。一人の顧客を深堀することでアイディアをつかみ、新規顧客を獲得する角度からコマーシャルを通じて顧客の認知を上げるための成功例や、顧客をロイヤル化するための顧客分析の方法などが紹介されていました。 考え方は、過去に自分が担当していた分析業務の「顧客育成」とたくさんの共通点

近年、ビジネスは"勘と経験による意思決定"から"データに基づく意思決定"にシフトしてきています。この傾向は価格戦略においても同様です。本ブログでは、需要と供給のバランスから最適な価格設定をする、ダイナミックプライシングの技術をご紹介します。 こんにちは。アナリティクスサービス本部の登内です。 当社では、データから価値を引き出すべく日々、様々なデータ分析に取り組んでいます。その中でも、来たるべき令和時代にブレイクするかも知れないテーマであるダイナミックプライシングへの取り組みも強化しています。今回は、ダイナミックプライシングの概要と定式化について紹介したいと思います。 この記事の目次は次のとおりです。 ダイナミックプライシングとは？ 定義 メリット・デメリット 定式化 問題設定 定式化 最適化 まとめ ダイナミックプライシングとは？ 定義 ダイナミックプライシングとは簡単に言うと「収益増を目

GCP™ やAWSに代表されるクラウドサービスは、近年急速に利用が進んでおり、弊社では利用する側だけでなく、提供する側としても活用しています。今回は、クラウドサービスを使ったデータ分析の理解を深めるために Google Cloud™ のProfessional Data Engineer 資格を取得した経緯についてお話しします。 Professional Data Engineer に合格するともらえるバックパック こんにちは、アナリティクスサービス本部の家入です。 弊社のアナリティクスサービス本部では、ビッグデータを活用したデータ分析や機械学習システムをクライアント企業に提供しており、業務の中でクラウドサービスをデータストア、あるいは分析や開発の基盤として利用することがあります。 こうした仕事上の必要性、またブレインパッドとしても Google Cloud Next に出展したり、社内に

自然言語処理の技術は近年、飛躍的に発展しており、検索エンジン、自動翻訳、チャットボットやスマートスピーカーの自動応答など、私たちの生活の中でも様々な場面で使われています。本ブログでは、自然言語処理の研究開発で得られた知見をもとに実施した、Doc2VecとDANを使って論文の質を予測するという取り組みについてご紹介します。 イントロダクション こんにちは、アナリティクスサービス本部の金田です。 現在私は、自然言語処理の研究開発チームにいます。直近では、文書間の類似度や文書クラスの判別について、最新の知見をキャッチアップして、社内に共有しています。本ブログでは、自然言語処理手法の一つであるDoc2VecとDANを使った論文の質の予測をご紹介します。 今回は、私が大学で専攻した素粒子理論の論文データを使い、重要度クラスで分類しました。なお、簡単化のために、対象の論文の著者は1人に絞り、評価は被引

ブレインパッドでは最新技術の実用化とサービス品質の向上を目的に、日々、研究・開発を行っています。本ブログでは、メディア広告のマーケティング施策などに用いられる、予算配分最適化の技術をご紹介いたします。 Table of Contents イントロダクション 予算配分最適化 包絡分析法(Data Envelopment Analysis, DEA) 包絡分析法の考え方 CCR モデル BCC モデル DRS モデル 包絡分析法の問題点 Free Disposal Hull (FDH) FDH iFDH 予算配分最適化への適用例 まとめ 参考文献 イントロダクション こんにちは、アナリティクスサービス本部の加藤です。現在私は研究開発グループの下で新たなデータ分析手法の研究開発の仕事に携わっています。 研究開発グループでは、ブレインパッドに依頼されるデータ分析案件の品質向上を目的に、新たな分析手

プログラミング言語「Python」のユーザーが集まるイベント「PyCon JP 2018」に登壇してきました！ 当日の様子について 、登壇した当社エンジニアが振り返ります！ 当日はたくさんの方に足を運んで頂きました！ こんにちは。 マーケティングプラットフォーム本部開発部の西尾です。 先日開催されたPyCon JP 2018に「Python研修の作り方 -Teaching Is Learning-」というテーマで、新卒研修でPythonを教える講師の立場からどのような準備をしたかを当社社員(私)が講演させて頂きました。 当日のスライドはこちら Python研修の作り方 - teaching-is_learning- from BrainPad Inc. 発表前は「新卒研修の話って興味あるヒト何人くらいいるんだろう。。。もしかしたら空席多いかもなぁ。。。」という不安もありましたが、当日はたく