より正しい意思決定のための統計的仮説検定とサンプルサイズ計算 - Gunosyデータ分析ブログ
はじめに こんにちは、Gunosy Tech LabのBIチームに所属しているクボタです。 Gunosyではアプリ内のロジックやUI等の変更において数値ベースでの意思決定を行なっています。 例えば新たなキャンペーンでのCVR増加やUI変更によるA/Bテストでのクリック数増加の効果検証などで統計的に裏打された手法を用いることで正しく意思決定を行うことを目指しています。 data.gunosy.io 本記事ではそのような状況で必要となるサンプルサイズの設計や統計的仮説検定のお話をさせていただきます。 はじめに 検定手法の選択 統計的仮説検定の手順 比較する指標の選定 帰無仮説 と対立仮説 の決定 検定統計量の選定 有意水準の決定 検出力の決定 効果量の決定 サンプルサイズの計算 ノンパラメトリック検定 多重比較 おわりに 参考文献 検定手法の選択 数値による意思決定を行う際に検定はよく利用され
データ分析部で一年仕事をしての学び - Gunosyデータ分析ブログ
こんにちは、去年の4月に新卒としてGunosyに入社し、データ分析部に配属された山田です。 先日、LabBase様からインタビューを受けてこんな記事が公開されたりしました。 labbase.jp また、先週は今年の新卒の片木くんがデータ分析部で何をやっているのかを書いてくれました。 data.gunosy.io 今年は新卒エンジニアの数が多かったので研修がかなり充実しているのですが、去年は新卒エンジニアが僕一人だったのでそのあたりの内容は実際に仕事をしながら学んでいくことになりました。 そこでこの記事では、データ分析部に配属されて一年仕事した上で学んだことを軽く紹介したいと思います。 数値を疑うこと 実行速度は思ったよりもシビアだった 大規模データの扱い おわりに 数値を疑うこと Gunosyの方針を示す「Gunosy Way」の一つに「数字が神より正しい*1」という言葉があり、実際に社内
Gunosy、データ利活用を促進し、情報の推薦を加速させる「Gunosy Tech Lab」を設立｜株式会社Gunosy
プレスリリース Gunosy、データ利活用を促進し、情報の推薦を加速させる「Gunosy Tech Lab」を設立 株式会社Gunosy（本社：東京都港区、代表取締役CEO：竹谷祐哉、以下、Gunosy）は、2019年3月15日（金）付にて、Gunosy内に「Gunosy Tech Lab（読み：グノシー テック ラボ、以下、同ラボ）」を設立したことをお知らせいたします。 【設立の背景と趣旨】 Gunosyでは「情報を世界中の⼈に最適に届ける」というビジョンのもと、機械学習・⾃然⾔語処理の技術を用いたアルゴリズムにより、各ニュースコンテンツパートナー様からお預かりした記事の評価を行い、当社が提供する各サービスを通じてユーザーの皆様に最適な記事の配信を行っています。また最近では、動画やクーポン等のテキスト記事以外のコンテンツ評価も行っており、技術の応用範囲を拡大してきました。 2019年1月
Tokyo Editors Labに参加してきました - Gunosyデータ分析ブログ
こんにちは。データ分析部の荻原です。様々な動画を見過ぎて突然思い出し笑いをしてしまう事が最近の悩みです。 普段はグノシー動画におけるデータ分析やロジック開発などをしています。今回は4/21 ~ 22に開催された 「Tokyo Editors Lab」にデータ分析部所属の関、大曽根、荻原で参加してきたので、その模様およびどのようなサービスを開発したか 共有していきたいと思います。 Tokyo Editors Lab Tokyo Editors Labはデジタルメディアの世界的組織であるGEN(Global Editors Network)が主催するハッカソンであり、今回はニュースメディアにおけるファックトチェック・フェイクニュース問題に焦点を当てた内容です。(去年は災害報道に関する題材だったとの事です) 今回のハッカソンにはGunosyの他にNewsPicks、フジテレビジョン、東京新聞、N
言語処理学会第24回年次大会(NLP2018)に参加 & 論文賞受賞しました - Gunosyデータ分析ブログ
はじめまして、データ分析部の小澤（id:skozawa）です。 3月12日(月)〜3月16日(金)に開催された言語処理学会第24回年次大会(NLP2018) @岡山コンベンションセンターに、Gunosyから、関、久保、茂木、桾澤（インターン生）、小澤の5名で参加しました。 スポンサー発表 今回、Gunosyはゴールドスポンサーとして参加し、スポンサーブースでは、Gunosyにおける自然言語処理や機械学習を活用した取り組みについて、ポスター発表しました。 具体的には、以下のような発表をしました。 記事・動画閲覧ログを利用したニュース・動画配信の最適化 記事・動画閲覧ログを利用した広告配信の最適化 クリックベイトの分析 クリックされやすいがユーザの満足度を伴わないコンテンツの調査・定量化 DEIM 2018でも発表（タイトルと画像が一致しないニュース記事による クリックベイトの文析, 関, D
Gunosy DM Meetup ～サイバーエージェント×リブセンス×Gunosy～ を開催しました -
こんにちは、データ分析部の石塚(いしつか)です（よくいしづかと間違われます）。 今回は3月7日に行われた「 Gunosy DM Meetup サイバーエージェント×リブセンス×Gunosy」 の様子をご紹介したいと思います。 Gunosy DM Meetup は、現在138回の開催の歴史を持つ「Gunosyデータマイニング研究会」 のスピンオフ企画として生まれ、過去に行われた研究会の参加者やGunosyデータ分析部メンバーの知人を中心に、招待制で開催されています。 Gunosyデータ分析部ではこのようなミートアップを半年に1回ほどのペースで主催しており、積極的に知見の共有を行っています。 2017年8月にクックパッドさん、Vasilyさんと共同開催した前回のミートアップのテーマは「機械学習の実サービスでの導入事例紹介」でしたが、 今回は「分析・分析基盤」というテーマで、各社を代表して4名か
アプリログの自動異常検知を試してみた~密度比による異常検知入門~ - Gunosyデータ分析ブログ
Gunosyデータ分析部アルバイトの鈴木です。今回は密度比を利用したバージョンリリースにおける異常検知について学んだことをまとめたいと思います。 やりたいこと 超長期的にやりたいこと 密度比を用いた異常検知のイメージ ダミーデータでの実装例1 今回試したやり方 今後試していくやり方 ダミーデータでの実装例2 密度比の平均二乗誤差を用いる場合 直接密度比推定する場合 参考資料 やりたいこと ニュースパス（Gunosyの提供するプロダクトの一つ）をバージョンアップした時に、もし異常があればユーザーアクションログからその兆候を見つけてslackなどに通知できるようにすることが目標です。 （QA項目以外でのログ欠損やアップデートによる予期せぬユーザ行動の検知をするためです。） 現在Gunosyでは、バージョンアップ時に異常がないかどうか調査するために人手を割いています。しかし、もし自動で異常を確実
自然言語処理×ジャーナリズムな研究まとめ ~ EMNLP2017 Workshopより ~ - Gunosyデータ分析ブログ
いつものやつ はじめに 各研究の分類 ニュースの品質に関する研究 Predicting News Values from Headline Text and Emotion Incongruent Headline: Yet Another Way to Mislead Your Readers Deception Detection in News Reports in the Russian Language Fake News Detection using Stacked Ensemble of Classidiers From Clickbait to Fake News Detection: An Aproach based Detecting the Stance of Headlines to Articles ニュースとユーザとの関係に関する研究 Predicting U
SQL: 継続率と獲得数で将来のDAUをさくっと予測してみる - Gunosyデータ分析ブログ
いつものやつ はじめに なぜ将来を予測することが重要か 概要 準備するもの 日々の獲得の予算 継続率の予算 SQLでの算出 基本編 応用 おわりに いつものやつ この記事は Gunosy Advent Calendar 2017、9日目の記事です(フライング)。 qiita.com はじめに Gunosyデータ分析部の大曽根です。 好きなギタリストはジミ・ヘンドリクスです。 前日の@ij_spitzに引き続きKPI管理に関しての記事を書こうかと思います。 なぜ将来を予測することが重要か ニュースアプリの場合には、毎日開いてくれるユーザが何人いるかが非常に重要です(売上 = DAU * ARPUで表現できます)。 そのため、現在のDAUが目標値に達しているのかいないのか、どの程度の割合で達成しているのかをモニタリングすることが必要になります。 予測に対しての達成割合により、 「成長で売り上げ
ニュースパスがGoogle Play 「ベスト オブ 2017」に入賞したのでこれまでとこれからを一気にご紹介します -
こんにちは、かとうです。 突然ですがこのたび、KDDI株式会社と共同で提供しているニュースパスがGoogle Play 「ベスト オブ 2017」のユーザー投票部門において、TOP5アプリに入賞しました！ さて、そんなニュースパスの入賞を記念して、これまでどのようなリリースがあり、これからどのように進化していくのか、順を追ってご紹介したいと思います！ まずニュースパスは今から一年半前、2016年6月1日にリリースされました！ gunosy.co.jp 開発自体は2016年初頭からスタートし、約半年でリリースができたのですが、その舞台裏についてはこちらのインタビューでお答えしています。 codeiq.jp また、ニュースパスの開発でチャレンジしたサーバーレスアーキテクチャに関する事例を初期開発にも参加したCTO松本が講演もいたしました。 ascii.jp 2017年2月には200万DLを突破
Gunosyのパーソナライズを支える技術 -1クリックで始まるパーソナライズ- - Gunosy Tech Blog
この記事は Gunosy Advent Calendar 2017 の3日目の記事です。 昨日の記事はaikizokuさんの現場で役立つAutoLayoutのTips集でした。 はじめに ニュースパス開発部の koid です。 この記事は、先日 @mathetake が投稿した、下記の記事の続編になります。 tech.gunosy.io プロジェクトの背景的な部分は、上記の記事を読んでいただきたいのですが、 1. ユーザーはクリックするたびに社内ではファインマンベクトルと呼ばせている呼ばれているベクトルがリアルタイムに生成かつ更新される ちょうど、このファインマンベクトルユーザベクトルを、ユーザが記事をクリックする度に、リアルタイムに更新する部分に関わったので、そのときの話を書きたいと思います。 下のアーキテクチャっぽい図でいうと、ちょうど上半分の話になります。 課題と背景 弊社では以前か
Gunosyのパーソナライズを支える技術 -計算モデルとアーキテクチャ編- - Gunosy Tech Blog
この記事は Gunosy Advent Calendar 2017 の1日目の記事です(フライング) qiita.com §1. はじめに こんにちは。データ分析部ロジックチームの @mathetakeです。いつもはデータ分析ブログにいるのでテックブログは初めてです。怖いです。Twitterとかやったことないですね。 最近は仕事でニュースパスというプロダクトの記事配信ロジックの改善を行っており、その一環としてパーソナライズロジックの開発プロジェクトに従事しています。 パーソナライズとはユーザーひとりひとりに対して別々の記事配信を行う事です。下記の記事でパーソナライズプロジェクト発足に至るまでの背景が語られているので、興味のある方はぜひご覧ください。 gunosiru.gunosy.co.jp この記事ではニュースパスの記事配信アルゴリズムのパーソナライズプロジェクトに関連して、 パーソナラ
豊橋技術科学大学と共同研究開始 ウェブコンテンツの需要を計測・予測するアルゴリズムの研究｜株式会社Gunosy
株式会社Gunosy（本社：東京都港区、代表取締役CEO：福島良典、以下「Gunosy」）は、このたび、豊橋技術科学大学にて計算社会科学を研究する吉田光男助教と、ウェブコンテンツの需要を計測・予測するためのアルゴリズムを開発するため、共同研究を開始いたしましたことをお知らせいたします。 Gunosyでは「情報を世界中の⼈に最適に届ける」というビジョンのもと、機械学習・⾃然⾔語処理の技術を用いたアルゴリズムにより、各媒体社様からお預かりした記事の評価を行い、当社が提供する各サービスを通じてユーザの皆様に配信を行っています。記事の評価においては、当社のサービスにおけるユーザ行動データだけでなく、ソーシャルメディアを始めとしたウェブ上のデータを活用してきました。今回、ソーシャルメディアのビッグデータを活用し、ウェブ上での話題性と実社会との関連性を分析している豊橋技術科学大学の吉田光男助教と共同研
データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション（以下、バッチ）を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開発のノウハウなどをまとめたWeb記事の数は少なく感じます。 また、言語に関わらずWebフレームワークの数に対して、バッチフレームワークの数も少数です。 このような点を踏まえると一般的には難易度の高くない（ノウハウを必要としない、フレームワークに頼る必要のない）、もしくはニーズがあまりないなどの印象があるのかもしれません。 一方で我々は日々バッチ開発を行い、数多くの地雷を踏んできました。 これらの経験を踏まえてどのような点に気をつけているのかについて共有します。 理想的には多くの方の経験を共有して、建設的な議論に発展するとうれしいです。 はじめに
テキストアナリティクスシンポジウムにて招待講演／研究発表を行いました - Gunosyデータ分析ブログ
データ分析部研究開発チームの関です。 最近は10月のエビ中とBishの対バンイベントに向けて双方の楽曲の予習を行っています。 この度データ分析部では9月7日, 8日に成蹊大学で行われた第11回テキストアナリティクスシンポジウムに参加し, 7日は招待講演とパネルディスカッション、8日には2件の研究発表を行いました。 テキストアナリティクスシンポジウムとは テキストアナリティクスシンポジウムは電子情報通信学会の言語理解とコミュニケーション研究会（NLC研）が主催するシンポジウムで、 自然言語処理の結果をどのように分析・解釈・活用するかという点に着目した研究会です。 第10回まではテキストマイニングシンポジウムと呼ばれていましたが、業界全体のトレンドを考慮し、今回からテキストアナリティクスシンポジウムと改称されました。 参加者も学生や研究者だけでなく、企業の実務担当者が多かった印象です。 また自
グノシーは｢後出しじゃんけん｣で戦う会社だ
2016年度に絶好調の業績をたたき出した、スマートフォン向けニュースアプリ運営のGunosy（グノシー）。直近では女性向け情報アプリ、フリマも含むネットショッピングの価格比較アプリという2つの大型新事業を発表し、業界内外から注目を集めている。ニュースアプリ市場が成熟化に向かう中、同社はIT・ネット業界のメガトレンドをどう読み解き、成長戦略を描くのか。福島良典CEOにじっくり聞いた。 2つのアプリが共に成長した ――前期（2016年6月～2017年5月）は売上高、営業利益とも期初予想から大幅に上振れる好調ぶりだった。 開始から4年を超えた「グノシー」アプリをさらに成長させられたことと、もうひとつの「ニュースパス」(KDDIと提供)を成功に導けたことが大きかった。「グノシー」のユーザーは10～30代が中心で、それだけでは限界が見えたかもしれないが、もっと拡大できることを証明できた。 どちらのア
Gunosy における AWS 上での自然言語処理・機械学習の活用事例: AWS Summit dev day 2017 - Gunosyデータ分析ブログ
はじめに こんにちは。Gunosyデータ分析部の大曽根(@dr_paradi) です。最近はJOHN TROPEA BAND featuring STEVE GADD etcのライブを観に行きました。 業務では主にニュースパスのユーザ行動分析、記事配信アルゴリズム開発全般を担当しています。 先日開催されました、AWS Dev Day Tokyo 2017において、「Gunosy における AWS 上での自然言語処理・機械学習の活用事例」というタイトルで発表してきましたので、その内容について簡単ですが書きたいと思います。 はじめに 発表内容 記事分類 属性推定 + スコアリング 属性推定 スコアリング 効果測定 (ABテスト) おわりに 発表内容 私が発表した内容は下記のスライドにまとまっています。弊社が提供するサービスのニュースドメインのもの(グノシー、ニュースパス)における処理の流れを大
釣り記事の線引き、ユーザーたちの判断は大体正しい：Gunosy 共同創業者 関 喜史 | DIGIDAY［日本版］
広告収益機会を求めるメディアにはページビュー（PV）を増やす強いインセンティブが働いており、ユーザーに記事をクリックさせるための工夫（メディアハック）が積極的に行われるようになった。Gunosyは2016年後半からクリックベイト（釣り）を回避するアルゴリズムを研究開発している。 広告収益機会を求めるメディアにはページビュー（PV）を増やす強いインセンティブが働いており、ユーザーに記事をクリックさせるための工夫（メディアハック）が積極的に行われるようになった。Gunosyは2016年後半からクリックベイト（釣り）を回避するアルゴリズムを研究開発している。Gunosy 共同創業者 開発本部 データ分析部／東京大学大学院 工学系研究科 客員研究員 博士 関 喜史氏に、同社サービスの大規模データを活用した研究開発の状況や人々のニュースメディア接触の状況を聞いた。 「クリックベイトが広まった背景はい
WebDB Forum 2016 gunosy
PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています． この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！ イベントサイト: https://ml-kubernetes.connpass.com/event/239859/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Gunosy、釣り記事を回避するアルゴリズムを研究開発――「プラットフォームとしての社会的責任がある」 
