本記事は、Gunosy Advent Calendar 2019 17日目の記事です。 昨日の記事は、中村さんによる Pythonしか知らない新卒がGunosyに入るとこうなる - Gunosy Tech Blog でした。 はじめに ワークフロー基盤について システム概要 その日はいきなり訪れた 原因究明 対策 反省点 まとめ EKS on Fargateについて 検証のポイント 検証内容 まとめ 最後に はじめに はじめましてこんにちは、Gunosy Tech Lab1 Data Reliability & MLOps Group2の大関（@mageyuki）と申します。 弊チームでは、 Gunosyにおける統合データ基盤 集約したデータを活用した機械学習基盤 Gunosyの社是である「数字は神よりも正しい」を根底から支える、重要な2つの基盤の開発運用を行っています。 私は主にAWS上

こちらは Gunosy Advent Calendar 2019、2日目の記事です。なお、昨日の記事はかとうさんのわかる Gunosy 2019でした。 qiita.com はじめに こんにちは、 Gunosy Tech Lab Data Reliability & MLOps Group の ｷｳﾞｨﾀｽﾎﾟ(人工知能) (@Civitaspo) / Twitter です。 昨年のAdvent Calendarでは公開したDigdag Pluginを淡々と紹介しました。 tech.gunosy.io 最近ではこれらのPluginを利用して90%ものコスト改善が行われるなど、社内で大活躍が見られています。 data.gunosy.io 皆さんも機会があれば是非利用してください！またフィードバックいただけるとありがたいです！ さて、この記事では昨年に引き続き新しく作ったDigdag Plug

こちらは Gunosy Advent Calendar 2018、7日目の記事です。なお、昨日の記事は @yutanim さんの RxSwiftにおける孫からの祖父母孝行 でした。 qiita.com はじめに こんにちは、広告技術部の ｷｳﾞｨﾀｽﾎﾟ(人工知能) (@Civitaspo) / Twitter です。 Gunosy に入社してから早いもので1年が経ちました。昨年の Gunosy Advent Calendar では僕は読む専門だったのですが、『Gunosyのパーソナライズを支える技術 -ワークフロー編-』を読んで非常に感銘を受けたのを覚えています。 tech.gunosy.io ここではそのとき感銘を受けた言葉を紹介しておきます。 ワークフローは、いわばシステム上における兵站といってもいいでしょう。「戦争のプロは兵站を語り、戦争の素人は戦略を語る」という名言もあるくらいで

かとうです。好きなスポーツは野球で、Gunosy野球部でのポジションはベンチです。 こちらの記事はGunosy Advent Calendar 2018の1日目の記事です。今年も去年同様完走したいなーと思っております。 さて、アドベントカレンダー1発目でいきなりポエムめいた話になってしまい恐縮ですが、エンジニア組織っぽい話をしていきます。 2018年9月よりGunosyでは新たな体制変更を行いまして、現在VP of Engineering（以下VPoE*1）というポジションを担当しております。 新たな組織に向けての背景や意気込みなどは、お時間あればこちらの記事もぜひ読んでいただきたいと思います。 gunosiru.gunosy.co.jp 今回は実際に新しい体制になって3ヶ月経ち、VPoE・新体制としてどういったことに取り組んでいったかについてご紹介していきたいと思います。 ところで最近話

2018-10-30Android で HTML をいい感じで表示できるようにした話こんにちは。開発本部の CLINICS カルテ の開発を担当している @seka です。メドレーでは貴重な (?) エンジニアの若者枠として日々奮闘しております。 今回、開発本部で定期的に開催している勉強会「TechLunch」で、「Android で HTML をいい感じで表示できるようにした話」 という題で発表しましたので、その内容について紹介させていただきます。 1. きっかけ医師たちがつくるオンライン医療事典 MEDLEY (メドレー) をアプリ化することができるか検証してみて欲しいという相談を受け、Android のモックを作成することになりました。 アプリらしい UI を目指して開発を進めていたのですが、MEDLEY では病気記事が CMS などに見られるような HTML 形式で管理されており、

広告技術部の toshimaru です。本記事では広告技術部内で行っている取り組み、Kaizen Day制度についてご紹介いたします。 Kaizen Day制度とは Kaizenタスクとはどんなものか Kaizen Day制度を作ったモチベーション なぜKaizen Dayなのか Kaizen Dayをどのように運用しているか Kaizen Dayの成果 さいごに Kaizen Day制度とは Kaizen Dayとは開発チームが何らかの改善を集中して行う日のことです。 Kaizenタスクとはどんなものか 「何らかの改善」と書きましたが具体的にはどのようなものでしょうか？ Kaizen DayでやるKaizenタスクは具体的に下記のようなタスクを想定しています。 負債返済 リファクタリング 小さなバグFix 小さなデザイン修正 既存のツールの改善 新しいツールの導入 コードベースの一部のモ

はじめに こんにちは。メディアデータ分析部の飯塚(@zr_4)です。 弊社では現在、複数のニュース形式のアプリケーションを運用しており、各プロダクトでユーザーの趣向にあうような記事リストのパーソナライズを行っています。 左から：LUCRA、ニュースパス、グノシー そのため、記事のランキングに関するA/Bテストをする機会が多々あり「少数のユーザーで高速に有力なパラメータを探したい」というニーズがありました。 今回は上記ニーズを満たすべく、グノシーの本番環境に導入したインターリービングを紹介します。 インターリービングとは 概要 インターリービングは高感度なランキング評価手法です。 実験的に、10倍から100倍従来のA/Bテストよりも効率的であることが知られています。*1 従来のA/Bテストにおいて、2つのランキングリストを評価する際は、ユーザを2つの群に分け各々に別々のランキングリストを提示

Gunosyデータ分析部アルバイトの五十嵐です。 Gunosyには大規模なKPIの時系列データがあります。 今回はKPIの時系列分析を行なった際に得た知見についてまとめたいと思います。 具体的にはFacebookが開発した時系列予測ツール Prophetを用いて、KPIのトレンド分析を行いました。 時系列予測について Prophetについて 実装例 モデルの適用 将来のアクセス数予測 トレンド性と周期性の抽出 変化点抽出 Slackを利用した自動化 まとめ 時系列予測について 以前、 KPIのトレンド抽出について以下のブログで紹介しました。 data.gunosy.io ここでは時系列データをトレンド成分と季節成分に分解し、トレンドの把握を容易にする分析を行なっていました。 KPIのトレンドを知ることでサービスの状態を把握することが目的でした。 今回はこの分析をさらに進め、トレンドの変化点

こんにちは、データ分析部の石塚です。 Gunosyではエンジニア以外の職種でもSQLを叩いて自らデータを集計・分析するという習慣と全社員が各サービスのログ*1に触ることができる環境があります。 例えば、ユーザー獲得を担っているプロモーションチームはエンジニアが0名のチームなのですが、実際にSQLを叩いています。 それによって、自分たちの獲得したユーザーはどのような行動をしているのかを確認したり、分析することができています。 これはGunosyのみの事例ではなく、AWSのRedshiftやAthena、GCPのBigQueryが台頭してきたおかげで、どの会社も低コストにログをSQLで集計・分析できる基盤が整ってきています。 個人的にはアプリやウェブの業界で働くマーケターにはSQLは必須の知識と言える時代になってきたと感じています。 そこで今回は特別プログラミングなどの経験が無い人でも、SQL

Gunosyデータ分析部アルバイトの鈴木です。今回は密度比を利用したバージョンリリースにおける異常検知について学んだことをまとめたいと思います。 やりたいこと 超長期的にやりたいこと 密度比を用いた異常検知のイメージ ダミーデータでの実装例1 今回試したやり方 今後試していくやり方 ダミーデータでの実装例2 密度比の平均二乗誤差を用いる場合 直接密度比推定する場合 参考資料 やりたいこと ニュースパス（Gunosyの提供するプロダクトの一つ）をバージョンアップした時に、もし異常があればユーザーアクションログからその兆候を見つけてslackなどに通知できるようにすることが目標です。 （QA項目以外でのログ欠損やアップデートによる予期せぬユーザ行動の検知をするためです。） 現在Gunosyでは、バージョンアップ時に異常がないかどうか調査するために人手を割いています。しかし、もし自動で異常を確実

いつものやつ はじめに 各研究の分類 ニュースの品質に関する研究 Predicting News Values from Headline Text and Emotion Incongruent Headline: Yet Another Way to Mislead Your Readers Deception Detection in News Reports in the Russian Language Fake News Detection using Stacked Ensemble of Classidiers From Clickbait to Fake News Detection: An Aproach based Detecting the Stance of Headlines to Articles ニュースとユーザとの関係に関する研究 Predicting U

こんにちは。 新規事業開発室の @mosa_siru です。 ブロックチェーンAdvent Calendar 14日目の記事です。 社内では新テクノロジーに対しての研究を一部で進めており、スマートスピーカーやVR/ARなどに加え、ブロックチェーンを現在調査しています。この研究・調査の一貫でマイニングについて調べてみました。 この記事では、マイニングの基礎知識と概観について、かなり平易に説明します。基本から順に説明していくので、知ってる人はどんどん飛ばして読んでってください。 また、弊社が進めているブロックチェーン技術に関する研究内容は下記のブログで紹介しています。 blockchain.gunosy.io マイニングって？ マイニング報酬 送金手数料 difficultyの調整 ハッシュレートと価格の関係 価格 => ハッシュレート ハッシュレート => 価格 ハッシュアルゴリズムとマシン

かとうです。しばらくぶりのgunosy.fmです。大変お待たせしました。 第7回目はあいぼうさん（@aibou）とAWS re:Invent 2017について話しました。 ポッドキャストでは会場の様子に加え、今後日本から参加される方にも参考になるre:Invent期間中の過ごし方についても話題にしているので、ぜひ聴いてくださいね。 （なお、途中機材トラブルでかとうの声が消えております。ご了承ください。） また、参加した詳細なレポートは前回の記事にもありますのであわせてご覧ください。 tech.gunosy.io トーク中に話題になったリンクはこちらです。 re:Invent re:PLAY Party Thursday Night Football re:invent 2017に参加してきました！ Elasticsearch Serviceのセッション Aurora Serverless

いつものやつ はじめに なぜ将来を予測することが重要か 概要 準備するもの 日々の獲得の予算 継続率の予算 SQLでの算出 基本編 応用 おわりに いつものやつ この記事は Gunosy Advent Calendar 2017、9日目の記事です(フライング)。 qiita.com はじめに Gunosyデータ分析部の大曽根です。 好きなギタリストはジミ・ヘンドリクスです。 前日の@ij_spitzに引き続きKPI管理に関しての記事を書こうかと思います。 なぜ将来を予測することが重要か ニュースアプリの場合には、毎日開いてくれるユーザが何人いるかが非常に重要です(売上 = DAU * ARPUで表現できます)。 そのため、現在のDAUが目標値に達しているのかいないのか、どの程度の割合で達成しているのかをモニタリングすることが必要になります。 予測に対しての達成割合により、 「成長で売り上げ

この記事は Gunosy Advent Calendar 2017 8日目の記事です。 qiita.com 今日話すこと こんにちは、データ分析部の @ij_spitz です。 つい昨日誕生日を迎えて25歳になりました（もうお◯さんですね）。 Gunosyではプロダクト開発の様々な場面でデータを活用しています。 Gunosyにおけるデータ活用は KPI管理 プロダクト開発 仮説出し、優先度付け、効果測定、意思決定 記事配信アルゴリズム どのユーザーにどの記事を配信するか の3つに大きく分類できます。 今回はこの中でもKPI管理に焦点を当てて、書いていきます。 KPI管理とは GunosyではメインのKPIをいくつかの指標に分解してモニタリングしています。 コンサルの間でよく使われるロジックツリーと考え方は同じで、よくある例だと1日の売上は客数と客単価の掛け算に分解できるというものです（アプ

こんにちは、mtjuneyです。最近はSHISHAMOを聴いています。 www.youtube.com この記事はklis Advent Calendarの8日目の記事です。 （これで本文に"klis"が入っているという条件を満たしました） adventar.org 経緯 家探し 家探しの時期 家賃 条件 立地 職場まで乗換なし 朝の電車で押し潰されない 駅近 日当たりがいい 間取り・設備 1K洋室8畳以上 or 2K洋室片方が6畳以上 バス・トイレ別 ウォシュレット付き お金 新居の初期費用 引越し費用 退去 引越し作業 経緯 僕は今年度修了する(予定の)M2で、修了後は都内に就職するのですが、 色々あって11月中に早めの引越しをしました。 同期のM2や後輩のB4で都内へ引越す人も多いかと思うので、今回の引っ越しで得た知見をつらつらと書いていきます。 注意 あくまで僕の引越しの話なので、

こんにちは、かとうです。 突然ですがこのたび、KDDI株式会社と共同で提供しているニュースパスがGoogle Play 「ベスト オブ 2017」のユーザー投票部門において、TOP5アプリに入賞しました！ さて、そんなニュースパスの入賞を記念して、これまでどのようなリリースがあり、これからどのように進化していくのか、順を追ってご紹介したいと思います！ まずニュースパスは今から一年半前、2016年6月1日にリリースされました！ gunosy.co.jp 開発自体は2016年初頭からスタートし、約半年でリリースができたのですが、その舞台裏についてはこちらのインタビューでお答えしています。 codeiq.jp また、ニュースパスの開発でチャレンジしたサーバーレスアーキテクチャに関する事例を初期開発にも参加したCTO松本が講演もいたしました。 ascii.jp 2017年2月には200万DLを突破

グノシー開発部の@cou_zです。最近はPUNPEEのアルバムをよく聴いています。 日々、KPIを追っていると、意図せずにトレンドが変化することが良くあります。 なぜトレンドに変化があったのかを調査するためには、その時に何が起こっていたのかを知っている必要があります。「何が起こっていたのか」を全て覚えておくことは不可能なので、後で振り返られるようにログを残しておくと便利です。 GunosyではGoogleカレンダーで個人の予定を管理しているため、アプリの変更・出来事もGoogleカレンダーに「グノシープロダクトカレンダー」を作り、影響のありそうな出来事を登録しています。 かつては、手動でカレンダーに登録していましたが、定期的に発生するイベントの登録はSlack + Zapierを使って自動化しました。今日は、Googleカレンダーを用いてプロダクトのログを残すということと、Slack +

開発・運用推進部のおおたです。 SREチームに所属していて、普段はパフォーマンス改善やAWSとのインテグレーションツールの開発を担当しています。 re:invent 2017(11/26~12/1)に参加してきましたので、主にServerlessセッションに関してこちらにまとめを書きたいと思います。 Serverlessとは言っても、Lambdaに限らず、DynamoやGlueまで幅広くご紹介したいと思います。 Optimizing Serverless Application Data Tiers With Amazon DynamoDB 10:00@Aria SRV301-Optimizing Serverless Application Data Tiers with Amazon DynamoDB from Amazon Web Services アマゾンPrimeDayの構成モデ

この記事は Gunosy Advent Calendar 2017 の3日目の記事です。 昨日の記事はaikizokuさんの現場で役立つAutoLayoutのTips集でした。 はじめに ニュースパス開発部の koid です。 この記事は、先日 @mathetake が投稿した、下記の記事の続編になります。 tech.gunosy.io プロジェクトの背景的な部分は、上記の記事を読んでいただきたいのですが、 1. ユーザーはクリックするたびに社内ではファインマンベクトルと呼ばせている呼ばれているベクトルがリアルタイムに生成かつ更新される ちょうど、このファインマンベクトルユーザベクトルを、ユーザが記事をクリックする度に、リアルタイムに更新する部分に関わったので、そのときの話を書きたいと思います。 下のアーキテクチャっぽい図でいうと、ちょうど上半分の話になります。 課題と背景 弊社では以前か