2020/07/14 Cybozu Tech Meetup #3
![インフラ自動化の落とし穴と宣言的アーキテクチャ](https://cdn-ak-scissors.b.st-hatena.com/image/square/adcada8298df0371beab65523d702987a76a7bd9/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fa673e127014b4144a426661b7cc60c0e%2Fslide_0.jpg%3F15836954)
技術部セキュリティグループの水谷(@m_mizutani)です。最近はPCゲーム熱が再燃しており、今はCities: Skylinesに時間を溶かされ続けています。 クックパッドでは レシピサービス の継続的なサービス改善の他にも、生鮮食品販売プラットフォームの クックパッドマート やキッチンから探せる不動産情報サイト たのしいキッチン不動産 をはじめとする新しいサービス開発にも取り組んでいます。さらに内部的なシステムも多数あり、動かしているアプリケーションの数は300以上に及びます。これらのアプリケーションには多くのOSSパッケージが利用されており開発を加速させますが、同時にOSSパッケージのアップデート、とりわけ脆弱性の修正にも向き合う必要があります。 これまでクックパッドでは(重大な脆弱性が見つかった場合を除いて)各サービスを担当するエンジニアが事業や開発の状況にあわせてパッケージの
こんにちは。BASE BANK株式会社 Dev Division にて、 Software Developer をしている東口(@hgsgtk)です。私のいる開発チームでは、アジャイル開発の考え方・取り組みを取り入れています。アジャイル開発の導入については、「小さなチームが始めたアジャイル開発」という資料を公開しています。 今回は、アジャイル開発において、重要な振り返りについて、Mad Glad Sad(喜、怒、哀) というレトロスペクティブ(振り返り)のワークを紹介したいと思います。 TL;DR Mad Glad Sad(喜、怒、哀)は、感情データを集めるためのワーク イテレーションで起きた、喜んだり、怒ったり、哀しかったりした時間やイベント、を書き出していくイベント 素直な感情ベースでイベントを振り返ることで、 "理性のフィルター"で見つからない潜在的課題をチームが見つける きっかけに
えびすセキュリティボーイズは、オンラインセキュリティ勉強会です。 今回、エフセキュアのコンサルティング担当の河野氏がクラウド・セキュリティ初心者に向けて、まずやるべきことを紹介しました。講演資料はこちら 「エフセキュア」はどういう会社か 河野真一郎 氏(以下、河野):みなさんこんばんは。 一同:こんばんは。 河野:えびすセキュリティボーイズ meetup online #1の一発目を担当します、河野です。「初心者のあなたに捧げるCloud SecurityあとCyber Security Sauna」というタイトルで、10分ほど喋りたいと思いますます。私は、エフセキュアという会社の法人営業本部で営業担当でして、主にクラウドセキュリティとセキュリティコンサルティングサービスを担当しています。 今日の資料は既にSlideShareにアップロードしてありますので、読み直したい方はそれをご覧くださ
こんにちは。ECプラットフォーム部 推薦基盤チームで、DWH・DMP・広告まわりのデータエンジニアリングを担当している大谷です。 本記事では、マーケティング部門の広告運用のインハウス化に伴ってこれまで取り組んできた広告データの収集と活用、その仕組みにフォーカスして事例をご紹介します。 背景 データの収集と活用 Arm Treasure Data Integrations Hub ログ収集 アクセスログ 検索インプレッションログ Workflow フィードローダー (Google) レポーティング Googleスプレッドシート × BigQuery CausalImpact (Google) まとめ 背景 ZOZOでは事業・開発部門を問わず、様々な部門のスタッフが各自の業務に必要となるデータを取り扱い、レポーティングなどに活用する文化が根付いています。社内では人づてにデータを扱うノウハウが伝
こんにちは、Machine Learning部門の森長と申します。 Machine Learning部門は、プロダクト適用を目指した基礎研究&基礎研究のプロダクト適用の二軸を担当しています。基礎研究では、言語モデルの作成、文章のカテゴリ分類・クラスタリング、要約の検証等、プロダクトへの適用を見据えて研究テーマを設定しています。また、自然言語処理の盛り上がりに少しでも貢献できればと考え、言語モデルの公開を行っていますので、もしよろしければ使ってみてください。 今回は、弊社で公開している言語モデルについて書いていきます。 言語モデルとは言語モデルにも色々な種類のモデルがあり、一口でこれというのは難しいですが、簡単に言うとすると、「単語列に対して確率を計算するモデル」です。 厳密には各言語モデルで目的が違うため、呼称が少しずつ異なりますが、本投稿では言語モデルという表現で統一させていただきます。
Netflixも使っている!Contextual Banditアルゴリズムを徹底解説!(Part 1)Python機械学習MachineLearning強化学習Recommendation はじめに 先日, TwitterでArtwork Personalization at Netflixという記事が話題になっていました. 実は, この記事が元になったセッションもRecsys18という推薦システムにおいて世界最大の国際会議で催されていたようです(資料). この記事の主題は, Netflixが配信しているコンテンツのArtwork(いわゆるサムネ)をユーザーごとに最適化することで, より良いユーザー体験を届けたいというものです. 以下の画像のように一つの作品をとってもたくさんのArtworkの候補が考えられます. その作品の中でどの場面を切り取るかによって, 個々がその作品に興味を抱く度合
はじめに 評価関数(評価指標)についてあやふやな理解だったので、代表的な評価関数をまとめてみました。 評価関数とはそもそもどんなものなのか、それぞれの評価関数はどんな意味を持つのか、実際に使う時のサンプルコードを簡単にまとめています。 評価関数の追加や内容の修正は下記でしています。 評価関数とは 評価関数とは学習させたモデルの良さを測る指標を指します。 目的関数との違い 機械学習を勉強していると、目的関数や損失関数、コスト関数などいろいろな名前を目にします。 まずは、目的関数との違いについて確認します。 目的関数 モデルの学習で最適化される関数 微分できる必要がある つまり、学習中に最適化されるのが目的関数、学習後に良さを確認するための指標が評価関数ということになります。 損失関数、コスト関数、誤差関数は目的関数の一部になるそうです。 (いくつか議論がありそうなのですが、ほとんど同じものと
こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、その際に行った設定内容の一部をご紹介します。 背景 弊社CTOによるこちらの記事にもある通り、ZOZOTOWNでは現在マイクロサービス化を進めており検索システムについてもその対象となっています。検索の文脈では、全文検索/サジェスト/ロギング等関連する様々な課題への解決策として有効であるElasticsearchを採用しマイクロサービス化を進めています。 また、もう1つの背景として検索のパーソナライズ化があります。これまでZOZOTOWNでは
機械学習システムの信頼性を数値化する論文「 What’s your ML test score? A rubric for ML production systems」 2020-04-19 NIPS206 にて開催された Reliable Machine Learning in the Wild - NIPS 2016 Workshop (2016) という、現実世界でどうやって信頼性の高い機械学習に取り組んでいくかについてのワークショップがある。 ここで Google から発表された What’s your ML test score? A rubric for ML production systems がとても面白く、身になるものが多かったのでメモがてら抄訳を残しておく。 PDFSlide発表動画もワークショップページにて公開されています。change logs2021-04-25
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、ターゲット追跡ServiceAutoScallingを使い、ECS×fargateで運用しているサービスのスパイク対策と費用削減に取り組んだのでその内容をまとめています。 内容はざっくり下記4項目について書いています。 抱えていた課題 キャパシティプランニングに対する考え方 ECS ターゲット追跡ServiceAutoScallingとは何か? どんな結果になったか? 抱えていた課題 コネヒトでのWebのアーキテクチャはほとんどがECS×Fargateの基盤で動かしています。 ECSのバックエンドをEC2からFargateに移行したタイミングで、大きく下記2点のメリットは享受していました。 EC2を意識しないことでの運用コスト削減 オートスケールの容易さ ですが、サービス運用にあたりまだ下記のような課題がありました。 ①
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」 2020-04-25 [抄訳] What’s your ML test score? A rubric for ML production systemsで紹介した論文の続編があったので読んでみました。 注意)この翻訳記事は原著論文の著者陣からレビューはされていませんShunya Ueta, are providing a translation and abridgment, which has not been reviewed by the authors.Change log2021/02/03ML Test Score を簡単に計算できるGoogl
この資料は2020年度人工知能学会第34回全国大会のオーガナイズドセッション「広告とAI」にて発表した際の資料です。 広告クリエイティブは主に画像やテキストなどから構成され、デジタル広告において購買対象となる顧客に対し、効果的に製品の情報を届ける重要な役割を担っている。こうしたクリエイティブは主に人手により、大量に作成および運用されている。しかし効果の高いクリエイティブを作るのは非常にコストがかかる。そのため、配信効果の高いクリエイティブの作成や運用のために、機械学習技術を用いた研究開発が世界中で盛んに行われている。特に広告クリエイティブを構成する素材の分析や、広告クリエイティブの配信効果を事前に予測するCTR予測・CVR予測、配信効果の高い広告クリエイティブの自動生成といったタスクが注目されている。本講演では、データマイニング分野で最難関国際会議であるKDD2019において発表した広告ク
●イベント概要 「DMM x ZOZOを支える基盤技術」と題して、DMM.comとZOZOテクノロジーズで勉強会を開催します! 2社ともに巨大なプラットフォーマーとして、どのような基盤やプロセスによって支えているのかを事例を交えながら開発現場のリアルを語ります。 セッション後の交流会は、ビール片手にゲストのみなさまと登壇者が自由に議論できる場に。 会場にはアルコール、ソフトドリンク、軽食を無料でご用意しておりますので、お気軽にご参加ください! ■DMMを支えるプラットフォーム基盤の裏側石垣 雅人さん ●開発体制 ・提供サービス SoE(B to C) 動画、レンタルなど SoR(B to B) アカウント、購入・決済など ・プラットフォーム基盤がないと サービスごとに、アカウント、購入・決済を持つ アカウントが分かれてユーザビリティが低い 新規サービス増加時に、既存を生かせない ・実情は?
Microservices Platform Teamの@deeeeeeetと@dragon3です. Microservices Platform TeamではGoogle Kubernetes Engine(GKE)をメインのコンポーネントとして利用し,その上にメルカリとメルペイのMicroservicesを動かすための基盤を構築しています.メルカリのMicroservices化のプロジェクト自体は2年ほど前から始めており,GKEも当時に構築したものを今日まで運用し続けてきました. この2年間でGKEからは多くの機能がリリースされました.その中のほとんどはそのまま有効にすることができますが,中にはClusterを作り直す必要があるものもあります.例えばRoutes-based ClusterをVPC-native Clusterに,Zonal ClusterをRegional Clust
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo! JAPAN研究所 坪内と申します。今日は通知の話です。 プッシュ通知に気づかなかったり、タイミングが悪くてイラっとしてしまうことはないでしょうか? 最適なタイミングで通知する研究結果をご紹介します。 みなさんが目にする、ヤフーの広告の表示や、オススメの情報は、パーソナライズされています。つまり、過去のユーザーの行動履歴から「この人は釣りが趣味の人だ」と推測し、釣りに関するニュースや、釣竿のレコメンデーションをしています。これはプッシュ通知もしかりです。プッシュ通知は表示できる文字数や送信できる通知数に制限があります。ユーザーの興味などから、この人にはこの通知だ! というのを送ります。ここまでは、広告やレコメンデーショ
第3回 データアーキテクト(データ整備人)を”前向きに”考える会という勉強会で、CREとしてデータ基盤を整備する活動についてオンライン登壇しました。 カスタマーサクセスのためのデータ整備人の活動記録 from syou6162 イベント登壇はまあまあやってきたはずなんですが、今回の登壇は初めて要素が満載でした。 CREとして初めての登壇 これまでは研究者 or アプリケーションエンジニアとして登壇 今年の2月にCREになったばかりなので、私がCREについて語ってもいいんかいな...みたいなところはありますよね と言いつつ、偉そうに語ってしまった データ基盤に関する初めての登壇 これまでは機械学習や自然言語処理に関する登壇がメイン 関連: データに関連するいくつかの見方と私 - yasuhisa's blog 初めてのオンライン登壇 意図せず(?)YouTuberデビューを果してしまった..
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く