分析用ログデータに対する品質保証としての異常検知 - クックパッド開発者ブログ
クックパッドでデータにまつわるあれやこれやをずっとやってる佐藤です。分析・調査に仮説検証にデータパイプラインにと色々やってました。ちなみに先日はCyberpunk2077休暇をとるなどという呑気なことをしていたら、この記事でやりたかったことがほぼできそうなサービスがAWSから発表されて頭を抱えながら書いています。 そのログはどこまで信頼できるのか クックパッドではサービス改善のためにWebサイトやアプリからログを収集して開発を行っています。これらのログは集計された後、ダッシュボードの形で可視化されてサービス開発者たちの意思決定を支えています。 クックパッドのログ基盤はログ送信側（クライアントサイド）もログ格納側（DWHサイド）も十分に整っており、いつでも必要であれば簡単にログを送信・集計するだけの仕組みができあがっています。 アプリログにおける大雑把なログ収集の図 （注:例として上図を載せ
Re: 結局、Go言語をやめる理由はなかった件 - Hateburo: kazeburo hatenablog
すみません、ISUCONのアレに火がついてしまったので..。 Advent Calendarとはとくに関係がありません。 qiita.com qiita.com こちらの記事をみて、気になってしまったので interpolateParams の追加とMySQLチューニングをしてベンチマークを回してみました。 ベンチマークの環境が公開されているのは素晴らしいですね。 github.com 8vCPU/16GB Memのc5a.2xlargeなEC2のインスタンスを起動して、以下の手順にしたがってdockerとdocker-composeをインストールしました。OSはUbuntu 20.04を使いました。 docs.docker.com docs.docker.com 上記のbenchmarkのrepositoryをgit cloneし、compose build && compose upし
2020年に作ったソフトウェアや開発技術をふりかえる - laiso
概要 よくある年末っぽい日記の記事です。 だいだいこれどうりのバランスでソースコードも書いてる 言語はなんでもいい時はNode.jsで書く。移植性が高いので。複数人でメンテしそうな時はTypeScriptを採用し、プライベートの時は型を完全に無視する PHPはほぼLaravel。ビジネスのみの関係 Swiftはそんなに書いた記憶がないけどアプリのメンテをしてたと思う Vueも仕事で使っていたけど最近はReactに傾いてる Objective-Cは書いてない グラフに含まれてない部分だとAndroidアプリでKotlinを使って、データ分析でPythonを書いた このグラフは GitHub Profile Summary Cards っていう便利ツールを使わせてもらって自動生成している。 記録方法 コードを書く時はおもむろに ~/tmp 以下にディレクトリ掘ってIDEを開きはじめるので実質そ
GoのWebアプリケーションでステータスコード499を記録する | おそらくはそれさえも平凡な日々
この記事は、Go 4 Advent Calendar 2020の16日目の記事です。 さて、ある日、Goで書かれたHTTP APIサーバーのdeployをしたところ、急に500エラーの発生率が上がったことがありました。しかし幸いにもユーザー影響は出ていません。どうしたのでしょうか？ ALBログの調査 このシステムはAWSのApplication Load Balancer(ALB)からプロキシされていますが、エラーリクエストに対応するALBのログを調べるとステータスコード460が記録されていました。460を調べると以下のように書いてあります。 The load balancer received a request from a client, but the client closed the connection with the load balancer before the id
KyashのQUICPayを支える決済システム概要 - Swing Life Away
この記事はKyash Advent Calendar 2020 - Adventar 11日目の記事です。 Kyashの堀川と申します。サーバーサイドエンジニアとして働いています。 普段はVisaやQUICPayの決済システムを開発するチームでシステム開発・保守を行っています。 今日は弊社で開発しているApple Pay, Google Pay関連の決済システムについてお話をしたいと思います。 KyashのApple Pay, Google Pay対応について Kyashで発行するカードはApple Pay, Google Payの対応を行っています。ウォレットアプリからKyashのカードを登録すれば、QUICPayマークがついているお店で会計時にQUICPayで支払う旨を伝え専用リーダーにデバイスをかざすだけで、簡単に支払いができるようになります。 カード登録の裏側ではカード番号を乱数な
結局、Go言語をやめる理由はなかった件 - Qiita
この記事は Go 2 Advent Calendar 14日目の穴埋め記事です。 はじめに @okdyy75 さんによる Go 5 Advent Calendar 14日目の の記事「だから僕はGo言語を辞めた」 が「ベンチマークっていうのはこうやるんだよ」というのを説明するために反面教師的な意味で良い教材だと思ったので、反証記事を書きたいと思います。 ベンチマークを取りながらコードを改善して、最終的にGoは遅くないからやめる必要はないということ、そして、なぜ遅いという結論になってしまったのかを掘り下げていきたいと思います。 下準備 幸いなことに、ベンチマークのソースコードがGitHubにある ので、こちらを実行しながら問題点を改善していきましょう。 ちゃんとコードが上がっているのは素晴らしいですね！ 一方で、元記事には測定環境が明記されていませんでしたので、同じ環境で測定することはできま
半年間で LeetCode の問題を300問解いてみて（※） - Studio3104::BLOG.new
とは言ってみたものの実際にはちょうど1年前くらいからやってました。始めてからすぐ Premium 買ってたので。 うおお、LeetCode の Premium が Expire していた、、— Satoshi SUZUKI (@studio3104) December 11, 2020 ではなんで「半年間で」なのかというと、今年の前半は英語の勉強をがっつりやってたので英語と仕事以外のことは何もしてなかったから。 そして300問はまだいってないんだけど、英語漬けから空けた6月アタマから数えて半年経過の今月末には300問いくだろうという見込みがあるということでタイトルはこのようにした。 1年間で LeetCode の問題を290問解いてみて ということで改めて。@sugyan と @fushiroyama *1 に影響されて始めたんだが、続ければ続くものですね。 自分は "コードの書けないイン
AWS認定試験の受験失敗とAWSしりとり - 見返すかもしれないメモ
本記事は、はてなエンジニア Advent Calendar 2020 の17日目の記事です。昨日は id:papix さんでした。 papix.hatenablog.com AWSの資格試験を受けようとして失敗した話と、その副産物であるAWSしりとりについて書きます。 AWS認定資格試験の、Solutions Architect Associateを受験しようとしていました。受験には試験会場まで行く方法と自宅でオンラインで受ける方法があり、出かけるのが面倒だった私はピアソンVUEのオンライン受験を予約しました。 PCの要件は満たしていてシステムチェックも通ったけど、実際受けたら失敗したので、その体験談です。 1回目 監督者の方とチャットが繋がり、「それでは試験を送ります」と連絡をもらったところまでは順調でした。 試験案内のページに移り、チャットで「ページは切り替わりましたか？」と確認されま
ヤフーのスクラム開発実践者の経験年数ごとの学習方法の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ アジャイルコーチの荒瀬です。 ヤフー、および関連会社のアジャイル開発支援や研修を担当しています。 今回はヤフーのスクラム実践者の学習方法についてお話しします。 イベントや研修の中で、スクラムの勉強方法をいろいろな方から質問されることが多かったので、記事にするとより多くの人の役に立つのではないかと思い執筆することにしました。 また、せっかく書くのであれば、ヤフーの中にいるさまざまなスクラム実践者の話も交えると、経験年数別に、より参考になりそうな書籍、セミナーや研修を紹介できるのではないかと考え、ヤフーのスクラム経験者にも協力いただいています。 スクラムを始めた頃の自身のことを考えながら、こういう記事があるといいのにと思
桃太郎電鉄の「いけるかな」を実現する高速なアルゴリズムの実装と考察 - Qiita
この記事は「データ構造とアルゴリズム Advent Calendar 2020」16日目の記事です。 15日目の記事はyurahunaさんの「木分解上の動的計画法」で、 17日目の記事はtsukasa__diaryさんの「Lawler の K-Best 列挙アルゴリズム」です。 この記事内で使用しているプログラムやそのテストプログラムは全て以下のGitHubリポジトリで閲覧可能です。プログラムの詳細に興味がある方はこちらをご覧ください（ついでにStarを押していってくれると喜びます🙂）。 Github: ashiba/Imprementation_of_IKERUKANA: Momotaro Dentetsu is a game. 変更履歴 2020/12/21に「最終的に貧乏神が付かない移動方法 ～貧乏神持ちの場合～」, 「最終的に貧乏神が付かない移動方法 ～貧乏神がついていない場合～
国産ブラウザアプリSmoozはあなたの閲覧情報をすべて外部送信している
調べた事実を列挙してみる。 ・デフォルトの設定では、設定・操作・閲覧情報がユーザーID、デバイスIDと共にアスツール社のサーバーへ送信されている ・検索窓に入力した文字は、検索ボタンを押さなくても、その内容が逐一アスツール社のサーバーへ送信されている ・検索内容がアダルト関連ワードかどうかがアスツール社のサーバーに送信され判定されている ・サービス利用データの提供設定をオフにしても、閲覧情報がアスツール社のサーバーに送信されている ・プライベートモードにしても、閲覧情報がアスツール社のサーバーに送信されている ・https通信であろうとも閲覧したURLは完全な形でアスツール社のサーバーに送信されている 様々な設定を調べたが、どのようにしても外部への閲覧情報送信を止めることはできなかった。 あなたが何を調べ、何を買おうとしているのか、何で遊び、どこへ行こうとしているのか。それらはあなたの知ら
Rails の ActionMailer で正しく view の helper を使う - Diary
Rails の ActionMailer で正しく view の helper を使う Rails の ActionMailer では Rails ActionMailer helper とかで検索すると、「ActionMailer で helper メソッドを使用するには add_template_helper を使おう」というような記事が複数ヒットする 例 ActionMailerでhelperメソッドを使用する - Qiita How to use my view helpers in my ActionMailer views? 他にもたくさんこう書かれている記事がある。しかしなんとこれは実は間違ったやり方である。 ActionMailer::Base を継承したクラスで add_template_helper というメソッドが使えるのは ActionMailer::Base が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エラーが発生しました | Zenn