Google - Site Reliability Engineering
Data Processing Pipelines Written by Dan Dennison Edited by Tim Harvey This chapter focuses on the real-life challenges of managing data processing pipelines of depth and complexity. It considers the frequency continuum between periodic pipelines that run very infrequently through to continuous pipelines that never stop running, and discusses the discontinuities that can produce significant operat
どのように40万文字を超える技術書籍を執筆したのか？ - Qiita
このエントリは、ex-mixi Advent Calendar 2017の16日向けに書いたものです。 ex-mixi Advent Calendar 2017は、ミクシィを卒業したメンバーが次々と近況などを書いているカレンダーです。僕はミクシィに2009年に入社して2013年まで在籍していました。もう少しで4年間ってところの手前で離れた感じです。その後、LINEに移って、mixi Platformの経験を活かして、LINE Platformの構築を3年ほどやってました。未だに「あ、OpenSocialの人だ」って指をさされることも多いですが、そんな感じです。 前の日、つまり15日分の投稿は、エンジニアを辞めて1年が経ちました ~ ex-mixi Advent Calendar 15日目でしたが、僕のIDが3回も登場していて、朝読んだんですけど笑ってしまいました。ソフトウェアエンジニアとし
はてなサマーインターン2017の講義とメンターをした話 - masayoshiの日記
はてなエンジニア Advent Calendar 2017 - Qiitaの17日目の記事になります。前回はid:dekokunによる Alexa(echo) スキル用AWS Lambda functionをAWS SAMを使ってバババッと立ち上げる - でこてっくろぐ ねおでした。 GitHub - masayoshi634/libipvsgoを元にGeneric NetLinkとIPVSを解説しようと思いましたが、気がついたら当日になっていたので、本日ははてなサマーインターン2017でメンターをしたときの話をしようと思います。 developer.hatenastaff.com はてなサマーインターン2017では前半の講義パートと後半の実践パートがありました。 私は前半の講義パートのインフラ講義と後半の実践パートの大規模システムコースのメンターを担当しました。 講義の資料作成や大規模シ
Webアプリケーションフレームワーク導入時に考慮すべき22の観点 - Qiita
本記事では、 チームによる持続的に変更可能なWebアプリケーションの開発を目標に、フレームワーク導入時に考慮すべき22の観点を紹介する。 フレームワークによって特徴は異なるが、本番導入にあたって、考慮すべきポイントはあまり変わらないので、極力フレームワーク1に依存しすぎないよう配慮する。また、話をシンプルにするため、REST APIを提供するアプリケーションを題材とする。 前提 ソフトウェアのエントロピー ソフトウェアがエントロピー増大の法則を避けられないことを、体感している開発者は多いだろう2。普通にアプリケーション開発を続けると、開発スピードは鈍化し、品質は低下してバグが増え、開発者からは技術的負債への怨嗟の声が聞かれるようになる。エントロピー増大というフォースは極めて強力で、意思を持って立ち向かわなければ、容易にダークサイドに堕ちてしまう。 関心事の分離 大規模Webアプリケーション
技術的負債に対峙するための「最初」と「一手間」 - 思考と現場の間で
技術的負債の問題は全世界でおそらく課題になっていて（笑）皆さん頭を悩ませているんじゃなかろうか。私もずっとそうだ。プログラマとしてもマネージャーとしても、直接的にも間接的にも苦しめられてきた。 そんなこんなで、うまく行かなかったり多少改善したりしつつ、ドメイン駆動設計に出会って、これが突破口になるとは感じて、取り組んできたり研究したりしてきた。とはいえ、目の前の大きな負債に向かうのはモチベーションもわかないし、組織戦略としてどうするかは本当に悩ましい。問題は「技術的負債」と一言で言えるほど単純ではない。組織も人もサービスもシステムもビジネスも絡まり、大きくて複雑だ。 そんなこんなで、増田さんとうなぎを食べに行って、増田さんのその辺の見解を伺ったり、ディスカッションしたりしていたんだが、増田さんが木工職人の例を話しをされていたときに、 「木工職人たちは「一手間」を大事にしていた」 ということ
What's a service mesh? And why do I need one?
What’s a service mesh? And why do I need one?William Morgan We've wrapped up all the advice in this post---and everything we've learned since — into a tailored evaluation process. Good luck on your journey! — William tl;dr: Service meshes like Linkerd and Istio are tools for adding observability, security, and reliability features to applications by inserting them at the platform layer rather than
ウイスキー歴10年の男が辿りついた真実。ウイスキーにもっとも合うおつまみは「ケーキ」だった。異論は認めない。 - ぐるなび みんなのごはん
家飲みでもバー飲みでも、ウイスキーにもっとも合うおつまみは実はケーキである こんにちは。 ウイスキーを毎晩飲んでるウイスキー愛好家のbadです。ふだん家ではロックで飲んでいます。 皆様ウイスキーはお好きですか？私は大好きです。 ウイスキーの長所のひとつに、「甘い食べ物との相性が抜群」というのがあると思います。バーに行くとウイスキーのツマミとしてよくドライフルーツや生チョコなどの甘いものが出てきたりしますし、そもそもケーキをつくるのにブランデーやウイスキーを使ったりしますので、甘いものとウィスキーの相性は抜群なんです。 私は家でよくケーキと一緒にウイスキーを飲んだりします。一番気に入ってるのはモンブランとウイスキーの組み合わせで、ウイスキーのスモーキーな薫りが、濃厚な⽢いマロンのクリームに深みを与えて、甘さの階層がいっそう深くなり、マロングラッセのような味わいも生まれます。 ウイスキーは、ケ
意図的にプログラムの動きをランダムにしてバグを早期発見するテクニックについて｜Rui Ueyama
プログラムを書いていると、素直に実装した結果として毎回特定の条件が満たされているけど、本来それは誰も保証してないという場面に出くわすことがよくある。保証されていない偶然の動作に依存することで生じるバグというのはかなり多い。 例えば最近では、ドラゴンボールZ ドッカンバトルというゲームで、2回SQL文を実行した結果が同じ順序で並んでいるという誤った期待をしているコードがあったせいで、ガチャの確率表示がめちゃくちゃになってしまって、運営が確率操作しているのではないかという騒動が発生したことがあった [1]。データベースでは空のテーブルにデータを追加してその直後に読み返すと、データを追加した順番に結果が返ってきたりしがちなので、問題のコードはきれいなテスト環境では偶然うまく動いてしまったのだろうと思う。 上のようなバグを防ぐために最近よく使われているのは、本来保証しないところをわざと壊すという方
第1回WSA研究会 開催概要 - Web System Architecture 研究会 (WSA研)
いわゆるWebでも、情報ネットワークでもなく、Webを中心とした様々な技術要素および要素のつながりを含む系全体のアーキテクチャを議論をします。 websystemarchitecture.hatenablog.jp 日時と場所 日時: 2017年12月23日12:00~19:30 場所: はてな京都オフィス8F 発表形式 発表時間15分,質疑応答15分を予定しております. 発表形式はスライド,もしくはホワイトボードを用意いたしますのでホワイトボードを利用した発表でもかまいません. ブログをプロジェクターに移しつつ,ホワイトボードで適宜図を書きながら発表など. 事前に予稿としてブログ記事の共有をお願いします。発表者は,2017年12月20日23:59(JST)までに個人ブログ,Gistなどに詳細を記載し共有をお願い致します. はてなブログの下書き共有や、GistおよびQiita、Google
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Error - Cookies Turned Off
Chronix: Long Term Storage and Retrieval Technology for Anomaly Detection in Operational Data | USENIX
Finding Needle in a Million Metrics: Anomaly Detection in a Large-scale Computational Advertising Platform
What is Data Pipeline - Data Pipeline