バッチプログラムの運用と監視について検討しよう | メルカリエンジニアリング
こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 バッチプログラムのお話、今回は運用・監視についてお話したいと思います。当社はすべての業務が24時間行われていますので、システムがオンラインのときに動作するバッチプログラムについてのみ議論します。 過去の記事はこちらにあります。 運用に備えて バッチプログラムの運用について、「プリモーテム」「実行管理」そして「ログ管理」の3点について述べていきます。 プリモーテム ポストモーテムという言葉を聞いたことがある方はいらっしゃるかと思います。ポストモーテムとは、GoogleのSRE本の15章*1によれば、障害などの失敗を振り返り、今後に活かすプロセスの総称と捉えることができます。 さて、プリモーテム(プリモータム)とは何でしょうか。この言葉は、私が最近読んだThe Manager’s Path*2*3で使
Essentials of container
Microsoft Partner Network参加パートナーの皆様向けに作成した、Azure Networkの全体像を説明するためのスライド。各機能の詳細はないが、ネットワーク機能の全体を把握できる。 Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラク
監視を育てよう！ /「入門 監視」を読んだ - kakakakakku blog
今年1月に出版された「入門 監視」を読んだ．出版前から予約をしていたけど，他に積読もあり，読み始めるのが少し遅れてしまった．評判通り素晴らしく，特に「監視」というテーマをうまく言語化している本だと感じた．目次を見るとわかる通り，「あれも監視！これも監視！」という幅の広さに気付くことができる．本書は1人で読んで終わりにするのではなく，チームで輪読会をしてディスカッションをするなど，改善に繋げるために継続的に読むと良さそう．さらに本書で学んだ内容に Dive Deep するために他の書籍も併読するべきだと思う．今回は関連する書籍も紹介しようと思う． 入門 監視 ―モダンなモニタリングのためのデザインパターン 作者: Mike Julian,松浦隼人出版社/メーカー: オライリージャパン発売日: 2019/01/17メディア: 単行本（ソフトカバー）この商品を含むブログを見る 目次と正誤表 1章
【翻訳】「シリコンバレーから生まれた最高の文書」と絶賛されたNetflixのカルチャーガイド全文 - BppLOG
Netflixの企業文化や社員の行動規範を定めたカルチャーガイドが公開されており、FacebookのCOOのシェリル・サンドバーグが「シリコンバレーから生まれた最高の文書」と評価しています。 そのカルチャーガイドはもともと2009年にスライドとして公開され、最新版はNetflixの採用ページ上に掲載されています。今回は許可を得て翻訳することにしました。 Netflix Culture (原文) (目次) 本物の価値観 判断力 コミュニケーション 好奇心 勇気 情熱 無私無欲 イノベーション 一体性 誠実 影響力 ドリームチーム 自由と責任 情報に通じたキャプテン 統制ではなく前後関係 高度に整列し、緩く結合する 卓越性を探し求める まとめ 最後に エンターテインメントは、友情のように、人間が基本的に必要としているものです。エンターテインメントは私たちの感じ方を変え、私たちに共通点をもたらし
経営者にデザインや技術の大切さをわかってもらうには？｜深津 貴之 (fladdict)
よく講演をした後に、そのような質問を受けることが多い。 結論から言うと、経営者にデザインやエンジニアリングの重要性を伝えようと頑張るのは、オススメできない。なぜなら、それを大事にしてくれる別の経営者と仕事をする方が、はるかに簡単で手っ取り早いからだ。 基本的に、経営者の考えを転換させるコストは極めて高い。それだけの時間やコスト、能力や忍耐があれば、転職先や別のクライアントを見つける方が簡単だ。そもそも、ある程度は職を選べる能力がなければ、経営者の考えを変えることはおろか、アクセスすることすら難しい。 シンプルに、デザインやエンジニアリングを経営に持ち込みたい人は、そのような経営者と仕事をすべきだ。過去に色々なクライアントで、経営者や社長室、経営企画室、新規事業部の方々とお会いしてきたが、実質的にそれ以外の答えは無いと思う。 経験上、ほとんどの経営層は人的ロジスティクスの硬直化が起きるまで、
やわらかDocker
yawaraka-docker.md やわらかDocker コーチについて 近藤うちお 著書に、以下があります やわらかRuby https://gist.github.com/udzura/7548163 やわらかHubot https://gist.github.com/udzura/0cb2447c305c51670414 アイスブレーク: Docker BentoBox コンテナ/仮想化/サーバー/インフラについて、知っている単語を集めて見ましょう Docker VM VirtualBox VMWare KVM Xen jail Dockerfile Docker Compose カーネル cgroup Namespace chroot AWS GCP GKE ECS Azure Amazon Lambda Heroku Kubernetes マイクロサービス ... 以下の4つに
アート・オブ・プロジェクトマネジメント
本書では「ものごとを成し遂げるためには何を行う（あるいは行わない）べきか」という実用的な視点からプロジェクトを捉えて、ものごとを成し遂げるための考え方やヒントを、スケジュール、ビジョン、要求定義、仕様書、意思決定、コミュニケーション、トラブル対策、リーダーシップ、政治力学といったさまざまな角度から考察しています。マイクロソフトで多くの巨大プロジェクトを成功へと導いてきた著者の豊富な経験とノウハウが凝縮された1冊として、マネージャやチームリーダーだけでなく、プログラマ、テスターなど、プロジェクトに関与するすべての人にお勧めです。 訳者まえがき 本書に寄せられた言葉 はじめに 1章 プロジェクトマネジメントの簡単な歴史（なぜ気にかける必要があるのか） 1.1 歴史に学ぶ 1.1.1 失敗から学ぶ 1.2 ウェブ開発、厨房、緊急治療室 1.3 プロジェクトマネジメントの役割 1.4 マイクロソフ
認知バイアス一覧で社会心理学入門
認知バイアス一覧で社会心理学入門 〜社会科学の知の蓄積を活用した社会教育の実現に向けて〜 暁 美焔（Xiao Meiyan) 社会学研究家, 2021.2.6 祝3.5版完成！ 疑似科学を生み出すのは人間の思考が本来持っている誤りやすい傾向である。 それ故に「科学と疑似科学の境界」を判断するためには、社会科学の知識は避けて通れない。 ここでは人間の誤りやすい傾向について、人類の英知である「社会心理学」の偉大なる成果である認知バイアス一覧を英語版に基づいて紹介する。 ここに紹介する知識は知っておくだけで人生に役立つ知識である事に間違いない。 これらの概念を紹介する日本語のウェブサイトを探すのが難しい事自体が、日本人が論理的思考をしていない事の証明であろう。 これまで社会科学とは縁の無かった科学技術系の人達が、少しでも社会科学に興味を持っていただく事を祈る。 1. 基本用語 帰属 出来事や他人
低レイヤを知りたい人のための Cコンパイラ作成入門
はじめに このオンラインブックは執筆中です。完成版ではありません。フィードバックフォーム この本には一冊の本に盛り込むにはやや欲張りな内容を詰め込みました。本書では、C言語で書かれたソースコードをアセンブリ言語に変換するプログラム、つまりCコンパイラを作成します。コンパイラそのものもCを使って開発します。当面の目標はセルフホスト、すなわち自作コンパイラでそれ自身のソースコードをコンパイルできるようにすることです。 この本では、コンパイラの説明の難易度が急に上がりすぎないように、様々なトピックを本書全体を通じて次第に掘り下げていくという形で説明することにしました。その理由は次のとおりです。 コンパイラは、構文解析、中間パス、コード生成といった複数のステージに概念的に分割することができます。よくある教科書的アプローチでは、それぞれのトピックについて章を立てて解説を行うことになりますが、そのよう
【読書メモ】モニタリングでの4大シグナル/USEメソッド/REDメソッド - febc技術メモ
最近、監視やモニタリング熱が自分の中で高まってきてます。 その一環で先月"Prometheus Up & Running"を購入しました。 Prometheus: Up & Running: Infrastructure and Application Performance Monitoring 作者: Brian Brazil出版社/メーカー: O'Reilly Media発売日: 2018/07/28メディア: ペーパーバックこの商品を含むブログを見る 少し前にようやく届いたので読んでいってます。 今回は読書のメモとして調べたサイトなどを残しておきます。 Prometheus Up & Runningに出てくるUSEメソッド/REDメソッド とりあえずPrometheus Up & Runningのchapter3まで読みました。 chapter3ではREDメソッドとUSEメソッドと
プログラマの採用面接で聞かれる、データ構造とアルゴリズムに関する50以上の質問 | POSTD
情報科学科の卒業生やプログラマの中には、UberやNetflixのような新興企業や、 Amazon 、 Microsoft 、 Google のような大企業や、InfosysやLuxsoftのようなサービスを基本とする企業で、プログラミング、コーディング、ソフトウェア開発の仕事に就きたいと考える人が大勢います。しかし、実際にそういった企業で面接を受ける場合、大半の人が プログラミングに関してどのような質問をされるか 見当もつきません。 この記事では、 新卒生からプログラマになって1〜2年までの 経験値が異なる人たち向けに、それぞれの プログラミングの面接でよく聞かれる質問 をいくつか紹介していきます。 コーディングの面接では、主に データ構造とアルゴリズムに基づいた質問 がされますが、 一時変数を使わずにどのように2つの整数をスワップするのか 、というような論理的な質問もされるでしょう。
第1回 x86仮想マシンことはじめ | gihyo.jp
ここ数年、インテルx86系プロセッサを使ったコンピュータ（以下x86システム）で仮想マシンを利用する機会が増えています。 x86システムの上で仮想マシンを使うのはこれまで開発者をはじめITエンジニアが多かったように思いますが、企業のサーバ統合などに広く使われるようになり、今ではWindows 7にXP Modeが搭載されるなど、デスクトップ環境においても広く見かけるようになりました。このように仮想マシン技術はとても身近なものとなってきています。 また、仮想化は、コンピュータリソースの柔軟かつ効率的な運用管理を実現するために用いられ、クラウドコンピューティングの基盤にも用いられる重要な技術のひとつとなっています。 このように、x86システムの仮想化技術はたいへん注目されていますが、その仮想マシン技術がどのようなギミックで実現されているのかを知っているITエンジニアの方は、まだまだ少ないように
ハイパーバイザの作り方
「ハイパーバイザの作り方」公開ページ こちらのページはSoftware Design誌の連載記事「ハイパーバイザの作り方」の公開ページです。 「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」も公開中ですので、こちらも是非ご覧ください。 公開中の記事 第１回 x86アーキテクチャにおける仮想化の歴史とIntel VT-x [HTML] [PDF] [ePub] [mobi] [Kindle] 第２回 Intel VT-xの概要とメモリ仮想化 [HTML] [PDF] [ePub] [mobi] [Kindle] 第３回 I/O仮想化「デバイスI/O編」 [HTML] [PDF] [ePub] [mobi] [Kindle] 第４回 I/O仮想化「割り込み編・その１」 [HTML] [PDF] [ePub] [mobi] [Kindle] 付属資料 最近のPCアーキテクチャにお
低レイヤーを学ぶための技術書をまとめてみる - Qiita
半年前から低レイヤーに関する勉強をしている。 その中で読んだ技術書の感想、そしておすすめの読む順番をここにまとめてみる。 OS 30日でできる! OS自作入門 おすすめ度：80（満点100） 一言：自作OSの初心者向け 自作OSでまず初めに候補に挙がるのがこの本。2006年に出版された本ではあるが、OSの根幹を理解するにはとても良い。最初からアセンブリでメモリ操作をがっつり書くため、アセンブリの経験やレジスタ周りの知識が無いと挫折してしまうかも知れない。そこを乗り越えれば楽しくOSを実装していける。 コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方 おすすめ度：95 一言：一からOSを作って学べる本格的な指南書 論理回路と呼ばれるレベルからメモリやCPUを作っていき、アセンブリ言語やアセンブラの開発、そして独自言語とそのコンパイラ、OSまで開発する。CPUなど各要点の考え方
Linuxのしくみを学ぶ - プロセス管理とスケジューリング
プロセスとマルチタスクの実現 Linuxは、多数のプロセスを同時に動作させる事が出来るマルチタスク環境を実現しています。 psコマンドやtopコマンドを実行しプロセスのリストを取得すると多数のプロセスが実行中である事がわかります。 また、これらのプロセス全てが同時に平行して動作しているように見えます。 これはどのようにして実現されているのでしょうか。 一般的に、１つのプロセッサは同時に複数のプログラムを実行する事が出来ません1。 そこで、マルチタスクをサポートするOSでは複数のプロセスを非常に短い時間ずつ切り替えながら実行する事で、体感上は複数のプロセスが同時に実行されているように見せています(図1)。 このような仕組みを実現する為にどんな機能がカーネルへ実装されているのか順に見ていきましょう。 プロセスの切り替え CPU上で処理中のデータを失う事なく現在のプロセスから別のプロセスに切り替
心理的安全性ガイドライン（あるいは権威勾配に関する一考察） - Qiita
はじめに 「心理的安全性」とは、「対人リスクを取っても問題ないという信念がチームで共有されている状態」であるとか、「自分のキャリアやステータス、セルフイメージにネガティブな影響を与える恐れのなく、自分を表現し働くことができること」というような定義がなされています。 心理的安全性という言葉はともすれば、ただ快適で居心地のよい職場という意味にも聞こえます。そのため、ぬるま湯で緊張感のない関係性のことを「心理的安全性が高い」と言うのではないかと考えても不思議はありません。 そのため、友人関係のようにプライベートの時間を長く共有する関係になることが、心理的安全性が高いのだろうと考え、飲み会やバーベキュー、慰安旅行などを企画してみたりとプライベートでも遊ぶ機会を増やそうと考える人もいるでしょう。 いわゆる「アットホームな会社です」とアルバイトの求人記事に書かれているような状態です。こういった求人内容
[翻訳記事]マイクロフロントエンド - マイクロサービスのフロントエンドへの応用
モダンな Web アプリを異なる JavaScript フレームワークを使う複数チームで開発するためのテクニック はじめに この記事は翻訳記事です。 原著者の許可をとって翻訳・掲載しています。 原文はこちらです。 翻訳者 マイクロフロントエンドとは？ マイクロフロントエンドという言葉は 2016 年の終わりにThoughtWorks Technology Radarで言及されました。 それはマイクロサービスの考え方をフロントエンドに拡張したものです。 現在の Web のトレンドは多機能でパワフルな SPA です。 SPA はフロントエンドとバックエンドを切り離すという、マイクロサービスの考え方に基づいています。 開発をすすめていくと、特に複数のチームで管理している場合 フロントエンド層が肥大化して管理が難しくなりがちです。 これを「モノリシックなフロントエンド」と呼びます。 マイクロフロン
フロントエンドエンジニアは Micro Frontends の夢を見るか - Mercari Engineering Blog
Mercari Advent Calendar 2018 の6日目はフロントエンドチームの @vwxyutarooo がお送りします。 このタイトルが言いたくて Micro Frontends の記事を書きました。皆さんは Micro Frontends という言葉を聞いたことがあるでしょうか? 私は数ヶ月前まで全く知りませんでした。メルカリのフロントエンドチームにて Micro Frontends に関して考える機会があったので、Micro Frontends とはなんなのか。何をどのように解決しようとしているのかという内容を紹介します。 Micro Frontends とは Micro Frontends という考え方は ThoughtWorks Technology Radar にて2016年に初めて登場したと言われています。日本語で言うときは複数形は無視して "マイクロフロントエン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
監視 入門 ~ マイクロサービス時代の監視設計
トランザクションの設計と進化
