複数サービス間の整合性の取り組みについて - クックパッド開発者ブログ
こんにちは。技術部 開発基盤グループの大石です。 本日は開発基盤グループが社内の各サービスに提供している共通基盤サービスの1つである共通決済基盤を例にサービス間の整合性を維持するための取り組みを紹介したいと思います。(共通決済基盤については以前紹介した クックパッドの課金を支える技術 を参照ください) 決済における整合性を考える サービス間連携は決済に限らず発生するものですが、共通決済基盤の場合、組織外にあるサービスと通信する必要があり、コントロールができない外的要因に影響を受けやすい点と、決済という確実性が求められる処理を含んでいるということの間で整合性について考える必要があります。 まずは、共通決済基盤上で行われるサービス間通信の種類とそれぞれで通信を行っている際にエラーが起きた場合にどのようにハンドリングすれば整合性を維持できるかを考えてみます。 サービス間通信の種類と流れ 共通決済
作りながら学ぶ広告サーバ - DSP その１ - NO AD NO LIFE
はじめに 今回は，近年の広告業界に定着したRTB（Real Time Bidding）について説明しようと思います． 残念ながら筆者はRTBの広告サーバを作ったことがないのですが，GW休みで暇なので詳細まで皆さんと一緒に勉強していきたいので，実際にRTBのシステムを作りながら解説していこうと思います． RTBの広告サーバだけでなく広告サーバ共通で気を付けるポイントもあるので，その辺りにも触れていきます．（大雑把な話は以下のエントリにまとめていますので，興味のある方はご覧下さい） inchom.hatenadiary.jp 今回は，RTBシステムの広告主側プラットフォームであるDSP (Demand Side Platform)について説明していきます． （注意）共通標準であるOpenRTBの仕様をベースに開発を進めるので，現状動いているシステムのRTBの仕様とは異なっていたり，一部私の認識
テストなんか書かなくて良いと宣う人アンチパターン - Qiita
テストなんか書かなくて良いという燃料が投下されてはてなブックマークでも賛否両論のコメントが書かれています。 まずは僕のスタンスから 件のブログは煽り成分が強めの燃料ですが、大筋では同意です。プロダクトフェイズに応じて、その時そのときに必要なエンジニアリングでいきましょうという話自体は賛同します。ただタイトルの時点で喧嘩売りすぎですし、得てしてこういうタイプの人は直接的・間接的に技術的負債を生みがちですね。 アンチパターン例 ここから先はフィクションです。ポエムです。 クソ設計とクソコードを生み出して偉くなっていったAさん ブログの人と同じような事を言う人がいました。仮にAさんとしましょうか。Aさんは「テストなんて書かなくていいから、早くユーザーに価値を届けろ」と言います。見事にテストもなくクソ設計とクソコードを後任に押しつけてのし上がっていきました。クソを生み出すものの、スピード自体は早い
テレビ放送に向けての負荷対策(AWS x Rails の場合)[前編]
Housmart高松です。 先日、テレビ東京のWBS（ワールドビジネスサテライト）で弊社サービス「カウル」をご紹介いただきました。今回は、その前後でシステムの準備として実施したこと、当日の実際のアクセス数などをご紹介します。 WBSサイト(不動産流通に革新は起こるか): http://txbiz.tv-tokyo.co.jp/wbs/feature/post_107290/ 仲介手数料無料の不動産サイト「カウル」: https://kawlu.com/ 突然のテレビ取材！テレビに出るとどのくらいアクセスが来るの？サーバは何台増やしたらいいの？ そんな時の参考になれば幸いです。 内容 前提 前回の失敗 フロントエンド システム構成 事前準備 負荷予測 サーバ台数決定 サーバ増強 その他 実際のアクセス数と振り返り 1.前提 前回の失敗 つい半月ほど前に別の局で朝の番組にもちらっと社名を出して
![テレビ放送に向けての負荷対策(AWS x Rails の場合)[前編]](https://cdn-ak-scissors.b.st-hatena.com/image/square/af96ae194c704810158251c0810f13bf58c4d796/height=288;version=1;width=512/https%3A%2F%2Fkawlu.com%2Fjournal%2Fwp-content%2Fuploads%2F2016%2F02%2Fd5d5798d67a91b63cee313322be37a5f-1.jpg)
【翻訳】/binと/usr/binが分裂してる訳 - みっどメモ
Translation of "Understanding the bin, sbin, usr/bin, usr/sbin split" Posted by midchildan on May 22, 2015 1969年、どのようにケン・トンプソンとデニス・リッチーはPDP-7でUnixを開発したか知っているだろうか。実は1971年に彼らは1.5MBのRK05ディスクパックを2つ搭載したPDP-11にアップグレードした。 彼らのOSが大きくなり、ルートファイルシステムとして使ってた1個目のディスクに収まりきらなくなったとき、保存しきれなくなったファイルは2個目のディスクに移した。このディスクにはもともとユーザーのホームディレクトリが保存されてたために /usr という名前でマウントされていた。こうして第二ディスクに /bin , /sbin , /lib , /tmp などOSのディレ
快適な連打機能を提供するためにサーバサイドが出来ること - その手の平は尻もつかめるさ
人間生きていると高確率で連打機能を提供するシステムを構築する必要が出てくることがあります． 例えばあるコンテンツについてボタンを連打することで「良いね」を表明するようなシステムです． 連打は楽しい！！ しかし実装する方としては純粋に楽しんでばかりはいられません． こうしたシステムは素朴に実装したとしてもある程度のトラフィックまでは耐えられるかもしれませんが，ある規模を超えると安定して機能提供する事は難しくなってくるかもしれません． ここでは，サーバサイドの話題を中心として，快適な連打機能を提供するシステムをどうすれば提供できるかを考えていきます (あくまで一例です)． 想定としては， あるコンテンツについてボタンが付いていて，そのボタンは連打が出来る あるコンテンツについてボタンが何回押されたかを取得できる というシステムを仮定します． なんとなく結論が分かる雑な図 本題 サーバを分離する
16年間うごいているWebアプリケーションが抱えていた技術的負い目を考察する | GMOメディア エンジニアブログ
技術推進室の浅井です。 技術的負い目とは、世に言う技術的負債のことです。 社内で技術的負債の定義、ことばの表現を考える中で、「『負債』は優れた比喩表現であるものの、第三者への返済義務がない点で会計上の負債とは異なり、言葉としての問題も多く、不必要な議論を生み出しやすい」などの指摘があり、代わりの表現として社内の一部で使われている言い回しです。 最近社内のたいへん古いシステム（16年の歴史があります）の技術推進を行う機会があり、たくさんの技術的負い目と向き合いました。 そのような古いシステムの技術的負い目と向き合ったとき、エンジニアはストレスを感じ、ネガティブな感情を抱いてしまいがちです。負い目に苦しめられることで過去のコードや技術的判断に対して不満を言いたくなる気持ちはとてもよくわかりますし、実際に私もたくさん苦しんでたくさん不満を言いました。 ですが技術的負債の文脈でよく言われるとおり、
Microservices とクラウド、それからオンプレミスの可能性について新卒Webエンジニア向けにまとめてみる - Qiita
Microservices とクラウド、それからオンプレミスの可能性について新卒Webエンジニア向けにまとめてみるinfrastructuremicroservicesSOA これはなに この記事は 第2のドワンゴアドベントカレンダー のために書かれました。昨日は Rustで動的ライブラリに依存しないLinuxコマンドを作成する方法 について @sile さんが素晴らしい記事を書いて下さりました。Rust は難しくてよく分かりませんが、きっと素晴らしい言語だと思います。 さて今日は、Webサービスへの要求をみたすために、アプリケーションとインフラがどうやってコラボレーションするべきなのかについて考えます。私は 2015年新卒としてドワンゴに入社しました。この記事は私のような Webサービスのエンジニア、システムアーキテクト初心者の方々を対象に書かれています。 もちろん、ドワンゴがいまどのよ
セマンティック バージョニング 2.0.0
セマンティック バージョニング 2.0.0 概要 バージョンナンバーは、メジャー.マイナー.パッチ とし、バージョンを上げるには、 APIの変更に互換性のない場合はメジャーバージョンを、 後方互換性があり機能性を追加した場合はマイナーバージョンを、 後方互換性を伴うバグ修正をした場合はパッチバージョンを上げます。 プレリリースやビルドナンバーなどのラベルに関しては、メジャー.マイナー.パッチ の形式を拡張する形で利用することができます。 導入 ソフトウェア・マネージメントの世界には、「依存性地獄」と呼ばれる恐ろしいものがあります。あなたのシステムが大きく成長すればするほど、さまざまなパッケージを組み込めば組み込むほど、自分が地獄の底にいることにいつか気づくでしょう。 多くの依存性を有しているシステムにとって、新しいバージョンがリリースされることは悪夢でしかありません。厳密に依存関係を指定し
いますぐ実践! Linuxシステム管理
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
「AWSからGCPに切り替えたらコストが1/10になった」CETエンジニア 吉田啓二氏インタビュー - Tech Blog - Recruit Lifestyle Engineer
前編（「ビッグデータは“リアルタイム”でこそ価値がある」）では、リアルタイムなビッグデータ解析プロジェクト「CET（Capture EveryThing）」が始まったきっかけから、いまのチームまで組織に焦点を当てました。 後編では、いよいよビッグデータ解析のシステムについて深掘りしていきます。 Amazonのクラウドサービスを活用して作り上げた現状のシステムを捨て、Googleで作る構成に変えようとしているそう。その意図とは。 クラウドサービスのコストパフォーマンスなど、エンジニアやアーキテクトには気になる情報が満載です。 「CET」で基盤構築や分析・集計アプリケーションの開発を行っている、吉田啓二さんに聞きました。 聞き手／構成／編集／写真：小川楓太（NEWPEACE Inc.） AWSで本格的に運用するのは厳しいかなという印象です —— 今回構築された基盤の具体的なシステム構成はどのよ
CPUに関する話 | GREE Engineering
こんにちわ。せじまです。スティック型PCの購入は、 Core M版が出るまで見送ろうと思っている今日このごろです。 弊社では「Mini Tech Talk」という社内勉強会を隔週で開催しているのですが、それとは別に、「Infra Tech Talk」という社内勉強会を、半年くらい前から毎月開催しています。わたしはそこでほぼ毎月、45-60分くらいのスライドを作って話をしています。今までどういう話をしてきたかといいますと、TCPに関する話を二回、SSDに関する話を二回しました。（InnoDBに関する話だと軽く5-6時間くらいできるんですが、いささかマニアックなので、もっと幅広い人を対象に話をしています） 今までの話はちょっと社内向けの内容だったんですが、前回開催された Infra Tech Talk では、社外の方にも幅広く読んでいただける話ができたと思いましたので、その資料を slides
load averageを見てシステムの負荷を確認する - Qiita
load averageとは ロードアベレージはシステム全体の負荷状況を表す指標。 「1CPUにおける単位時間あたりの実行待ちとディスクI/O待ちのプロセスの数」で表される。 システムのスループットを上げたい場合はロードアベレージを下げることを目標にする。 詳細な説明 Linuxカーネルはプロセス１つごとにプロセスディスクリプタを持っていて、そのstateメンバにプロセスの状態を入れて管理している。 プロセスの状態は以下のように区別される。 TASK_RUNNING: 実行可能な状態。CPUが空いていれば実行できる。 TASK_UNINTERRUPTABLE: 割り込み不能な待ち状態。ディスクI/O待ちなど、短時間で復帰するもの。 TASK_INTERRUPTABLE: 割り込み可能な待ち状態。ユーザの入力待ちなど、復帰時間が予測できないもの。 TASK_STOPPED: 実行中断になった
HashiCorp社が出したVaultとはどういうものなのか - 理系学生日記
HashiCorp 社から、新たなソフトウェアである Vault by HashiCorp がリリースされました。 - HashiCorp Blog: Vault この Vault について、Getting Started を一通り実施した後に Docs の一部を確認してみたので、簡単にその内容をまとめてみます。 Vault とは何なのか Vault を一言で言うと、機密情報(Secret) を管理するツールです。 これだけ IT が広がっている現在、機密情報の範囲も広がり続けており、データベースにアクセスするためのユーザ/パスワードや、連携するシステムの API キー等、多岐に渡ります。こういった情報、おまえのところのシステムではどう管理してた？XML に生で書いてる、あるよねそういうの。jdbc.properties に直書き、うんうんわかるわかる。ちょっとがんばったら crypt で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スケールアウト再考
Dockerを活用したリクルートグループ開発基盤の構築
大規模システムの保守における技術的負債とチームのモラル
ログイン - はてな
Charming Python: Functional programming in Python, Part 3