RDBMS 理解度の壁: プロダクションや運用保守で困らないシステムを作れる知識 <<<それっぽく動くものを作れる知識 実際のシステムで遭遇・見聞きした事象をもとに、上記のスキマにある各種 RDBMS 知識を説明します。 RDBMS 本体の運用よりも、現実のアプリケーションにおける設計・実装上のハマリどころが中心。
![RDBMS in Action](https://cdn-ak-scissors.b.st-hatena.com/image/square/55bc09d9610d3a7dd8532d7dbcd9c7b896e7c920/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Ff3b93a3274ff48d09b2a70b3da28b489%2Fslide_0.jpg%3F13563021)
セキュリティ・キャンプ全国大会 2019 開発と運用トラックで提供した講義の資料の一部です。誤りに気がついたら、ぜひ @y0n3uchy あるいは @lmt_swallow にお知らせください。
7payは7月30日午後に、全利用者のパスワードをリセットすると発表した。報道によると「(7iDを使う7payの不正利用問題で)パスワードリスト攻撃を受けた可能性が高く、リスクを極小化するため」(広報)と説明しているという。筆者はIdPを運用している立場でしばしば攻撃に直面して数百万人単位のパスワードのリセットを決断した経験があるが、これは奇妙なことだ。 一般にパスワードリスト攻撃を受けている場合では、全利用者のパスワードリセットを行う必要はない。リスト型攻撃が成功した利用者に限ってリセットを行うのが一般的な運用だ。 パスワードをリセットすると多くの利用者が離脱する上に、サポート窓口の負荷が上がるため、数十万人のパスワードをリセットする場合も、時間をかけて反応を見ながら徐々に行う運用が一般的だ。 全利用者のパスワードをリセットする必要があるのは、例えばバグや脆弱性の性質から被害者を特定でき
Yahoo! JAPANの巨大インフラの運用と展望 奥村司氏:それでは、「Yahoo! JAPANの巨大インフラの運用と展望」と題しまして、テクノロジーグループシステム統括本部のサイトオペレーション本部、奥村、神尾、安藤の3人が発表いたします。 まず簡単に自己紹介をさせてください。私は2016年にSIerからYahoo! JAPANへジョインしました。 前職では、モバイルキャリアのコアネットワーク監視システムのインフラ設計やPMといった、ミッションクリティカルなシステムを扱っていました。現在はプライベートクラウドの運用や開発を担当しています。 こちらが本日のアジェンダです。 それでは、まず我々の所属している「サイトオペレーション本部」について簡単に説明させてください。サイトオペレーション本部は、Yahoo! JAPAN全体のプロダクション環境のインフラを統括している部隊です。 「Yahoo
こんにちは、入社 3 年目の SRE の id:kizkoh です。 今年から別のチームに異動になったのですが、以前は Mackerel チームで仕事をしていました。 このエントリでご紹介するのは私が以前担当していた Mackerel での Kubernetes(k8s) クラスタ利用の取組みになります。 はじめに 入社してから約 2 年間 Mackerel チームでサービス運用開発の仕事をしていました。直近のトピックでは 2 月に公開された Mackerel コンテナエージェントの開発、検証のお手伝いとして k8s クラスタでの検証や Mackerel のシステムのコンテナ運用として k8s クラスタ基盤の設計構築に取り組んでいました。 昨年 2018 年は国内で Japan Container Days (今年からは CloudNative Days です)が開催され k8s のトピッ
はじめまして。プラットフォーム事業本部の栗原です。 業務では、主にCloud IoT OS チームにてSRE活動を行っています。 今回は、Cloud IoT OS(以下CIOSと記載します)で利用しているMongoDBクラスタの構築と運用についてお話をします。 構築に至った経緯 自前運用を行うにあたり考慮すべき点 構成について ReplicaSet シャーディング configサーバー mongosサーバー(と Load Blancer) 読み書きの流れについて 構築について 物理構成の検討 物理構成 スケールアウト 運用 監視 バックアップ さいごに 構築に至った経緯 もともとは Azure CosmosDB の MongoDB APIを用いていたのですが、 CosmosDBの一部仕様がCIOSでのユースケースと合っていないという課題がありました。 いくつか存在したのですが、大きくは以下
こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 バッチプログラムのお話、今回は運用・監視についてお話したいと思います。当社はすべての業務が24時間行われていますので、システムがオンラインのときに動作するバッチプログラムについてのみ議論します。 過去の記事はこちらにあります。 運用に備えて バッチプログラムの運用について、「プリモーテム」「実行管理」そして「ログ管理」の3点について述べていきます。 プリモーテム ポストモーテムという言葉を聞いたことがある方はいらっしゃるかと思います。ポストモーテムとは、GoogleのSRE本の15章*1によれば、障害などの失敗を振り返り、今後に活かすプロセスの総称と捉えることができます。 さて、プリモーテム(プリモータム)とは何でしょうか。この言葉は、私が最近読んだThe Manager’s Path*2*3で使
本連載では、比較的「小規模」な「受託」開発を実施する際のAWS活用の勘所を、実際の開発現場での経験を元に紹介します。大規模な開発では当てはまらない部分もあると思いますが、可能な限りインフラ関連の工数を少なくし、効率的に開発を実施するために、最低限抑えておく実務上役立つ点について、解説します。本記事では、複数のAWSアカウントを効率的かつセキュアに管理するための、SAML2.0ベースのAWSマネージメントコンソールへのフェデレーション(SSO:シングルサインオン)をご紹介します。 はじめに 受託開発において、顧客システムを開発・運用する際にAWSアカウントの運用管理を実施する場合が多くあります。 その場合、AWSを利用するユーザ(開発者、運用者)をアカウント毎に管理する必要があり、顧客数(N)、ユーザ数(M)に対してO(N×M)のオーダーのユーザー数を管理する必要があります。AWSアカウント
2019年に入り、VTuberになるためのツール、もっと言えば「アバターを動かすための手段」は多岐にわたるようになった。去年の今ごろでは考えもつかない状況になりつつある。 そういった中で最近特にすごいと感じているのが「Luppet」。非常に繊細な動きが実現できるツールであり、「バストアップ特化」を謳うだけあり、この用途であれば最適解に近い。そして、現状多くのVTuberの「生配信」は、バストアップだけ動けば事足りることが多い。 相当によさげなのでいま遊び倒そうとしているが、なぜかTwitterには情報が散見されるのに、ググってもほとんどヒットしない。さわってる人少ない? 知られてない感じか? ならば、僕がGoogleに爪痕を残そう。そう考えた次第である。一般公開もされましたしね。 というわけで、以下は「Luppet」というVTuber向けツールのもろもろである。 1. どんなことができるの
こんにちは。そろそろプロ野球シーズンの開幕が待ちきれなくなってきたコネクト支援チーム*1の酒井(@sakay_y)です。 サイボウズでは、新入社員全体研修の後に、開発系の新入社員に対して1ヶ月程度の開発研修をおこなっています*2。内容は、毎年改善を重ねていますが、基本的には講義+実習です。本記事では、先日公開した2018年の研修の講義資料を、全体の流れに沿って紹介したいと思います。 開発・運用研修について 本研修は「開発本部・運用本部に配属される新入社員が、部署配属後に必要となる基礎的な知識/技術/ツールを学び、体験できる。」ことを目的にしています。 新入社員3〜4名を1チームとして、そこに担当のメンターが1名付いて研修を進めていきました。講義では先輩社員に講師をお願いし、開発演習では各チームにメンターとは別の先輩社員が担当スクラムマスター(!)として付きました。 スケジュール 7/2 〜
2018年11月28日、クックパッド株式会社が主催するイベント「Cookpad Tech Kitchen」が開催されました。第20回となる今回のテーマは「クックパッドのマイクロサービスプラットフォーム現状」。クックパッドが開発を行っているマイクロサービスプラットフォームの今と、その仕組みについて解説します。プレゼンテーション「Amazon ECS の安定運用のために」に登壇したのは、鈴木康平氏。クックパッドにおけるAmazon ECSの運用事例と工夫していることについて解説します。講演資料はこちら Amazon ECSの安定運用 鈴木康平氏:「Amazon ECSの安定運用」というタイトルで発表したいと思います。今回のアウトラインとしては、「ECSをどう使うか」みたいな話ではなくて、そのECSを運用していく上でこんなことやっていますよということを話していければなと思います。 内容としては、
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
この記事の目的 昨今、Shellshockに始まり、Heartbleed、POODLE、FREAKと脆弱性情報がいろいろ出ていますね。そういった情報をこれまではtwitterなどを通して仕入れてきたのですが、このタイミングで一次情報にもきっちり当たれるようになっておきたいと思い、脆弱性情報の見方や収集の仕方をまとめておきたいと思います。せっかくまとめたので、初心者向け情報として公開し、またおかしな点のご指摘や更に有益な情報をスペシャリストの方々にご教示いただければ助かります。 脆弱性情報とは? CVEって? 脆弱性にはよくCVEというuniqな番号が振られます。これは米国政府の支援を受けた非営利団体のMITRE社というところが管理している番号で、脆弱性情報を一元的に管理できるようになっています。日本で運用されているJVNという識別子もCVEと関連付けされており、情報をたどることができます。
データベース運用改善のヒント!コア開発者直伝のPostgreSQL 10の7つの新機能 全国のPostgreSQL使いエンジニアが待ちに待った、バージョン10。新機能の中から、特に“運用”に役立つ7の新機能を、PostgreSQLの専門家、そして開発者である澤田雅彦さんにピックアップして解説してもらいました。 2017年10月5日、全国のPostgreSQL使いエンジニアが待ちに待った、バージョン10(安定版)がリリースされました。「今後、自分の開発業務に導入していきたい」と考えている方も多いでしょう。 今回は、PostgreSQLの専門家、そして開発者である澤田雅彦さんに、新機能の中でも特に“運用”に役立つ7の新機能をピックアップして解説してもらいました。これを読めば、現場ですぐに役立つPostgreSQL 10(以下、バージョン10)の知識が身につきます! < PostgreSQL:
概要 HashiCorp VaultはPolicyを使って各APIの権限を設定します。 これによって権限を細かく設定することができますが、実際の運用ではどんな形で進めるのがいいのかがドキュメントでは分かりにくかったのでまとめした。 環境 Vault 0.10.3 Policy付与のフロー 以下のようにPolicyを操作できるユーザがVaultに登録し、ユーザなどにマッピングします。 ref: Policies - Vault by HashiCorp ユーザにマッピングした場合、そのユーザがログインしてトークンを発行する時にそのPolicyが付与されます。 ref: Policies - Vault by HashiCorp Policyの作成 ではPolicyを作成します。Vaultはデフォルトでは全権限がdeny扱いになっているので、whitelist形式で権限を付与していきます。 a
理由は様々ですが、アクセス元のIPアドレスを固定したいことがあります。 基本的にどこかに所属してオフィスで仕事、であればあまり気にしなくてよいのですが、それ以外の場所でも固定IPを利用する場合ではちょっとした環境のセットアップが必要です。 オフィスまたは自宅に固定IP、VPNで一旦そこを経由 適当なIaaSクラウドサービスでVPSや固定IPを取得して踏み台作成 さて、固定IPアドレス、たいていは色々とケチっても1,000円弱くらいかかります。 それに加えて、拠点に用意する場合はレンタル機材やらVPNエンドポイントのメンテナンス、物理的引っ越しへの対応などが必要ですし、クラウドサービスを利用する場合は維持に費用がかかったり、何かの拍子にアドレスをリリースして変更を余儀なくされたり、ということもあるので、安定運用するにはそれなりの手間を掛ける必要がでてきます。 で、たまにしか固定IPを使わない
morimorihogeです。RubyKaigi2018は相変わらず濃い内容でしたね。 さて、MSがGitHubを買収というニュースが発表されました。これにより様々な事情によってGitHubから別のGitリポジトリサービスに移行を検討している方もいると思います(2018/06/05追記: Microsoftから公式発表がありました: Microsoft to acquire GitHub for $7.5 billion)。 移行候補の中でもGitLabはかなり長い間OSS版GitHubクローンという立ち位置で続いているプロジェクトで、OSSであることから自社サーバーでホスティングできることもあり、有力候補の一つなのではないかと思います。 ※GitLab公式トップページが「Migrate from GitHub to GitLab」になってるあたり「やるな」と思いますw 弊社では受託開発と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く