【AWS】ぼくのかんがえたさいきょうの運用・監視構成 - Qiita
AWSのインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を作成しました。それぞれのサービスの簡単な説明と類似サービスの紹介、また構成の詳細について説明していきます。 (開発で使用するようなサービスも紹介しますが、あくまでも運用・監視だけの構成です。) 各個人・企業によって環境は違うと思いますし、使いやすいと思うサービスは人それぞれだと思うので、これが正解という訳ではありませんが、参考にしてただければ幸いです。 参考になった教材を紹介した記事も作成しました。是非読んでみてください！ 【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍 インフラエンジニア1年生がプログラミングを勉強するのに使った教材 全体図 こちらがAWSにおける"ぼくのかんがえたさいきょうの"運用・監視構成です。複雑で分かりづらいかと思うので、詳細に説明していきます。最後まで読めばこ
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その1 シェア、将来性) - Qiita
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その1 シェア、将来性) 3大クラウド(AWS,Azure,GCP)をプロダクションで実運用した感想(その1 シェア、将来性) はじめに 今まで私がエンジニアとして10年以上仕事をしてきた過程で、利用されているクラウドインフラ基盤を転職要件に含めていなかったことも相まって、AWS(Amazon Web Services),Azure(Microsoft Azure),GCP(Google Cloud Platform)という3大クラウドのクラウド基盤で、サービスの立ち上げから運用まで関与することができました。 各々のクラウド基盤に関して掘り下げられていることはあっても、エンジニア/SREの視点から俯瞰して述べられていることはあんまり無いので私が実務レベルで各々のサービスを使っていて感じたことを共有しておきま
GitLab.comはどうやって6TBのPostgreSQLを9.6から11にたった2時間で移行したのか? | DevelopersIO
GitレポジトリのホスティングサービスGitLab.comは2020年の5月に 6TB あるPostgreSQL 9.6クラスターをたった2時間のメンテウィンドウ中に11.7へアップグレードしました。 GitLab.comのエンジニアブログに、このPostgreSQLのメジャーアップグレードプロジェクトが解説されていたので、かんたんにご紹介します。 How we upgraded PostgreSQL at GitLab.com | GitLab ポイント PostgreSQL 9.6から 11.7 へのメジャーアップグレード 2時間のメンテナンスウィンドウ内でアップグレード完了 データサイズは6TB DBクラスターは GCP 上の 12台の VM インスタンスで構成 クラスターはアップグレード用の8台とリカバリー用の4台に分割 pg_upgrade & ハードリンクでインプレースアップグ
firebaseでのパスワードログイン機能の実装をやりきるためのTips
Firebase Authentification は OAuth 2.0 フローにのっとったログイン方法以外にも Email/Password を使ったログイン方法も提供しています。 このログイン形式をちゃんと使おうとすると、これまでは Provider が担ってくれていたパスワードの編集、パスワードの再発行、メールリンクでのログイン、アドレスの本人確認など様々なことを考慮しなければいけません。 この記事ではそういった考慮をした Email / Password ログインに挑戦します。 基本的にはmanage-users, password-auth, email-link-authといった公式ドキュメントを読むと IPASS ログインに必要なことは書いてあるのですが、action URL を自前で用意するフローを採用するとそれらのドキュメントで賄えなくなり試行錯誤をたくさんしなければい
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
ちょまど氏が解説する、Azure Bot ServicesでTeams botを開発するための3ステップ
2020年6月17日～7月17日にかけて、ITに携わる全てのエンジニアを対象にしたMicrosoft主催の大規模Techカンファレンス「de:code」が開催されました。セッション「Azure Bot Services を使って Teams bot を開発する」では、マイクロソフト コーポレーション クラウド アドボケートの千代田まどか（ちょまど）氏が登壇し、Azure Bot ServicesでTeams botを開発するための詳細な手順を3つのステップに分けて解説しました。 Azure Bot ServicesでTeams botを開発 千代田まどか氏：みなさま、こんにちは。Microsoftの千代田まどかです。Twitterはちょまどです。今日は「Azure Bot Servicesを使ってTeams botを開発する」というセッションを行います。 実はみなさまにお伝えしたいことがあ
ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2020年版
クラウドの多くでは、1年程度の無料トライアルやクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスも提供されています。 こうした無料枠は開発環境やテスト環境としてクラウドを試すうえで非常に有効です。ここではクラウドのFree TierやAlways Freeとして提供されているおもなサービスをまとめました。 Amazon Web Services（AWS） 「AWS 無料利用枠」のWebページを開き、左側にあるフィルター条件で「無期限無料」をチェックすることで、無期限に無料で提供されるサービスの一覧を見ることができます。 おもに次のようなサービスが無期限無料で提供されています。 AWS Lambda サーバレスコンピューティングの実行環境を提供します。 1カ月あたり100万リクエスト、最大320万秒コン
インフラにかかるコストを正しく「説明」するための取り組み - クックパッド開発者ブログ
技術部 SRE グループの mozamimy です。 クックパッドでは、 SRE が中心となって、サービスを動かす基盤の大部分である AWS のコスト最適化を組織的に取り組んでいます。 昨年夏に公開した記事である、インフラのコスト最適化の重要性と RI (リザーブドインスタンス) の維持管理におけるクックパッドでの取り組みでは、 なぜインフラのコスト最適化が必要なのか、具体的にどのような考え方に沿って進めてゆけばよいのか。 SRE が一括して管理する AWS のリソースプールそのもののコスト最適化を実践するための具体的な取り組みの一例として、RI のモニタリングや異常時の対応フローによる維持管理。 といった話題にフォーカスしました。 今回は、インフラにかかるコストを正しく「説明」するための取り組みということで、コスト最適化に貢献する社内アプリケーションである Costco (Cost Co
Infrastructure As Codeでモジュール化が難しいのはなぜなのか - ゆううきメモ
Infrastructure As Codeにおいて、コードのモジュール化により再利用性を高めることが難しいと言われている。それはなぜなのかを考察する。 Infrastructure as Codeで痛い目あった人ってだいたいやりすぎてる気がする(偏見)。過度な抽象化とか共通化、公開されているrecipeを無闇に使っちゃうみたいな。特に抽象化まわり、普通のプログラミングのつもりできれいに整理しようとするとやり過ぎになりがち— fujiwara (@fujiwara) 2020年3月30日 自分が経験したIaCアンチパターンは、例えばnginxのchefコードを再利用しようとしてnginxのパラメータを全部外部注入できるようなモジュールを作るやつですね。コストが上がり過ぎる #InfraStudy— そのっつ (Naotoshi Seo) (@sonots) 2020年4月24日 １つ目の理
Google Cloud Platform のトレーニングコース、ハンズオンを 1 か月間無料で提供 | Google Cloud 公式ブログ
COVID-19 感染拡大を受けて多くの人が在宅勤務や家庭学習に切り替えましたが、自宅にいながらスキルアップを図りたい、知識を増やしたいと考えている人もたくさんいます。こうしたご要望にお応えするため、Google Cloud Platform のトレーニング コースや Qwiklabs のハンズオンラボなどの各種学習リソースを 5 月 20 日まで無料で提供しています。 下記オンデマンド トレーニング、ハンズオンラボよりご希望のトレーニングをお選びいただけますので、是非ご活用ください。 Qwiklabs Pluralsight（英語のみ） Coursera お申し込み、詳細はこちらをご覧ください。 また、Google Cloud では、オンデマンド トレーニングやハンズオンラボ以外に、ウェビナーもご提供しております。各トレーニングリソースについては以下をご覧ください。 オンデマンド トレー
「The Twelve-Factor App」を15項目に見直した「Beyond the Twelve-Factor App」を読んだ - kakakakakku blog
2012年に Heroku のエンジニアによって提唱された「The Twelve-Factor App」は素晴らしく，アプリケーションをうまく開発し，うまく運用するための「ベストプラクティス」として知られている．2020年になった現在でもよく引用されていると思う．日本語訳もある． 12factor.net Beyond the Twelve-Factor App とは？ クラウド化が進むなど，提唱された2012年と比較すると技術的な変化もあり，今までの「The Twelve-Factor App」で宣言されていた観点以外にも必要な観点やベストプラクティスがあるのでは？という意見もある．そこで，2016年に Pivotal のエンジニアが「Beyond the Twelve-Factor App」を提唱した．The Twelve-Factor App にあった「12項目をアップデート」し，新
「AWSとGCPを“選択可能”にしておく」LIFULLに学ぶ長生きするインフラ構築術 - エンジニアHub｜Webエンジニアのキャリアを考える！
「AWSとGCPを“選択可能”にしておく」LIFULLに学ぶ長生きするインフラ構築術 多くの開発に導入されるクラウドサービスですが、LIFULL社では、AWSとGCP、両サービスを同時に使用しているそう。同社のインフラの変遷と、併用の背景を聞きました。 AWSとGCP、「どちら」を「どうやって」使うか サーバの肥大化を阻止するべく、オンプレからAWSへ移行 マイクロサービス化し、「影響範囲」を狭めることで得られたメリット 「使い分ける」のではなく、「両方を使える」ことが継続性を生み出す インフラ構築における技術的な選択肢はさまざまですが、なんらかのクラウドサービスを活用するということは多くのエンジニアが検討する手段でしょう。 昨今ではクラウドサービスは多くの企業から提供されており、エンジニアにとって多様な選択肢が提供される一方、どのサービスを選ぶべきかという悩みもあるでしょう。筆者の周りで
アプリケーションにおける権限設計の課題 - kenfdev’s blog
日々権限設計で頭を抱えてます。この苦悩が終わることは無いと思ってますが、新しい課題にぶつかっていくうちに最初のころの課題を忘れていきそうなので、現時点での自分の中でぐちゃぐちゃになっている情報をまとめようと思い、記事にしました。 所々で「メリット」「デメリット」に関連する情報がありますが、そのときそのときには色々と感じることがあっても、いざ記事にまとめるときに思い出せないものが多々ありました。フィードバックや自分の経験を思い出しながら随時更新する予定です。 TL;DR（長すぎて読みたくない） 想定する読者や前提知識 この記事での権限とは 権限の種類 ACL(Access Control List) RBAC(Role-Based Access Control) ABAC(Attribute-Based Access Control) どの権限モデルを採用するべきか 権限を適用する場面 機能
2020 年、 React 軸で学ぶべき技術 - mizchi's blog
なぜ仮想 DOM という概念が俺達の魂を震えさせるのか - Qiita から 5 年経ち、 仮想 DOM を備えた React やそれを採用した Vue や他のライブラリも市民権を得たように思います。 有用な技術が市民権を得る、というのはエコシステムが花開くことでもあります。新しいプロダクトを作る際の技術選定において、 TypeScript + React が常に正解というわけではないですが、このスタックはかなり強力だという手応えがあります。 このスタックは得意のウェブフロントエンドは勿論、それ以外もとりあえず 80 点ぐらいの品質でプロトタイピングできる、というようなエコシステムになってきたような肌感があります。 モダンフロントエンドだと TypeScript と Webpack は採用しているのを前提として、本記事では React を軸にその技術を活かすために、次の 6 個の技術を紹介
2019年のDevOps/MLOpsエンジニアの標準的スキルセット - Qiita
ちなみに、IT業界全体のシェアとしてはMicrosoftのAzureの方がGCPを上回っていますが、Web業界においてIaaSにAzureを採用している企業さんは2019年時点ではまだまだ少ないので、現状ではとりあえずAzureへのキャッチアップは後回しにしておいて問題ないと思われます。 クラウドアーキテクチャ設計 前述したAWSやGCPの各種マネージドサービスを適切に組み合わせてアーキテクチャ設計を行い、それを構成図に落とし込める能力は必須となります。 いわゆる「アーキテクト」という職種の担当領域でもありますが、「サービスを安定稼働させたまま、バリューをユーザに迅速に届ける」ためには、自動化のしづらい構成が採用されてしまったり、無駄な機能が開発されてしまったり、アンマネージドなツールやサービスが使用されて管理工数が肥大化したりしないように、アーキテクチャ設計の段階からDevOpsエンジニ
「君、今日からクラウド担当ね」 未経験者が1人で始めた、ファミマのAWS移行の舞台裏
「君、今日からクラウド担当ね」 未経験者が1人で始めた、ファミマのAWS移行の舞台裏（1/2 ページ） 国内に約1万6000店舗、海外に約7300店舗を構える、コンビニ大手のファミリーマート。商品の在庫管理、宅配便の受発注管理、決済といった店舗システムを長年オンプレミスで運用してきたが、2017年末から段階的にクラウド（Amazon Web Services）に移行している。 ファミマで移行の責任者を務める土井洋典さん（システム基盤構築部 クラウド推進グループ マネジャー）は、当時クラウドは専門外だったが、上司から突然このミッションを任され、試行錯誤しながら業務に当たってきた。 当初は部下もおらず、たった1人でのスタートだったが、社内外を巻き込みながら移行に取り組んできた土井さん。その舞台裏ではどんな苦労があったのか。アマゾン ウェブ サービス ジャパンがこのほど開いたイベント「AWS S
GCPで永久無料枠を利用してサービスを立ち上げたときにしたことの備忘録 - Qiita
はじめに 最近GCPでWebサービスを立ち上げたので、そのときに実施したことをメモとして残しておきます。 今回はGCEで Debian + Nginx + Railsで環境を作りました。 ドメイン取得以外は終始無料で進めるための努力をしました。 また、今回はRailsアプリケーションを作成することは目的としていませんので、そこについてはあまり触れません。 やったこと GCEでインスタンスを立ち上げる アカウント作成時に貰える無料トライアル枠とは別に、無料で利用できるリソースがあります。 Always Free と呼ばれていて、GCEの場合は以下の要件を満たすインスタンスのみ永久に無料でインスタンスを立てることができます。 リージョンをus-*1から選択する 1つのf1-micro VM インスタンス 30GB以内 の永続ストレージ ※無料対象リージョンはus-*1のみというご指摘を受けまし
Firebaseでバックエンドエンジニア不在のアプリ開発 クックパッドが体感した、メリットと課題｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Firebaseでバックエンドエンジニア不在のアプリ開発 クックパッドが体感した、メリットと課題 Firebaseが依然として注目を集めていますが、早々に導入したクックパッドの「Firebase使用例」を紹介します！クックパッドの新アプリ開発で導入され、アプリやWebサイトのインフラ部分を任せられるほか、リアルタイムでデータを同期できるCloud Firestore、ログイン認証システムを手軽に実装できるFirebase Authenticationなど、さまざまな機能を活用しています。活用してわかった、Firebaseのいいところ、そして気をつけるべきポイントとは？ 「Firebaseならバックエンドエンジニアを必要としない開発ができる」 そんな話を聞いたことがある人もいるかもしれません。「Firebase」は2011年にFirebase社がサービスを開始し、2014年にGoogleが買
どのクラウドでも使えるサーバレス「GitLab Serverless」をGitLabが発表。KubernetesとKnativeがベース
どのクラウドでも使えるサーバレス「GitLab Serverless」をGitLabが発表。KubernetesとKnativeがベース GitLab ServerlessはKnativeをベースにKubernetes上で稼働するサーバレスプラットフォームです。GitLabがホスティングするのではなく、AWSやGoogle Cloud Platformなどどのクラウドに対してもデプロイし使えることが最大の特徴と言えるでしょう。 GitLabはマルチクラウドに対応したサーバレス管理ツールを提供するTriggerMeshと協力することで、デプロイ後の運用まで一貫してGitLabで管理できるとしています。 現在、AWS LambdaやGoogle Cloud Functions、Azure Functionsなど主要なクラウドは独自のサーバレスプラットフォームを提供しています。しかしそれぞれのク
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
<!-- "> '> --><title>
