AWS リソース管理の Terraform 移行 - クックパッド開発者ブログ
技術部 SRE グループの鈴木 (id:eagletmt) です。クックパッドでは Codenize.tools を用いて様々なリソースをコードで管理してきましたが、現在では大部分が Terraform へと移行しています。Terraform の使い方等については既に沢山のドキュメントや紹介記事があるので本エントリでは触れず、なぜ Terraform へと移行しているのか、どのように Terraform を利用しているのかについて書いていきます。 Terraform 移行の理由 クックパッドでは自分と同じく SRE グループに所属している菅原 (id:winebarrel) によって開発された Codenize.tools のツール群を利用して IAM、Route 53、CloudWatch Alarm、CloudWatch Events 等をコードで管理し、いわゆる GitOps を実践
[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent | DevelopersIO
[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent 「サーバーレスアーキテクチャのフルパワーを解き放つ便利なガイド、欲しくない？」 って言われたらそりゃ欲しいですよね！これはこのセッションの紹介文にあった一節です。この言葉に釣られて参加したセッションのレポートをお届けします。「まだre:Inventの話してるのかよ！」とツッコまれたあなた、おっしゃるとおりです。ですが二ヶ月ほど経った今でも十分有用な情報ばかりなのでぜひご一読いただければと思います。紹介文に偽りはなかったです！ セッションタイトル SVS401-R1 - [REPEAT 1] Optimizing your serverless applications セッション概要 あなたは経験豊富なサーバーレス開
![[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f229d9254bb6a1cbfbc11a651d6a88b228d4b2fe/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F02%2Fopt-eyecatch1.png)
[速報]これでLambdaのコネプー問題も解決？！LambdaからRDS Proxyを利用できるようになりました(まだプレビュー) #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 またまたLambda関連のアップデート情報です。 Lambda <-> RDSのDB接続を管理するために、RDS Proxyという新しい機能が利用可能になるというものです！ Using Amazon RDS Proxy with AWS Lambda なお、まだプレビュー段階ですですのでご注意下さい。 プレビュー版の注意事項はこちら [AWS] re:Invent 前に理解しておくべきベータ/プレビューサービスの扱いについて #reinvent 概要 Lambda実行環境ではコネクションプーリング機構が利用し辛く、RDSの最大同時接続数以上にLambdaが起動した場合にRDSヘの接続エラーが発生しやすい環境でした。このため、LambdaとRDS(B)の組み合わせは一般的にアンチパターンとされてきました。 今回発表されたRDS Proxyの機能を利用するとRD
![[速報]これでLambdaのコネプー問題も解決？！LambdaからRDS Proxyを利用できるようになりました(まだプレビュー) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/098a01a332248d791825217579652e1b7f202bcb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_update_eyecatch.jpg)
MongoDBであるメリットが無くなってしまったのでMySQLに移行したはなし - KAYAC Engineers' Blog
SREチームの長田です。 この記事はTech Kayac Advent Calendar Migration Track 1日目の記事です。 今回はLobiで使用していたMongoDBをMySQLに移行したはなしです。 MongoDBを何に使っていたか DAUなどのKPIレポートや、サービスの状況を把握するための各種集計結果を保存するために使っていました。 サービス開始直後はこれらの数字を色々と試行錯誤しながら追加したり、減らしたりしていました。 頻繁な追加削除があるデータ構造を保存するために、スキーマレスなデータベースであるMongoDBはちょうどよかったようです。 (当時スキーマレスデータベースが流行っていたというのもあるでしょう) なぜ移行したのか MongoDBに保存されたドキュメントは、スキーマ管理がされていませんでした。 スキーマレスであることをいいことに、その時時によって様々
AuroraかRDSどちらを選ぶべきか比較する話をDevelopers.IO 2019 in OSAKAでしました #cmdevio | DevelopersIO
こんにちは、大阪オフィスのかずえです。10/11に、弊社は Developers.IO 2019 in Osakaを開催いたしました。お越し下さった皆様、ありがとうございました！ 私は今回、「AuroraかRDSどちらを選ぶべきか」というタイトルで登壇させていただきました。このエントリはその内容をブログ用にアレンジしたものになります。 ゴール AuroraとRDSの違いを理解して、 適切に使い分けることができるようになる もくじ RDSとは Auroraとは� RDSとAuroraの違い� アーキテクチャの違い� Auroraにしかない機能� RDSかAuroraどちらを選ぶべきか� Auroraを使えないケース� (Auroraも使えるけど)RDSを使うべきケース� まとめ� 登壇資料� 参考資料� RDSとは 皆さんご存知かと思いますが、RDSはAmazon Relational Da
データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
Amazon Auroraを選択する前に知っておいた方がいい話 - orangeitems’s diary
※2019年10月18日時点の話です。 Auroraの話 Amazon Auroraってありますよね。 この前、AmazonがOracle DBをAmazonのサービスに移したゾって言うニュースが流れていました。 tech.nikkeibp.co.jp 米アマゾン・ドット・コム（Amazon.com）がついに米オラクル（Oracle）に「勝利宣言」をした。アマゾンは2019年10月15日（米国時間）、社内からOracle Database（DB）を「全廃」したと発表したのだ。最盛期には約7500ものOracle DBが存在し、eコマースや物流、決済、受発注、広告、動画・音楽配信などのバックエンドで長年使われてきた。それらはほぼすべて姿を消したという。 Oracle DBからの移行先は、アマゾンがクラウドサービスAmazon Web Services（AWS）で提供するDBサービスだ。今後は
第1章 PostgreSQLの今昔を知る―20年を超える歴史、リリースサイクル、環境構築 | gihyo.jp
特集のはじめに みなさんは普段、どのようなRDBMS（Relational Database Management System）をご利用でしょうか。昨今、OSS DB（Open Source Software DataBase）の需要は高まっており、DB-Enginesのデータベース人気ランキングでもOSS DBは商用DBに負けないほどの需要を持っています。その中でも特にRDBMSは需要が高く、OSS DBであるMySQLとPostgreSQLは幅広く利用されており、PostgreSQLは2017年に大きくランキングスコアを伸ばしています。 本特集では、2018年10月18日にリリースされたばかりのバージョン11と、現場の主力として使える10にフォーカスし、進化したPostgreSQLの魅力を余すことなくお伝えします。ぜひ、これを機にPostgreSQLの新しいバージョンにチャレンジして
第43回 MySQL 8.0.15緊急リリースとLINEでの導入事例公開、PostgreSQL 11.2、Pgpool-II 4.0.3リリース | gihyo.jp
LINEでのMySQL Enterprise Edition導入事例 日本や海外で数多くの利用者を持つLINEにて、コミュニケーションアプリ「LINE」および、LINE MusicやLINE Liveなど各種ファミリーサービス用データベースとして、1万インスタンス以上のMySQLの運用効率向上のためにMySQL Enterprise Editionを導入した事例が公開されました。これまでも、db tech showcase 2018においてもMySQLの運用について講演されていました。 監視ツールMySQL Enterprise Monitorを利用しての潜在的な問題や障害の検出を効率化、MySQL Enterprise Backupによるバックアップ時間の短縮、さらにサポートサービスの活用による運用負荷の軽減などが挙げられています。 ［PostgreSQL］2019年2月の主な出来事 P
「あけおめLINE」の負荷に耐えるインフラを作った話。LINEのインフラ設計を中の人に聞いた｜ハイクラス転職・求人情報サイト AMBI（アンビ）
「あけおめLINE」の負荷に耐えるインフラを作った話。LINEのインフラ設計を中の人に聞いた 国内外で展開する膨大なメッセージを処理する、LINEアプリのインフラってどうなっているの？ こんな素朴な質問をサーバー、ネットワークなど、中の人に聞いてみました。 2011年6月のリリース以来、右肩上がりの成長を続けるコミュニケーションアプリ「LINE」。主要4カ国（日本・タイ・台湾・インドネシア）の月間アクティブユーザー数は1億6,400万人を超えており、多くの人々にとって必要不可欠な社会的インフラにも等しいアプリになっています。 そして、多数のユーザーを抱えるアプリでは、膨大な量のトラフィックやデータを前提としてインフラアーキテクチャを設計する必要があり、インフラエンジニアの技術力がアプリの使い勝手に大きな影響を与えます。 本稿では、LINE株式会社のサーバーサイドエンジニア 中村俊介さん、サ
DBの寿命はアプリより長い！ 長生きするDBに必要な設計とリファクタリングを実践から学ぶ - エンジニアHub｜若手Webエンジニアのキャリアを考える！
DBの寿命はアプリより長い！ 長生きするDBに必要な設計とリファクタリングを実践から学ぶ アプリケーションの寿命よりも長く、データの追加やテーブルの変更で成長し続ける「データベース」と、どのように付き合っていけばよいのでしょうか？ 曽根壮大（soudai）さんによる寄稿です。 こんにちは。そーだい（@soudai1025）です。 新しいサービスを始めるとき、必ずと言っていいほどデータベースは利用されています。また今稼働しているサービスの多くでも、RDBMSをはじめ、いろいろなデータベースが利用されています。そんなに広く利用されているデータベースだからこそ、多くの問題の元になるのもまた事実です。 そこで今回は、Webサービスを中心にデータベースの選び方、設計についてお話していきたいと思います。そして私もまさに今、2011年から続くWebサービス「オミカレ」のRDBMSのリファクタリングに携わ
「ALB + Lambda + Aurora Serverless」でWebサイトを作ってみよう #reinvent | DevelopersIO
ALBのターゲットにLambdaを指定できるようになりました。いっそのことAurora Serverlessと組み合わせてサーバーレスWebサイトを作ってしまえ！という内容です。遅いんじゃないの〜とか気になってる人はちょっと開いてみませんか？ はじめに こんにちは、菅野です。 re:Invent で発表されたアップデートにより ALB の ターゲットとして Lambda が指定できるようになりました。 今回はこの機能を使ったサーバレス Web サイトを作ってみようと思います。 構成 構成図は以下となります。 ご覧の通り静的なものは S3 から、それ以外は ALB 経由の Lambda が応答を返します。 構成について 共通 各 AWS リソースにはデフォルトのセキュリティグループを付与する VPC プライベートサブネットとパブリックサブネットを 2 AZ 分用意する ALB パブリックサブ
Amazon Aurora MySQLとS3間でデータをロード&アンロードする | DevelopersIO
Amazon Aurora MySQL は、データを S3 にアンロード(SELECT INTO OUTFILE S3) S3 からロード(LOAD DATA FROM S3) できます。 実際にやってみます。 他のDBエンジンについては、以下の記事を参照ください。 Oracle MySQL PostgreSQL SQL Server セットアップ 構成イメージ 手順概要 RDS が S3 にアクセスするための IAM ロールを作成 DB クラスターパラメーターグループのパラメーター(aws_default_s3_role)に IAM ロールの ARN を指定 Aurora クラスターを起動。IAM ロールをアタッチ mysql クライアントから SELECT INTO OUTFILE S3/LOAD DATA FROM S3 を実行 RDS 向け IAM ロールの作成 Aurora イン
GitHubが障害を総括、43秒間のネットワーク断が1日のサービス障害につながった：データベースの不整合解消に時間 - ＠IT
GitHubが障害を総括、43秒間のネットワーク断が1日のサービス障害につながった：データベースの不整合解消に時間 GitHubは2018年10月30日（米国時間）、2018年10月21日16時頃（米国太平洋時）から約24時間にわたって発生した障害に関する分析報告を、同社のブログに掲載した。これによると、ネットワーク機器の部品交換で生じた43秒のネットワーク接続断が、GitHubのメタデータ管理データベースの不整合を引き起こし、復旧に時間を要したという。 GitHubは2018年10月30日（米国時間）、2018年10月21日16時頃（米国太平洋時）から約24時間にわたって発生した障害に関する分析報告を、同社のブログに掲載した。これによると、ネットワーク機器の部品交換で生じた43秒のネットワーク接続断が、GitHubのメタデータを管理するデータベースの不整合を引き起こし、復旧に時間を要した
週刊Railsウォッチ（20180925）Rails大規模支払サービス開発のノウハウ、RailsのMySQLがutf8mb4に移行、Rpush gemほか
2018.09.25 週刊Railsウォッチ（20180925）Rails大規模支払サービス開発のノウハウ、RailsのMySQLがutf8mb4に移行、Rpush gemほか こんにちは、hachi8833です。Linusが京都に隠遁し、RubyがGitへの移行を検討し、GuidoがPythonの意思決定から降りた今日この頃、皆さまいかがお過ごしでしょうか。私は先日自宅のAirMac TimeCapsuleが息を引き取りました。 Linus「カーネルメンテナ一旦降りるわ」 Matz「gitに切り替えようかな」 Guido「pythonメンテナ辞めるわ」 お気持ち連発しすぎだ。ジャックマーやマスクもだし、我々の知らないところで隕石が地球に衝突する情報が出回ってるのではと疑うレベル #藤子F脳 — 最速配信研究会山崎大輔 制約理論及び待ち行列理論による技術経営コンサルとエンジニア起業相談やっ
NITRO世代のM5インスタンスがAmazon RDS for MySQL/MariaDBで利用可能になりました | DevelopersIO
はじめに AWSチームのすずきです。 Amazon RDS for MySQL と MariaDB で利用できるインスタンスタイプとして「M5」、最新のNITRO世代のインスタンスタイプの利用が可能になりました。 「M5」のRDSインスタンスの起動確認と、従来の汎用インスタンス「M4」、「M3」との比較を行う機会がありましたので、紹介させていただきます。 MySQL と MariaDB 用の Amazon RDS は、M5 インスタンスタイプをサポートします 「M5」設定 作成 DBエンジンとしてMySQL、MariaDBを指定すると、「M5」インスタンスを選択可能になりました。 復元 スナップショットからの復元でも、「M5」インスタンスを指定する事が可能です。 変更 既存のRDSインスタンス、RDSダッシュボードから変更する事も可能です。 今回即時反映で実施したdb.m4.large か
SQLで羃等にDBスキーマ管理ができるツール「sqldef」を作った - k0kubun's blog
sqldefのリポジトリ github.com これは何か Ridgepoleというツールをご存じでしょうか。 これはRubyのDSLでcreate_tableやadd_index等を書いてスキーマ定義をしておくとそれと実際のスキーマの差異を埋めるために必要なDDLを自動で生成・適用できる便利なツールです。一方、 で言われているように、Ridgepoleを動作させるためにはRubyやActiveRecordといった依存をインストールする必要があり、Railsアプリケーション以外で使う場合には少々面倒なことになります。*1 *2 そこで、Pure Goで書くことでワンバイナリにし、また別言語圏の人でも使いやすいよう、RubyのDSLのかわりに、誰でも知ってるSQLでCREATE TABLEやALTER TABLEを書いて同じことができるようにしたのがsqldefです。 使用例 現時点ではMy
ゲームでよく見落とされるテストケースとその再現手法 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? システムの開発をしていれば、開発したものをテストすると思います。 単体テストや結合テストなど、テスト手法はいくつか存在しますが、想定していなかったケースに対してテストを行うことは難しいです。また最後はシステムテスト(実際に動かして、触ってみるテスト)を行うことになると思います。 (テスト手法などについてはこちらを参照) テストを行うには相応の時間がかかり、テストに時間をかけられない場合もあります。また、開発者以外の人がテストを行うことも多くあります。 そして、いくらテストを行っても、バグを全て発見、修正することはできませんし、実際にゲー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GithubエンジニアリングがMySQL高可用性のために新しいアーキテクチャを採用
KubernetesでRailsを動かしてみよう！ - Qiita
