はてなブックマーク

AWSのDB、Auroraを使っているみなさま元気でしょうか。Auroraに限らずSaaS的なサービスを使っていると"このバージョンはEOLだ"と言ってバージョンアップが必要になる場合があります。みなさまも覚えがあるのではないでしょうか。 問題はどのようにバージョンアップを行うかです。 今回は、Aurora MySQL (not serverless)でマイナーバージョンアップを行う際にどういう手法があるかを、AWSのドキュメントや実際にやってみた経験をもとに考えたいと思います。Aurora PostgreSQLも同様かもしれませんがそちらは調べていません。 目次 目次 考えられる方法2つ そもそもRDSのブルーグリーンデプロイメント機能とは？ それぞれの嬉しい点、使いづらい点 インプレースアップグレード(ゼロダウンタイムパッチ適用を狙いつつ) 嬉しい点 使いづらい点 ブルーグリーンデプロ

こちらははてなエンジニア Advent Calendar 2022 - Hatena Developer Blogの46日目です。1/15日の分なのですがフライングでの投稿です(日付を間違えてた)。 昨日は Perlでテーブル駆動テストを書くのにハマっている - NaaN日記でしたね。テーブル駆動テストのことを知ったのは私は数年前にGo言語のテストを書き始めてからですが、いつ頃から流行り始めたのかがちょっと気になる今日この頃です。このエントリにもLambdaのテストについて書いてありますが、このテストコードもテーブル駆動で書いています。テーブル駆動テスト大好きです。 やりたかったこと 色々なチームが相乗りしているAWSアカウントのGuardDutyの検知を、自分のチームに関係のあるイベントだけ通知する、というのを実装したかった。 検知結果を自分のチーム専用にいい感じにフィルタして通知したい

この記事ははてなエンジニアのカレンダー | Advent Calendar 2022 - Qiitaの9日目のエントリです。 会議を司会として設計する際に、司会だけでなく、皆で今やってる会議をより良くしたいし今後の会議もより良くしていきたいと思って実践しているいくつかの手法を紹介する。非常に一般的な良くある手法が多いと思うが、実際に私がやってみてどうだったか、というのも記載している。 最近の私の状況 最初に会の目的を宣言する 狙い 実際にやってみてどうだったか 予備時間を作っておく 狙い 実際にやってみてどうだったか 議題ごとに細かく時間を決め、宣言しておく 狙い 実際にやってみてどうだったか いつでも誰でも感想が書き込めるコーナーを議事録会場などに作って会の最初に宣伝しておく 狙い 実際にやってみてどうだったか このエントリを書いての感想 まとめ 最近の私の状況 最近いろんな会議を設計・

これは、k8sクラスタを個人で運用する際に行った構成要素の技術選定の記録である。 技術選定の理由を書くのも見るのも楽しい、という心情のもとにここに公開する。 前提知識 以前、こんなエントリを書いた。 bitcoinのfull nodeをAWSでなるべく安く運用してみる - でこてっくろぐ ねお 上記の通り、個人でbitcoinのfull nodeという、状態をバリバリもつサービスを、AWSでのコスト面で最安を狙って作り運用を行っていた。 しかしその後、Oracle Cloudで運用したほうが安くなることに気づいたため引っ越した。 Oracle CloudではARMのVMが4台無料で使えて複数台構成が組め、AWSやGCP同様k8sのマネージドサービスもあり、また仕事でk8sを扱う部署に異動したのもあり、勉強のためk8sクラスタ上で運用することにした。 構成要素 以下の構成要素を選択している。

本エントリは、bitcoinのfull nodeとは何か、なんで私は運用したいのかを簡単に説明しつつ、full nodeをできるだけAWS環境にて安価に運用する方法について記載する。 結論 だいたい以下の価格で運用可能。 bitcoinへの貢献度合いの設定によってもっと減らしたり、青天井に増やしていくことも多分可能。そのあたりはこれからの運用を通して正確なところを探っていく。 full node 月に $16 full node(pruned) 月に$10弱(想定) 動機 最近、"web3"ってやつが熱いと聞き、NFTやDeFiについて調べたりしたが、裏側の仕組みがよくわからないと気持ちが悪いので、ひとまず技術書を何冊か読んだ。その中の一冊に、名著と名高い"Mastering Bitcoin"を和訳した"ビットコインとブロックチェーン"という書籍も含まれる。 この書籍はbitcoinのブロ

本記事ははてなエンジニア Advent Calendar 2020 の3日目の記事です。昨日は id:nabeop さんのcdktf に入門した話 - nabeo がピーしているブログ (仮)でした 私はここ数年クラウドというとAWSばかり触っています。AWSに関してはre:Inventに参加したり Solution Architec Professional を取得したりとそこそこ扱える状態ではあるのですが、Google CloudやMicrosoft Azureについてはほとんど触ったことがありません。 今回、Google Cloudも触れるようになりたい！と思いまして、ある程度全体像を掴むための一歩として手始めに資格を取得してみることにしたところ実際に資格を取得でききました。 このエントリでは最初どういう状態から実際にどのような勉強を行ったか、ついでに私の受けた遠隔監視オンライン試験

2ヶ月くらいかけて毎日盆栽のようにちょっとずつ手を入れていたツールがまぁいい感じになってきたかなと判断したので、紹介エントリです。 2020/11/07 追記 このエントリを書いた2日後に、以下AWSの新機能が出て、以下私がこのツールを作った理由として述べている部分は、AWSの機能で代替可能となりました。まぁ、このエントリを読むと分かる通り、AWSがそこを実装していることを前提として、"捨てやすくする"という方針で開発したツールではあるので狙いどおりではあるんですが、ちょっと悔しい気持ちもありますね。捨てやすくする以前に使わなくてよくなった、的な。 AWS Fargate for Amazon ECS launches features focused on configuration and metrics CDKにもこの機能が来ましたので、もうなんでもできます。ecs: secret

ISUCONでRustで参加する同胞達や、Rustの参考実装を書く人の参考に少しでもなればとこのエントリを書いてます。（いや実際全然わからないのでもっといいの教えて！ってのもあります。はい。） 今年のISUCONはRustで戦います。 なぜなら、私はRustが好きだからです。 ISUCON、Trust Rustというチーム名で参加登録しました。Rustを信じろ！！！！！！！！！！！！— でこくん (@dekokun) July 10, 2020 しかし、私含めてチームメンバー全員がRustでWebアプリを書いたことがなかったため、毎週ミーティングを行いRustの勉強としてやることを宣言して1週間後に進捗報告をしまたやることを宣伝する、ということを繰り返しています。 ただそれだけではチーム全員で動くISUCONの訓練としては弱いので、ISUCONを模したリハーサルをしてみました。 お題 お題

このエントリは RecoChoku Tech Night 5社合同 AWS re:Invent 2019 参加報告会 - connpass での発表内容、及びはてなエンジニア Advent Calendar 2019の20日目のブログ(若干フライングで投稿しています！)です。 AWS re:Inventのセッションの一つである SVS323-R1 - REPEAT 1 Mastering AWS Lambda streaming event sources を元ネタに、re:Invent 2019直前に出たKinesis Data Streamsの新機能の解説をします。 基本的な用語説明 Kinesis + Lambdaの活用事例 Kinesis + Lambdaのスループットが思ったように出ない時、及びその対処方法 シャードを増やすのは万能なのか？他の手はないのか？新機能のご紹介 シャー

最近Atcoderのコンテストによく参加してるのですが、優先度付きキューにお世話になることが異常に多く、内部をちゃんと知っておきたいという気持ちから自前実装することにした。実装は以下です。ほぼ初めてRustでまっとうなものを書いたという感じなので、なんか指摘とかしてほしい。 https://github.com/dekokun/atcoder-rust/blob/master/abc141_d/src/main.rs#L25-L141 Rustの標準ライブラリの優先度付きキュー(BinaryHeap)はfloatが扱えない(BinaryHeapはOrdを要求するが、floatはNaNの存在のためOrdではなくPartialOrdとなるため)というのもあって競プロ的には使いづらいのでそこも使いやすくしたいという思いもあった。 (この目的だけだったらNaNが入らないようなOrdなfloatをつ

rust.connpass.com での発表内容です。 自己紹介 id: dekokun (twitter, hatena) dekokun icon SREやってます CDNのDはdekokunのD って最近ずっと言ってます。これからCDN周りに力を入れていくぞという思い。詳しくは以下エントリに書いてます。 dekotech.dekokun.info Fastlyのedge computing環境 Terrariumの紹介 そもそもedge computingとは コンピューティングリソースを利用者の端末に近いネットワークの周縁部（エッジ）に配置することにより、低遅延応答、分散処理、トラフィック最適化などを実現するものと言える (参照： https://www.icr.co.jp/newsletter/wtr348-20180329-sadaka.html ) この発表では、特にCDNの

私とCDNとedge computing 最近、CDN各種に続々とedge computing周りの機能が入っており1、現在においてCDNでどこまで何ができるのかみたいなことをよく考えており、仕事でもやっていきたいな、と考えている。 以下発表で フルCDNアーキテクチャ の提言をしてから3年が経ち、今ではフルCDNはかなり当たり前の選択肢としてそこにある、というかマイクロサービス間の通信もCDNを通すようなことまで行われる世界になっており純粋にすごいなと感じている(そもそも フルCDNとはなにか というのは私の中でも確たるものがあるわけではないが、イメージ的には動的なサービスにおいてもすべてのエンドポイントをCDN経由で返し、ある程度柔軟なキャッシュのPurgeを行うようなものを想像している2 3)。 speakerdeck.com 上記、私は提言するだけしたが、その後そこに強く取り組もう

Mackerel Advent Calendar 2018 - Qiita 8日目です。 私は気分の上下が激しく波のようだということで、チームメンバーから"デコウェーブ"などと言われていたりするのですが自分ではいまいち認識できてないな、ということで可視化を進めることにしました。 可視化の方法としていろいろあるかと思いますが、今回はMackerelを選択しました。Mackerelのいいところとして、日記がかける事が挙げられます。 私の健康状態のグラフ こんな感じでグラフができて… ちょっと山ができている この日はちょっと調子良さそうだけど何が起きたのでしょうか？？？ 筋肉は偉大 なるほど、筋肉のおかげか、ということがわかりますね。 Mackerelのグラフアノテーション機能を使って上記のように日記を書いています。 これを投稿しているのは以下スクリプトです。 $ dekokun_health.

低レイヤを知りたい人のための Cコンパイラ作成入門、こちら、日々更新されている書籍(?)なのですが、現在書かれている部分まで完了した。 コードは以下。Docker上で開発していて、Travis CIでのテストもしている。 github.com よくわからなかったところ 全部のコードが載っているわけではないので、 "動くには動いているが本当にこれでいいんだろうか？" という部分がいくつかあった。 mulやexpr内で自分の読めない文字の判定 以下のように、mulの最初でひたすらmulの扱わない文字を弾いていっているのだけど、(更に言うとexprの最初でも同様のことをやっているんだけど)、もっとエレガントな方法はないのだろうか、このままでは記号は増えるごとにこの条件が増えていくぞ…？と考えている。 https://github.com/dekokun/9cc/blob/955ec5aa6c44

以前 AWSで作業する時は今後はずっとCloudFormationだけ使っていこうと思った - でこてっくろぐ ねお というエントリを書きましたが、最近はAWS SAMを使って色々作っており、これはめっちゃ便利だな、しかも思ってたよりも柔軟性が高い、という気持ちになったのでこのエントリを書いている。 (と思ったけど、DynamoDBは細かい制御が効かなかったので、以下は主にLambda + IAMについて書いていると考えてください) めっちゃ便利 CloudFormationと比較してとにかく記述量が圧倒的に少ない、圧倒的に読みやすい CloudFormationと比較して、IAM Role周りの設定がある程度隠蔽されていて嬉しい。IAM Role周りはいつも何を付与すればいいかが難しいし、後から見ても難しい AWS SAM Localが使えて簡単に手元で動作確認ができる これは小さいもの

以下youtube動画はCで簡単なプログラミング言語を作っているのですが、同様のものをRustで作ってみました。 www.youtube.com 成果物 github.com ./run_test でテストが動きます フィボナッチ数列を表示している様子 $ cargo run 'F[P(a) F(b + a b)] F(1 1)' Finished dev [unoptimized + debuginfo] target(s) in 0.0 secs Running `target/debug/lang 'F[P(a) F(b + a b)] F(1 1)'` 1 1 2 3 5 8 13 21 34 55 89 144 233 …(以下オーバーフローするまで続く なぜこれを行おうとしたか 最近、ユーチューバーになろうと思っていたのです。で、私がyoutubeで見せられそうなことと言ったら

Turing Complete FM #2 を聞いていて、もっとCPUやOSに詳しくなったら楽しいだろうなという気持ちになったけど何からすればいいか皆目検討がつかず調べたら、OS自作という観点では 30日でできる! OS自作入門 | 川合 秀実 が名著と名高い 、ということが分かったので購入して始めてみた。 書籍ではWindowsでの開発を対象とした方法が記載されており、Macではそのまま使えないためGitHub - sandai/30nichideosjisaku: 『30日でできる！ OS自作入門』川合 秀実氏(著)のMacOSX開発環境を整えることができます を参考に環境を構築した。 ただ、GitHub - sandai/30nichideosjisaku: 『30日でできる！ OS自作入門』川合 秀実氏(著)のMacOSX開発環境を整えることができますでは仮想化環境としてQ.app

はてなエンジニア Advent Calendar 2017の16日目です。 昨日は、id:cockscomb さんによる 三点リーダーの位置をOpenTypeフォントでいい感じにする…… - cockscomblog? でした。 最近、各種スマートスピーカーが日本に上陸してきており、私もAmazon Echo DotとGoogle Home Mini を購入しました。 大変便利なので、自分でも色々スキルの開発をしたいな、ついでに最近話題のAWSのSAMとやらも一緒に試してみたいな、と思ってこのエントリを書いてます。 結論 github.com をREADMEの通りに実行することでバババッとlambda functionが完成するので、後は以下エントリ等参照しながら、amazonの開発者ツールからlambdaのarnを登録すると自分のEchoにスキルを登録できてデバッグ等ができるようになりま

このエントリで伝えたいこと CloudFormationのスタックポリシーでUpdate:*をDenyしてても安心はできない。消える時は消える 上記はある程度皆知ってるかもしれませんが、一応試してみた、及び考えられる削除に対する保護の方法を考えるという感じのエントリ スタックポリシーについて CloudFormationにおいて、一度作成したリソースが変更されたり削除されたり置換されたりするのを防ぐ方法があります。 スタックポリシーですね。例えば、以下のようなJSONをhoge_policy.json というファイルに保存し aws cloudformation set-stack-policy --stack-name hoge-stack --stack-policy-body=file://./hoge_policy.json のようなコマンドで適用すると、CloudFormatio

やりたいこと 全世界のAWSのEC2からだけ許可するsecurity groupを作りたいとかそんな感じのやつ それにどれくらいの嬉しさがあるかと言うと、まぁ人それぞれだよね 以下のテンプレート部分を少し変えると、AWS WAFの定義で全世界のAWSのEC2からのアクセスを拒否するとかそういうのにも使えるよね 方法 以下のスクリプト使うとSecurity Groupの定義が一個ペロッと出力されるので後は勝手に使うといいと思います。 最大の問題は、このIPレンジは当然そのうち変わるので、本来はJSONファイルの変更を検知してlambdaを動かして最新の情報に追随させるみたいなことをやる必要があるんですが、まぁ何か雑にやりたい時はこういうのでもいいんじゃないですかね。 ちゃんとやりたい場合は以下クラスメソッドさんのエントリ参照 dev.classmethod.jp プログラム GitHub -

最近結構CloudFormation触っていて楽しい。 普通にボタンポチポチより便利だし、一回作ってしまうと同じ環境をコピーするのが大変容易だし、ブログとか書く際はtemplateファイルを共有するだけで同じ環境を再現してもらえるし、どういう設定があるかを設定のタイミングで一覧して知ることができるし、公式のsnipetも充実しててそこから学べる部分も多いしという感じで、とにかくCloudFormation最高、という気分になっている。 副作用のある操作はCLIもWeb Consoleもsshも使わずひたすらCloudFormationで今後はいこう、という気持ちである。 やっていくぞ！ もうこれからの人生、AWSで何かする時はなんでもCloudFormation縛りでいいな。— でこくん (@dekokun) 2017年3月30日 以下、「人生はCloudをFormationするものと得た

この記事は、はてなエンジニアアドベントカレンダー2016の9日目の記事です。昨日は id:cockscomb による Swift 3 の Data とポインタ使いこなし術 - Hatena Developer Blogでした。今日はISUCON 6の予選問題とVarnishを組み合わせてみた話を書きます。 はじめに みなさんは今年の夏に行われたISUCON6には参加しましたか？私は参加しましたが予選落ちでした。また、最近、私は業務でVarnishというHTTPキャッシュサーバに触ることが多いです。 今回、ISUCON6が終わった後、Varnishで何ができるかの検証がてらISUCON6の予選問題で少しトリッキーな実装をした話を書きます。 実装の方針は以下のとおりです。 キャッシュに必要な実装以外は出来る限りアプリケーションには手を入れない 全てのリクエストをキャッシュサーバを通す 更新は即

reverse proxyサーバとしてよく使われているnginxですが、意外にハマりやすい罠があったりします。 今回は、proxy_hide_header, proxy_set_header, add_header等で設定内容を複数コンテキストに分割する際にはまりがちな点を紹介します。 概要 どのようなときにハマるのかストーリー 同様の動きをする他のヘッダ達 ドキュメント上ではどのように扱われているのか more_set_headersはまた違う動きをする あるディレクティブがそのように動くかどうかどのように調べればいいか あとがき この記事によって今後書きたくなった記事 概要 上記3つのディレクティブについては、基本的には現在のコンテキストにそのディレクティブがない時に限って上位のコンテキストで設定された値が継承される 他にもaccess_logディレクティブなどでも同様の動きをするよう