fumikonyのブックマーク - はてなブックマーク

順序性の担保とスループットはトレードオフだという話

この記事について AWS SQSからメッセージを受けとって処理するLambdaを書いているときに、標準キューだから順序保証されてないな、じゃあ順序バラバラできても捌けるように処理を書かないと！ → ... → あれ？？？意外とこれ難しくない？？？と思った経験、皆さんにもあるのではないでしょうか。この記事では、筆者が上記のような壁にぶつかったときに「順序を保つってなんでそんなに難しいんだろう？」「保てないならどうやってそれに耐えうるようにすればいいんだろう？」と色々考察した結果を書いていきたいと思います。使用する環境・バージョン 2024/6/22時点で提供されている機能に基づき考察読者に要求する前提知識 AWSのSQS, SNS, Kinesis Data Streamがどういうサービスなのかは既知という前提のもとで書きました順序セマンティクスとは順序セマンティクスとは「イベ

fumikony 2024/06/30

あとで読む

リンク

DynamoDBでできないこと

この記事について本記事は、筆者が普段AWSの各種サービスを使って感じた感想・気づきをもとに、クラウドアーキの設計やサービスのより良い使い方Tipsを考察するシリーズです。第二弾も第一弾に引き続きDynamoDBについてです。 DynamoDBはkey-value型のNoSQLであり、従来よく使われていたRDBとは異なるDB特性・クエリ特性を持っています。そのためRDBを設計するときと同じようなノリでスキーマ設計・テーブル設計を行うと、後から「この操作をやらせるならDynamoDBじゃないほうが良かったんじゃないか？」ということが発覚しがちです。本記事では筆者が遭遇した「DynamoDBでやらせてみたら苦労した・できなくて設計変更を強いられた」というユースケースをまとめることで、DynamoDBのクエリ特性や適性を考察することを目指します。使用する環境・バージョン 2024/1/1

fumikony 2024/01/02

あとで読む

リンク

ここさえ抑えればGitHub API v4がわかる! GraphQL入門

この記事について今年の7/27にGitHub Projectベータと呼ばれていたものがGAになりました。新しくGAになったProject(以下ProjectV2と書きます)は、フィールドを用いて、アイテムに様々なメタデータを追加できるカードに設定した様々なメタデータごとにかんばんを作ることができるアイテムのグループ化・ソート・フィルタが簡単にできる日付・各種メタデータを軸として指定したグラフを作ることができるので可視化が簡単といった、classic Projectではできなかったあれこれが一つのProjectでできるようになっており、とても便利になりました。そしてProjectV2がGAした今、一部例外を除いてclassic Projectを新規作成するというのはできなくなっています。そのため、ProjectV2への移行というのは今後どんどん進んでいくと思われます。 Yo

fumikony 2022/08/16

あとで読む

リンク

GitHub ActionsにおけるStep/Job/Workflow設計論

この記事について GitHub Actionsには、以下3つの実行単位が存在します。 Workflow Job Step パイプラインを組む中で出てくる複数個の処理を、1つの実行単位でまとめてしまうか、それとも分割するのかというのは悩むポイントかと思います。一つのstepのrunフィールドにコマンドを詰め込む？それともstepを分けた方がいい？一つのJobの中のstepとして記述した方がいい？それとも別のJobに定義した方がいい？一つのWorkflowの中にJobをたくさん定義する？それともWorkflowを別にする？この記事では、Workflow・Job・Stepそれぞれの性質を踏まえた上で、ベストな処理単位の選び方を考察します。使用する環境・バージョン GitHub Actions: 2022/5/15時点での機能をもとに考察読者に要求する前提知識 GitHub Actio

fumikony 2022/05/18

あとで読む

リンク

よくわかるcontextの使い方

Goの標準パッケージにはcontextパッケージというものが存在します。このパッケージは、net/httpやdatabase/sqlのような現実の事象と対応している何かが存在するようなパッケージではないため、初学者にとっては使い道がわからない、となってしまいがちです。しかしcontextパッケージは、複数のゴールーチンを跨いだ処理を実装する際には非常に強力な力を発揮する、とても便利なパッケージなのです。この本では、「contextとは何か？」というところから「どのように使えばいいのかわかる」ところまでたどり着けるように、Goのcontextまわりのことを解説しました。

fumikony 2021/08/29

あとで読む

リンク

Goから学ぶI/O

GoにはI/Oに関わるパッケージが数多く存在します。io, os, bufio, fmtなどなど……。これらの立ち位置や、I/O実行の裏で何が起こっているのか本当に理解していますか？この本では、この問への答えをまとめました。

fumikony 2021/04/24

あとで読む

リンク

Goの言語仕様書精読のススメ & 英語彙集

この記事について Go言語公式から提供されているThe Go Programming Language Specificationという文章があります。実際のThe Go Programming Language Specificationのページ画面この文章、個人的にはじっくり読んでみると結構得るものが大きいな、と感じるものです。本記事では The Go Programming Language Specificationって何が書いてあるの？読んだら何がわかるの？読むときにはどういうところに注目したらいいの？英語難しいから単語教えて！という疑問に答えながら、The Go Programming Language Specification精読の布教を行います。 The Go Programming Language Specification とは？ The Go Prog