Kafka & Redis Streams | HackerNoon
Let’s talk about queue design. We have a very long book which we would like many people to read. Some can read during their lunch hour, some read on Monday nights, others take it home for the weekend. The book is so long that at any point in time, we have hundreds of people reading it. Readers of our book need to keep track of where they are up to in our book, so they keep track of their location
boto3からDynamoDBへのアクセスをmotoでモックしてみる | DevelopersIO
サーバーレス開発部＠大阪の岩田です。 現在開発しているLambdaで単体テストを作成する際に、DynamoDBへのアクセスをモックしたい箇所が出てきました。 その際にテスト手法について色々と調査したことをまとめます。 背景 LambdaからDynamoDBにアクセスする処理のテストコードを書く場合、DynamoDBのエンドポイントとしてDynamoDB LocalもしくはLocalStackを使用して、ローカル環境でテストを実行する方法があります。 AWS Lambda（Python） の開発環境・テスト・デプロイ・CI 考察 今回自分がやりたかったのはもう少し前段階のテストで、単純なキー指定の参照処理の単体テストでした。 もう少し開発が進んで、結合テストのフェーズになると、DynanoDB LocalやLocalStackが有用になると思うのですが、現時点では外部サービスに依存せずに、完
Customer-managed Cloud KMS keys | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Customer-managed Cloud KMS keys By default, BigQuery encrypts your content stored at rest. BigQuery handles and manages this default encryption for you without any additional actions on your part. First, data in a BigQuery table is encrypted using a data encryption key. Then, those data encryption
Mastodonを大規模になる前提でAWS上に構築した話 | フリーランスumentuのサイト
ご挨拶 どうも。朝とってもはやく起きてしまう、umentuです。早起きは10万の得 じゃないですけど、朝活動するといいこともあるものですね。昨日さっぱり解決できなかった件が、あっさりと解決できました。そしてもう一度寝る前に、ちょっと文章を書いてみようと思ったわけです。ちょっとだけ、技術的なお話です。 楽しい案件 現在、クラウドソーシングで頂いた案件で、Mastodonを構築しています。Mastodon自体はVPSや自宅サーバに何度も立てたことがありました。ですが、今回はちょっと、というか大幅に違っていて、かなり大規模になる可能性のあるMastodonを構築するに至ったわけです。そのため、いろいろと課題が発生しました。それを少しだけ、お話したいと思います。ばれない範囲で。 サーバーの選定 そもそもクライアント様は、あるクラウドサービスを利用する前提で動いておりました。ですがうまくいかずに、と
Datastore の概要 | Cloud Datastore Documentation | Google Cloud
リレーショナル データベースのテーブルの行とは異なり、Datastore では同じ種類のエンティティが異なるプロパティを持つ場合があります。また別々のエンティティが同じ名前のプロパティを持ちながら、値の型が異なる場合もあります。このような独自の特徴から、自動的にスケールする能力を活用するためにデータを設計、管理する方法が異なります。特に、Datastore は次の重要な動作方法が従来のリレーショナル データベースとは異なります。 Datastore は非常に大規模なデータセットに対して自動的にスケールできるように設計されているため、アプリケーションが大量のトラフィックを受信しても高いパフォーマンスを維持できます。 Datastore の書き込み処理は、必要に応じて自動的にデータを分散することでスケールされます。 Datastore では、データセットのサイズではなく結果セットのサイズに応じ
BigQuery Data Transfer Service とは | Google Cloud
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 BigQuery Data Transfer Service とは BigQuery Data Transfer Service は、あらかじめ設定されたスケジュールに基づいて BigQuery へのデータの移行を自動化するマネージド サービスです。そのため、アナリティクス チームが BigQuery データ ウェアハウス基盤を構築する際にコードの作成はまったく必要ありません。 BigQuery Data Transfer Service には、以下を使用してアクセスできます。 Google Cloud コンソール bq コマンドライン ツール BigQuery Data Transfer Service API データ転送を設定すると、BigQuery Data Transfer Se
Блог Ивана Осипова » Ejabberd: от Mnesia к MySQL
Практически у каждого администратора Jabber-сервера на базе Ejabberd вставал или встанет вопрос о переходе с Mnesia (используемой в Ejabberd СУБД по умолчанию) на MySQL. От себя хочу заметить, что использование Ejabberd с ODBC имеет смысл только если на Вашем сервере более 20 онлайн-пользователей. В данной статье я подразумеваю, что у Вас уже установлены все пакеты для сборки Ejabberd из исходник
What is the significance of a Mnesia Master Node in a cluster
I am running two erlang nodes with a replicated mnesia database. Whenever I tried to start one of them while mnesia IS NOT Running on the other one, mnesia:wait_for_tables(?TABS,?TIMEOUT), would hang on the node that its called from. I need to have a structure where (if both nodes are not running), I can start working with one while the other is down and later decide to bring the other one up yet
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
分散データベースで因果一貫性を担保するための仕組み「ベクトルタイムスタンプ」がエモい - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #まえふり LITALICOの管理栄養士 @Sadalsuud です。好きな食べ物はピザです。 以前からインスタレーションなどを作成してTwitterに投稿していたことがあり、入社数日目にはCTOの @takish さんがフォロワーだったことが判明。 それからなんやかんやあって、社内ハッカソンに参加させていただいたり、このAdvent Calendarにも参加させていただいたりしています。 というわけで、『LITALICO Engineers Advent Calendar 2017』12日目の記事です。 読むのが面倒になった方は最後に
スキーマ設計のベスト プラクティス | Bigtable Documentation | Google Cloud
行と列の交差には、タイムスタンプ付きのセルを複数含めることができます。各セルには、その行と列のデータに付けられた、タイムスタンプ付きの一意のバージョンが格納されます。 集計列ファミリーには集計セルが含まれます。集計セルのみを含む列ファミリーを作成できます。集計を使用すると、新しいデータをセル内のデータと結合できます。 すべてのオペレーションは行レベルでアトミックに実行されます。オペレーションは、行全体に影響を与えるか、どの行にも影響を与えないかのどちらかです。 読み取りと書き込みは（テーブルの行スペース全体に）均等に分散されるのが理想的です。 Bigtable のテーブルはスパースです。列を使用していない行では、列による空間の消費はありません。 ベスト プラクティス スキーマが適切であれば、高いパフォーマンスとスケーラビリティを得られますが、スキーマが不適切であればパフォーマンスが悪いシス
開発時のDynamoDB環境としてDynamoDB Localを用いた際に行なったノウハウを公開します。 | DevelopersIO
開発時のDynamoDB環境としてDynamoDB Localを用いた際に行なったノウハウを公開します。 DynamoDB Local立ち上げや管理画面であるDyanmoDB Admin、AWS SDK for Python (Boto3)を用いたDynamoDB Localへのアクセス方法等を紹介します。 はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 現在私が構築を行っているサービスでは、DynamoDBをデータストアとして用いています。 開発時に開発者各々に開発用のDynamoDBのテーブルを作成すると、 テーブル名の重複やコストの問題が発生してしまいます。 これらの問題を回避するため、開発時にはDynamoDB Localを用いて開発を進めました。 それらの手法についてお伝えします。 環境は以下の環境で実施しております。 Mac OS X High Sierra 1
エンティティのエクスポートとインポート | Cloud Datastore Documentation | Google Cloud
フィードバックを送信 エンティティのエクスポートとインポート コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 このページでは、マネージド エクスポートとインポート サービスを使用して Datastore モードの Firestore エンティティをエクスポート、インポートする方法について説明します。マネージド エクスポートおよびインポート サービスは、Google Cloud コンソール、Google Cloud CLI、Datastore Admin API（REST、RPC）で利用できます。 マネージド エクスポートおよびインポート サービスを利用すると、誤って削除したデータを復元したり、オフライン処理のためにデータをエクスポートしたりできます。すべてのエンティティをエクスポートすることも、特定の種類のエンティティだけをエクスポートすることもできます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS × mastodonにかかるコスト | 公開懺悔日記
NoSQLデータベース「Redis」に対する探索行為の増加等について | 警察庁 @police
BigQuery のストレージを最適化する | Google Cloud
PHPセッションをmemcachedで管理する件 - Qiita
GitHub - barbuza/eidetic: alternate mnesia interface for elixir
Object-Oriented Abstraction of Redis Sorted Set
Home
