Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
![Auth0+DynamoDBでユーザ認証基盤を作る - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/4bb52b9d8cb7273d8d37b1cb6938cfd39b0561b2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9QXV0aDAlMkJEeW5hbW9EQiVFMyU4MSVBNyVFMyU4MyVBNiVFMyU4MyVCQyVFMyU4MiVCNiVFOCVBQSU4RCVFOCVBOCVCQyVFNSU5RiVCQSVFNyU5QiVBNCVFMyU4MiU5MiVFNCVCRCU5QyVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MzA0ODBiNmZhODIzNGIzZGVmODhhOWMyN2JiMjAwYjY%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBob3Jpa2UzNyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZjEwZjUwZDc4YjQ0YTljZGMzMjZlZjFkMTI3YTczMjY%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4gU2VydmVybGVzcyBPcGVyYXRpb25z%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Df66d4f090ce29c93e78a2287c9cb3d2a)
こんにちは、アルバイト事業部の春日です。アルバイト求人サイトである マッハバイト のサーバーサイドを担当しております。 Redis Gem を Cluster Mode に対応させる Pull Request を出す機会に恵まれたため、本日は振り返りも兼ねてそれについてお話させていただければと思います。 背景 Ruby on Railsで実装しているマッハバイトでは、将来的なユーザー増加を見越して2015年03月頃にRedis ClusterをSession Storeとして使い始めました。 当時はまだRedis3.0が出たばかりだった記憶があり技術選定時に twemproxy なども検討されていました。 Reshardingなどもできる運用ツール もあってRedis本体がNativeでサポートしている、という理由でRedis Clusterを採用しました。 しかしRedis3.0で初めて
今年も予選から素晴らしい運営、問題で堪能させてもらいました。 去年本戦3位で終わり、思うところがあり、今年は一人で出るか、もしくは出るの見送ろうと思ってたんだけど、TwitterのTL上でnajeiraさんが、メンバー募集していたのを見て、急に出たくなってしまって一緒に参加させてもらうことにした。 興味あります。 去年3位 優勝経験有り Go書けます — songmu (@songmu) 2018年8月28日 これまで、同僚か元同僚かとしかチームを組んでこなかったので、あまり馴染みがない人と組むのは楽しそうだし、そういう新しいチャレンジも面白そうに思ったのだ。 ということで「死闘の果てに」と言うチーム名で、najeiraさんとbluerabbitさんと参加することにした。チーム命名はnajeiraさん。 事前の顔合わせでも、fabricでdeployしましょう、解析には github.co
これをつくります。 構成図はこんな感じ。 やりたいこと - DynamoDB を使って一覧表示 DynamoDB を使うときは、データの一覧を取得する というシーンに遭遇した場合、 read capacity unit に注意して実装する必要があります。DynamoDB は パーティションキーとソートキーによりデータをひとつだけ特定して取得することが得意ですが、複数のデータを取得する場合はクエリやスキャンを使うことになり、とり方よっては大量の read capacity unitを消費してしまうことになります。 そこで登場するのが、DynamoDB に対してスキャン・クエリをかける際に指定できる Limit です。うまく取得件数を制限できれば、消費する read capacity unitもおさえられそうです。ただし、 Limit を使うことにより一度ですべてのデータを取得できない状況が発
こんにちは、エンジニアの松崎 啓治(まつざき けいじ)です。 インターネット上ではこのIDで活動しています。 @futoase 先日、社内でエンジニア向けに「デバッガでRedisのコードを読んでみよう」というテーマの勉強会が開かれました。せっかくの機会なので、その内容をご紹介します。 勉強会スライドへのリンク デバッガでRedisのコードを追いかけるメリットとしては以下のようなものがあります。 gdbを使ってRedisのコードをstep実行することで、どのタイミングでRedisのStorage(memory領域)からデータを取得できるのか体験から学べる Redisだけではなく、nginxやMySQL、PostgreSQLなどgdbを利用してstep実行を行えるものであれば、今回の勉強会の手法を元に同じように体験から学ぶことができる デバッガで追いかけるための準備 プレゼン資料で
悲報 2019年6月26日現在、TeamSQLのサポートがなくなってしまったようでダウンロードできなくなくなりました。。 TeamSQL has retired and is not available for download anymore. 今までSequel Proを重宝してきましたが、それを超えるGUIツールが出てきました。 その名も、TeamSQL 現状サポートしているものだけでもかなり豊富 今後、elasticやmongoDBにも対応されるようです。 機能 クエリ保存 履歴保持 ファイル出力 抽出した結果をボタン1つでcsvやjson形式に保存可能。 共有 データをエクスポートしなくても共有が可能。 グループの作成が可能なため、特定のユーザー同士で簡単に共有ができるとこがメリット。 可視化 様々なチャートでクエリの可視化が可能。 そのままイメージとして保存も可能。 テーマ選択
AmazonRDS(MySQL), ElastiCache(Redis)と互換性のある環境をKubernetesに構築MySQLRediskubernetes はじめに AWSのマネージドサービスを活用してプログラム開発を行う時に、コスト面などを考慮しDevelop環境をlocalで用意する場合があります。 今回は、localのKubernetes環境上に、Amazon RDS, Amazon ElastiCacheと互換性のあるPodを作成します。 Amazon RDS の互換性のある MySQLのバージョン Aurora : 5.6.10a MySQL : 5.6.27 など Amazon ElastiCache Redis : 4.0.10 MySQL 事前準備 MySQLスキーマファイル作成のために、DockerImage起動 mkdir ~/sqldump docker run
Redis 用 Amazon ElastiCache はこのたび、Redis クラスター、つまりシャーディング済みの Redis に対するリードレプリカノードの追加や削除ができるようになりました。これで、手動ステップやアプリケーション変更なしに、簡単に読み取りをスケールすることや、Redis クラスター環境の可用性を向上させることができます。Amazon ElastiCache では、シャードされていない Redis (非 Redis クラスターモード) に対するリードレプリカの追加と削除が既にサポートされています。 Redis クラスターは、複数の Redis ノードでデータセットの自動シャードを可能にします。レプリカの追加によって、クラスターの読み取りスループットを拡大し、アプリケーションの大容量の読み取りトラフィックをサポートします。リードレプリカはさらに、自動フェイルオーバーの有効
DynamoDBのキャッチアップの参考になった記事 半年ぶりにDynamoDB触ることになり、すっかり忘れていたため、 以下の記事を見てキャッチアップしました。毎回ぐぐるのも辛いので備忘します。 1.ありがたいまとめ記事で効率よく良記事をピックアップ DynamoDBでのポイントまとめ 2.基本/概念をおさらいする。 AWS Black Belt Techシリーズ Amazon DynamoDB DynamoDBの設計力をあげたい AWS Summit 2014 Tokyo「Amazon DynamoDB テーブル設計と実践 Tips」レポート 3.テーブル設計やアーキ設計の参考になった記事 DynamoDBによるソーシャルゲーム実装 How To DynamoDB ベストプラクティス └ SortKeyをカラムと時系列系のカラムを連結して管理する話参考になりました。 AWS公式Doc-テ
slab allocator (I - this article , II , III) is the core module of the cache system, which largely determines how efficient the bottleneck resource, memory, can be utilized. The other 3 parts, namely, LRU algorithm (I , II , III) for entry expiration; and an event driven model (I , II , III) based on libevent; and consistent hashing for data distribution, are built around it. Variants of slab allo
どうも!大阪オフィスの西村祐二です。 開発環境で使っていたデータを本番環境など別環境でも使いたい場面はよくあると思います。 私もあるAWSアカウント上にあるDynamoDBの特定のデータを別のアカウントのDynamoDBへコピーしたい場面に出くわしましたので、Lambda+SQSを使ってDynamoDBの負荷をあげずにコピーする仕組みを作ってみました。 ※今回紹介する方法以外にも色んな方法があります。こんな方法もあるんだな程度で考えてもらえれば幸いです。 構成図 この構成の良さそうな点 個人的に思うこの構成の良さそうな点をあげてみます。 アカウントを跨ぐときの設定がSQSで許可するだけで簡単 ある程度速度調整ができる(今回は負荷をあげないようにゆっくりコピーするようにしているが速くもできる) コスト削減できるかも? ただ、以下を考慮しないといけないです。 複数回DynamoDBに書き込まれ
Send feedback Stay organized with collections Save and categorize content based on your preferences. In a data warehouse like BigQuery, location information is very common. Many critical business decisions revolve around location data. For example, you may record the latitude and longitude of your delivery vehicles or packages over time. You may also record customer transactions and join the data
1.概要 DynamoDBに、開発・テスト用途のDynamoDBローカルと呼ばれるものがあります。これはDynamoDBをローカルマシンのアプリケーションとして稼働させ、各種SDKにて接続・テーブル操作を実装できます。 DynamoDBローカルは、公式でJavaアプリケーションとして配布されていますが、Dockerイメージでも配布されているので、このイメージを使ってDockerコンテナとしてDynamoDBローカルを稼働させたいと思います。 ポイントはAWSアカウントを登録・所有していなくてもDynamoDBを使ったアプリケーションを開発できるということだと思います。Lambda/api gatewayもAWS SAM Localで開発・テスト可能になっているので、色々試しやすくなっているのかなと。 参考:主に本番環境で利用するDynamoDBはAmazon DynamoDB(ウェブサービ
初めてのサーバーレスアプリケーション開発 ~Serverless Framework を使ってAWSリソースをデプロイする~ 以前のエントリでは、GUIで簡単なサーバーレスアプリケーションを構築する方法を学びました。 初めてのサーバーレスアプリケーション開発 ~DynamoDBにテーブルを作成する~ 初めてのサーバーレスアプリケーション開発 ~LambdaでDynamoDBの値を取得する~ 初めてのサーバーレスアプリケーション開発 ~API GatewayからLambdaを呼び出す~ GUIで入力内容を確認しながらリソースを作成しサービスに対する理解を深めることは重要なことです。ですが、実際の開発でGUIをポチポチするのはちょっと面倒ですよね。 ということで今回は、以前GUIで作成したAWSの各リソースをServerless Frameworkを使って一撃構築してみようと思います。また、次
Simple strings Simple strings are encoded as a plus (+) character, followed by a string. The string mustn't contain a CR (\r) or LF (\n) character and is terminated by CRLF (i.e., \r\n). Simple strings transmit short, non-binary strings with minimal overhead. For example, many Redis commands reply with just "OK" on success. The encoding of this Simple String is the following 5 bytes: +OK\r\n When
Connect your application to a Redis database and try an example Use the Redis client libraries to connect to Redis servers from your own code. We support client libraries for five main languages: Python C#/.NET Node.js Java Go We also provide several higher-level object mapping (OM) libraries and there are several community-supported clients for other languages. You will need access to a Redis ser
Overview of data types supported by Redis Redis is a data structure server. At its core, Redis provides a collection of native data types that help you solve a wide variety of problems, from caching to queuing to event processing. Below is a short description of each data type, with links to broader overviews and command references. If you'd like to try a comprehensive tutorial for each data struc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く