Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話BigData-JAWS 勉強会#6での議論たたき台資料 https://jawsug-bigdata.connpass.com/event/52590/
AWS最新提案！！Redshiftを使ったリアルタイム型ＤＷＨシステム！！ | クラウド工房 Powered by Amazon Web Services
みなさん。こんにちは。STSの山口です。弊社が「Redshiftはじめました。」と宣伝を始めて以降、最近、数々のRedshift関連のお問い合わせを頂いており、非常にうれしい限りでございます。 さてさて、このような状況におきまして、今回、皆様にご紹介したいのは、この「Redshift」を使った、新しいＤＷＨシステムのご提案、「リアルタイム型DWHシステム」でございます。実際にお客様へご説明させて頂いている資料を織り交ぜながら、皆様に「リアルタイム型DWHシステム」をご紹介したいと思います。また、最後にはこの「リアルタイム型DWHシステム」のデモ機に関してもご紹介します。 言わずと知れた、AWSの「DWHの価格破壊サービス」Redshiftのご紹介です。先述しましたとおり、我々が提案する「リアルタイム型DWHシステム」では非常に重要な構成要素の１つとなっております。実はこの「リアルタイム型D
DBに保存する前にAmazon KinesisやApatch Stream などのストリーミングサーバー?に保存する理由がわかりません。
大規模なデータ収集といった話になるときに、よくストリーミング処理が必要になり、 Amazon KinesisやApatch Streamなどの話題が出ます。 複数台のサーバー -> Amazon Kinesis -> Amazon Redshift といった具合に。 複数台のサーバー -> Amazon Redshift といったように、複数台のサーバーから直接DBに保存するのはトランザクションの問題？や処理が追いつかなかったりするため、ストリーミング処理をするのだと私の中では認識しております。 ただ、結局、間にストリーミングサーバーを入れたところで、左から右へデータを流しているだけで、結局、処理が追いつかなかったりするのではないかと思っております。 実際はそんなことはなく、ストリーミングサーバーはそこら辺を上手くやっているのかと思われますが、そのあたりの知見をつけたく、調べているのですが
KinesisかS3か
Kinesisを触ってはみたものの、特別「これは使いやすい！」という印象ではなかった。 Kinesisの用途は要するに AWSにガンガンデータを送る AWS側では、送られてきたデータを片っ端から処理する AWS側に着いたデータは処理しようがしまいが一定期間(現在は24時間)で消える というもの。 しかし、AWSへの送信は単純にHTTPSのPOSTリクエストであり、さらにBase64エンコードされているということで特に効率的な方法ではない。むしろ効率をまったく考慮しておらず、シンプルさ、扱いやすさに徹している。 HTTPSのPOSTリクエストであるにも関わらずサイズ上限(現在は50KB)がきついので、小さなデータを送る用途に限定される。 個人的に数十～百台程度のサーバからAWSへのログの集約(Log Aggregation)を計画しているのだが、Kinesisの用途にぴったりか？と考えた一方
Private Presentation
Private content!This content has been marked as private by the uploader.
LGTM! チャットやGitHubでよく見る英略語ってこんな意味-Six Apart ブログ｜オウンドメディア運営者のための実践的情報とコミュニティ
こんにちは、シックス・アパートのにっくです。 多くの開発者が利用している「GitHub」。GitHubでは世界中の開発者が議論を交わしながら、プロジェクトを進めています。GitHub については以前、こんな記事も書きました。 「そもそもGitって何？」、「GitとGitHubは何が違うの？」にシンプルに答えるよ GitHubを見ていると、「LGTM」や「SSIA」など、いろんな英略語を見かけます。チャットと同様に、素早いコミュニケーションのために、タイプ量を減らして言いたいことを伝える省略語がたくさん生まれているようです。よく見かける、ひと目では意味が分かりづらい英略語を、いくつかピックアップしてご紹介します。 AFAIK - "As Far As I Know” AFAIK、と言われてもひと目では何のことだかわからない略語ですね。 「自分が知っている限りでは」という意味になります。 FY
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
