AWS SDK for Rubyを使ったAWS Athenaの利用 - dely Tech Blog
こんにちは、サーバーサイドエンジニアのjoooee0000です。 delyはデータ基盤としてAWS Athenaを使っており、ユーザーの行動ログからアプリケーションのアクセスログまで、様々なログがAWS Athena上に存在しています。AWS AthenaはS3上にあるデータソースをprestoのクエリ記法で引けるようになっていてとても便利です。 クラシルの分析基盤の歴史に興味がある方は、この記事にまとまっているので参照してみてください。クラシルの分析基盤はデータサイエンスチームが主体となって今も改善を続けています！ tech.dely.jp 今回は、AWS SDK for Rubyを使ってAthenaのクエリを実行する記事が1本もなかったので書きました。また、本記事では並列処理ではなく、シンプルな1クエリを引くsync処理の場合について紹介します。 AWS Athena SDKの特徴 A
active_record_mysql_xverify - so what
active_record_mysql_xverifyというgemファイルを書いた。 github.com これは何？ RailsでAuroraを使うときに、フェイルオーバー時に旧マスタにつなぎに行く問題をなんとかするやつ。 世間様を見渡すに「コネクションプール使うな。接続を切れ」というのが現状の解決策のようだけど、もうちょっとなんとかしたかったので作成。 使い方 config/environments/production.rbとかに ActiveRecordMysqlXverify.verify = ->(conn) do conn.ping && conn.query('show variables like "innodb_read_only"').first.fetch(1) == 'OFF' end または ActiveRecordMysqlXverify.verify = A
Rails × ECS でオートスケーリング＆検証環境の自動構築 - メドピア開発者ブログ
マリオカートでカーブを曲がるときに体を傾斜させてしまうCTO室 kenzo0107 です。 今回は 2018/04/02 にリニューアルしたイシコメの Rails × ECS についてです。 イシコメとは？ 「イシコメ」は、医師10万人の声でつくるヘルスケアメディアです。 医師と一般の方々をつなげることで、医療情報格差を埋めることを目指しています。 MedPeerの10万人の医師会員に協力いただいたアンケート結果をもとに編集部で記事を執筆し、医師監修の上で配信。多くの医師の声を反映することで、より正しい情報を提供しています ishicome.medpeer.jp リニューアル経緯 リニューアル前は以下のような構成でした。 フロントに Laravel 5 バックに Drupal Docker on EC2 コンテナイメージの S3 でのプライベート管理 Docker がまだ出てきて間もない頃
AWS SDK for Ruby Modularization (Version 3) | Amazon Web Services
AWS Developer Tools Blog AWS SDK for Ruby Modularization (Version 3) Version 3 of the AWS SDK for Ruby is available now as a preview release. This version modularizes the monolithic SDK into service specific gems. Aside from gem packaging differences, version 3 interfaces are backwards compatible with version 2. You can install individual gems like so: $ gem install aws-sdk-s3 --version 1.0.0.rc1
Kumogata2 - so what
連休に入って酒量が増え体重も増え、昼夜わからない生活をし、ridgepoleのRails5対応はFが減らず、必要に駆られて使い始めたElasticBeanstalkの闇が見え始めた現実から目をそらすため、以前から懸案だったCloudFormation用ツールKumogataの次世代版を作ってみました。 なにが問題だったのか aws-sdk-v1 v1もまだまだ現役で使えるとはいえ状況を見る感じだいぶv2が主流になってきて、このままv1を使い続けるのはリスキー…なんだけどライブラリを変更するのが地味に大変。大量のFでモチベーション低下 モノリシック Kumogataは「フォーマットコンバーター+便利ツール」というもので、この2つは論理的に切り離すことができるはずなんだけど、初期の設計に建て増しを繰り返した結果、拡張がひっじょーにしづらい状況。おまけに対応フォーマットの追加に付随してgemもば
Amazon Elasticsearch Service の IAM User/Role アクセス制御に対応する(Ruby 版) - Qiita
はじめに: Amazon ES のアクセス制御 Amazon Elasticsearch Service (以降 Amazon ES) は VPC に対応していないため、アクセス制御を設定しないと誰からでもアクセスが可能な状態になってしまいます。Amazon ES のアクセス制御は AWS ユーザ・IAM User/Role・IP アドレス等に対して設定できます。Auto Scaling させている EC2 のアプリケーションサーバから Amazon ES にアクセスするようなケースでは都度 IP を設定するのも困難なため、各 EC2 インスタンスに設定した IAM Role による制御を用いることになります。 課題: AWS 署名付きリクエスト AWS でアクセス制御している API (今回の場合、Amazon ES の API)にリクエストを投げるには、アクセスを許可されたリソースの
How to speed up your Rails app with Cloudfront and the asset pipeline
By Najaf Ali A common trick I use with client work to speed up asset delivery is use cloudfront as an asset host. I'm surprised this technique isn't in more widespread use as it reliably makes for snappier user experiences, especially users with a fresh cache. This guide assumes you're using the Rails asset pipeline to package and serve your assets. If you're not using the asset pipeline, whatever
AWS S3バケット上のファイルを、一定期間経過後に自動削除する(Ruby) - Qiita
定期的にプログラムで生成するような、サイズも少し大きめのファイルを外部のメンバーとやり取りをする場合、AWSのS3のバケットを一時ファイル置き場にすることがあります。 がっ！日々自動アップロードされるファイルによってS3上のファイル数・容量がモリモリ成長し、ボディーブローのようにお財布を削っていくのに対し、古いファイルを削除することをすっかり忘れちゃうことってありますよね。セキュリティ的にも古いファイルを置きっぱにするのはよろしくありません。 そんな事態を防ぐため、S3にファイルをアップして一定期間後に自動的に削除するメソッドを作りましたので、S3破産する前に使ってみてくださいませ。 準備：aws-sdkに、一定期間後にファイル自動削除するメソッドを追加 RubyのAWS操作用標準Gemであるaws-sdkのAws::S3::Clientクラスにdelete_expired_objects
Blog Series: Ruby on Rails on Amazon Web Services | Amazon Web Services
AWS Developer Tools Blog Blog Series: Ruby on Rails on Amazon Web Services Welcome to a series on how to integrate Ruby on Rails apps with Amazon Web Services. In this series, we’re going to start from scratch with a simple app, and show you how to make it scalable, highly available, and fault tolerant. The Sample App For this blog series, we have built a sample app in Ruby on Rails. You can find
ELB + Nginx 利用時にRailsでHTTPSアクセスを識別する - Qiita
def scheme if @env['HTTPS'] == 'on' 'https' elsif @env['HTTP_X_FORWARDED_SSL'] == 'on' 'https' elsif @env['HTTP_X_FORWARDED_SCHEME'] @env['HTTP_X_FORWARDED_SCHEME'] elsif @env['HTTP_X_FORWARDED_PROTO'] @env['HTTP_X_FORWARDED_PROTO'].split(',')[0] else @env["rack.url_scheme"] end end def ssl? scheme == 'https' end schemeメソッドで「https」が返されれば、https判定されることになる。 今回の構成のような例では、「url_scheme」はhttpになるため、その他のヘッダ
Amazon RDSのリードレプリカ＋Rails4.0＋multi_dbを試してみました - ITエンジニアとして生きる
Webで負荷分散する場合、アプリケーションは簡単にスケールアウト出来ますが、DB（がRDBMSの場合）は１つに集約するパターンが多いと思います。 しかしこの構成だとどうしてもDBが性能面でのボトルネックとなりがちで、それを解消する１つのスケーリングテクニックとしてReadをレプリカへ分散させるというものがあります。 今回はそれをAmazon RDSのリードレプリカとmulti_dbというgemを使って試してみました。 すでにDBはRDS（MySQL）を利用しているがリードレプリカは利用していない、ということをスタート地点としています。 Amazon RDSのリードレプリカAmazon Web Services ブログ: Amazon RDSの新機能：Read Replica(リードレプリカ)の発表 リードレプリカとはその名の通り、RDSの読取り専用複製インスタンスです。 RDSマスタから定
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
