Redash が Amazon Athena を正式サポートしたので試してみた | はったりエンジニアの備忘録
最近、個人事業のお仕事で Redash を使ったデータ分析をやっています。データ分析は「10 年戦えるデータ分析入門」を読んで興味を持っていたので、とてもいい機会をいただきました。 今回は RDBMS の他に S3 にあるログデータも分析したいので Athena を使うつもりですが、ちょうど Redash が Athena を正式サポートしたので試してみました。 Amazon Athena + Redash = ♥ ちなみに、2 月 7 日時点で Athena が使えるのは Hosted 版だけです。自分のサーバにインストールする OSS 版は v1.0.0 で対応するようなので、もう少し待ちましょう（OSS 版は v1.0.0-rc.1 までリリースされています）。 If you run Redash on-premise, you can either wait for the v1.
負荷低すぎはもはや障害じゃないのか - mikedaの日記
前のブログの続きで、もにかじ7で話した小ネタその2。 実際にサービスでなんかやったというのじゃなく、こういうこと考えてるんだけどみんなどうしてます？って話です。 まずオンプレ時代はサーバのスペックダウンはけっこう大変だったし、頑張ってメモリやCPU引っこ抜いてもそんなに節約にならなかった。 ※CPUやメモリはサーバ価格の一部でしかないし、ラック費用(消費電力)もあるし。 でもクラウド前提だとスペックダウンはとても簡単で、スペック半分にすると価格も半分になる。 そうすると、 『イベントで一時的にc4.4xlarge(8万/月)にして、そのまま最大CPU使用率10%とかで数ヶ月放置されている』 みたいなのはビジネス的な損失という意味で明らかに障害で、監視すべきじゃないだろうか？ みんななんかやってますか？ というようなことを参加者に聞いてみました。 参加者の中では、AutoScalingしてい
AWSバッドノウハウ集 2017/02 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ###おことわり 主観であり何らかのデータにもとづいてはいない この記事に書いてあることは信じずに自分で試そう #EC2 t2 ファミリーは他ファミリーと比べて不安定 どのインスタンスもいつかは死ぬという点では共通なのですがそのなかでもt2は故障したり不具合が発生したりする確率が非常に高い気がする なので死んだり、死にかけ状態で動き続けたりしてほしくないインスタンスはあんまりリソースを使わなくても t2.micro とかじゃなくて m3.medium にしとくとすこし可用性があがる 追記: CPUクレジット理解していないだけではとか書か
[速報]Amazon Linux AMI 2016.09 がリリースされました！ | DevelopersIO
こんにちは、せーのです。先程Amazon Linux AMI 2016.09がリリースされました！ Amazon Linux AMI 2016.09 RELEASE NOTES ということで早速触っていきたいと思います。 特徴 マネージメントコンソールを開いてみると、一番上に新しいバージョンが載っていますね。 ログインしてまず気づくのはSSHの速さです。Release Noteによると2016.03より20%パフォーマンスがアップしたようです。 バージョンを確認してみます。 cat /etc/system-release Amazon Linux AMI release 2016.09 $ uname -srv Linux 4.4.19-29.55.amzn1.x86_64 #1 SMP Mon Aug 29 23:29:40 UTC 2016 カーネルは4.4.19です。 それでは特徴を
![[速報]Amazon Linux AMI 2016.09 がリリースされました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/58278067871ebaae68a873315f4dd4b9b78f6b5a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_EC2.png)
AWS Lambda のスケジュールイベントで定期的に RDS の Snapshot を作成する - tkuchikiの日記
AWS Lambda でスケジュールイベントの設定ができるようになりました。 Amazon Web Services ブログ: 【AWS発表】AWS Lambdaのアップデート – Python, VPC, 実行時間の延長, スケジュールなど http://docs.aws.amazon.com/ja_jp/lambda/latest/dg/getting-started-scheduled-events.html これにより cron で実行していたスクリプトを Lambda に移行できます。 cron の冗長化は面倒ですし、cron のためだけに EC2 を起動しなくて良いので便利ですね。 そこで(?)、Lambda から AWS の API を叩いて定期的に RDS の Snapshot を作成してみます。 Create Lambda Function 「Get started no
ソーシャルゲームのバックエンドの構成例 - Qiita
この記事は Akatsuki Advent Calendar 2016 の1日目です。 はじめに アカツキで、ソーシャルゲームのバックエンドやサーバーアプリ、その他つらみなどを担当している@the40sanです。 この記事では、実際に開発/運用されているソーシャルゲームインフラのアーキテクチャや、Ruby on Railsで構築された中〜大規模なAPIサーバーに関するtipsを紹介したいと思います。 インフラ構成 アカツキのソーシャルゲームは、バックエンドにAWSを利用しています。 構成例(全体) 弊社プロダクトの構成の例です。全体でみるとこんな感じになります。 APIサーバー ゲームのロジックなどが実装されたサーバーアプリが動いているサーバーです。 WebAPIによってアクセスします。 アカツキでは、Ruby on Rails + Unicorn + nginxの構成がほとんどです。 A
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
AWSのMFAを解除するためにアメリカ大使館に足を運んだ話 - Qiita
Help us understand the problem. What is going on with this article? TL;DR AWSの二段階認証（Multi-Factor Authentication）を利用しているとき、認証端末を無くすとAWSのサポートが必要になる 電話番号での認証ができない場合には本人確認書類を提出して二段階認証を解除する必要がある 本人確認書類には公証人のサインが必要で、アメリカ大使館でサインをしてもらうことができる AWSアカウントにはMFAを設定しよう、というプラクティス AWSを利用しているアカウントが不正利用され、高額な請求を受けてしまうケースが話題となり、個人であってもルートアカウントでMFAを設定することが当たり前な世の中になりました。 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 - Qiita
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ | DevelopersIO
こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 この状態でS3に入っていた場合、分析に使うには一旦このデータをどこかのサーバに取り出し、分析用に加工して、もう一度データを貯め直す必要があります
Amazon、AWS S3の料金体系をシンプルにして値下げ
また、クラウドアーカイブサービス「Glacier」の取り出し料金体系も変更し、「Standard」「Expedited」「Bulk」の3つのプランになる。Standardが従来のプランで、Expeditedはデータ取り出し速度が1～5分と高速になる分、1GB当たり3セント、1リクエスト当たり1セント掛かる。Bulkは取り出し速度が5～12時間で1GB当たり0.25セント、1000リクエスト当たり2.5セント。Glacierの新しいプランも12月1日から有効になる。 関連記事 「VMware Cloud on AWS」──VMwareとAmazonがハイブリッドクラウドで提携 2月にIBMとのハイブリッドクラウドでの提携を発表したVMwareが、今度はAWSとの提携で「VMware Cloud on AWS」を発表した。AWS上にvSphereベースの環境を作り、オンプレミスの環境とシームレ
AWS、BIツール「Amazon QuickSight」の一般提供を開始
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Amazon Web Services（AWS）がデータ分析ツール「Amazon QuickSight」が一般提供開始（Generally Available:GA）になったと発表した。 Amazon QuickSightは、スキルに関係なく全ての従業員がデータからビジネス上の便利な情報を迅速に得るためのツールとして設計されている。 データ視覚化、チャート、グラフ、テーブルを容易に構築できるグラフィカルなツールで、「AWS Redshift」「Amazon Relational Database Service」「Amazon Simple Storage Service」など様々なAWSソースからのデータを利用できる。Microsof
AWS SDK for PHP v3のMultipart Upload機能を試してみた | DevelopersIO
望月＠シアトルです。24時間体制でブログを書くためにシアトルに飛ばされました。 少し前の話ですが、AWS SDK for PHPのVersion3が正式リリースされました。Version3の新機能の中で一つ目を引くものがありました。Amazon S3 Multipart Uploadsです。 Multipart Uploadを利用することで、巨大なファイルの分割アップロードによる並列性の向上、処理速度上昇、及びアップロードの中断/再開が可能になります。 Multipart UploadはもともとS3には機能としては備わっていますが、この機能を活用するためにはクライアントプログラム側で上述の特徴を活かすようなコードを記述しなければならず、活用するための敷居が少し高かったです。今回のリリースにより、これをSDKレベルでサポートしてくれたようです。素晴らしいですね。 というわけで、今日はMult
[レポート] PlayStation Network のユーザメッセージ機能「Messages」を支える AWS 技術 #AWSSummit | DevelopersIO
はじめに AWS Summit2016 Day3のランチセッションとして行われた、Sony Interactive Entertainment社が登壇した「PlayStation Network のユーザメッセージ機能「Messages」を支える AWS 技術」をレポートいたします。 ランチセッションということで気楽に見れるかとおもいきや、割とメモする内容の多い興味深いセッションでした。 セッション概要 セッション説明文 以下セッション概要を転載します。 PlayStation Network のサービスの一つとして、ユーザ間メッセージサービスの「Messages」があります。近年、Messages は、PS4 / PSVita / スマートフォンを介して利用されるようようになり、利用者数が激増しました。 そこで、利用者の急激な増加に対応するために、オンプレミスから AWS へサービスを継
![[レポート] PlayStation Network のユーザメッセージ機能「Messages」を支える AWS 技術 #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/148d66c86adf4dd67af10f04029ebb83085d1632/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F06%2Faws-summit-tokyo-2016.png)
会社のモバイル通信端末、パクられたらどうすんの？ | ロードバランスすだちくん
シンジです。外出先でインターネット環境を整える場合、様々なケースが想定されますよね。フリーWifi使うとか、自分のスマホをテザリングするとか。会社からWifi端末渡されてる人も多いと思います。通信業者の提供形態も様々だし、数が多くなると管理も考えなきゃだし、料金も倍々だし7GB制限に引っかかったりするともう現場は発狂ですよ。 cloudpackではどうしてたか 当初は、なんか適当なWifi通信端末を、通信業者から2年契約でポコポコ契約してました。当時は社員数も少なかったし、外に出てWifi使いたいっていう人間も限られてましたからね。そんなに管理は大変じゃなかったんです。 ウチの社長がある日 「おれさ、すげー量のゲームやるじゃん？7GBじゃ足りねーんだけど」 ということでその時に何をしたかというと、もう1台Wifiの端末を契約して、遅くなったらもう一個の使って！ってやってたんですね。ご想像下
AWS Database Migration Serviceを使ったデータ移行手順まとめ(MySQLからAurora編) | DevelopersIO
Using a MySQL-Compatible Database as a Source for AWS Database Migration Service - AWS Database Migration Service ターゲットDB(Aurora)側の前提作業 こちらも同様にDBエンジン別にドキュメントが用意されていますので、目を通すことには変わりありません。ただ、今回のケースでは移行先のデータベースはこれから作成するものなので、新規に用意したRDSインスタンスに管理者ユーザで接続することにしました。ターゲットDBがAurora(またはMySQL)の場合、下記設定をターゲットエンドポイントのExtra Connection Attributesに設定しておくことで、外部キー制約を無視する形でデータ移行を行うことができます。後にも触れますが、今回のケースではこの設定が非常に有効でし
AWS Premier Night #2 in OsakaでIPv6 on AWSのお話をしました #awspremier | DevelopersIO
ども、大瀧です。 AWSコンサルティングパートナー3社の合同勉強会、AWS Premier Nightの第2回(第1回はこちら)でAWSのIPv6対応のセッションを担当しました。今のところPremier Night皆勤賞です。会場をご提供いただいたエムオーテックス様、ありがとうございました！(まだ勉強会は続いていますw AWSのIPv6対応(2016年9月現在) 現在のAWSでIPv6に対応するサービスは以下のみです。v6インターネットからのアクセスに対応するためにELBやCloudFrontなどトラフィックを直接受けるサービスがIPv6に対応すると、AWSで稼働するシステムのIPv6対応が現実的になると思います。 EC2 Classic ELB Classic Load Balancer & EC2 Classicインスタンスの組み合わせのみ S3 (Static Website Hos
AWS対Microsoft対Google──決算報告書に隠されたクラウド戦争の優劣
IaaS市場はAmazon Web Services （AWS）の独走状態だ。それでもMicrosoftは何とか顧客をつなぎとめてきた。「Microsoft Azure」を武器に、オンプレミス環境を抱える古くからの顧客に対して社内のサーバを捨ててクラウドに移行するように説得することに注力したからだ。 Microsoftのこの戦略は当たったようだ。同社の2016年第4四半期の決算報告書によると、Azureクラウド部門の売り上げは102％増と、社内でも屈指の成長率を記録した。 ここ数年、同社はコモディティ化したクラウドサービスのかなりの部分について、使用料をAWSと同等にすると公言している。これもマーケティング戦術として有効だった。例えば、Amazonがサービス料金の引き下げを発表すると、必ずMicrosoftも追随して同様の発表を行い、セールストークにその情報を巧みに挟み込んでいる。 Iaa
[ACM] AWS Certificate Manager 無料のサーバ証明書でCloudFrontをHTTPS化してみた | DevelopersIO
はじめに AWSチームの鈴木です。 本日、AWSより新機能「AWS Certificate Manager」（ACM) が発表され、無料でサーバ証明書を発行し、CloudFront、ELBで利用する事が可能になりました。 今回、ACMでサーバ証明書を発行し、CloudFrontの独自ドメイン設定でHTTPS通信を試す機会がありましたので、その一連の手順を紹介させて頂きます。 New – AWS Certificate Manager – Deploy SSL/TLS-Based Apps on AWS 手順 ACM の利用開始 AWSコンソール、セキュリティ＆アイデンティティに増えた「Certificate Manager」を開きます。 ACMは、2016年1月現在、米国東部（us-east-1）リージョンでの提供となります。 「Get Stard」のリンクより利用を開始します。 証明書の
![[ACM] AWS Certificate Manager 無料のサーバ証明書でCloudFrontをHTTPS化してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/05bf92c3dad6e282bf2cded7bb4b61f42547e50e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_CloudFront.png)
【新機能】 Amazon CloudFrontがHTTP/2に対応しました | DevelopersIO
ども、大瀧です。 本日、AWSのCDNサービスであるCloudFrontがHTTP/2に対応しました。従来のHTTP/1.1に比べ効率的にコンテンツを配信することができるため、パフォーマンスの向上が期待できます。早速試した様子をレポートします。 設定手順 新規作成するディストリビューション(CloudFrontのキャッシュ設定の単位)は、デフォルトでHTTP/2が有効です。既存のディストリビューションでは、設定を変更して有効化することができます。 設定は、ディストリビューションの[General]タブから[Edit]ボタンをクリック、[Supported HTTP Versions]で「HTTP/2, HTTP/1.1, HTTP/1.0」を選択すればOKです。 また、HTTP/2はTLSが実質的に必須のため、HTTPSの設定を見直しましょう。独自ドメインで利用するのであれば、ACMによる
Aurora強化、Auto Scaling for EC2 Spot Fleets、小島ロス
「Section-9吉田真吾のAWS関連ブログまとめ」は、AWS関連の最新情報をまとめているSection-9 吉田真吾さんのブログ転載になります。今週は9月4日までのアップデートの振り返りです。 どうも、セクションナイン の 吉田真吾（@yoshidashingo）です。 ちょっと涼しくなってきましたね。気づけばもう秋です。 先週は小島ロスがあまりにもデカかったですが、個人的にもサーバーレスコミュニティを始めたり、JAWS-UG横浜のリブート計画を立てたりと、コミュニティについてあらためて考えることが多かったなと思いました。 JAWS-UG横浜支部は11月、12月に横浜のどこかで勉強会を開催したと思っているので、興味のある横浜近辺のエンジニアさんや会社さんで運営手伝ってくれたり、会場貸してくれるというところがあればご連絡いただきたいです。30〜60人くらいの規模を想定したいと思います。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
