AWS Summit Tokyo 2014「Amazon Redshiftによるリアルタイム分析サービスの構築」 COOKPADが提供している分析サービス「たべみる」のアーキテクチャ
doctest is a new C++ testing framework but is by far the fastest both in compile times (by orders of magnitude) and runtime compared to other feature-rich alternatives. It brings the ability of compiled languages such as D / Rust / Nim to have tests written directly in the production code thanks to a fast, transparent and flexible test runner with a clean interface. The framework is and will stay
In this episode I'm joined by Jeff Dean, Google Senior Fellow and head of the company's deep learning research team Google Brain, who I had a chance to sit down with last week at the Googleplex in Mountain View. As you'll hear, I was very excited for this interview, because so many of Jeff's contributions since he started at Google in ‘99 have touched my life and work. In our conversation, Jeff an
Amazon Elasticsearch Service が、Amazon Cognito と統合され、プロキシサーバーを設定および管理することなく、Kibana のユーザーレベル認証を提供できるようになりました。本日のリリースで、SAML 2.0 を使用する Microsoft Active Directory などのエンタープライズ ID プロバイダーや、Google、Facebook、Amazon などのソーシャル ID プロバイダーを通じてサービスにサインインすることができます。また、Amazon Cognito のユーザープールを使用して、安全でスケーラブルで簡単なサインアップ環境を設定することもできます。サインインすると、Amazon Cognito は Amazon Elasticsearch Service ドメインへのアクセスを提供する、適切な AWS Identity
すごく嬉しいアップデートが来ました! Announcement: Amazon Elasticsearch Service Simplifies User Authentication and Access for Kibana with Amazon Cognito 概要 Amazon Elasticsearch Service は Elasticsearch、Kibana の AWSマネージドサービスです。クラスタ・ノードを AWS が運用・管理してくれ、数クリックで Elasticsearch、Kibana のクラスタをプロビジョニングでき、ノードで障害が発生すればユーザーは何もしなくても復旧します。 今まで Amazon Elasticsearch Service のアクセス制御は JSON 形式のアクセスポリシーで設定できました。IAM の AWS 署名による認証、送信元 IP
プロジェクトの忙しい時期やら体調不良やら子供の保育園入園やらでマジで追いかけられていないけどこのまとめから辿っていけば良さそう。自分の勉強用にあとでまとめてみる / Highlights from TensorFlow Developer Summit, 2018 https://t.co/M6eNfflHZO— norihiro shimoda (@rindai87) 2018年4月3日 ということで、こちらをもとにした完全に自分用のメモ集みたいな感じです。まあ言ってみればただのリンク集なので、元ブログと情報量に大差はありませんのでご注意を。 medium.com 最初にやったほうがいいこと $ pip install --upgrade tensorflow とかやって、TensorFlowのバージョンを1.7まであげておきます。 Installing TensorFlow | T
こんにちは。開発・運用推進部の小出です。 猫にイヤホンを噛み切られること数回、最近のBGMはもっぱら環境音です。 「耳からうどんが出ているようにしか見えない」という噂のBluetoothイヤホンが気になっています。 今回は、Amazon Kinesis AnalyticsとElasticsearch/Kibana4を利用したリアルタイムダッシュボード構築についてです。 Amazon Kinesis Analytics とは ダッシュボードを構築してみる Source StreamとMapping Query Destination ログデータを拡充する Reference DataとMapping Query Destination まとめ おまけ:AmazonES&Kibana4のダッシュボード共有 Amazon Kinesis Analytics とは Amazon Kinesis A
This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including being serverless and enabling secure development in notebooks, use cases, pricing, and a conclusion. It also provides detail
【レポート】Amazon Redshift と Redshift Spectrumによるデータウェアハウスのベストプラクティス #reinvent #ABD304 原題 ABD304-Best Practices for Data Warehousing with Amazon Redshift & Redshift Spectrum 概要 Most companies are over-run with data, yet they lack critical insights to make timely and accurate business decisions. They are missing the opportunity to combine large amounts of new, unstructured big data that resides outside
S3にアップロードしたCSVファイルをLambda経由でAmazon RedshiftにCOPYする – AWS Lambda Advent Calendar 2014:2日目 先日米国ラスベガスで開催された『re:Invent 2014』にて発表されたAWS Lambdaに関するエントリを12/01から12/25まで毎日1本ずつ書いていくアドベントカレンダー『AWS Lambda Advent Calendar 2014』。このエントリは2日目の内容となります。 AWS Lambda Advent Calendar 2014 - Qiita AWS Lambda 先日1日目のエントリはharuyoshさんの『Lambdaからhttpリクエスト』でした。 Lambdaからhttpリクエスト - Qiita 本日2日目のエントリは『S3にアップロードしたCSVファイルをLambda経由でAm
しんやです。今回は小ネタ&備忘録エントリ。 さて今回はAmaaon Redshiftに於けるグループとユーザー管理のコマンドについて。PostgreSQLのインタフェース同様のコマンドが各々用意されていますが、Amazon Redshiftでもやはり、このスキーマやテーブルの内容はこのユーザーやグループには見せる/見せない...と言った制御を行いたい場面が出てきます。 代表的なところで言えば、『この(スキーマ及び)テーブルの内容については、所定ユーザーのアクセスに対しては参照権限(SELECT)のみ許可する』辺りでしょうか。BIツールからAmazon Redshiftへのアクセスを行う上で、分析ツール側からデータを改変されては困ります。(そもそもツールから操作が出来るかというのもあるけれど) 以下はそんなSQLコマンド達の実行サンプルです。 目次 グループの作成 ユーザーの作成 ユーザーの
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
現在のカーソルの仕様については、以下のブログを参照してください。 Amazon Redshift: 気付いたらクラスタの『カーソル数設定』の仕様が変わっていた件 ワークロード管理(WLM)のキュー Amazon Redshiftでは、ワークロード管理(WLM)キューを介してクエリの実行を管理できます。 WLMキューは、実行される並行クエリの数と、クエリが消費できるクラスターのRAMの量を管理します。デフォルトでは、各Amazon Redshiftクラスタには1つのWLMキューがあり、最大で5つの同時クエリを実行できます。この値は変更できますが、Amazon Redshiftは現在、クラスタ全体で最大15個までの同時クエリに設定することを推奨しています。各WLMキューは、クラスタのRAMの設定量を消費するように設定することもできます。 新しいAmazon Redshift WLM クエリモニ
Amazon Web Services ブログ 本番環境でAmazon Redshift Spectrum, Amazon Athena, およびAWS GlueをNode.jsで使用する これはNUVIADの創設者兼CEOであるRafi Tonによるゲスト投稿です。NUVIADは、彼ら自身の言葉を借りれば、「ハイパーターゲティング、ビッグデータ分析、先進的な機械学習ツールを使ってプロのマーケティング担当者、代理店、地元の企業に最先端のツールを提供するモバイルマーケティングプラットフォーム」です。 NUVIADでは3年以上にわたり、Amazon Redshiftを主なデータウェアハウスソリューションとして使用してきました。 当社は、ユーザーとパートナーが分析し広告キャンペーンの戦略を決定するための、大量の広告取引データを保存しています。リアルタイム入札(RTB)キャンペーンを大規模に実行す
Redshiftでtimestamp型のカラムを条件に検索することがあると思います。先日、方法によって処理時間に差が出るのか試してみたのですが自分的には驚きの結果でした。4つのパターンを3回ずつ試して時間を計ってみました。前提条件は以下になります。 テストしたテーブルの件数は約3億件で列数は50です。 Redshiftは ds2.xlarge 1台で試しました。 検索に使うカラムは分散キーやソートキーではありません。 countの結果は362269件でした。 to_timestamp関数を使った場合 まずは条件の方を to_timestamp関数で変換してやってみました。 select count(*) from テーブル名 where カラム名 = to_timestamp('2017/04/12 05:00:00', 'YYYY/MM/DD HH24:MI:SS'); 1回目
日経ではアクセスログ、所謂クリックストリームデータを用途に合わせた複数のデータベースに格納し、サービス開発やマーケティングに携わる社員が自身でデータ分析ができるよう、セルフサービス化を進めています。 セルフサービス化を進めている背景として、データの集計や分析のニーズは日々増え続ける一方で、アナリストやデータサイエンティストのリソースはオンデマンドに増やせないため、いかにしてデータのアウトプットをスケールさせるかという課題があります。この課題に対するソリューションとして、データ専門チームの設立やオフショアのような人のリソースを拡張する施策に加え、ツールの整備と教育によるセルフサービス化に力を入れています。 データの集計や分析のセルフサービス化において、特に大きな課題がクエリーの負荷です。現在、およそ 200 人が BI ツールにログインして Redshift でクエリーを実行できる権限を保有
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く