Amazon Redshiftで構築するビッグデータ分析環境の構成要素と全体像CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
Amazon CloudSearchの日本語対応サジェスト機能で「もしかして」を試す | DevelopersIO
サジェスト（Suggesters）とは YoutubeやAmazonショッピングサイトで一部のキーワードを入力すると候補が挙がってきて選ぶことができます。これがサジェスト機能です。CloudSearchには標準でこの機能が付いていますので試してみました。 Youtube Amazonショッピング サジェストの指定 設定の仕方は簡単です。ドメインの設定画面で、サジェストの追加をします。 検索してみる サジェスト指定しましたので検索してみましょう。部分文字列を入力します。すると、候補が現れました！ 日本語のサジェスト 日本語で検索キーワードを入力する際、ひらがなやカタカナだったり、半角や全角だったり、ローマ字だったりと、様々な入れ方があるかと思います。そんなときに活躍するのが日本語に対応したサジェストです。CloudSearchではイイ感じに対応してくれています ひらがなで入力 カタカタで入力
Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた | DevelopersIO
Redshiftで色々環境構築や調査を進めて行くと、割とちょいちょい良く使うSQL等も出て来ます。そこでこのエントリでは、普段使っている便利系SQL、都度アクセスしてはコピペして使ってるようなSQL、更にはそれらにちょっと一手間加えたSQL等を集約し一覧としてみる事にしました。 必須なもの、また『これも使えるね』というようなものについては適宜追加更新を行っていこうと思ってますので、オススメのSQL文があれば是非教えて頂けると幸いです。 目次 S3からのCOPY処理エラーに関するログを確認する COPY処理時に出力させるエラー件数量を制御する 指定テーブルのテーブル定義を確認する(type1:psqlコマンドで簡易表示) 指定テーブルのテーブル定義を確認する(type2:distkey,sortkey等も表示) 指定テーブルのテーブル定義を確認する(type3:コメント文も併せて表示) テー
Amazon Redshift DB開発者ガイド – データのロード処理(1).データロードのベストプラクティス ｜ Developers.IO
Amazon Redshift DB開発者ガイド – データのロード処理(1).データロードのベストプラクティス 先週末『パシフィック・リム』を3D字幕版で観て、これは吹替版でも新たに観るべきか…と若干迷っている今日この頃、皆様いかがお過ごしでしょうか？しんやです。 先週、RedshiftではAmazon Redshift DB開発者ガイド – テーブル設計のベストプラクティスをエントリとしてアップしましたが、もう1つ『ベストプラクティス』がありましたので同じように切り出してご紹介したいと思います。それがこちらの『データロードのベストプラクティス』です。このエントリ情報を含む『Loading Data』に関しては、その他にも有用な情報が散りばめられていますので、何回かに分けてこちらに展開して行ければと思っております。 はじめに 非常に大規模なデータセットをロードするには、とても長い時間が掛
Amazon Redshift DB開発者ガイド – テーブル設計のベストプラクティス | DevelopersIO
データベース設計を考える上で、あなたが下さなければならない重要な決定があります。その決定はクエリパフォーマンス全体に影響を与える可能性があります。これら設計に関する決定はまた、I/Oオペレーションの数を削減したりクエリを処理するのに必要なメモリを最小化する事でクエリのパフォーマンスに影響を与えるストレージ要件に大きな影響を及ぼします。 テーブル作成の際にクエリのパフォーマンスに最も大きな影響を与えるであろう決定次項は以下のとおりです。 最善のソートキー(sort key)を選択する 最善の分散キー(distribution key)を選択する 最善の圧縮戦略(compression strategy)を選択する 制約を定義する あなたが下す決定は、データベースが行なっている作業の種類に依存して来ます。全ての状況に効果的な『最高のソートキー』は無いのです。 このセクションでは最も重要な設計上
Amazon Redshift DB開発者ガイド – システム概要 | DevelopersIO
Amazon Redshiftデータウェアハウスは、エンタープライズクラスのリレーショナル・データベースクエリと管理システムです。 Amazon Redshiftはビジネス・インテリジェンス(BI)、レポート、データ、分析ツール等を含む多くの種類・タイプのアプリケーションを用いてのクライアント接続をサポートしています。分析クエリを実行する際は、取得や比較、及び最終結果を生成する為に複数段階操作で大量のデータを評価しています。 Amazon Redshiftは、効率的なストレージと超並列処理、柱状データストレージ、及び非常に効率的な、ターゲットを絞ったデータの圧縮符号化方式の組み合わせにより、最適なクエリのパフォーマンスを実現します。このセクションでは、Amazon Redshiftのシステムアーキテクチャの概要を提示し、データベースの設計、パフォーマンスを最大化するためのアーキテクチャを活
Amazon Redshiftを始めてみよう(入門ガイド翻訳＆実践：前編) | DevelopersIO
今年6月のAWS Summit Tokyo 2013で東京リージョンでも使えるようになったRedshift。その流れを受けて、国内でもより一層注目度が高まっている今日この頃皆様如何お過ごしでしょうか。 そんなRedshiftについて、この機会に自分も触れてみようと思います。私自身、これまで超大規模データやデータウェアハウスに関しては触れて来ておらず、この分野に関しては専門的な知識は有してはいませんが、そんな感じのスタートでRedshiftの巨大な山を登り始め、自分自身徐々に理解を深めていければ、またエントリを御覧の皆様にも同様に読み進めて行く事で理解を深めていって頂ければ幸いです。よろしくお願いします。 ※文字も画像も多目な分、ひとまとめにするとボリューム的にスクロールバーの長さがエラい事になりそうなので前後編に分けてお届けします。:-) 目次 RedShiftとは はじめに / Gett
「Amazon Redshift」を使ってみた ～使いどころと、つまずきがちなポイント
はじめに Amazon Redshiftは、Amazon Web Services（AWS）が提供するデータウェアハウス（DWH）サービスで、2013年2月に正式リリースされ、同6月4日には東京リージョンでも利用可能になりました。既存のDWHと比較しても安価で、PostgreSQLベースで容易に高速なデータ分析が可能であることなどが知られており、注目も高まっています。 ところが、日本国内では「使ってみた」という情報は非常に少ないです。幸運にも筆者は、限定プレビューの段階からRedshiftに触れる機会に恵まれました。そこで、今回は「こんな使い方をしてみました」「こんなところでつまずいた」といったことを中心に紹介したいと思います。 なお、本記事は限定プレビュー～サービス開始当初の米国東部リージョンでの使用結果を元に執筆しており、当時のAPIバージョンは2012-12-01です。東京リージョン
AWS、クラウド型DWHサービス「Redshift」を東京リージョンで提供開始
AWS、クラウド型DWHサービス「Redshift」を東京リージョンで提供開始：国内企業導入の呼び水となるか AWSのクラウド型DWHサービス「Amazon Redshift」が東京リージョンで提供開始された。果たして国内企業の導入を促進することとなるだろうか。 Amazon Web Services（AWS）は2013年6月5日、クラウド型DWHサービス「Amazon Redshift」と同サービス向けのAmazon EC2インスタンスタイプ「High Storage Instances」を東京リージョンで提供開始したと発表した。 Redshiftは、2012年11月28日に発表されたサービスで、発表時点では限定プレビューとして一部のユーザーのみ利用できる状態だった（関連記事）。2013年2月18日からは正式サービスとしてリリースされていた（関連記事）。当初はUS Eastリージョンのみ
第4回 Amazon Redshiftにデータをロードしてみよう | gihyo.jp
前回は、Amazon Redshiftの起動から、ローカルマシンでAmazon Redshiftクラスタへ接続するまでの説明を行いました。今回は、Amazon Redshiftを実際に運用する上で重要となるデータのロードを中心に、例を交えて説明していきます。なお、チュートリアルの中で利用するデータはAmazon Redshift Getting Started Guideで紹介されているデータを利用しています。 本連載のチュートリアルは、AWSアカウント、起動中のAmazon Redshiftクラスタ、また接続するクライアントツールがすでに準備されていることを前提としています（※）。実際に試される方は、前回の記事を参考に環境準備をしておいてください。 ※） Hapyrusでは、RedshiftとFlyDataをお試しいただけるSandbox環境を無料で提供しています。また、ブラウザ上か
第3回 Amazon Redshiftを動かしてみよう | gihyo.jp
前回まで、Amazon Redshiftの機能や特徴について説明を行いました。今回からは実践編として、Amazon Redshiftクラスタを起動するところから、データのロード、SQLの実行やクラスタの操作まで説明していきます。今回は、Redshiftクラスタの起動と、自分のマシンからのRedshiftクラスタへの接続までを説明します。 今回のチュートリアルでは、最小構成（XLタイプのシングルノード／2TB）のRedshiftクラスタを起動しますが、この場合一時間あたり$0.85の費用（2013/5/3時点）が発生し、EC2の最小インスタンスの料金に比べてかなり高くなります。試される場合には、完了後にRedshiftクラスタをシャットダウンさせるなど管理にご注意ください[1]。 なお、Amazon Redshiftを使用するには、AWSのアカウントを事前に準備しておく必要がありますが、ア
［速報］Amazonクラウド、新サービス「Redshift」発表。データウェアハウスの価格破壊へ
Amazonクラウドを運営する米Amazon Web Services（AWS）は初めての大型カンファレンス「re:Invent」をラスベガスで開催。初日の基調講演で、クラウド上でデータウェアハウスを提供する新サービス「Redshift」を発表しました。 基調講演では企業向けにクラウドの有効性を説くことに焦点が当てられ、そのハイライトがこのRedshiftの発表でした。Redshiftの発表はAWSにとって、企業向けクラウドサービスを充実させる点で非常に大きな一歩だといえます。 従来のデータウェアハウスは高価で複雑 Amazon Web Services、シニアバイスプレジデント Andy Jassy氏。 既存のデータウェアハウスは、高価な上に複雑だという問題を抱えている。ガートナーの調査によると、平均でデータウェアハウスあたり3人から4人のアドミニストレーターがいるという。 この状況に対
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News