Amazon Redshiftのチュートリアルをやってみた！ | DevelopersIO
最近Redshiftを触る機会があり、こちらのチュートリアルをやってみました。 以前 AWS Certified Big Data Specialty を取得する際に勉強しましたが、だいぶ忘れていたので備忘録も兼ねてブログ化したいと思います。 ※個人的にわかりやすい手順にまとめているので、実際のステップと異なる部分がありますが、ご了承ください。 IAM Roleを作成する まずRedshiftがS3からソースデータをコピーしてくるために必要なロールを作成します。 AWSコンソールのIAM Roleの作成ページで以下を選択します。 ユースケースを選択 Redshift - カスタマイズ可能 アクセス許可ポリシーのアタッチ AmazonS3ReadOnlyAccess ロール名 任意（本ブログではmyRedshiftRoleと入力） Redshift クラスターを作成する Redshiftのク
[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました | DevelopersIO
はじめに 今年の4月にAWS Summit 2017 in San Franciscoで発表された Amazon S3にある大量のデータに対して、Amazon Redshiftから直接クエリを投げる事が出来るサービスが、2017/10/20からAWS東京リージョンで利用可能になりましたので紹介させて頂きます。 Amazon Redshift Spectrumが東京リージョンで利用可能になりました ＆ Spectrum 一般公開後のアップデート 東京リージョンで動作確認 早速、東京リージョンでRedshift Spectrumを試しました。私の環境では一時的にエラーが発生していましたが、2017/10/21 19時以降から利用できるようになりました。 サンプルデータを東京リージョンにコピー クエリーを実行するたびにリージョン間転送費用が発生しないようにサンプルデータを東京リージョンのS3バケ
![[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/977093929c7bae81ce8ef1fba07f72411d2c9ded/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_Redshift.png)
AWS Solutions Architect ブログ
SA岩永です。Amazon CTO Wernerのブログで、深層学習フレームワークであるMXNetについての投稿がありました。AWSを使って機械学習・深層学習をお考えの方に非常に重要な内容なので、日本語訳しましたのでご覧ください。 また、記事内にもありますが今週ラスベガスにて開催されるre:Invent 2016では11月30日に機械学習についてのMini Conもありますので、現地にいらっしゃる方はぜひご参加下さい。 追記: re:Invent 2016の中で、深層学習フレームワークのベンチマーク用のコードが公開されました。https://github.com/awslabs/deeplearning-benchmark 原文: MXNet - Deep Learning Framework of Choice at AWS 機械学習は、私達のビジネスや生活の多くの領域において段々と重要
はじめてのApache Spark ！Amazon EMRを使って10分で試してみる | DevelopersIO
はじめに 先日、AWSのEMR(Elastic MapReduce)というサービスを使ってApache Sparkに初めて触ってみました。サンプルプログラムを作成するところまでの手順を自分でまとめてみました。前提としてS3とEC2などに触ったことがあり、キーペアやセキュリティグループは分かる方を対象としています。10分位で試せるようにしてありますので、SparkやEMRに触ったことがない方はぜひやってみてください。 1.EC2のキーペアを用意する EC2インスタンスにSSHで接続するのでキーペアがない場合は作成する必要があります。以下のAWSのサイトを見て作ってください。キーペアがすでにある方はスキップしてもらって結構です。 Amazon EC2 のキーペア - Amazon Elastic Compute Cloud 2.サンプルのファイルを用意する 今回はテキストファイルの中に単語の出
Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編) - Qiita
Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編)SparkEMRipython_notebookJupyter はじめに 2015/6にAmazon EMRでSparkが標準サポートされました。これにより、EMRでSpark Clusterを起動すれば、ものの10分ぐらいでSpark + IPythonの環境を構築できるようになりました。 が、AWS ConsoleのEMRの設定UIが大きく変わったり、IPythonがJupyterになり一部設定方法が変わったり、それらの変化に各種Documentが追従していなかったりと、色々ハマッたので、設定方法と、IPython上でPysparkを動かす方法をチラシの裏しておきます(2015/11時点での情報です)。 以下の3本立てでチラ裏してみたいと思います (第1回)Ama
知識0から、AWSのEC2でウェブサーバーを構築するまで - Qiita
AWSでサーバーを立てる サーバー関連の知識ゼロの人(僕)が、AWSによるサーバー構築までそれぞれの過程を理解しながら一通りやってみましたので、備忘録的にまとめ。ツールとしてとても便利なだけでなく、ネットワークの仕組みを学ぶ上で非常に勉強になりました。AWS様様m()m。清書・肉付けしてないけど、WIPで公開します。追記予定。 こんな人にオススメ 普段アプリ開発してるけど、自分でサーバーたて方よく知らない。ので、知りたい。 サーバーなんとなくたてたことがあるけど、ネットワークの仕組みとか工程の意味がわかってない。ので、理解したい。 内容 A. ネットワーク構築 B. サーバー構築 C. Webサーバーソフトインストール D. DBインストール E. Railsインストール F. 知っておくと良い周辺知識たち という構成でサーバー構築まで説明します。僕が普段Railsでアプリ書いてるので、R
AWS EC2のインスタンスを間違って削除しないために - Qiita
先日やらかしてしまったので、覚えで書いておきます。 ひょっとしたら他の方にとっては当たり前ってことかもですが・・・ やらかした事 EC2のインスタンスを間違って削除してしまったのです。 と言っても、本番環境ではなく社内でのツールを導入しようとしてサーバー構築していたものなので 大事には至らず、もう一度構築して済んだのですが時間のロスになってしまいました。 もし本番の環境などだったら大変！ なんで削除してしまったの？ もちろん原因は人為的ミスなのですが、以下のような感じです。 ・社内用のツールとして色々なツール・設定を試しており 一時的にインスタンスを複数個立ち上げて同時に検証していた ・色々検証した結果、ほぼ内容が固まり本番にしようと思って細かく設定していったサーバーが 本命として1個に絞られた状態になった ・検証用に立ち上げていたインスタンスはもう必要なくなったので削除したが 間違えて本
『scp,sftp,rsync~ファイル転送、リモート端末上のコマンド実行』
■refs ・scpとsftpの違い。軽快なscpか高機能なsftp,sshに向いているのは？ ■ssh,scpでファイル転送 sshを使用したファイル転送scpコマンドについて。テスト台としてawsのec2にsshのポートだけ空けておく。また、鍵を~/.ssh/DefaultAWSKey.pemにおいておく。 ローカルのhoge.txtファイルを99.199.○○.○○のec2-userの$HOMEに転送する。鍵はhogeKey.pem $ scp -i ~/.ssh/hogeKey.pem hoge.txt ec2-user@99.199.○○.○○: ローカルのhogedirディレクトリを99.199.○○.○○のec2-userの$HOME/testdir/に転送する。 $ scp -i ~/.ssh/hogeKey.pem -rp hogedir/ ec2-user@99.199
[AWS] VPCウィザードからVPCを作成する。 – LexTech
こんにちは、与儀です。 VPC(Virtual Private Gateway)は、ざっくり言うとAWSクラウド上に自分だけのセキュアでプライベートな仮想データセンターを簡単に作ることができるサービスです。VPC自体は無料で使うことができます。ここでは簡単ですがVPCを作成してみます。 VPCの概要についてはこちらをご参照ください。 VPCは初めから作成済みのデフォルトVPC(172.31.0.0/16)というものがありますが、ここではVPCウィザードから新規作成します。（デフォルトVPCについては、こちらを参照してください。新規作成するVPCとデフォルトVPCでは若干仕様が違うところがあったりします。） 現在、新規で作成されたAWSアカウントで、EC2インスタンスを構築する場合は、必ずVPC上で構築しなければなりません。なのでEC2を使う上でVPCは必須となります。 AWSサービストップ
AWS上にサーバレスな汎用クローラを展開するぞ。 - 超平面あのにのに
サーバレスな汎用スクレイパーを作った。 - あのにのに 前回はAPIGatewayとLambdaで、指定したURLの指定した位置にあるデータを抜き出すAPIを作った。 今回はサイト内探索をするようなシステムをAWS上に構築しようと思う 注意:クローラは用法用量を守って、相手方のサイトに迷惑がかからないように十分な配慮を徹底しましょう。 今回作るもの こんな感じの構成をイメージしてる。 DynamoDBの１レコードがサイトへの１リクエストに常に対応するものとし、内部リンクのURLを新たにDynamoDBのテーブルに追加していく。 得られたデータは対応レコードに格納される。 URLがテーブルに追加されると、DynamoDB Streamsに流され、Lambdaで実行される。 というような繰り返し。 DynamoDBのデータスキーム 1.Request先URL :target_url 例) ht
ゼロからはじめる Scrapy（AWS でお手軽データ分析 その１/３） - akiyoko blog
Python で Web クローリング・スクレイピングするためのツールといえば、 今や Scrapy が真っ先に候補に上がりますよね。 Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor 「Pythonクローリング&スクレイピング」という本を書きました - orangain flavor PythonとBeautiful Soupでスクレイピング - Qiita Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-posted with ヨメレバ加藤 耕太 技術評論社 2016-12-16 AmazonKindle楽天ブックス などを見ると、Beautiful Soup4 や pyquery も有力候補に見えますが、Google Trends を見てみるとやはり「Scrapy」が一番人気っぽいです。 目的
Scrapy+AWS LambdaでWeb定点観測のイレギュラーに立ち向かう - 無駄と文化
この記事は クローラー／Webスクレイピング Advent Calendar 2016 の10日目の記事です。 9日目は @hotu_ta さん、11日目は @TakesxiSximada さん でした。 Web スクレイピングはイレギュラーとの戦いです。特にそれが Web 定点観測のためのスクレイピングであれば難易度はさらに高まります。 スクレイピングしようとしたタイミングでサーバーが死んでいるかもしれない クローラーを書いていたときには気づけなかったバグが遅れて発動するかもしれない 知らぬ間にスクレイピングしたいページの URL が変更されるかもしれない そんなイレギュラーに立ち向かうために、現在 私が試している方法をまとめてみます。 その前に「Web 定点観測」とは？ Web 定点観測 とは、一言でいうと「一つの URL を定期的にスクレイピングして経時的な変化を追っていく行為」のこ
Amazon S3のアクセスログをRedshiftにロードする - Qiita
概要 S3のアクセスログは、直接Redshiftにはロードできないので、一旦テンポラリテーブルに入れてロードしよう ロード方法の検討 S3のアクセスログのフォーマット https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/LogFormat.html 79a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be mybucket [06/Feb/2014:00:00:38 +0000] 192.0.2.3 79a59df900b949e55d96a1e698fbacedfd6e09d98eacf8f8d5218e7cd47ef2be 3E57427F3EXAMPLE REST.GET.VERSIONING - "GET /mybucket?versioning HTTP
[Python] AWSのサーバーレスアーキテクチャを使って、イベントドリブンなWebクローラーを作ってみる - Qiita
[Python] AWSのサーバーレスアーキテクチャを使って、イベントドリブンなWebクローラーを作ってみるPythonElasticsearchlambdaScrapyKinesis サーバーレスでイベントドリブンなWEBクローラーを作ってみる 今ElasticSearchを勉強中なので、ESを使って何かできないかなと思い、Kinesis+Lambdaを使ったイベントドリブンなWebクローラーを書いてみました。 実行環境 CentOS7 python 2.7 ワークフロー 大まかな流れは以下の通りです。 1. Scrapy(ScrapingHub or AWS Lambda)でURLを抽出、KinesisストリームにPUT 2. KinesisストリームからAWS Lambdaに発火させる 3. Lambda関数からURLへ巡回し、データをElasticSearch Serviceへ流す
![[Python] AWSのサーバーレスアーキテクチャを使って、イベントドリブンなWebクローラーを作ってみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7fcf2d6b8ba0642de9fe344d45f572d1f55bc74a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUHl0aG9uJTVEJTIwQVdTJUUzJTgxJUFFJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgzJUJDJUUzJTgzJUFDJUUzJTgyJUI5JUUzJTgyJUEyJUUzJTgzJUJDJUUzJTgyJUFEJUUzJTgzJTg2JUUzJTgyJUFGJUUzJTgzJTgxJUUzJTgzJUEzJUUzJTgyJTkyJUU0JUJEJUJGJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgwJTgxJUUzJTgyJUE0JUUzJTgzJTk5JUUzJTgzJUIzJUUzJTgzJTg4JUUzJTgzJTg5JUUzJTgzJUFBJUUzJTgzJTk2JUUzJTgzJUIzJUUzJTgxJUFBV2ViJUUzJTgyJUFGJUUzJTgzJUFEJUUzJTgzJUJDJUUzJTgzJUE5JUUzJTgzJUJDJUUzJTgyJTkyJUU0JUJEJTlDJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz04N2Y1NDE5ZDA3NTE4NWE5YmQzNThhNTkxYmE0ZTljNQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaGlkZXNha2FpJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lMGM1YWNmYzc4MDM5NDc1YTMzYjU5ZTZiOGRjOTI3Yw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D4c1b8c9c369e25e3f2015bcfb1ef9c14)
boto – AWS関連ニュースまとめ
ポイントは、インプット(文字起こししたいメディア)とアウトプット(文字起こしテキスト)が異なる AWS アカウントの S3 バケットに保存される点です。 ユーザーの管理する S3 バケットに文字起こししたいメディアをアップロードし、このメディアを Amazon Transcribe が読み取れるように、バケットポリシーを変更します。 文字起こし後の … 続きを読む → さらに表示： aws lambda python, looking f, aws emr hadoop hamburg freelancer, aws emr oozie, python html include html, aws emr, aws ses python, aws boto python code, looking emr, python aws s3, aws python jobs, looking p
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Training and Certification - Machine Learning
AWS上のEC2でubuntuを立ち上げてseleniumを動かしました（備忘録） | エンタープライズエンジニアの独り言
AWSでのビッグデータ分析
Get started with the AWS CLI - AWS Command Line Interface
Configuration - Boto3 1.29.7 documentation