Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
マルチテナント・アーキテクチャ - ＠IT
Windows Azureエンタープライズアプリケーション開発技法 マルチテナント・アーキテクチャ ―― 第3章 クラウドとオンプレミスの考え方の違い 3.6 ―― 日本マイクロソフト株式会社コンサルティングサービス統括本部 赤間 信幸 2012/01/10 本コーナーは、日経BP社発行の書籍『Windows Azureエンタープライズアプリケーション開発技法』の中から、特にInsider.NET読者に有用だと考えられる章や個所をInsider.NET編集部が選び、同社の許可を得て転載したものです。基本的に元の文章をそのまま転載していますが、レイアウト上の理由などで文章の記述を変更している部分（例：「上の図」など）や、図の位置などを本サイトのデザインに合わせている部分が若干ありますので、ご了承ください。『Windows Azureエンタープライズアプリケーション開発技法』の詳細は「目次情報
Amazon Glacierでクラウド破産しないために - HDE BLOG
おはこんばんちは!! 尾藤 a.k.a. BTO です。 HDEのメールアーカイブシステムでは、月間1億6000万通ものメールを処理しています。 それだけのメールを処理するので、メールのデータ量も大変なものになります。 一方で、過去のメールに関しては、それほど頻繁にアクセスするものでもありませんので、できるだけコストを抑えたい。 そこでAmazon Glacierを使ってみてはどうかと考えたのですが、詳しく調査してみると、気をつけないと破産をしかねない危険なものでもあるのが分かりましたので、今回はそれを書きたいと思います。 Amazon Glacier とは まずは Amazon Glacier についてご紹介しましょう。 Amazon Galcier は平たく言うと、安価なストレージサービスです。安価である代わりに、取り出すのに3〜5時間かかります。 Glacier と S3 の料金は次
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
Amazon ELBでSorryサーバへのフェイルオーバーを実現する | DevelopersIO
AWSにおいて、ELBによるSorryサーバへのフェイルオーバーは、長らく待ち望まれている機能です。先日、Route53にDNSレベルでのフェイルオーバー機能が実装（下記）されました。 Amazon Route 53のDNSフェイルオーバー機能を利用したリージョンを跨いだバックアップサイトの構築（EC2 to S3編） Amazon Route 53のDNSフェイルオーバー機能を利用したリージョンを跨いだバックアップサイトの構築（EC2 to EC2編） ただ、Route53を利用していない場合は、未だにヘルスチェック及びフェイルオーバーの機能は手組みする必要があります。無いなら作るしかないのです。わかりました、作りますよ。 前提 まず確認しておきたいのは、今回ご紹介するテクニックは、前述のRoute53によるフェイルオーバーと比べると、オモチャみたいなもんです。知ってますか？ 何と、Ro
cloud9でcakephp3・MySQLを使う - Logicky BLOG
cloud9プロジェクトの作成 cloud9でPHPを選択してプロジェクトを作ります。 MySQLの起動 $ mysql-ctl start Installing MySQL * Stopping MySQL database server mysqld ...done. * Starting MySQL database server mysqld ...done. * Checking for tables which need an upgrade, are corrupt or were not closed cleanly. MySQL 5.5 database added. Please make note of these credentials: Root User: hgoe Database Name: hoge * Starting MySQL database se
プログラミングの開発環境に便利！Cloud9の使い方【Rails・WordPressテンプレートの解説あり】
プログラミングの開発環境に便利！Cloud9の使い方【Rails・WordPressテンプレートの解説あり】 プログラミングの開発環境に便利な【Cloud9】の使い方を解説した記事です。登録方法、ワークスペースの作成、画像ファイルのアップ方法などを紹介。最後にはRuby on RailsとWordPressのテンプレートの使い方も解説。 テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社 調査期間：2021年8月12日～8月16日 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名 調査手法：インターネット調査 これからプログラミングを勉強するという初心者にとって、最
Amazon EC2でCentOS6を使用するときのハマリポイント | DevelopersIO
森永です。 弊社はリモートワークが可能なので、私は休みを取らずに帰省し地元のゆめタウン内でこの記事を書いております。 テーマソングが頭に残るのでどうにかして欲しいです。 さて、先日CentOS6の公式AMI（Amazon公式ではなくCentOS公式）を使って構築を行いました。 その時ハマるポイントがいくつかあったので、まとめておきます。 CentOS7が出た今でも未だに6を使う案件が多いので役立つ方がいれば幸いです。 AMIの選択 MarketplaceでAMIを選択しようとした私に一つ目の関門が現れます。 CentOS6の公式AMIがなんだかいっぱい現れるのです。もうてんやわんやです。 どれを選ぶかはバージョンの要件などでまちまちなのですが、CentOS6をというだけであれば「CentOS 6 (x86_64) - with Updates HVM」をオススメします。 CentOS 6.
EC2で利用可能なWindows Server 2003を日本語化してみる | 最近わかってきたこと
2009-02-16 01:05 | IT EC2上で利用できるWindowsサーバーが英語版ということもあって、日本語化したAMIイメージをいつでも利用できるようにしてみました。 なんだかものすごく長くなってしまったので、最初に目次を用意しておきます。 （目次の生成にTable of Contents Generatorプラグインを利用。これは便利。） 目次 まずはWindows Server 2003を立ち上げる イメージ一覧を表示 イメージを選ぶ 今回はBasic Microsoft Windows Server 2003（Microsoft Windows 2003 R2 Data Center edition 32bit）を選択します。 鍵ファイルを生成 「windows」という名前を付けています 生成完了 生成が完了すると、「設定した名前.pem」というテキストファイルが自動的
AWS Tokyo Regionのネットワークを調べてみた。 - めもおきば
AWSの東京リージョンがリリースされたということで、技術視点からネットワーク関係を探ってみました。 なお、利用者視点でのレイテンシやスループットについては、並河さんの記事が分かりやすいです。 上位ネットワーク まず最初に、インターネットとの接続方法、つまり上位ISPをざっくり知るために、実際にEC2上で立ち上げたインスタンスのIPアドレスをrobtexに突っ込んでみると、AS16509の175.41.192.0/18 AWS AsiaPac prefixというのが実際にインターネット上で流れている経路、つまりIPアドレスブロックでよさそうです。さらに、 AS16509は日本を含む全世界で使ってるけどAS38895はシンガポールでのみ。シンガポールと日本へのルーティングはそれぞれに割り当てた/18単位で、って感じかな。(そうなると、シンガポールだけ別のASにした理由がイマイチ分からないな)
0から始めるAWS入門：概要 - Qiita
研修向け。0からAWS上に基本的なWEBアプリケーションの環境構築していく。 前提 ・一般的なLAMPのWEBアプリケーション向け(※1)に環境を構築しますが、それらミドルウェアのインストール・設定等はあまり対象にしてません。 ・すでにAWSのアカウントを取得しているものとします。サインアップはこちら ちなみに、新規登録であれば無料枠があるため、この研修向け内容をやったとしても$3ぐらいに収まります。 ※1 アプリケーションの要件・内容には触れませが、一般的なLAMPアプリケーションでも同様になるかと思います。 構築する環境 今回のシリーズで目指す環境は、下記の通り。 簡単に各AWSサービス紹介 Elastic Compute Cloud (EC2) 一般的に言う仮想サーバー。スケーラブルに展開可能。 今回はここにアプリケーションを配置する。 詳細はこちら Relational Datab
WebサービスStartUP向け AWSスケーラブルな構成例
6. よく聞く”もったいない”トラブル ! サービスが、テレビ番組に取り上げられたが、 急激な負荷で放送中にサーバが落落ちてしまい、 数千⼈人の新規⾒見見込ユーザを逃してしまった… ! サービスが、有名ポータルサイトに掲載され た/SNSでコンテンツがバズったが、アクセ ス集中によるレスポンス低下で、既存ユーザ にも影響が… ! せっかくユーザが増えてきたのに、 DB移⾏行行時のトラブルで⼀一部データをロスト してしまった… 7. CTO/エンジニアの⼼心配 ! 急なメディア掲載とかやめて欲しい… ! アプリエンジニアなのに、ITインフラの管理理 とか無理理/⾯面倒… ! ピークに合わせて、サーバ増設したいけど、 どれくらい増やしていいかわからない…
MySQL5.7 / RDS / Aurora / Cloud SQL の性能比較 | 外道父の匠
CloudSQLの価格は実戦的という意味で、per Dayの価格を24hourで割った価格にしています。 メモリは2GBあれば検証としては十分なので格差は関係ありません。 IOPSはEBSならGeneral Purposeの1000GB*3で最大確保しています。 その他、ネットワーク周りなどポイントがあれば都度、補足していきます。 ベンチマークのデータ 今回、採取した全データはこちらになります。一部、目的に対して不要と判断したら省略しています。まぁ、こんなオレオレメモデータを見ても楽しくないでしょうから、１つ１つ考察していきましょう。 手法について 私がよくやる計測方法なのですが、innodb_buffer_pool_size がデータ容量より大きい健全な状態と、最小の16MBで過負荷ストレージを演出し、それぞれで参照／更新を別々にランダムアクセスをすることで、最初のボトルネックを炙り出し
Amazon RDSでインスタンスを停止＆再開する方法 - ふわふわクラウド
今回は、AmazonのクラウドサービスAWS(Amazon Web Services)のデータベースサーバーRDS(Relational Database Service)についてです。 AWSのEC2(Elastic Compute Cloud)でWebサーバーなどを立ち上げている場合、一緒にデータベースサーバーとしてRDSを利用するケースが多いと思います。 EC2ではインスタンスをいつでも停止・再開することができるため、使うときだけ立ち上げれば時間課金の料金を抑えることができます。 しかし、RDSはインスタンスを停止・再開する機能が基本的にはありません。一度、インスタンスを生成したらずっと稼働しっぱなし。開発中のサイトなど常時サーバーを稼働させる必要がない場合、使っていなくても時間課金されていきますのでもったいないですよね。 スナップショットを利用すれば、いちおうRDSでもインスタ
全くの未経験が独学でWEBデザイナーに転職するまで | SHIROMAG
私はWeb制作会社を経営しており、2023年現在で36歳になります。 28歳の時にWebデザイナーに転職してWeb業界でのキャリアをスタートさせ、32歳で独立しました。 この記事では、私が28歳の時に未経験から独学でWebデザイナーに転職した方法を紹介しています。 効率的な勉強方法や習得すべきスキル、転職活動のコツなど、Webデザイナーを目指している人におすすめの内容になっています。 また、今はWebデザイナーを採用する立場になっているので、「こんな人を採用したい」という視点も加わっています。 28歳（当時）の未経験がWebデザイナーに転職 Webデザイナーになるまでは、Webデザインどころか、デザインの仕事やプログラミング、Web関係の仕事すらやったことがありませんでした。 最初からデザインのセンスがあったわけでもなく、今見るとWebデザインの勉強を始めた頃作ったサイトは酷いものでした…
Amazon EC2(Linux)システム管理で知らないとハマる5つの環境設定 | DevelopersIO
ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://kijtra.com/article/cloud9-install/
Cloud9 IDE上でrails serverの起動 - Qiita
http://blog.cloud.nifty.com/4053/
Awsのインフラをデザインパターン駆使して設計構築
