AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエントリーでも書きました。 可用性 (availability) と拡張性 (scalability) 本題はジョブWorkerですが、WebサーバやDBサーバの可用性と拡張性を先におさらいしておきましょう。 Webサーバ この考えで構築する最も基本的な構成が、Webシステムにおける ELB + Webサーバ の構成です。この構成マルチAZと呼び、片方のAZが丸ごとダウンしたとしても、サービス自体はダウ
Python+Selenium+Phantom.js+Beautifulsoupでスクレイピングする - ひよこになりたい
※【2018/04/17追記】 Phantom.jsはメンテナンスが終了したようです。今後はGoogle Chromeを使用してJavascriptの処理を行っていくことになります。以下の記事で解説していますので合わせてご覧ください。 zipsan.hatenablog.jp 【追記終わり】 最近スクレイピングのスクリプト書いて遊んでいるのでそれについてのメモがてらに。 Pythonでスクレイピングする方法は多々あるみたいなんですが，個人的に一番使いやすかった（慣れ？）のがこの組み合わせでした。 以前Pythonのurllib.request＋Beautifulsoupでレスポンスhtmlの解析をして次々とたどっていくようなスクリプトを書いていたんですが、これだとJavascriptで追加されたエレメントは受け取れなかったり、リダイレクト処理がめっちゃ大変だったり色々と面倒でしたが今回Se
第1回 メディアチーム：PyCon JP Webサイト開発編 | gihyo.jp
PyCon JP 2015の作り方 こんにちは。メディアチームの今津です。 PyCon JP 2015では、現在「プログラム」「事務局」「会場」「メディア」の4つのチームに分かれて様々な準備を行っています。この連載では、各チームがどのようにPyCon JP 2015を作っていっているのかを、それぞれの目線でご紹介していこうと思います。 第1回は、同じメディアチームの担当であるWebサイトについてご紹介します。 PyCon JP Webサイト開発について PyCon JP 2015 Web担当の小松です。2015年度版Webサイト開発の裏側について、PyCon JPの作り方ということで紹介していきたいと思います。 図1 PyCon JP 2015 Webサイトトップページ Symposionを使用したサイト開発 PyCon JPのWebサイトでは、2014年よりSymposionをfo
第7回 Pythonもくもく会 @アライドアーキテクツ（恵比寿） (2015/04/18 11:00〜)
新機能 バウチャーによるイベント管理機能をリリースしました。協賛企業の社員や関係者のイベント参加を円滑にすることに活用いただけます。詳しくはヘルプページをご覧ください。 新機能 connpass APIに新しく、所属グループを取得できるAPIやユーザーの参加イベントAPIを追加しました。各APIの詳細な仕様や利用方法につきましては、 APIリファレンス をご確認ください。またAPI利用希望の方は connpassのAPI利用について をご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。
重要な情報は左上に――効果的なデザインに必要な4つの原則
エンジニアが知っておくべきWebデザインの4原則、「近接」「整列」「反復」「コントラスト」を分かりやすく解説する。 連載目次 エンジニアが作るシステムやアプリケーションには、デザインが欠かせません。デザインというと、「ビジュアル」「見た目がカッコいい」「おしゃれ」など外見のデザインを思い浮かべがちですが、WebアプリやWebサイトのデザインで大切なのは、そこではありません。 Webのデザインで必要なのは、「ユーザーの目的達成を助ける」ことです。本連載「エンジニアのためのWebデザイン基礎の基礎」は、あなたのWebサイトを訪れた人を引きつけ、ユーザーへと転換（コンバージョン）させるためのデザインの基本を伝授します。 良いデザインの4原則 「エンジニアが知るべき最低限のデザイン基礎」とは何でしょう？ 専用ソフトウェアの使い方？ いいえ、違います。IllustratorやPhotoshopの使い
Software Design 2015/3月号とWeb+DB Press vol 85 : D-7 <altijd in beweging>
Software Design 2015年3月号 ソフトウェア デザイン 2015年 03 月号 の表紙はYAPC::Asia Tokyo 2013, YAPC::Asia Tokyo 2014でもお世話になり、今年もお世話になる予定の CONBUの面々による「カンファレンスネットワークの作り方」です。普段正直ほとんど技術系の雑誌ってわざわざ買わないんだけどこの号は購入した。 本文の記事ももちろんおもしろいんだけど、個人的にはやはり「YAPC」という文字列が専門誌とは言え一般的にあちこちで流通している雑誌の表紙に載っているのが胸熱…！ 今までも雑誌にYAPC::Asia Tokyo関連の記事を載せてもらったり書いたりしたことはあったんだけど、もうYAPC本体とはなんにも関係ないところで自然？な形でこういう形でYAPCの名前が載るのがとにかく感動であった。 Web+DB Press vol
Pythonの軽量WebフレームワークBottleを試してみた（その１） – ルーティング編 （Advent Calendar 23日目）
Pythonの軽量WebフレームワークBottleを試してみた（その１） – ルーティング編 （Advent Calendar 23日目） この記事はPython Advent Calendar 2014 – Qiita 23日目 兼 アライドアーキテクツ Advent Calendar 23日目の記事です。 こんにちは。関根です。 最近は社内の有志でPythonの勉強会を開いたり、 また定期的にPythonもくもく会などを開催したりしています。 Pythonもくもく会はおかげさまで順調に回を重ねており、つい先日３回目が終了しました。 また来月も開催予定ですので、お時間の合う方のご参加をお待ちしています。 Web業界をはじめとして他の業種の方や、専門分野の異なる方も参加するゆるい会になっていますので、気兼ねなく参加できると思います。（初心者の方も大歓迎です！） はじめに PythonでWe
RESTful Web API 開発をささえる Garage - クックパッド開発者ブログ
技術部の小野(@taiki45)です。この記事では簡単なアプリケーション(ブログシステム)の実装を通して、クックパッドで作成・使用しているライブラリのGarage の紹介と Garage を使った RESTful Web API の開発をご紹介したいと思います。 Garage は RESTful Web API を開発するための、 Rails gemified plugins です。Rails プログラマは Garage を使って Rails を拡張することで素早く Web API を開発することができます。Garage は新しくアプリケーションを開発する場合にも、既存の Rails アプリケーションに組み込んで Web API を実装する場合でも使用できます。Garage はリソースのシリアライズやアクセスコントロールなど Web API の実装に必要な機能をカバーしています。 Ruby
OAuth 2.0を使うソーシャルなAndroidアプリの作り方 （2/3） - ＠IT
アプリケーション上のログインボタンが押下されると、次のような認可画面のURLを生成して、暗黙的なIntentを発行し、Webブラウザに遷移します。 scopeには、これからユーザーに認可を求めるリソースのスコープを空白区切りで指定します。今回は、People APIを用いて友人一覧を取得するため、「r_profile」を指定します。 private static final String AUTHORIZE_URL = "https://mixi.jp/connect_authorize.pl"; private static final String[] SCOPE = { "r_profile" }; /** Webブラウザを起動し、認証認可手順を開始するためのURLへ遷移 * @param context 呼び出し元の {@link Context} */ public static
PyCon JP 2014 Development Sprints (2014/09/15 10:00〜)
新機能 バウチャーによるイベント管理機能をリリースしました。協賛企業の社員や関係者のイベント参加を円滑にすることに活用いただけます。詳しくはヘルプページをご覧ください。 新機能 connpass APIに新しく、所属グループを取得できるAPIやユーザーの参加イベントAPIを追加しました。各APIの詳細な仕様や利用方法につきましては、 APIリファレンス をご確認ください。またAPI利用希望の方は connpassのAPI利用について をご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。
ScrapyとPhantomJSを用いたスクレイピングDSL
2. 自己紹介 • 礒部正幸（いそべ まさゆき） • 職業： ソフトウェアエンジニア • 現在： アドファイブ（株） 代表 http://www.adfive.net – 現体制： 代表１名 + 外注数名 : お問い合わせ – 自社製品： モバイルO2Oアプリ/オウンドメディア/アドサーバ – 受託業務： システムコンサルティング/システム開発/データ分析 • 東工大卒 （B：情報工学科、M：計算工学専攻） • インターネット活動 – TwitterID: @chiral – （ブログ：アドファイブ日記） http://d.hatena.ne.jp/isobe1978/ • 「機械学習ハッカソン」主催： http://mlhackathon.connpass.com/ • 近年作ったスクレイピング利用システム – パケットデータから閲覧Webページの画面キャプチャ再構成 （PhantomJ
「Webスクレイピングとは何ぞや？」という疑問が浮かんできたので調べてみた。 - おしブロ（おしい県でWebに携わって働く人のブログ）
最近よく聞く、、、わけではありませんが、なんとなく自分の中で「Webスクレイピング」について知りたくなったので、ググったりして調べてみました。 「Webスクレイピング」とは Webスクレイピングとは、WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直すことである。Webスクレイピングを行うことで、Webページを対象として、あたかもWeb APIを利用しているかのようにデータを効率的に取得・収集することが可能になる。用途の例としては、部分的にコンテンツを取り出して携帯電話向けのコンテンツを生成したり、小見出しの一覧を生成したり、といった使い方あある。Webスクレイピングは様々な手段で実現可能であるが、PHPやPerlといったスクリプト言語を使用して行われることが多い。なお「スクレイピング」（scraping）とは元々「削る」や「こすり落とす」といった意味の英
Webスクレイピングの基礎知識 #東京スクラッパー
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Webサーバーのアクティブセッション数を確認するコマンド例 - Qiita
やっていること watch -d -n 1 "COMMAND" COMMAND を1秒毎に実行し、実行結果に変化があった場合は該当箇所をハイライト表示します。 -n … 指定した秒数ごとに COMMAND を実行します。 -d … 実行結果の差分をハイライト表示します。 netstat -alpn すべてのネットワーク状態をポート付き＆名前解決なしで表示します。 grep -E ':(80|443)' 80番と443番ポートの表示を抽出します。 awk {'print $5'} 5番目の列を表示します。 netstat -alpn の場合は、左端を1番めとして順に Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name となるので、 Foreign Address （アクセス元）を表示しようとしていま
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
blog.katsuma.tv
JISA(情報サービス産業協会)の要求工学技術部会で、クックパッドのものづくりについて発表をしてきました。 内容としては、ここ１年ほどのサービス開発のフローをざっとまとめたものになっています。 ひょんなこと（WEB+DB PRESSの記事をご覧になられていた模様）から南山大学の青山先生にお声がけいただいて参加することになりましたが、普段は触れることがない世界に入ることができてとても新鮮でした。 「要求工学」という存在もまったく知らなかった初心者がその筋のトップの方々の前に現れてWebサービスについてしゃべる、、、という割と無茶な感じではあったのですが、質疑応答でも鋭いコメントをもいただきつつ、ディスカッションもできて、有意義な時間を過ごさせていただきました。こういう場があると、自分たちの考え方を振り返るいい機会になりますね。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
続Pythonによるwebスクレイピング入門
AWDD
Wellfound (formerly AngelList Talent) - Startup Job Search
新人Webエンジニアにおすすめ書籍をまとめてみた