AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエントリーでも書きました。 可用性 (availability) と拡張性 (scalability) 本題はジョブWorkerですが、WebサーバやDBサーバの可用性と拡張性を先におさらいしておきましょう。 Webサーバ この考えで構築する最も基本的な構成が、Webシステムにおける ELB + Webサーバ の構成です。この構成マルチAZと呼び、片方のAZが丸ごとダウンしたとしても、サービス自体はダウ
続Pythonによるwebスクレイピング入門
OpenPose is a real-time system for multi-person 2D pose estimation using part affinity fields. It uses a bottom-up approach with convolutional neural networks to first detect body keypoints for each person and then assemble the keypoints into full body poses. OpenPose runs in real-time at 20 frames per second and uses part affinity fields to encode pairwise relations between body joints to group j
Python+Selenium+Phantom.js+Beautifulsoupでスクレイピングする - ひよこになりたい
※【2018/04/17追記】 Phantom.jsはメンテナンスが終了したようです。今後はGoogle Chromeを使用してJavascriptの処理を行っていくことになります。以下の記事で解説していますので合わせてご覧ください。 zipsan.hatenablog.jp 【追記終わり】 最近スクレイピングのスクリプト書いて遊んでいるのでそれについてのメモがてらに。 Pythonでスクレイピングする方法は多々あるみたいなんですが，個人的に一番使いやすかった（慣れ？）のがこの組み合わせでした。 以前Pythonのurllib.request＋Beautifulsoupでレスポンスhtmlの解析をして次々とたどっていくようなスクリプトを書いていたんですが、これだとJavascriptで追加されたエレメントは受け取れなかったり、リダイレクト処理がめっちゃ大変だったり色々と面倒でしたが今回Se
第1回 メディアチーム：PyCon JP Webサイト開発編 | gihyo.jp
PyCon JP 2015の作り方 こんにちは。メディアチームの今津です。 PyCon JP 2015では、現在「プログラム」「事務局」「会場」「メディア」の4つのチームに分かれて様々な準備を行っています。この連載では、各チームがどのようにPyCon JP 2015を作っていっているのかを、それぞれの目線でご紹介していこうと思います。 第1回は、同じメディアチームの担当であるWebサイトについてご紹介します。 PyCon JP Webサイト開発について PyCon JP 2015 Web担当の小松です。2015年度版Webサイト開発の裏側について、PyCon JPの作り方ということで紹介していきたいと思います。 図1 PyCon JP 2015 Webサイトトップページ Symposionを使用したサイト開発 PyCon JPのWebサイトでは、2014年よりSymposionをfo
第7回 Pythonもくもく会 @アライドアーキテクツ（恵比寿） (2015/04/18 11:00〜)
注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用
重要な情報は左上に――効果的なデザインに必要な4つの原則
エンジニアが知っておくべきWebデザインの4原則、「近接」「整列」「反復」「コントラスト」を分かりやすく解説する。 連載目次 エンジニアが作るシステムやアプリケーションには、デザインが欠かせません。デザインというと、「ビジュアル」「見た目がカッコいい」「おしゃれ」など外見のデザインを思い浮かべがちですが、WebアプリやWebサイトのデザインで大切なのは、そこではありません。 Webのデザインで必要なのは、「ユーザーの目的達成を助ける」ことです。本連載「エンジニアのためのWebデザイン基礎の基礎」は、あなたのWebサイトを訪れた人を引きつけ、ユーザーへと転換（コンバージョン）させるためのデザインの基本を伝授します。 良いデザインの4原則 「エンジニアが知るべき最低限のデザイン基礎」とは何でしょう？ 専用ソフトウェアの使い方？ いいえ、違います。IllustratorやPhotoshopの使い
Software Design 2015/3月号とWeb+DB Press vol 85 : D-7 <altijd in beweging>
Software Design 2015年3月号 ソフトウェア デザイン 2015年 03 月号 の表紙はYAPC::Asia Tokyo 2013, YAPC::Asia Tokyo 2014でもお世話になり、今年もお世話になる予定の CONBUの面々による「カンファレンスネットワークの作り方」です。普段正直ほとんど技術系の雑誌ってわざわざ買わないんだけどこの号は購入した。 本文の記事ももちろんおもしろいんだけど、個人的にはやはり「YAPC」という文字列が専門誌とは言え一般的にあちこちで流通している雑誌の表紙に載っているのが胸熱…！ 今までも雑誌にYAPC::Asia Tokyo関連の記事を載せてもらったり書いたりしたことはあったんだけど、もうYAPC本体とはなんにも関係ないところで自然？な形でこういう形でYAPCの名前が載るのがとにかく感動であった。 Web+DB Press vol
Pythonの軽量WebフレームワークBottleを試してみた（その１） – ルーティング編 （Advent Calendar 23日目）
Pythonの軽量WebフレームワークBottleを試してみた（その１） – ルーティング編 （Advent Calendar 23日目） この記事はPython Advent Calendar 2014 – Qiita 23日目 兼 アライドアーキテクツ Advent Calendar 23日目の記事です。 こんにちは。関根です。 最近は社内の有志でPythonの勉強会を開いたり、 また定期的にPythonもくもく会などを開催したりしています。 Pythonもくもく会はおかげさまで順調に回を重ねており、つい先日３回目が終了しました。 また来月も開催予定ですので、お時間の合う方のご参加をお待ちしています。 Web業界をはじめとして他の業種の方や、専門分野の異なる方も参加するゆるい会になっていますので、気兼ねなく参加できると思います。（初心者の方も大歓迎です！） はじめに PythonでWe
RESTful Web API 開発をささえる Garage - クックパッド開発者ブログ
技術部の小野(@taiki45)です。この記事では簡単なアプリケーション(ブログシステム)の実装を通して、クックパッドで作成・使用しているライブラリのGarage の紹介と Garage を使った RESTful Web API の開発をご紹介したいと思います。 Garage は RESTful Web API を開発するための、 Rails gemified plugins です。Rails プログラマは Garage を使って Rails を拡張することで素早く Web API を開発することができます。Garage は新しくアプリケーションを開発する場合にも、既存の Rails アプリケーションに組み込んで Web API を実装する場合でも使用できます。Garage はリソースのシリアライズやアクセスコントロールなど Web API の実装に必要な機能をカバーしています。 Ruby
OAuth 2.0を使うソーシャルなAndroidアプリの作り方 （2/3） - ＠IT
アプリケーション上のログインボタンが押下されると、次のような認可画面のURLを生成して、暗黙的なIntentを発行し、Webブラウザに遷移します。 scopeには、これからユーザーに認可を求めるリソースのスコープを空白区切りで指定します。今回は、People APIを用いて友人一覧を取得するため、「r_profile」を指定します。 private static final String AUTHORIZE_URL = "https://mixi.jp/connect_authorize.pl"; private static final String[] SCOPE = { "r_profile" }; /** Webブラウザを起動し、認証認可手順を開始するためのURLへ遷移 * @param context 呼び出し元の {@link Context} */ public static
PyCon JP 2014 Development Sprints (2014/09/15 10:00〜)
PyCon JP 2014 開発スプリントについて こちらはPyCon JP 2014 開発スプリントの参加登録ページです。 スプリントテーマはリーダー登録されている方のコメントを参照してください。 開発スプリントについて詳細はPyCon JP 2014 開発スプリントのページをご参照ください。 PyCon JP 2014 開発スプリントは、PyCon JP 2014の4日目である 9/15（月・祝）に開催されます。 参加は無料で、カンファレンス本体に参加されていない方も参加できます。 リーダーとして参加したい方は1の方法で、他の人のテーマに参加したい方は2の方法で、手順にしたがって登録をお願いします。 登録方法1：リーダーとして参加したい方向け Sprint Leader（リーダー）枠で参加してください。 イベントに申込む際の【参加コメント】にテーマを記入してください。 申込み後、フィー
「Webスクレイピングとは何ぞや？」という疑問が浮かんできたので調べてみた。 - おしブロ（おしい県でWebに携わって働く人のブログ）
最近よく聞く、、、わけではありませんが、なんとなく自分の中で「Webスクレイピング」について知りたくなったので、ググったりして調べてみました。 「Webスクレイピング」とは Webスクレイピングとは、WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直すことである。Webスクレイピングを行うことで、Webページを対象として、あたかもWeb APIを利用しているかのようにデータを効率的に取得・収集することが可能になる。用途の例としては、部分的にコンテンツを取り出して携帯電話向けのコンテンツを生成したり、小見出しの一覧を生成したり、といった使い方あある。Webスクレイピングは様々な手段で実現可能であるが、PHPやPerlといったスクリプト言語を使用して行われることが多い。なお「スクレイピング」（scraping）とは元々「削る」や「こすり落とす」といった意味の英
Webスクレイピングの基礎知識 #東京スクラッパー
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Webサーバーのアクティブセッション数を確認するコマンド例 - Qiita
やっていること watch -d -n 1 "COMMAND" COMMAND を1秒毎に実行し、実行結果に変化があった場合は該当箇所をハイライト表示します。 -n … 指定した秒数ごとに COMMAND を実行します。 -d … 実行結果の差分をハイライト表示します。 netstat -alpn すべてのネットワーク状態をポート付き＆名前解決なしで表示します。 grep -E ':(80|443)' 80番と443番ポートの表示を抽出します。 awk {'print $5'} 5番目の列を表示します。 netstat -alpn の場合は、左端を1番めとして順に Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name となるので、 Foreign Address （アクセス元）を表示しようとしていま
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
blog.katsuma.tv
JISA(情報サービス産業協会)の要求工学技術部会で、クックパッドのものづくりについて発表をしてきました。 内容としては、ここ１年ほどのサービス開発のフローをざっとまとめたものになっています。 ひょんなこと（WEB+DB PRESSの記事をご覧になられていた模様）から南山大学の青山先生にお声がけいただいて参加することになりましたが、普段は触れることがない世界に入ることができてとても新鮮でした。 「要求工学」という存在もまったく知らなかった初心者がその筋のトップの方々の前に現れてWebサービスについてしゃべる、、、という割と無茶な感じではあったのですが、質疑応答でも鋭いコメントをもいただきつつ、ディスカッションもできて、有意義な時間を過ごさせていただきました。こういう場があると、自分たちの考え方を振り返るいい機会になりますね。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWDD
Wellfound (formerly AngelList Talent) - Startup Job Search
ScrapyとPhantomJSを用いたスクレイピングDSL
新人Webエンジニアにおすすめ書籍をまとめてみた