【Python】スクレイピングで電車の運行情報を取得してみた - もなかアイスの試食品
はじめに 最近、Slackというチャットサービスを個人的に利用していて Slack APIを使って電車の運行情報をチャットで流せないかなーて考え中 電車の運行情報のAPIを公開されているけどお金がかかる・・・ プライベートで公開されている方もいるけど、こだわり始めるとその方のサーバに負荷かけそう 大手サイトのWEBページから取得できたらいいなーと思っていたら、 Qiitaに情報が載っていた qiita.com このサイトを見るまで「スクレイピング」という単語を知らなかった・・・ 情報元 電車の運行情報で、時々利用するのが以下のサイト。 Pythonを動かしているときにちょうど遅延情報が出ていた。 transit.yahoo.co.jp 江ノ島電鉄線は利用したこと無いけど 見た目はこんな感じ htmlの構造はこんな感じ このサイトから、Python3.5とライブラリ「Beautiful So
高速・軽量・高機能……Nginxの基礎知識
処理能力の高さなどを理由に、近年、大規模サイトを中心に急速にシェアを拡大しているWebサーバー「Nginx」。この連載では、その特徴と魅力を分かりやすく紹介します。 第3のWebサーバーとして注目を集めるNginx 1日に数億リクエストを処理するような大規模サイトを中心に、近年急速にシェアを拡大しているWebサーバーが「Nginx（エンジンエックス）」です。HTMLドキュメントや画像ファイルといった静的コンテンツを高速で配信し、消費メモリが少なく、リバースProxyやロードバランサーといった機能も有した注目の軽量Webサーバーです。ネットクラフト社の調査によると、2014年6月時点でApache HTTP、Microsoft IISに次ぐ第3位のシェアを獲得しています。 依然としてApache HTTPやMicrosoft IISのシェアは高いものの、Nginxの認知度は日に日に高くなって
簡単に自分のローカルサーバをオンラインに公開·ngrok MOONGIFT
ngrokはWindows/Mac OSX/Linux用のオープンソース・ソフトウェア（Apache License 2.0）です。 自分のローカルで作っているサイトを誰かに見せたいと思ったことはないでしょうか。社内であればLANを使ってアクセスもできるでしょうが、ルータ越しではそう簡単ではありません。しかしngrokを使えばとても簡単に一時的な公開が実現できます。 実行しました。引数として何番のポートを見せたいか指定します。例えば3000や8080、80などです。そうするとインターネットからアクセスするためのURLが生成されます。 管理画面にアクセスすると指定したポートへアクセスした結果が表示されます。 外部からアクセスするとログがリアルタイムに流れていきます。 ヘッダーなども閲覧できます。 サーバにもログが出ています。 仕組みとしてはngrokが提供するWebサーバ（ngrok.com
さくらVPSのWordPressをチューニングして30倍高速化した方法 - 原宿・表参道.jp
今日はさくらVPSに載せているWordPressのパフォーマンスをチューニングして高速化に成功したので安心して眠れるという話をします。 2.5ページ/秒だったのが70ページ/秒と30倍高速化。 以前はDaily数千PVで重くなっていたサイトがDaily3.6万PVを余裕で捌けるようになりました。 #ちなみにproxy cacheという手法はwordpressでなくても動的コンテンツ全般に有効です。 ▼サーバ気にしなくて良くなったので今週末新宿御苑に花見に行けました☆。枝ぶりがいいさくらが多くてほんといいところだと思うの。 WordPressチューニング高速化結果http://hara19.jp/のサーバ環境と測定結果は以下のとおり。 WordPress稼働環境さくらVPS 1GB/CentOS5.5/PHP5.3/MySQL5.5/WordPress3.1。 WEBサーバはチューニングにあ
［ウェブサービスレビュー］デスクトップ上の特定領域を録画できる「Screencast-O-Matic」
内容：「Screencast-O-Matic」は、デスクトップ上の操作状況を録画できるスクリーンキャストサービスだ。特定領域を指定できるほか、マウスポインタやクリックの強調表示など、操作手順をわかりやすく見せるための機能を備えている。 「Screencast-O-Matic」は、デスクトップ上の操作の様子を録画することができる、いわゆるスクリーンキャストサービスだ。録画したムービーは同サービスが用意したサーバにアップロードできるほか、YouTubeに投稿したり、AVIやFLV形式に変換してダウンロードできるので、誰かにデスクトップの操作の様子を見せたい場合などに役立つ。 本サービスの最大の特徴は、デスクトップ上で録画する領域を自由に指定できることだ。以前紹介した競合サービスの「ShowMeWhatsWrong.com」 や「Screenjelly」 ではデスクトップ全域が録画対象だったため
これがWikipediaの裏側、知られざる大規模システムの実態「Wikipedia / MediaWiki におけるシステム運用」
Wikipediaといえば世界で第5位の訪問者数を誇る巨大サイトですが、システム運営に携わる人間は世界でわずか6人、しかもこれはボランティア込みという恐るべき少人数で、第4位のFacebookのサーバ数が3万台を超えているのに対して、Wikipediaはわずか350台で運用している……などというような感じで、知られざる今のWikipediaの実態が「KOF2010」にて本日行われた講演「Wikipedia / MediaWiki におけるシステム運用」で明かされました。 登壇したのはWikipediaを運営するWikimedia財団のエンジニアであるRyan Lane氏で、100席ある座席は満席になり、隣の中継の部屋まで人があふれているほどの盛況っぷりで、語られる内容もなかなか参考になることが多く、今後のGIGAZINEサーバにも活かせそうな内容でした。 というわけで、「Wikipedia
Expired
Expired：掲載期限切れです この記事は，ロイター・ジャパンとの契約の掲載期限（30日間）を過ぎましたので本サーバから削除しました。 このページは20秒後にNews トップページに自動的に切り替わります。
クックパッドとHadoop - クックパッド開発者ブログ
はじめまして。今年の5月に入社した勝間@さがすチームです。 入社してからは、なかなか大変なことも多いですが、最近はお酒好きが集まって月曜から飲み合う 「勝間会」なるものも発足して、仕事面でも仕事以外の面でも密度の高い毎日を過ごしています！ さて、僕は「さがす」チーム所属ということで、普段はレシピを「さがす」ユーザの満足度を上げるために、 クックパッドの検索まわりについて、いろいろな開発を行っています。 一方で、ユーザの「さがす欲求」について深く知るために、大規模なデータ解析を行い、欲求の分析を行う機会も増えてきました。 ところが、クックパッドのログは膨大な数があるので、一口のデータ解析と言っても通常のバッチ処理だと間に合わないため、 分散処理環境の必要性が高まってきました。 そこで、まずは手軽に試せる分散処理の王道ということで、最近ではHadoopを使ったデータ解析環境を整備しています。
無料で使えるPHPホスティングサービス5選 – creamu
無料のサーバを探している。 そんなときにおすすめなのが、『5 Awesome free PHP web hosting services』。無料で使えるPHPホスティングサービス5選だ。 以下にご紹介。 » 000WebHost 容量500MB。広告なし » Zymic.com 容量5GB。広告なし » 110MB Hosting 容量5GB。広告なし » Sitesfree 容量500MB。広告なし » YourFreeHosting.net 容量5GB。広告なし いずれも広告がなしとなっているので使いやすいだろう。 無料で使えるPHPホスティングサービス、チェックしてぜひ使ってみてはいかがだろうか。 » 5 Awesome free PHP web hosting services 風が強いな。。月曜日がんばりましょー！ ハムナプトラ3を見たけどいまいちだったな。。
.htaccessで使える16の技:phpspot開発日誌
16 Useful .htaccess Tricks and Hacks For Web Developers : Online Marketing Blog - Website Development & Website Marketing tips and Strategies .htaccessで使える16の技が色々と紹介されていました。 1. ErrorDocumentでエラーページ指定の方法 ErrorDocument 401 /error/401.php ErrorDocument 403 /error/403.php ErrorDocument 404 /error/404.php ErrorDocument 500 /error/500.php 2. Timezone設定 SetEnv TZ America/Houston 3. IPブロッキング allow from al
「フレッシュリーダー」が正式版に--サーバインストール型のRSSリーダー
サイドフィードは3月1日、サーバインストール型RSSリーダー「フレッシュリーダー」の製品版を公開した。 フレッシュリーダーは、1月25日にベータ版を公開し、公開から1カ月で約7000のダウンロードがされたサーバインストール型のRSSリーダーだ。製品版では、1月に公開したベータ版から100以上の改修を実施したほか、新機能も追加している。 製品版ではワンクリックで最新10件、過去24時間、過去1週間といった単位での記事閲覧は可能になり、取得した記事も検索可能になった。 また、フレッシュリーダーでは、フォルダを作成して、各フィードのカテゴリを自分で分類できる。ベータ版では最新記事を取得する際、すべてのフィードを取得する必要があったが、製品版では、フォルダ単位での記事取得が可能になった。 さらに企業での利用を想定して、ユーザー情報はCSV（データをカンマ区切りで記述したファイル形式）でのインポート
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【特別企画】使いやすくなった新世代ホームサーバーOS「Windows Home Server 2011」
小さくで可愛いグラフが描けるjQueryプラグイン「Piety」:phpspot開発日誌