HTMLをスクレイピングして解析(パース)する - まるさんかくしかく Tech学習と入門ログ
Twitter Facebook B! Bookmark LINE Pocket Feedly HTMLをスクレイピング(scraping)してあれこれとするとき、僕はずっと正規表現に頼っていたのですが、 ページの構造が変化するとすぐに使えなくなってしまうし、時間がかかる割りに退屈な作業なので何とかならないかなと思っていました。 PHPで探していたのですが、XML(とかRSS)をパースする関数やライブラリは、良く目にするものの、HTMLを処理できるものはなかなか見つかりませんでした。 以下は、PHP(とかRuby、Perl)でHTMLをスクレイピングしたりパースするための方法。 PHPでスクレイピング＆パース HTMLを整形式のXML文書に修正するPHPクラス HTMLを、整形式のXMLに変換してくれるライブラリ。PEARのXML_HTMLSax3が同梱されているので、これだけでちゃんと動
木村さんが指南するDFDの上手な書き方
要求定義でDFDを利用する人は多いだろう。しかし，見よう見まねで書かれたDFDに出会うことも多く，業務の真の姿をとらえて構造化できていないケースも少なくない。 使えるDFDを書くにはどうしたらよいか。DFDの特徴に着目すると，上手な書き方が見えてくる。 「誰が」を記載しないこと DFDは，UMLのユースケース図と同様，対象となる業務の範囲を把握するのを主な目的として使われる図である。要求定義の初期段階で，システム化して解決したい問題領域を可視化することができる。要求定義でDFDをうまく書くには，DFDでは何が記述でき，何は記述されないのかをよく知っておくことが大切である。 ユースケース図と比較すると，DFDの特徴が浮かび上がってくる。（図1）の×印（図に記述しない対象）に注目してみよう。共通で×印が付いているのは「処理の順序やタイミング」だ。DFDとユースケース図は，これらが分からなくても
第4回：コンピュータが変わる
「21世紀の発電所」に並ぶのは、タービンではなく大量のサーバーだ。数十万台のコンピュータが集積する巨大データセンターは、インターネットという「送電線」を通じてあらゆる機器に処理能力を配分する。ビル・ゲイツ氏がITの主役に押し上げたパソコンは選択肢の一つにすぎなくなる。 1999年創業の新興サーバーメーカー、米ラッカブル・システムズ。5月下旬、米サンフランシスコから車で1時間ほど走って同社を訪問すると、出荷作業の真っ最中だった。 大型トレーラーの荷台に長さ12m、幅2.4m、高さ3mほどのコンテナが積まれる。ここまではごく普通の風景。 だがコンテナの扉を開けてもサーバーを収めた段ボール箱は見あたらない。代わりに記者の目には、壁面に沿って整然と並ぶコンピュータラックが飛び込んできた（図11）。 そう。このコンテナは運搬用ではなく、サーバーのきょう体の一部。ラッカブルは工場出荷時にサーバーをコン
【前編】システム部門は経営目線で企画を
技術本部長と情報システム担当を兼務する青木素直氏は、研究・開発部門で30年にわたってITを使いこなしてきた経験から、ITを駆使したものづくりの改革を推進している。現場に足を運び、標準化と共通化の重要性を訴え続けている。システム部門に対しては、御用聞きではなく、経営目線で積極的に企画してほしいと注文を出す。 多くの情報システム部門が、ユーザー部門や経営層からあまり理解されていないと悩んでいるようです。 私は2006年に情報システム担当の役員になったとき、部門長など主要メンバーを呼んで「システム部門の価値を経営陣にわかってもらおうという考えはもう不要だ」ときっぱり言いました。「私はITの価値はよくわかっているから、そんなことは説明しなくていい。その代わり経営者が欲しいと思うものを先に考えてくれ。企画の能力を持ってほしい」と言ったんです。 例えば三菱重工には13の製造拠点がある。それが各々、ばら
工事進行基準とJ-SOXの“最悪”な関係
工事進行基準と日本版SOX法（J-SOX）は、実はものすごく関係が深いのではないか――2007年秋ころから、記者はこんな疑問を抱いていた。受託ソフトウエアの開発に対し、工事進行基準の適用がほぼ決まりかけた時期だ。だがJ-SOXと工事進行基準の関係について明確に説明する文献はないに等しく、取材でもその話に出会えなかった。 「工事進行基準もJ-SOXも投資家保護を目的として適用される」「J-SOXの適用対象であるITベンダーが09年4月期以降から工事進行基準を採用すると、内部統制の整備・運用を見直さなければいけない」。こうしたたぐいの話は色々なところに書かれている。 記者の最大の関心は、工事進行基準を採用したITベンダーが実施する「見積もりの作成」や「進捗の把握」といった業務プロセスが、J-SOX対応の対象となるかどうかだった。J-SOXの適用対象となるとしたら、ITベンダーの負担が格段に増え
クレーム数で品質を測定
システムに求める性能や信頼性、保守運用のしやすさといった非機能要件を要求定義書にどう記述すべきかや、記述内容が達成できたかを評価する手法をまとめた。こうした試みは日本初。「世界でも類がないだろう」とJUASの細川泰秀専務理事はみる。 ユーザー企業やITベンダーに広く利用を呼びかける。システムの高度化・大規模化に伴って非機能要件の重要性が改めて注目されているが、業界標準と言える記述・評価方法はこれまでなかった。 完成したシステムの信頼性を測定するために、「稼動品質率」という指標を導入した。システムの利用者に“迷惑”をかけた回数、もしくはシステム停止が業務停止につながった回数を、システムの資産規模で割って算出する。資産規模には総ステップ数や運用費用などを使う。「この値がゼロに近づくようシステム部門は障害拡大防止策を講じていくべき」と細川専務理事は説く。 システムの信頼性を測る指標には、これまで
第23回 一見ヒマな“予備兵力”を確保せよ 管理職は悪者になる勇気を持て
筆者が銀行のシステム部門で2～3年の経験を積み，ようやく一人前の仕事がこなせるようになったころ，同じチームのメンバーの仕事振りを見ていて不思議に思ったことがある。12～13人程度の小さなチームだったが，大きな案件を抱えて皆大忙しだったにもかかわらず，なぜか暇そうにしているメンバーが2人いたのだ。しかも，2人とも超のつくベテランSEだった。 ほかのメンバーが毎日深夜まで残業しているのに，この2人はほぼ毎日，定時に帰宅していた。筆者は納得がいかなかったので，チームを統括する課長に「なぜあの人たちに，もっと仕事を割り振らないのか」と聞いたことがある。すると課長はニヤリと笑ってこう言った。「彼らは予備兵力なんだよ」。 課長が言うには，現在のプロジェクトに，チーム全員のマンパワーを100％使ってしまったら，“突発的な事態”が発生したときに身動きがとれなくなる。だから“平時”には80％のマンパワーしか
六本木ヒルズでおなじみの“濡れない霧”ドライミスト、一般家庭で使うには？ - 日経トレンディネット
ドライミストの考案者、辻本誠教授の自宅マンションのベランダに設置された家庭用ドライミスト。細かい霧を噴射して、水が蒸発する際に奪う気化熱で空気の温度を下げる（画像クリックで拡大） もうすぐ梅雨明け。本格的な夏の到来だ。真夏の暑さは、誰もが不快に感じること。特にヒートアイランド現象が起きている街中では、連日たまらない暑さが続く。夜まで蒸し暑い日などは、なかなか寝付けず、寝不足になりがちだ。暑いのが苦手の人でなくても、連日これではたまらないだろう。 そんな夏の暑さをやわらげてくれるのが、「ドライミスト」と呼ぶ新しいタイプの冷房装置だ。水に圧力をかけて霧状に噴出し、それが空気中で蒸発するときの気化熱吸収作用を利用して、周辺の気温を下げるというもの。霧といっても空気中で蒸発するので、そこにいる人が濡れたと感じない。 2003年ごろから研究が進み、2005年の愛・地球博（愛知県）の「グローバル・ルー
Protocol Buffer Basics: Java
A basic Java programmers introduction to working with protocol buffers. This tutorial provides a basic Java programmer’s introduction to working with protocol buffers. By walking through creating a simple example application, it shows you how to Define message formats in a .proto file.Use the protocol buffer compiler.Use the Java protocol buffer API to write and read messages.This isn’t a comprehe
SLOBSERVER - L'actualité de Second Life
As web applications are becoming increasingly popular and more important in our lives, programming and developing is also becoming easier. Experts are speaking about a "democratization of coding and technology," meaning that, while until some years ago, coding and programming were accessible only to those few who had a strong and long education about the matter, today, more and more people - with
ああ勘違い - masayang's diary
ITPro: 使い回しの提案が目立つ「できます」と簡単に言うな 当社は全国に約190店舗を展開しているが、事業規模でいえば年商160億円の中堅企業。専任のシステム担当者もいない。 私が所属する経営企画グループの役割は、情報化戦略の企画立案だ。システム開発・運用の実務まで手が回らないのが実情である。 我々が求めるのは、情報システム部門の代わりとなって、社内を駆け回ってくれる存在。システム開発や運用・保守といった技術的な業務はもちろん、利用部門との調整作業といった役目もお願いしたい。少なくとも“使い回し”精神の企業と付き合う気はない。 そもそも論 全国で190店舗ってのは、POS端末の保守員を貼付けるには少なすぎる。 結局、他のお客の保守員と掛け持ちさせざるを得ない。 つまり、システムは使い回し前提となる ああ勘違い 「情報システム部門の代わりとなって、社内を駆け回ってくれる存在」にいくら払っ
はてなブログ | 無料ブログを作成しよう
新米と秋刀魚のわた焼き お刺身用の秋刀魚を買いました。1尾250円です 3枚におろして、秋刀魚のわたに酒、味醂、醤油で調味して1時間ほど漬け込み、グリルで焼きました 秋刀魚のわた焼き わたの、苦味が程よくマイルドに調味され、クセになる味わいです 艶やかな新米と一緒に 自家製お漬物 土…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
