［Python入門］Beautiful Soup 4によるスクレイピングの基礎
連載目次 前回は、urllib.requestモジュールを利用して、Webからファイルを取得する方法の基本を見た。今回は、このモジュールを使って得たHTMLファイルからBeautiful Soup 4というライブラリを使って必要なデータを抜き出す方法を見てみよう。 スクレイピングとは スクレイピング（scraping）とは、Webサイトに表示されたHTMLページ（あるいはXMLなど、その他のリソース）から自分が必要とする情報を抽出する（抜き出す）ことだ。特に近年では、機械学習などで大量のデータを取得する必要が出てきていて、それを手作業で行うことは現実的ではないことから、プログラムを使ってそれを自動化（半自動化）することが多くなっている。 Pythonにもスクレイピングを行うためのフレームワークやライブラリといったものが幾つもある。今回はそれらの中でBeautiful Soup 4というライ
なぜ、富士通は「色覚障がい者のための診断ソフトウェア無償提供」を終了したのか
富士通は2013年8月20日、視覚障がい者や色覚障がい者のアクセシビリティを高めるための診断ソフトウェアツール群「富士通アクセシビリティ・アシスタンス」の無償提供を終了した（参照記事）。このニュースはSNSでの反響も大きく、ユーザーから「なぜこのような素晴らしいサービスが終了してしまうのか」との声が多く聞かれた。 同様のツールは他にもあったが、富士通アクセシビリティ・アシスタンスが愛用されるのにはわけがあった。富士通アクセシビリティ・アシスタンスは、3つのツール群「WebInspector（ウェブインスペクター）」「ColorSelector（カラーセレクター）」「ColorDoctor（カラードクター）」から構成されており、それぞれ以下の特徴が挙げられる。 WebInspector ローカルフォルダを指定した場合、サブフォルダのHTMLまで一括でチェックでき、結果をCSVで保存できる C
直撃取材！ 「たて」の裏側
6月9日に放映されたフジテレビのバラエティ番組「ほこ×たて」の「どんなプログラムにも侵入できるハッカー VS 絶対に侵入させないセキュリティープログラム」は、視聴者を激しい混乱の渦に巻き込んだ。 その後、“たて”側のネットエージェントは公式ブログで、“ファイル名変更”が実際は“TrueCryptによるディスク暗号化”であることや、対決で用意されたPCはサービスパックも当たっていない脆弱性だらけのWindows OSだったことなど、番組でカットされ誤解を招いた部分について説明。本当はかなりのガチ対決だったことが明かされた。 では、“実際の”攻防戦はどのようなものだったのか。自身も凄腕のハッカーで、昨年度開催された「CTFチャレンジジャパン」の優勝者でもある、luminことネットエージェントの杉浦隆幸氏に直撃した。 編集部 今回の番組出演の経緯は？ 杉浦氏 今回の内容は番組制作会社が企画したも
韓国サイバー攻撃に使われたマルウェア、MBRを上書きし起動不能に
韓国で3月20日、放送局や金融機関のPCがマルウェアに感染してコンピュータシステムが一斉にダウンした件に関連し、韓国インターネット振興院（KISA）は3月21日、専用の駆除ツールを開発し、配布を開始した。またセキュリティ企業も、原因となったマルウェアについての情報を公開し始めている。 この事件は2013年3月20日14時過ぎに発生した。KBSやMBC、YTNといった放送局と新韓銀行などの金融機関でコンピュータネットワークがダウンし、ATMが使えなくなるなど、業務に支障が生じた。韓国政府の放送通信委員会ではこれを受け、官民軍合同の対策チームを立ち上げ、対策と攻撃元の調査に当たっている。 KISAによると、被害に遭った機関から収集したマルウェアは、2013年3月20日14時に動作するようスケジュールされていた。この結果、複数のPC／サーバのシステムブート領域（Master Boot Recor
一足早く「Plagger」の便利さを実感してみよう － ＠IT
4. PerlをインストールしてPlaggerを動かしてみよう！ ●どんな環境で動くの？ 「私もPlaggerを使っていろいろと情報を収集・加工してみたい！」という人もいるでしょう。現在のバージョンのPlaggerは、なかなかインストールが難しいのですが、簡単にWindowsを例に導入方法を紹介してみましょう。 まずPlaggerを動かすプラットフォームですが、Perlが動く環境であればWindows、Mac、LinuxのどのOSでもOKです。ただWindowsはデフォルトでPerlが動く環境ではないので、ActivePerlをインストールして、Perlが動く状態を構築してあげなければなりません。
＠IT [FYI] Web負荷テストの押さえるべきポイントとは
いまやビジネスにとってWebサイトは重要なツールの1つであることはいうまでもない。しかし、そのWebサイトが不安定な状態で、顧客が不快な思いをしたり、使えない状況になっていたりすれば、かえってビジネスにはマイナスだ。今回は、Webサイトを正しく構築・運用する上で、公開前に実施してほしいチェックの1つである“負荷テスト”について焦点を当ててみよう。 Webがアプリケーション開発の基盤として利用されるようになって以来、われわれは社内システムあるいはインターネット上のサービスとしてそれらを利用している。 しかし、サーバやネットワーク機器のパフォーマンスが年々向上しているにもかかわらず、エンドユーザーが感じるパフォーマンスが、さほど向上していないように感じている人は多いのではないだろうか。それどころかパフォーマンスの問題から、エラーメッセージが出ていないにもかかわらず空白ページが現れたり、コンテン
本当のAnonymousが知りたいの
PlayStation Networkに関する報道によって日本でも広く知られるようになった「Anonymous」。果たして彼（女）らはいったい何を目的とした、どんな集団なのか。日本に住むAnonymousの1人に取材する機会を得た（編集部） 日本で活動するあるAnonymousの声 PlayStation Networkの事件から日本でも名前を広く知られるようになった「Anonymous」。この名がメディアで報じられるときは、ほぼ決まって「ハッカー集団」「クラッカー集団」という「枕詞」が付く。中には、「政府や主要企業などへのハッキングの第一線にいるグループ」と説明される場合もある。 だが、多くのメディアにおける「Anonymous」の報道のされ方を見ると、さまざまな事件への関与を臭わせる内容がもっぱらで、彼（彼女）たち自身の活動を主軸としたものはあまり見かけない。 【関連記事】 PlayS
AptanaでWebページ作成はここまでできる！（1/3） ― ＠IT
AptanaでWebページ作成はここまでできる！：どこまでできる？ 無料ツールでWebサイト作成（1）（1/3 ページ） 以前、無償版のWebオーサリング（サイト作成）ツールを特集でカタログ的に紹介したが、皆さまの興味は「業務レベルでどの程度使えるのか」という部分にあるのではないだろうか？ そこで、本連載では各ツールを使用したサイト開発を掘り下げていこう。 まずは第1弾として、2回にわたり「Aptana」の紹介を進めていく。第1回では静的なサイト構築を想定した開発、第2回ではプラグインの追加により可能となるAdobe AIRなどの動的コンテンツ開発を中心に紹介していこう。 無料Webサイト作成ツールの最有力候補「Aptana」 EclipseベースのIDE（統合開発環境）であるAptanaは、コード補完機能やリファレンス機能など、充実度の高さが売りのオーサリングツールである。 オープンソー
Rubyで自治体の業務システム構築、松江で実証実験 － ＠IT
2007/10/01 テクノプロジェクトは10月1日、ネットワーク応用通信研究所および伊藤忠テクノソリューションズ（略称：CTC）とともにコンソーシアム（共同企業体）を結成し、「Rubyの普及を目指した自治体基幹業務システム構築」をテーマに松江市向けに業務システムを構築し、実証実験を開始すると発表した。独立行政法人 情報処理推進機構（略称：IPA）の「自治体等におけるオープンソース・ソフトウェア活用に向けての導入実証」事業としての採択をうけ、実証するもの。 開発するのは、2008年8月から運用を開始する高齢者向けの新しい医療保険制度に対応するシステムで、所得に応じて高額医療費を支給するために高額合算システムを開発する。コンソーシアムでは、Rubyによる基幹業務システム開発の課題として、「複雑なレイアウトに対応できるなど、精度の高い帳票印刷機能」、「計算機能など確実な処理性能」、「業務システ
DB設計の神ツール「ERMaster」なら、ここまでできる
DB設計の神ツール「ERMaster」なら、ここまでできる：ユカイ、ツーカイ、カイハツ環境！（11）（1/3 ページ） 無料のEclipseプラグイン「ERMaster」とは データベースのテーブル設計を行うときに皆さんは、どのようにしているでしょうか？ いくつかの無料で利用できるツールが提供されているので、筆者はそれらを利用していましたが、最近「ERMaster」と呼ばれるEclipseプラグインの存在を知りました。 ERMasterは、ほかのツールに比べ、直感的で分かりやすいUI（ユーザーインターフェイス）に、カスタマイズ可能な、Excelで出力できるテーブル定義書、辞書機能など痒いところに手が届くERモデリングのツールです。本稿では、このERMasterについてご紹介します。 ERMasterの主な特徴、8つ ERMasterには、主に次のような特徴があります。 【1】直感的で使いや
ようこそJavaScriptの世界へ
JavaScriptで本格的なプログラミングの世界に触れてみよう。連載を通じて実用的なアプリケーションを作れるようになるはず！？（編集部） JavaScriptってよく聞くけど何だろう？ JavaScriptは、Webブラウザ上で動かすことのできる簡単なプログラム言語です。HTMLだけでは動くWebページはできませんが、JavaScriptを使うとWebページにさまざまな動きを入れることができるようになります。 プログラム言語と聞くと、なんだか難しそうに感じてしまうかもしれませんが、心配はいりません。 本講座は、HTMLは分かるけどプログラムを書いたことがないという人や、デザインは得意だけどプログラムは全然分からない！ 文科系で数学は苦手！ という人が理解できるような入門講座として、JavaScriptの基本から進めていきます。 用意するものはメモ帳などのテキストエディタとWebブラウザだ
グーグル、C／C++に代わる新言語「Go」をOSSで公開 － ＠IT
2009/11/11 グーグルは2009年11月10日、Cのようにシステム記述に適したプログラミング言語「Go」をBSDライセンスの下に公開した。C++のようなC言語の拡張ではないが、Cに似た構文が特徴で、ガベージコレクタ（GC）や並列プリミティブ、イテレータ、実行時リフレクションなどを備えた新しい設計が目を引く。Goはグーグルの社員7人が「20％の自由時間」を利用して開発した。設計・実装を行っているのが分散OS「Plan 9」の創案者であるロブ・パイク氏や、Unix、Cの生みの親、ケン・トンプソン氏、Google ChromeのV8エンジンを開発したロバート・グリースナー氏など錚々（そうそう）たるメンバーで、こうした点でも注目を集めそうだ。 グーグル社内では、まだGoを使っていないが、今後はWebサーバなどのシステム関連のソフトウェアで実用を検討しているという（Goのオフィシャルサイトは
「【祝】新入社員のみなさんへ。会社生活について。」（1） プロジェクト管理 － ＠IT
新入社員のみなさん、ご入社おめでとうざいます。 社内メールの書き方についてワンポイントアドバイス！ ●一行目には相手の名前を書きます。 ・このとき、「～様」とか「～さん」、「～殿」という書き方はやめましょう！ ×鈴木様、×田中さん ・この場合は、相手の名前を括弧（）で括ります。 ○（鈴木）、○（田中） ・偉いひと（課長）の名前はカタカナで書き、後ろにKをつけます。 ○（スズキ）K、○（タナカ）K ・特に偉いひと（部長以上）の名前はカタカナの先頭２文字で書きます。 ○（スズ）、○（タナ） ・さらに偉いひと（幹部）の名前はカタカナの先頭１文字で書きます。 ○（ス）、○（タ） ●メールの書き出し ・メールの書き出しは、「毎々お世話になっております」ではじめましょう。 ●メールの差出人にお願いするとき ・このとき、「～していただけませんか？」「～してもよろしいですか？」という書き方はやめましょう
Windows XPが立ち上がらない！ そのときの対処法
Windows XPが立ち上がらない！ そのときの対処法：あきらめる前に試すべき5つの対処法（1/6 ページ） Windows XPが起動不能に！ ああOSの再インストールかとあきらめる前に、試してほしい5つの対処法。大事なデータと時間を無駄にしない復旧テクを解説する。 連載目次 頻繁に起きることではないとはいえ、さまざまな理由から突然、Windows OSが起動しなくなることがある。故障や破損といったハードウェア障害の場合は本体や部品の買い替えが必要だが、ソフトウェア的な障害が原因なら、最悪の場合でもハードディスクをフォーマットしてWindows OSを再インストールすれば解決できる。しかしこの場合、ハードディスクに保存したデータやさまざまな設定情報は失われてしまうし、Windows OSだけでなくアプリケーション・ソフトウェアのセットアップと再設定も必要である。いうまでもなく、できるだ
まずは、mixiアプリを使ってみよう、作ってみよう
まずは、mixiアプリを使ってみよう、作ってみよう：基礎から分かる、mixiアプリ作成入門（1）（1/3 ページ） mixiのアプリ？それって何？ 「mixiアプリ」は、iGoogleのガジェットのように、SNS「mixi（ミクシィ）」上に組み込まれて実行される、Webアプリケーションです。主に、JavaScript＋XML＋HTML＋CSSで作ります（やり方によっては、Flashなども使える）。 誰でも開発でき、人が開発したmixiアプリを自分のマイページなどに自由に組み込むことができます。また、Webアプリケーションのため課金方式は異なりますが、iPhoneアプリのようにmixiアプリを作って公開することで報酬を得ることもできます。 mixiアプリは、2009年6月現在、オープンβ環境のみで利用可能となっています。正式版は、8月公開予定です（参考：「mixiアプリ」8月に正式公開 販売
快適なWeb開発環境を構築する、Firefoxアドオン10選
快適なWeb開発環境を構築する、Firefoxアドオン10選：エンジニアがお薦めする 現場で使えるツール10選（2）（1/5 ページ） ITエンジニアの方であれば一度は使ってみたことがあるFirefoxだが、いまひとつ使いこなせていない人や標準のInternet Explorer（IE）に戻ってしまった人もたくさんいるだろう。 FirefoxといえばオープンソースのWebブラウザとしてIEをしのぐ勢いでWebブラウザのシェアを獲得してきている。2008年6月には「Firefox 3」になり、レンダリングエンジンも高速化されて注目を集めた。そんなFirefoxの最大の魅力は、何といっても拡張機能である豊富なアドオンが公開されていることだ。 アドオンを組み合わせて自分が使いやすいWebブラウザ環境をつくることができる。これがFirefoxの楽しみ方の1つでもある。しかし実際には、あまりにも多く
Windows XP簡単ディスク・ダイエット術 11のポイント
Windows XPの不要なファイルを削除してスリム化を実現。簡単な11種類の手法を紹介する。ディスク容量に制限のあるミニノートPCユーザー必読。 連載目次 Windows XPのダイエットが求められる背景 最近、「ネットブック」と呼ばれる安価で小型・軽量のノートPCが人気を集めている。こうした製品では、低価格な一方で、機能や性能が制限されていることが多い。例えば、プロセッサが性能に制限のあるネットブック向けのAtomであったり、ハードディスクの代わりに4Gbytesや8Gbytes程度のSSD（Solid State Drive）が採用されていたりする。プロセッサ性能については、Windows XPを利用する分には特に問題はないと思われるが、ストレージ容量の不足は問題になりやすい。そもそもWindows XPをセットアップしただけで2Gbytes以上の容量を必要とすることを考えると、その
改訂版 プロフェッショナルVB.NETプログラミング - ＠IT
本連載で掲載しているサンプル・コードについて 本連載で掲載しているサンプル・コードは、本文での解説に必要なポイントのみを抜粋しています。 ■Visual Basic 6.0のコード Visual Basic 6.0の場合は、標準EXEのプロジェクトを新しいプロジェクトとして作成した状態で［コード］ウィンドウに書き込む内容のみを掲載しています。実行結果はDebug.Print文を用いてIDEの［イミディエイト］ウィンドウに出力するようにしています。 ■Visual Basic .NETのコード Visual Basic .NETの場合は、新しいプロジェクトをWindowsアプリケーションのテンプレートで作成してLoadイベントにサンプル・コードを書き込んだ状態を想定しています。Loadイベント以外に書き込むコードがある場合は、［コード］ウィンドウに表示されるコードを、領域ディレクティブ（#R
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
とびだせエクセル方眼紙