wikipediaのダウンロード&データベースにインポート - プログラマでありたい
ダウンロード Wikipedia:データベースダウンロード ウィキペディア日本語版: jawiki-latest-pages-meta-current.xml.bz2 xml2sqlでmysqldump形式に変換 wikipediaのコンテンツは、600MB以上ある。それなりに時間が掛かるので、落としている間にデータベースへのインポートの準備。データの提供形態はxmlなので、データベースに入れるにはそれなりの工夫が必要である。幸いwikipedia自体が２種類の方法を提供してくれている。MediaWikiに付属しているimportDump.phpを使うか、xml2sqlというツールをインストールするかが選べる。 他でも使えそうなので、xml2sqlを使うことにした。 xml2sql $wget ftp://ftp.tietew.jp/pub/wikipedia/xml2sql-0.5.ta
上級者向けの技術書が少ない理由 - プログラマでありたい
AWS本やクローラー本を出していると、「上級者向けの本は出さないのですか」とよく聞かれるます。残念ながら日本のIT業界向けの出版事情を考えると、なかなか難しいというのが正直なところです。 IT業界向け出版物の市場規模 難しい理由として、市場規模があります。IT業界で働く人の数は定義次第なので幅がありますが、100万人程度と仮定します。市場の規模は、この母数に対して1人あたり何冊買うかが上限となります。この段階で、コミックや一般書に較べて、著しく小さいことが解ると思います。 さらに初級・中級・上級とカテゴライズすると、この母数に対して更にフィルタリングすることになります。コミックだと対象年齢はある程度はあるものの、レベルによってフィルタリングすることはないですね。市場規模は下の概念図のとおり、上級者の市場は必ず初級・中級者の市場より小さくなります。 細分化されたカテゴリ この段階で上級者向け
バッチ処理について再考 - プログラマでありたい
作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。 利点 バッチ処理には以下のような利点がある。 ・多くのユーザーがコンピュータのリソースを共有できる。 ・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。 ・人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。 ・高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。バッチ処理 - Wikipedia これだけみると、人件費に対してコンピュータリソースが高い時代の産物なんですよね。今は、クラウドの登場で、有り余るコンピュータリソースをほぼ自由に低コストに使える時代です。そもそもバッチ処理である必要があるか、考える必要がありますね。特に夜間バッチにつ
何故、fluentdなのか？ - プログラマでありたい
最近、fluentdという言葉を聞くことが多いと思います。fluentdは、それぞれのサーバからログを収集し集約する為のアプリケーションです。fluentdは「Log everything in JSON」を合言葉に、全てのログをJSON形式で扱います。また一緒に聞くキーワードとしては、大規模とかリアルタイムとかがあると思います。この時点で関係ないやと思って、興味を失った人も多いと思います。しかし、今後のログ管理は、fluentdが主流になるか解りませんが、同様の集約するフレームワークが中心になると思います。 何故、fluentdが必要か？ まずはオンプレミスの世界から見て行きましょう。ログはサーバーにたまり、管理者はサーバにログインしてログを参照します。特に問題はありません。 次にAutoScalingを使わないAWSの世界です。これも同様に、ログはサーバーにたまり、管理者はサーバにログ
本当に月額10円でレンタルサーバを始められるのか？ S3で静的サイト構築を検証 - プログラマでありたい
先日、Amazonのs3の宣伝サイトが、月額10円で始められるレンタルサーバというセンセーショナルなキャッチコピーと共に作られていました。 月額10円〜でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス（AWS） AWSのサービス群の中で、真に驚異的なものはS3だと確信している私にとっては、これを機会に是非S3の素晴らしさが広がって欲しいなぁと思っています。 Twitterやはてブの反応を見ていると、かなりの反響が出ているのでPR施策としては成功だったのではないでしょうか？一方で、はてブのコメントを見ていると、従量課金制怖いとか、クラウド破産とかの話が出てきています。はっきり言って心配無用なのですが、ちょっと整理してみました。 2012/08/15追記：クラウド破産が心配の方が、やっぱり多いようなので防ぐ方法を書きました。 クラウド破産を防ぐ為のAWS Billing A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
