今回はレコメンドシステムの実装の問題と、その解決策として利用するHadoopについて説明します。 今回のポイントは以下の通りです。 スケールアップの限界 分散処理フレームワークの民主化 Hadoop Map Reduceの概要 増え続けるデータをどう扱うか レコメンドシステムを協調フィルタリングのうち、ユーザベース方式により実装することを考えます。このシステムでは次のような映画の評価履歴を使い、「⁠この映画を評価した人はこの映画も評価しています」という映画の推薦を行います。 駄右衛門、ザスーラ、5、2009/12/21、・・・・ 駄右衛門、ジュマンジ、5、2009/12/28、・・・・ 菊之助、ブルースブラザーズ、5、2009/12/29、・・・・ 利平、ザスーラ、4、2010/01/01、・・・・ 十三、ハングオーバー、4、2010/01/01、・・・・ 利平、ジュマンジ、4、2010/

PostgrSQL 9.0から追加されたエスケープ関数から、SQLインジェクション対策を再度解説してみたいと思います。 SQLインジェクション対策の4原則 基本的にはSQLインジェクション対策として以下の原則を守っていれば、SQLインジェクションに脆弱なアプリケーションを作ることはありません。 すべてのパラメータを文字列としてエスケープする すべてのパラメータをプリペアードクエリのパラメータとして処理する 文字エンコーディングの設定をAPIで行う パラメータとして処理できない文字列はバリデーションを行う 原則1と原則2は重複して適用する必要はありません。どちらかを行います。文字エンコーディングの設定やプリペアードクエリのエミュレーション・抽象化ライブラリのバグ等でSQLインジェクションが可能になる場合もありますが、通常であればこの原則を守っている限りSQLインジェクション脆弱性を作ることは

2010年7月16日、株式会社Speeeオフィスにて「第5回　gihyo.jp FreeBSD勉強会」が開催されました。この勉強会はFreeBSDコミッタである佐藤広生氏、後藤大地氏両名の立案がきっかけで開催されています。『⁠Software Design』や『FreeBSD Daily Topics』を発行する技術評論社、会場提供元となる株式会社Speee、ハンドリングを行うオングスおよびFreeBSD実行委員会のご協力いただいております。 今回も盛況に行われ、Ustreamのライブ映像を見ている方も100名以上の視聴がありました。また、今回の発表者は実行委員ではなく一般参加の方が発表しており、今後のFreeBSD勉強会に有意義なものとなりました。 第5回 FreeBSDにおけるZFSのあれこれ─FFS/ZFSのベンチマーク 第5回は、河部展氏から「FreeBSDにおけるZFSのあれこれ

FreeBSD Daily Topics 2010年7月8日BSD Magazine 7月号登場、リモートでRADA1+ZFS FreeBSDをインストールする方法 magazine BSD Magazine 07/2010 BSD Magazineの最新刊となる2010年7月版が公開されました。次の記事が掲載されています。 Building a Desktop Firewall with pf and fwbuilder OpenBSD Some Interesting One Floppy Systems Remote Installation of the FreeBSD Operating System without a Remote Console OpenBSD as a Mail Server Performance Comparison ITTIA DB and SQLi

セキュリティは古くて新しい問題です。SQLインジェクションも古くからある問題ですが現在の問題です。対策は比較的簡単なのですが今でもなくなりません。と言うよりも今でも現役のセキュリティ上の問題で十分注意が必要です。この連載でも何度かSQLインジェクション対策について簡単に取り上げています。 第5回　まだまだ残っているSQLインジェクション 第14回　減らないSQLインジェクション脆弱性 第15回　減らないSQLインジェクション脆弱性（解答編） 第24回　無くならないSQLインジェクション脆弱性 今回はSQLインジェクションを復習してみたいと思います。 SQLインジェクションとは SQLインジェクションはプログラマが意図しないSQL文を実行させる攻撃で、2種類の攻撃方法に分類できます。 直接SQLインジェクション 間接SQLインジェクション 直接SQLインジェクション 直接SQLインジェクショ

NoSQLミドルウェアの特徴をもう少し細かく挙げてみます。分量の都合もあり個別には触れませんが、それぞれのNoSQLミドルウェアで差別化部分に関してはかなり詳細に説明がされていますので、ぜひそちらを参照してみてください。 高速に動作する リレーションモデルではないデータモデル スケールアウト型アーキテクチャ コモディティサーバによって構築される スキーマフリー SPOF（単一故障点）を持たない 自動的に複数台へレプリケーションする イベンチュアルコンシステンシまたは一貫性の選択が可能 SQLのような強力なクエリ言語を持たず、シンプルな問い合わせしかできない Cassandraとは何か NoSQLミドルウェアの筆頭といえばGoogle BigTableやAmazon Dynamoですが、オープンソースの世界でもいろいろなものが出てきています。その中でも最近特に注目を集めているのが、Apach

はじめに Web APIを使って様々なサービスと連携するというアーキテクチャはすっかり定着した感があります。みなさんも、Web APIを使ってデータをやりとりするアプリケーションを書く機会も増えているのではないでしょうか。 Web APIを使うアプリケーションの開発では、テストやデバッグをする際のAPIアクセスが悩みどころとなります。本物のサーバを使ったのではテストデータの初期化などに手間がかかりますし、逆にHTTPアクセス自体をスタブやモックを使って間接化してしまうとそれが本当に有効なテストなのか不安が残ってしまいます。 筆者も、仕事やプライベートでのコーディングでこのような悩みに何度も遭遇しました。これらを解決するために開発したのがwwです（wwと書いて'double-web'と読みます⁠）⁠。 ダミーWebサーバ作成ライブラリww(Double Web) wwは、Webサービスの簡単