Hadoop＋Embulk＋Kibanaのデータ集計基盤によるデータ可視化と集計データを活用したキーワードサジェストの仕組み
連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。 初回の「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか」では全体的なアーキテクチャ、採用技術、開発体制について紹介しました。 検索システムを構築する際に、最も重要なのは、前回の「ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上」でも紹介した、検索品質の向上です。Qassでは、いろいろなログを組み合わせて分析したり、ランキングデータに活用したりと、ログデータはシステムの中核となっています。 第3回の今回はQassの検索基盤を支えるデータ集計基盤と、それによるデータ可視化、集計したデータを生
MySQL＋Apache＋PHPをインストールしよう（1/3） ― ＠IT
PHPとMySQL はじめに、PHP（Personal Home Page tool）について簡単に紹介します（注）。ご存じのように、PHPはWebアプリケーションの定番として定着しています。また、Strutsのような大規模開発向けフレームワークがもてはやされる一方で、PHPをはじめPerlやRuby、Pythonといったスクリプト系言語に代表される「Lightweight Language」が手軽さと機能の豊富さから近年再注目されています。特にDBやWebとの相性がいいPHPは、初歩的なWebアプリケーションから本格的な用途まで幅広く利用されています。 PHP 4.1まではおおむね順調にリリースされていたのですが、PHP 4.2で「register_globals問題」が大きく取りざたされました（コラム1）。ちなみに、快速MySQLでデータベースアプリ！の第5、6回で紹介しているPHPサ
＠IT：＠ITハイブックス連携企画 > Windows サーバー セキュリティ徹底解説
本記事は、＠ITハイブックスシリーズ『Windows サーバー セキュリティ徹底解説』（インプレス発行）を、許可を得て転載したものです。同書籍に関する詳しい情報については、「＠ITハイブックス」サイトでご覧いただけます。 「認証」とは、ひと言で説明すれば「本人であることを確認する作業」のことです。実社会においても、いたるところで認証が行われています。例えば、会員制のスポーツクラブに入館する際には、その受け付けにおいて会員証を提示しますし、海外に旅行する際には、その入国審査においてパスポートを提示します。これは、何者かが自分を偽ることを防ぐためです。同様にコンピュータのセキュリティにおいても認証は重要です。適切な認証を行わなければ、偽者が本人のふりをしてシステムを利用するおそれがあるからです。 Windows Server 2003では、ユーザー名とパスワードにより認証を行います。これが「ロ
＠IT：パケットフローから負荷分散の基本を理解する
サーバ負荷分散の基本構成と動作 負荷分散装置（ロードバランサ）のニーズは現在も高まる一方です。従来はWebサーバのみを主な対象としていましたが、現在ではルータ#1／アプリケーションサーバ／メールサーバ／SIPサーバ／ファイアウォール／VPNゲートウェイ／ウイルスゲートウェイ／IDSなど、多種多様の機器やプロトコルが負荷分散の対象となっています。それに応じてロードバランサも現在では非常に多機能となっていますが、本連載では、全3回に渡ってアプリケーションベースではなく、ネットワークベースの技術、基本となるパケットフローやサーバヘルスチェック、接続維持などの動作について紹介します。また、パフォーマンス測定についてもお話ししましょう。 #1 ルータはレイヤ3でインターネット回線のマルチホーミングとして機能する（＝複数のWAN回線を接続して、同時に通信させることで負荷分散し、必要な帯域を確保するし、
マクロとテンプレートによるrsyslog活用法
前回「rsyslogの導入」で解説したrsyslogの導入方法に続き、活用方法を紹介します。 rsyslogでは設定ファイルにマクロやテンプレートを適用することができます。ログの内容を自由に組み立てたり、ファイル名に日時やホスト名を付加することが可能です。また拡張モジュールを追加することで、ログをメールで送信したりデータベースに格納することができます。今回はそうしたrsyslogの活用方法を解説します。 注意：以降はrootユーザーにて作業を行います。Ubuntuのようにrootユーザーが直接使用できない場合には、sudoコマンドを使用します。rsyslogのインストール方法や基本的な設定方法は、第4回「rsyslogの導入」を参考にしてください。 rsyslogをバージョン3互換モードで動作させる 前回の「rsyslogの導入」では、rsyslogのインストール方法を解説しました。前半の
開発者が知っておくべき、ドキュメント・データベースの基礎
開発者が知っておくべき、ドキュメント・データベースの基礎：特集：MongoDBで理解する「ドキュメント・データベース」の世界（前編）（2/3 ページ） インデックスとリッチな検索処理 さて、ここまでは基本的な使い方を見てきたが、ここからは、ドキュメント・データベースらしい利点に着目して特徴を見ていこう。 ドキュメント・データベースがKey-Valueストア（KVS）のNoSQLであることは前述したが、ほとんどのドキュメント・データベースでは、このKey（上記の「_id」）以外のインデックス（index）を扱うことが可能であり、「アドホック検索に対応できる」という柔軟性も特徴の1つだ。特にMongoDBの場合は、その概念がRDBに慣れたエンジニアにとってなじみやすいものとなっている。ここでは、その辺りの特徴を見てみよう。 ●インデックスを使用した検索 まず、RDBを扱ったことがあるエンジニア
rsyslogの導入（1/2） − ＠IT
UNIX系OSのシステムロギングをおよそ20年の長きにわたって支えてきた「syslogd」にも、限界が見えつつあります。その限界を打ち破る機能を備えた新しいシスログデーモンを紹介します。（編集部） 前回までの2回にわたり「syslog-ng」のインストール方法と特徴を解説しました。syslog-ngはキャリアクラスの信頼性や豊富な機能を持ちますが、それと引き替えにsyslogdとの互換性を犠牲にしていました。一方、今回紹介する「rsyslog」は、syslog-ng同様、多くの機能と高い信頼性を実現しながら、syslogdの設定をそのまま使用することができます。 今回から2回にわたり、次世代syslogデーモンのもう1つの候補「rsyslog」を取り上げます。まず今回は、rsyslogのインストール方法を解説します。 rsyslogの特徴 「reliable（信頼できる）シスログデーモン」
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料で読める、東大／京大の「Python教科書」電子書籍
各ディレクトリの役割を知ろう（ルートディレクトリ編）（2/2）