Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO
はじめに 初めまして、ブロガーとして出張してきました@smokeymonkeyです。 今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能 等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
.htaccessでBasic認証にチャレンジ
.htaccess活用法（１） .htaccess（拡張子がhtaccessということで、ドットが必要です。ファイル名がないので最初戸惑いますが、こういうものだと思ってください。）が利用可能だと、 アクセス制限（Basic認証）が可能。 特定のホスト（IPアドレス。プロバイダ）からのアクセスを制限することが可能 参照元（Referer）によるアクセス制限が可能（画像の直リンク禁止も可能） 特定のユーザーエージェント（ブラウザ・ロボット）からのアクセス制限が可能 ブラウザ経由でのアクセス（http://～）を拒否することも可能（大切なデータファイルを守る） リダイレクトが可能（ページの移転時などに重宝） 404 File Not Foundページのカスタマイズが可能。 拡張子別に文字コードを設定することが可能。（文字化け対策に必須の場合があります。） index.cgiやindex.phpを
Cloudera Blog
In an era where artificial intelligence (AI) is reshaping enterprises across the globe—be it in healthcare, finance, or manufacturing—it’s hard to overstate the transformation that AI has had on businesses, regardless of industry or size. At Cloudera, we recognize the urgent need for bold steps to harness this potential and dramatically accelerate the time to […] Read blog post
Apache URL Rewriting Guide
his document は http://www.apache.org/docs/mod/mod_rewrite.html にある Apache Group によるオリジナルの mod_rewrite マニュアルを補足するものです。ウェブマスターが普段、実際に直面している典型的な URL-based の問題を、mod_rewrite でどのように解決するかを記述しています。URL の rewriting ruleset を設定することによってそれぞれの問題を解決する方法を詳述してあります。 Table Of Contents はじめに 解決策 URL レイアウト Canonical URLs Canonical Hostnames DocumentRoot の移動 ディレクトリのスラッシュの解決 均一な URL 配置をした ウェブ・クラスタ 異なるウェブサーバへのホーム・ディレクトリの移
What is big data analytics? Fast answers from diverse data sets
Analyzing large volumes of data is only part of what makes big data analytics different from traditional data analytics There’s data, and then there’s big data. So, what’s the difference? Big data defined A clear big data definition can be difficult to pin down because big data can cover a multitude of use cases. But in general the term refers to sets of data that are so large in volume and so com
Ambari -
Introduction The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an intuitive, easy-to-use Hadoop management web UI backed by its RESTful APIs. Ambari enables System Administrators to: Provision a Hadoop Cluster Ambari provides a step-by-step wizard for installing Hadoop ser
LogFormatディレクティブ：ログファイルのフォーマットを定義する
Apache では Apache で起動している Web サーバにアクセスしてきたユーザーのログを残すことができますが、ユーザーの情報の中からどのようなデータをログとして残すのかについてログのフォーマットを定義することができます。ここでは Apache のログファイルで使用するフォーマットを設定する方法について解説します。
Emerge Technology: VisitorsでApacheのログ解析
dev (147) diary (105) python (94) 生活 (67) 製品/プロダクト (53) ランチ (48) 学び (41) mac (27) golang (15) linux (14) iphone (13) misc (12) おやつ (11) イベント (11) 仕事術 (11) 分散 (10) スキル (8) html (7) キャリア (7) ワークスタイル (6) 技術動向 (6) 趣味 (6) java (4) websocket (4) アーキテクチャ (4) 就職/転職 (4) グルメ (3) apache (2) js (2) solr (2) ショッピング (2) 料理 (2) IT (1) apple (1) kindle (1) lucene (1) oracle (1) rdbms (1) windows (1) ► 2014 (15) ►
Apache TomEE
Apache TomEE, pronounced "Tommy", is an all-Apache Java EE 6 Web Profile certified stack where Apache Tomcat is top dog. Apache TomEE is assembled from a vanilla Apache Tomcat zip file. We start with Apache Tomcat, add our jars and zip up the rest. The result is Tomcat with added EE features - TomEE. Download Apache TomEE Now » and get started today! The Web Profile version of TomEE contains CDI
［第5回］Hadoopクラスターのアーキテクチャー MapReduce編
Apache Hadoopが登場したのは2006年。2011年にビッグデータ元年を迎えた日本でも、Apache Hadoopは有名になりました。Apache Hadoopとのコネクティビティーを強く意識し始めたソフトウエアベンダーは、DBベンダーにとどまらず、BI（ビジネスインテリジェンス）やDWH（データウエアハウス）ベンダーにも広がっているようです。 しかしHadoopの応用は一筋縄ではいかないことも事実。今回はクラスターでのMapReduceの動作アーキテクチャーを、2012年6月現在世界中で最も使われている従来の0.20系（バージョン1）と、今後利用されていく最新の0.23系（バージョン2）の両方について解説しましょう。 0.23系にはMapReduceの部分で大きな変更があります。0.20系の解説を一通り学んだだけで「Apache Hadoopの概要は大体理解した」と安心してはい
JMeterでの負荷・性能テスト - shibainu55日記
システム開発のでは製造・構築フェーズが終わると当然のことながら各種テストを行う。今回は、その中でもよくシステムテストと呼ばれるフェーズに含まれることの多い負荷・性能テストに関するお話。 ＜テストツールの検討と選定＞ 私の経験では、これまで行ってきたテストでは、規模やシステムの特性に応じて以下のようなテストツールを選定・使用してきた。 OSS等のフリーのテストツール(JMeter、Apache Bench、httperf、http://www.microsoft.com/japan/technet/archive/itsolutions/intranet/downloads/webstres.mspx?mfr=trueMS Web Application Stress Tool) 自作テストツール(Perl、シェルスクリプト等) 商用テストツール(Loadrunner等。※個人的にはあまり経
GNU awk (gawk) を用いた Apache ログ解析方法
2. 自己紹介 斉藤博文 日本 GNU AWK ユーザー会主宰。 hi_saito@yk.rim.or.jp @hi_saito http://gauc.no-ip.org/awk-users-jp/ さて、今回の課題です。 3. 目的 Apache のログを簡単に整理したい。 combined 形式でも common 形式でも手 軽に処理したい。 項目分割を簡単にしたい。 コードの量を少なく、分かりやすくしたい。 でも awk は Apache の処理が苦手です。 4. 何故、苦手なのか 何故、苦手なのか? Apache のログ項目は 3 つの形式がある。 スペース区切。 → awk で処理できる。 ダブルクォートで囲まれて中身にスペースが含ま れる。 大括弧で囲まれて中身にスペースが含まれる。 そんな時には GNU awk (gawk) です! 5. 形式の combined 形式のロ
fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
mod_log_config - Apache HTTP サーバ
概要 このモジュールはクライアントのリクエストを柔軟にログ収集する機能を 提供します。ログはカスタマイズ可能な書式で書かれ、ファイルに直接 書いたり、外部プログラムに渡したりすることができます。個々のリクエストを 特徴に応じてログに書いたり書かなかったりできるように、条件による ログ収集も提供されています。 このモジュールは三つのディレクティブ提供します: ログファイルを作成するための TransferLog, 新しい書式を 定義する LogFormat, ログファイルと 書式を一度に定義する CustomLog です。 各リクエストが複数回ログ収集されるようにするために TransferLog ディレクティブと CustomLog ディレクティブは複数回使用することができます。 カスタムログ書式 LogFormat ディレクティブと CustomLog ディレクティブの書式を指定する引数
Fluentdとは - ぽにくすじゃないだいありー
fluentd | 23:34 | fluentdはプラグイン構造と構造化データとリアルタイム処理が特徴のログ収集ツールで、自由度がきわめて高くログを扱うためのクラスタを構築できる。入力・出力・バッファにそれぞれプラグインを使うことで、様々な入力を構造化し、様々なフィルタリングやバッファリングを行い、様々な出力先に出力することができる。いくつもの言語にFluentロガーが用意されているのでそれ経由で出力することもできるし、テキストログをパースすることで既存のシステムに変更を加えず新しくログ収集の仕組みを追加することもできる。あえて難点をいうとRuby1.9系でしか動かないので、Ruby1.9.xをインストールするか、td-agentというパッケージを導入しなければならない(td-agentに関してはまだ試してない。セッションを聞いた限りではRubyを同梱したfluentdパッケージだと思う
Hadoopを基幹システムに、EMCとノーチラス・テクノロジーズがソリューション提供
基幹バッチシステムの高速処理、信頼性および運用性を高めるためのソリューションを、EMCの「Greenplum HD Enterprise Edition」と「Asakusa Framework」を組み合わせて提供する。 EMCジャパンは1月19日、分散処理フレームワーク「Hadoop」をベースにした企業向け製品「EMC Greenplum HD Enterprise Edition（EE）」の発売と、同製品と基幹システムでの高速バッチ処理を実現するためのソフトウェアフレームワーク「Asakusa Framework」を組み合わせた「Enterprise Hadoop」開発運用ソリューションをノーチラス・テクノロジーズ（福岡市）と提供することを発表した。 Greenplum HD EEは、オープンソースで公開されているApache Hadoopをベースに、パフォーマンスや信頼性、運用性の向上
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ApacheがGoogleのリアルタイムビッグデータツールDremelのオープンソースクローンDrillを （TechCrunch Japan） - Yahoo!ニュース
ApacheがGoogleのリアルタイムビッグデータツールDremelのオープンソースクローンDrillを
Cloudera | ハイブリッドデータカンパニー
