Mroongaを使って全文検索Webサービスを作ったときにはまったこと(第1回) - CreateField Blog
前回のエントリに書いたように、１年半ほどをかけて、独学で特許の全文検索サービスを開発しました。 PatentField | 無料特許検索 最初は、MySQLを使ったこともない状態だったこともあり、かなり紆余曲折しました。Groonga開発チームの懇切な対応もあって、専用サーバ1台で最大で1千万レコード超、400GiB以上のサイズのテキストデータを高速に検索できるようになりました。 今後、何回かにわけて、Mroonga(Groonga)を使って全文検索Webサービスを作ったときにはまったこと、学んだことを全て書き出したいと思います。 全文検索エンジンMroongaとは？ Mroongaは全文検索エンジンであるGroongaをベースとしたMySQL用のストレージエンジンです。Mroongaは、MySQLが使える人であれば、簡単に高速な全文検索機能が使えます。MariaDB10.0系にもバンドル
MariaDB 10.0 GA記念 ダイナミックカラムって何？ - interdb’s blog
(2014.12.3追記：以下の書籍にも記述した。) (2014.4.16)微妙に反応があるので、PostgreSQLネタ追記。 PostgreSQLには古くから配列型や複合型というのがあって、似たようなことができる。 あと、MariaDBのダイナミックカラムをJSONで取り出すcolumn_jsonなんてのもあるが、PostgreSQLはネイティブなデータ型としてJSON型があるので、わざわざBLOBを使わずとも、最初からJSON型でデータ処理できる。 そもそも、こんな感じで自由にデータ型も追加できたりと、中の作りはPostgreSQLのほうが圧倒的に出来が良い。 以下、本文。 MariaDB 5.3で導入されたダイナミックカラムという機能が、MariaDB 10.0でかなり使いやすくなった*1。 これは、BLOB型のカラムの内部を独自フォーマットで分割し、一つのカラムに複数のデータを格
人類は Java をターミナル内で書く手段を確立していた - Qiita
X なしで Eclim を使う方法。 導入 Vagrant や Docker の流行により、気軽に仮想マシンを使う時代になっています。すると開発にも仮想マシンを使うようにしてホストマシンはできるだけ汚さない方向に持って行きたいことになる。手軽に使いたいため当然 X 環境などは構築しない。 ここで問題になるのは IDE を前提にした言語。 IDE はウィンドウシステムの中で動くため、仮想マシンを X なしで使うと IDE の機能を使えず開発が厳しくなってくる。 具体的に言うと Java 、ジャバ、ジャヴァである。 書くときはあまりにも長い名前をタイプしたくないため補完が欲しくなり、読むときは名前解決のためのタグジャンプが欲しくなる。 追記 僕のモチベーションは VM の中に開発環境を閉じ込めてしまいたくて、かつ X を使いたくないところにあります。そうじゃない人はホストマシンで開発なり VM
再発行 | サイフにやさしいSSL証明書
再発行手順 本画面から必要事項を送信。 次画面で、オーダー情報（契約満了日、請求書満了日など）を確認してから「送信」ボタン押下。 「請求メール送付先アドレス」あてに「再発行リクエストメール」が送付される。 「再発行リクエストメール」に記載のURLを3時間以内に開く。 CSRを送信する。DV証明書の場合は、ドメイン確認方法（メール認証・ファイル認証・DNS認証）も選択。 DV証明書：ドメイン確認を完了するとSSL証明書が再発行されます。 OV,EV証明書：ドメイン確認＆組織審査が完了するとSSL証明書が再発行されます。ただし、審査省略されSSL証明書が即時再発行される場合もあります。 再発行されたSSL証明書と中間証明書をサーバーへインストールすれば完了です。 ※リロードや戻るボタンでの操作をすると「正しくないアクセス方法と判定されました。」のエラーになることがあります。 再発行が必要なケー
homebrew-caskでインストールしたアプリをalfredから呼び出すときのメモ - Qiita
3 このとき、そのままインストールすると ~/Applicationsにインストールされてしまうので以下の環境変数を追加する。
GitHub - box/StatusWolf: Configurable operations dashboard designed to bring together the disparate datasources that operations teams need to manage and present them in a flexible and beautiful way.
You've heard this before, but this is a significant update to the StatusWolf code - the PHP backend has been completely rewritten using the Silex PHP framework. Functionally this release is targeted at being on par with the previous version (but better :-)). To that end there aren't any big new features, but there has been work at improving performance and usability. Various UI tweaks Changed the
Mroongaのラッパーモードからストレージモードに変えた理由 - CreateField Blog
前回は、全文検索Webサービスを作ったときにはまったことの第1回という記事を書きました。 今回は、Mroongaを使って全文検索Webサービスを作ったときにはまったことの第2回として、ラッパーモードからストレージモードに変えた理由について書きたいと思います。 なお、かなり長く、MySQL、Groongaについて前提知識がないと理解できない部分が多々含まれている可能性があります。 ラッパーモードとは 全文検索Mroongaストレージエンジンでは、全文検索するためにラッパーモードとストレージモードの2つのモードが用意されています。 (引用) ラッパーモードでは全文検索機能のみGroongaの機能を利用し、データストアはInnoDBなど既存のストレージエンジンを利用します。ラッパーモードを利用することにより、ストレージエンジンとして多くの利用実績のあるInnoDBに全文検索エンジンとして実績のあ
そろそろ理解しておきたいのでDockerのソースコードをビジュアルに読む！ - Qiita
まずはツールの紹介 昨今、注目を浴びているアプリケーションコンテナを作ったり管理したりできるDocker。 そろそろ中身も理解しておきたいところ。特に最近はlibcontainerというのができて、lxc依存すら切り離されているとの噂。 ただ、結構ソースコードの量も大きくなっているので（2014/4月現在 テストコード除いて70000行弱）、 さっと大まかに理解するためのツールを書いてみました。 このツールはgoのastからパッケージの間の依存関係を読んで、graphvizの解釈するdot言語に吐き出すツールです。 たとえば、最近話題のgo-xslateの全体像をつかもうと思ったら、 のようにすることで、 拡大 こんな感じにパッケージ間の依存関係を図示することができます。 これだけでも何となくどんな構造になってるかわかってきそうですね。 不安定性の表示 govizにはdot言語の出力の他に
WiresharkでSSL通信の中身を覗いてみる - ろば電子が詰まつてゐる
OpenSSLの脆弱性「Heartbleed」が世間を賑わせていますが、色々と乗り遅れてしまった感があるので、ゆるゆると落ち穂拾いをしようかと思います。 Heartbleedで秘密鍵を手に入れたらSSL通信の中身全部見えちゃうじゃん!! という事態になっていますが、なんとなく理論的にそうだろうなと分かるもののイマイチ具体的な手順が分からない。 というわけで今回のテーマとして、手元にサーバの秘密鍵と、SSL通信をパケットキャプチャしたpcapファイルがあるときに、Wiresharkでどんな感じでSSL通信を「ほどく」のか……という具体的な手順を、ハマり所を含めてまとめておこうかと思います。 というか、私自身がハマったので自分用メモですな。なおこの文書では"SSL"とだけ記述し、TLSは無視しています。 前提条件 とりあえず以下のような感じの検証環境で試しました。 IPアドレス 説明 ホストO
heartbleedをiptablesで止めることについて - yasulib memo
前書き OpenSSLの脆弱性（CVE-2014-0160）が公開されました。 詳細はpiyokangoさんの素晴らしいまとめを参照してください。 OpenSSLの脆弱性（CVE-2014-0160）関連の情報をまとめてみた - piyolog エフセキュアブログにて、トーマツの岩井さんが書いた興味深い記事がありました。 エフセキュアブログ : Openssl Heartbleed 攻撃の検知について ＃根本的な対策ではなく、あくまで攻撃検知という意味で。 iptables log rules iptables -t filter -A INPUT -p tcp --dport 443 -m u32 --u32 "52=0x18030000:0x1803FFFF" -j LOG --log-prefix "BLOCKED: HEARTBEAT" iptables block rules i
Elasticsearch 特徴まとめ
以前から気になっていたElasticsearch、いつの間にか バージョンも1.0.1がリリースされていたので、そろそろ情報収集。まずは、パッケージに含まれるREADMEから。 Elasticsearch とは？簡単に説明すると、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーション。オープンソースで提供されています。 http://www.elasticsearch.org/主な特徴は？READMEから主な特徴を抜粋。 ＊分散処理システムと高可用性サーチエンジン 各 Index は変更可能な数の Shard で完全に分割されている。Shard は、１以上の Replica を持つことができる。リード／検索処理は、Replica Shard のいずれかの一つで実行される。＊マルチテナントとマルチ Type １つ以上の Index をサポートI
Elasticsearch モジュール構成
Elasticsearch を構成している主要モジュールまとめ。 Modules.clusterdiscoverygatewayhttpindicesmemcachednetwork settingsnodetribe nodepluginsscriptingtext scoring in scriptsthread poolthrifttransportsnapshot and restoreCluster module.cluster モジュールは主にcluster 内の Shard の管理をしているモジュール。Shard の各 node への自動割当や、強制割当。検索時の自動的な node の選択などの管理を提供。 Discovery module.Discovery モジュールは、cluster 内の node の発見や、マスター node を選出するモジュール。 NOTE: El
elasticsearch : きょうもぼへぼへちゃんがゆく
27 4月 2014年04月27日 20:55 カテゴリelasticsearch elasticsearch勉強会にいってきた #elasticsearchjp 大人気の勉強会。よく、今回も席がとれました。 時間ができる都度ちょくちょくは触っているんだけど、 ガチで時間がとれないので、勉強会にいくことで、ちょっとブラッシュアップしている気持ちになってます。（すいません） そのうち、ガチで業務の導入検証をしたい。 さて。 ■「アナライズ処理の仕組みとクエリDSL」 by 株式会社シーマーク 大谷純さん(@johtani) 大谷さんのセッションは基本を説明してくれます。 ここで、いつも、あ、そうだった、そうだった！とか思い出させていただいています。 「アナライズ処理の仕組みとクエリDSL」 それと、ApacheSolrではみれるAnalysisの画面の情報をJSONでだしてくれるというもの。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - box/mysqlutilities: Box's MySQL Utilities