The Loggly service utilizes Elasticsearch (ES) as the search engine underneath a lot of our core functionality. As Jon Gifford explained in his recent post on Elasticsearch vs Solr, log management imposes some tough requirements on search technology. To boil it down, it must be able to: Reliably perform near real-time indexing at huge scale – in our case, more than 100,000 log events per second Si
We’ve been doing a ton of work with ElasticSearch. Not long ago, we had a few situations where ElasticSearch would “eat” all the JVM heap memory we give it. It was so hungry, we could not feed it enough memory to keep it happy. It was insatiable. After some troubleshooting and looking at SPM for ElasticSearch (btw. we released a new version of the SPM agent earlier this week, so if you don’t ha
連載目次 前回の「RubyのFile/IOクラスで入力と出力、ファイルの読み取りと書き込み、フィルター作成」では、データの入出力について解説しました。連載第11回に当たる今回は、スレッド、ファイバー、プロセスといったトピックについて解説します。 ThreadクラスやFiberクラスを使うことで、Rubyでも並列処理を記述することが可能です。また、前回紹介したIOクラスを使うことで、Rubyプログラムからプロセスを生成して入出力を行えます。 さまざまなプログラミング言語では並列処理のための仕組みが使えるようになっています。もちろんRubyも例外ではなく、ThreadクラスやFiberクラスを使って並列プログラムを書くことができます。 また、RubyからOS固有のコマンドを別のプロセスとして実行したり、自分自身をfork(フォーク)して別プロセスとしてRubyプログラムを実行したりすることがで
本記事は,Git Advent Calendar 2014の13日目に投稿させて頂いた記事です. モチベーション 自分を成長させながらいかに効率的に技術を伝承するかが自分の中で課題になっており模索中なこの頃.試しに,社内でGitを使ったことのないエンジニアに1週間(合計7時間)で開発に必要なGitの知識を講義したので,その時に使用した教材や効率的な学習方法を初心者向けに共有する. 背景 一昔前はイケてるエンジニアはGitを使ってプログラムを管理してるみたいな感じだったが,今となってはGitはエンジニアにとって必要不可欠なツールになった.Gitがあるからコードの2重管理はなくなり,Gitがあるから継続的インテグレーションや継続的デリバリーが活きる,Gitがあるから変更に対してコメントを残せる.Gitが無いと開発が成り立たなくなって来ているのだ.特に,Githubのヒット以降,その流れは加速し
Screeny makes screen capturing easy and gives you the freedom to capture your videos or images at any size. You can click & drag to resize the capture area or input the exact pixel dimensions to set to the size of the capture area. All the while you will get instant feedback on the capture area's current pixel dimensions. Screen casting just got a billion times better with Screeny. Now you can cap
Our Experience of Creating Large Scale Log Search System Using ElasticSearch At NHN we have a service called NELO (NHN Error Log System) to manage and search logs pushed to the system by various applications and other Web services. The search performance and functionality of NELO2, the second generation of the system, have significantly been improved through ElasticSearch. Today I would like to sh
In this post you will learn how to control ElasticSearch shard placement. If you are coming to our ElasticSearch talk at BerlinBuzzwords, we’ll be talking about this and more. If you’ve ever used ElasticSearch you probably know that you can set it up to have multiple shards and replicas of each index it serves. This can be very handy in many situations. With the ability to have multiple shards of
MySQL 5.6が登場してからかなりの月日が過ぎたが、他のことで多忙だったせいか、MySQL 5.6についてはあまりブログで情報を発信していないことに気がついた。これはイカン!!と思い、MySQL Casual Advent Calendar 2014に合わせて、MySQL 5.6を使用する上で最もオススメしたい機能であるクラッシュセーフなレプリケーションについて解説しようと思う。この記事は16日目の記事である。 レプリケーションがクラッシュセーフとはどういうことかクラッシュセーフとは、何らかの事情により、プロセスがダウンしたりマシンが電源ごと落ちたり(つまりクラッシュ)しても、再起動後に以前の状態に戻って処理を再開できるということだ。データのクラッシュリカバリであればみなさん既によくご存知であろう。(REDOやUNDOするアレのことだ。本稿では面倒臭い・・・ではなかった、本題ではないた
Elasticsearch は、Index や Type など論理的なインデックスを管理するものや、Shard や Replica、Node など物理的なインデックスを管理するものなど、主要要素がいくつもあるのでなるべくわかりやすく整理します。 論理的なインデックスElasticsearch の論理的なインデックスは、Index、Type、Document の3つの要素から構成されています。 論理的なインデックスの構成要素IndexIndex は論理的なインデックスを構成する一番上位のオブジェクトです。Elasticsearch は、複数のIndexをサポートしています。各インデックスを横断して検索することもでき、任意のインデックスのみ検索対象にすることもできる。 TypeType は、各 Index 毎に複数作成可能なRDBのテーブルのようなものです。Type はフィールドやインデックス
python × 120 javascript × 50 c# × 34 python3 × 31 html × 31 c++ × 28 linux × 27 c × 26 java × 21 windows × 20 android × 16 ruby × 16 google-apps-script × 16 php × 15 css × 15 reactjs × 15 typescript × 15 docker × 13 aws × 12 pandas × 12 swift × 11 ruby-on-rails × 11 mysql × 11 unity3d × 11 node.js × 11 ubuntu × 11 vscode × 11 postgresql × 11 rust × 10 macos × 9 visual-studio × 9 laravel × 9 networ
UPDATE: This article refers to our hosted Elasticsearch offering by an older name, Found. Please note that Found is now known as Elastic Cloud. 14-day hosted Elasticsearch no-cost trials are available on Elastic Cloud. Can Elasticsearch be used as a "NoSQL"-database? NoSQL means different things in different contexts, and interestingly it's not really about SQL. We will start out with a "Maybe!",
エンジニアの内田(@spesnova)です。 「実践!Elasticsearch」 の第二回として、今回は Chef を使って Elasticsearch クラスタを AWS の EC2 上に構築する方法を紹介します。 Chef の基本的な部分については説明を省きます。 目次 test-kitchen 環境準備 単体の Elasticsearch サーバーを立てる Elasticsearch プラグイン込みで構築する Nginx を追加してアクセスを制限する EC2 上に Elasticsearch クラスタを立てる test-kitchen 環境準備 Elasticsearch クラスタ構築は test-kitchen を使って進めて行きます。 demo 用の test-kitchen 環境を準備します。 Ruby, Chef, Berskfile VirtualBox ($ brew
「モノ」がインターネットにつながる IoTの普及がもたらす、いっそうパーソナライズされた未来型広告 |WireColumn 私たちの生活を大きく変える3つの領域における IoTデバイスを紹介し、そこから見える広告の可能性を考えます。 ●2014年は IoTが加速する!? 今年の1月7日~10日にアメリカで開催された世界最大規模の家電見本市CESでは、多くの IoTデバイスが紹介されました。IoTとは、Internet of Things(モノのインターネット)のことです。ここでいう「モノ」は電子機器からアナログな製品までいろいろ。これまではインターネットとは無縁だった「モノ」がインターネットにつながることで、より使いやすくなり、全く新しい使い道がでてきます。 現在、既に多くの IoTデバイスが存在しています。その数は100億台とされ、Cisco社によると2020年までには500億台になり、
バージョン5以降、開発コンセプトを大きく転換したJava EE。世界的には、この新世代のJava EEがエンタープライズJava開発のメインストリームを成している。だが国内を見渡してみると、まだ多くの企業システムが旧世代のJava EE(J2EE)で稼働している。日本オラクルが2014年5月に開催した「Java Day Tokyo 2014」では、旧来のJ2EEを使い続ける企業や開発者に対して、その弊害と最新のJava EEへの移行メリットを説明するセッションが実施された。講師を務めたのは、楽天でアーキテクトとして活躍する岩崎浩文氏(DU Financial Service Department Group Manager)である。 岩崎氏はこれまで15年間以上にわたり、さまざまな業種の大規模Java EEシステムの企画/開発に携わってきた。その経験から、特にバージョン6以降のJava E
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く