The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

This site uses cookies. By continuing to browse the site, you are agreeing to our use of cookies. OKLearn more We may request cookies to be set on your device. We use cookies to let us know when you visit our websites, how you interact with us, to enrich your user experience, and to customize your relationship with our website. Click on the different category headings to find out more. You can als

皆様こんにちは. 最近｢きんいろモザイク｣という合法麻薬にずっぽりハマっている@__papix__です. さて, ご存知の方も多いとは思うのですが, 3月頃からGaiaXの2015年度の新人エンジニア研修のカリキュラム作成とかに従事しておりました. エンジニア研修の様子については, 会社のエンジニアブログでも何度か紹介しているので, ご覧になって頂いた方も多いのではないでしょうか. gaiax.hatenablog.com gaiax.hatenablog.com GaiaXの新人エンジニア研修は, この規模(エンジニアの採用が毎年3〜6人程度)の採用の割には, かなり力が入っているなあと(個人的に)思っています. かく言う私も昨年, 当時GaiaXにいた@yuukigoodmanさんの指導下で5月〜6月の2ヶ月間にわたる新人エンジニア研修に挑戦していた訳ですが, エンジニアとしての基礎力

皆様はじめまして．リクルートテクノロジーズでエンジニアをしている相野谷と申します． 先週開催された第3回Elasticsearch勉強会で「Elasticsearch+DynamoDB+Node.jsで作る全社基盤」というタイトルで，独自開発したシステムでのElasticsearchの利用例を紹介させていただきました． 発表スライド自体は既にupされていますが，それだけでは初見の人に分かりづらいと思いますので，解説記事を上げさせていただきます． スマホアプリのためのプッシュ通知基盤 今回開発したシステムは，「リクルートグループが開発するスマホ用のアプリでプッシュ通知を送るための基盤」です．このプッシュ通知基盤が提供する条件指定プッシュという機能のために，Elasticsearchを使用しています． システム構成 本システムはリクルートで開発される全アプリから利用されることを想定しているため

脱単なる一覧表示！俯瞰できる検索結果を利用者へ提供することで、効率のよい情報収集と今まで知らなかった情報を気づかせる。 もしかしたら、クエリー関連の記事を書くのははじめてかも。基本は飛ばして、いきなりAggregationです。そのうち基本も書きます。 Aggregationと言うとファセット検索で使用したり、集計したりどちらかと言うと分析関連で使われることが多そうな気がしますが、今回はいわゆるブログや企業サイト等で利用されているサイト内検索をAggregationを使ってもっと便利にしたいと思います。それと query DSLの説明も。 と言うわけでいきなりデモです。 Demo Top hits aggregation . デモアプリのあまりの殺風景さに戸惑わないでください。。例えば「日本語で全文検索」などElasticsearchに関連する質問を入力すると検索結果が表示されます。このデ

この記事には最新版があります Elasticsearch2.1.1とKibana4.3.1の環境をVagrantコマンド一発で構築する まえがき Elasticsearch Advent Calendar 2日目の記事です。 今思えば、実案件に投入したこともないのに参加してしまったなぁと内心ビビっているのですが、このAdvent CalendarをきっかけにElasticsearchやKibanaを触ってみようと思った方が、ストレスなくElasticsearchを体験できるような記事を書ければと思います。 環境構築の方法 今回の記事では2通りの環境構築について紹介します。ひとつはVagrantを使用する例、もう一つはAnsibleを使用する例となります。 事前準備 Vagrant、Ansibleのどちらを使うにしても、この記事向けに作成したGitリポジトリーをcloneする必要があります。

toyama0919/ejというツールを作りました。 ちょっとデータ確認したいだけなのにkibana開いて検索条件を入れるのは結構な手間です。 かといってcurlも長くて辛いし、、json書くのがどうも慣れません。 ejというruby製のCLIを作ったので紹介します。 インストール $ echo '[{"hoge":"huga"},{"fuga":"hoge"}]' | ej -b -t test $ ej -s [ { "hoge": "huga", "@timestamp": "2014-12-10T00:12:21+09:00" }, { "fuga": "hoge", "@timestamp": "2014-12-10T00:12:21+09:00" } ] $ ej -s --no-source-only { "took": 1, "timed_out": false, "_sh

まえがき これはElasticsearch Advent Calendar 7日目の記事です。 今回はElasticsearchをコンテンツの検索として利用した際にElasticsearchで検索ログも収集・利用する方法についてです。 私はAdvent Calendar参加が今回初めてになります。 もし分かりにくいところがあったらツッコミお願いします。 はじめに Elasticsearchは主に「コンテンツ検索」と「ログ管理」の二通りの使われ方をしています。 「コンテンツ検索」は、記事やユーザのコメントなどの文章をESで検索する利用方法です。日本語の検索がメインになるので、正規化や形態素解析辞書、同義語辞書の管理などが課題になります。 「ログ管理」は、みんな大好きFluentdとKibanaなどを組み合わせてアクセスログを グラフ化したり、エラーログを検索できるようにする活用方法です。 こ

実は検索エンジンの会社で働いていたことがあります。 ぶっちゃけ検索エンジンのテクノロジーの奥深くについてドップリ詳しいわけではありませんが、昨今のシステム開発に置いて検索技術の重要性は重々承知していいます。 自分の会社では今はカッコイイことをしておらず、永続ストアはGoogle Docs、Excel(!!!)、H2データベースにあり検索エンジンは導入できていません。 日々あらゆるデータソースを探し回っている残念な状態です。 当然ながらこれから検索エンジンを導入するならばElasticsearchを使うのが自然な流れだよね、と思いつつ手を動かせていなかったので背水の陣でElasticsearch Advent Calendar 2014にエントリした次第です。 前置きが長くなりますがもう少し前置きがあります。今弊社には実はElasticsearchの社員がおり、毎日左隣でElasticsea

これは Elasticsearch Advent Calendar 2014 22日目の記事です。 今回は、プロダクション環境で、流行りのFluentd+Elasticsearch+Kibanaでログ可視化というのを数ヶ月やった中で苦労した点とかはまった点を書いてみます。 というか、書き終えて思うとこれからやる人はここに気をつけた方がいいというような内容になってしまったので、既に運用されている方にはあまり役に立たないかもです。。 内容は、大きく下記3つです。 ①集計(検索)の条件を考えてtemplateでnot_analyzeを指定しておく ②スキーマ変更があるindexは、日単位でindex作るべし ③数値型フィールドの罠(Fluentd寄りの話) 前提として、この流れで収集しているのは下記4パターンのログ達。 ・Apache accesslog ・Apache errorlog ・Ap

日本語の文章を形態素解析するときは、トークナイズする前に文字列の正規化を済ませて検索精度を向上させよう！ この記事は、Elasticsearch Advent Calendar 2014 の１８日目のエントリーです。即席で申し訳ないですが、なんとかまとめましたので是非最後までお付き合いください。 今回は、日本語形態素解析における文字列正規化のお話です。 それでは早速本題に。 非正規化された日本語の文章を形態素解析を使って、なるべく意図したようにトークナイズするためには、全角英数字を半角英数字に正規化したり、半角カタカナを全角カタカナに正規化したり、不要な文字を除外したり、単語ではなく、文字単位での正規化が重要になってきます。 Japanese (kuromoji) Analysis Plugin のページでも紹介されているように、全角英数字や半角カタカナの正規化には、CJK Width F

ElasticsearchのQuery DSLはJSONフォーマットで、複雑なクエリも書けて便利なのですが、その反面プログラム内に記述してしまうと、全体像が把握しづらく、メンテナンスしづらいことがあります。 ElasticsearchのSearch Templateを使っても良いのですが、使用するにはElasticsearchへの事前の登録が必要だったり、Elasticsearchに関する検索クエリー以外の学習も必要なってきます。 そこでフロントエンド開発者がElasticsearchをバックエンドに検索アプリケーションを開発する際のQuery DSLプログラミング方法についてご紹介します。 その方法はタイトルにもあるようにHTMLやXMLを描画するために使用するテンプレートエンジンを使う方法です。 最近のテンプレートエンジンはHTMLやXML以外のフォーマットも出力できたり、もともとロジ

今なら無料アカウントを登録してすぐに利用開始！Elasticsearch as a service「Siba (シーバ)」よろしくです。 www.siba.tokyo １０年近く検索エンジンを使用したソリューション開発をしてきた筆者ですが、Elasticsearch の出会いは衝撃的でした。 まず最初に驚いたのは、サーバーのクラスタリング構成の簡単さ。社内のネットワーク内に複数の Elasticsearch を起動しただけで、クラスタリングされてしまったのです。これまで、他の検索エンジンでも複数台のサーバーでクラスタリング構成を組むことができるエンジンはありましたが、その設定と運用は大変なものが多く、エンジニア泣かせでした。 他にもスキーマレスやマルチテナントと言った特徴では、いきなりデータをプッシュしただけでフィールド定義や言語処理などが自動的に定義され、すぐに検索することができてしまい

Percolator とは？ろ過器。 その名の通り、雑多な情報の中から欲しい情報だけを拾い(あれば)通知する、といったことができるElasticsearchの機能です。ちょっと変わっているのが、「ドキュメントをさがす」のではなく、「条件(クエリ)をさがす」ところです。 このElasticsearchのPercolatorに関する公式ガイドは何度読んでもなかなか理解できなかったので(私だけかもしれませんが)、概要をまとめてみたいと思います。 〜 MEMO 〜 Elasticsearch 0.9 と1.0以降とでPercolatorの設計が変わったようです。 0.9では、”_percolator”という1つのINDEXの位置づけでしたが、1.0以降は、INDEXの中のTYPEの位置づけになりました。 仕組み標準的な検索では、ドキュメントをINDEXし、条件を指定したクエリを発行して検索しますが

前回の記事では、Elasticsearch River Webを使用したサイト (HTML) のインデックス、クローリング設定〜検索確認までの基本的な手順を紹介しました。今回は、多くのコーポレートサイトに存在する「PDF」をクローリング対象とし検索するための手順をまとめたいと思います。 必要なPluginのインストールMapper Attachments Type for Elasticsearch PDFデータは、Elasticsearch標準のstringなどのフィールドtypeではなく、 ”attachment”というtypeを定義してインデックスします。 また、”attachment”は、PDFだけでなくMicrosoft OfficeやOpen Documentなどのフォーマットもbace64エンコードしてインデックスできます。(詳細はサポートしているドキュメントリストで確認でき

日本語は、分かち書きしない言語のため日本語でちゃんと全文検索できるようにする為には、検索対象のコンテンツの内容、利用するユーザーのスキルなどを考慮しなければ検索精度を向上させることは非常に困難です。逆を言えば、検索対象のコンテンツ、利用するユーザーのスキルが変われば設計が変わってくると言えます。 日本語を検索できるようにトークナイズするには、代表的なものに形態素解析とN-グラムがあります。簡単に説明すると形態素解析を検索で使用すると、単語単位で検索するため、適合率が高く（マッチ度が高いものが検索される）、再現率が低くなります（検索漏れが多くなる）。例えば、キーワード ”京都” では、”東京都” はヒットしません。一方、N-グラムを検索で使用すると、データベースのLike検索に近い検索が可能になり、形態素解析とは逆に、再現率が高くなり、適合率が低くなります。 これらの日本語解析の特徴と、検索

Elasticsearch では、すでに日本語で全文検索する為のトークナイザーやノーマライズなどの加工処理で使用するフィルターなどがビルトインまたは、サードパーティ製のプラグインとして多数存在します。 ここでは、日本語全文検索で使用しそうなトークナイザーやフィルターなどを説明します。 主要モジュールNGram Tokenizer N-グラムを提供するトークナイザーです。Elasticsearch にバンドルされています。Japanese (kuromoji) Analysis for Elasticsearch 日本語形態素解析を提供するプラグインです。各種 Analyzer、Tokenizer、TokenFilterが含まれます。cjk_width Token Filter 半角・全角などを統一するためのフィルターです。Elasticsearch にバンドルされています。Lowercas

パッケージに含まれているREADMEを参考に、Elasticsearch のダウンロードからインデックス〜検索までの手順まとめ。 INSTALLATION.downloadElasticsearch の最新バージョンをここから入手して、解凍。基本的にインストールはこれだけ、プロダクションのサーバーにセットアップするときは、apt や yum のリポジトリも用意されています。 $ tar zvxf elasticsearch-1.0.1.tar.gzsettingsElasticsearch を起動するには、Java 6 以上が必要です。使用するJavaはJAVA_HOME 環境変数で設定します。 $ export JAVA_HOME=`/usr/libexec/java_home`japanese (kuromoji) Analysis for Elasticsearch日本語が検索できる

Elastic Stack (Elasticsearch) Advent Calendar 2020 の 12月21日のエントリーです。

今回は、サービス作成作りのための効率的なアイデアメイキングということで書きたいと思います。 今までのハッカソンの中での経験から、アイデア出しの手法について共有したいと思います。基本的にはWebに載っているものが多いですが、独自の手法や既存の手法を改造したものなどもありますので、ぜひチェックしてみてください。 また、今回はお金がかからずに、すぐできる手法を集めました。各アイデア出し用のアイデアシートも作成したので活用してみてください！ アイデアメイキングとは？ アイデアメイキングは、アイデアの種を思いつくところから、具体的なアイデアとして醸成するところまでをいいます。 主なアイデア出しの段階をあげると、以下のようなものがあります。人によってアイデアの出し方の順番は前後しますが大体下のようなことを知らないうちに考えていることが多いです。 アイデアメイキングの段階 種探し テーマ探し 発散 収束

image via. Flickr <Pick Up> What I learned by reading Businessweek’s incredible 38,000-word article on code ライターでプログラマーのPaul Ford氏が書いた「What is Code」という記事が注目を集めてる。コードについて、専門家ではなくても理解できる形で語るこの記事は、38,000語から成る超大作。ピックアップした記事の著者は、完読するのに82分かかったそう。 実際の記事を読むに越したことはないけれど、時間がない人のために大事なポイントが要約されていたので、一部をご紹介します。 あらゆるものを動かすのはソフトウェアだーーWindowsやFlappy Birdに限らない。銀行のATM、エレベーター、洗濯機、わたしたちの生活のあらゆるものを動かすのは、その裏側にあるソフトウェア

ソフトウェアの開発プロジェクトには、目に見えないソフトウェアを作っているがゆえに「プロジェクトの進捗が分かりにくい」という悩みがついて回ります。 そこでプロジェクトマネージャが開発メンバーに進捗を聞いて回ることになるのですが、「ほぼ予定通りです」「3日後には終わる予定です」という報告を受けていても、いざ納期直前になって実は大幅に遅れていたことが発覚、プロジェクトが炎上を始めるという例は枚挙にいとまがありません。 こうした状況を改善するには、まずはプロジェクトの進捗を可能な限り「見える化」し、問題の早期発見と対策ができるようにしなければなりません。見える化が実現することで個々のエンジニアがどのような作業にどれくらい取り組んでいて、どのような課題を抱えているのかが分かるようになります。 と同時に、「エンジニアは遅くまで残業しているみたいだけど、本当に効率のいい作業をしているのか？」といった、ソ

LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目の技術でもあります。 今回は、その中で全文検索サーバとしての切り口で分かりやすく解説された6つの記事を紹介します。 （追記）Hello! Elasticsearch. — Medium ナレッジワークス株式会社のKunihiko Kidoさんによるとても分かりやすい記事です。 https://medium.com/hello-elasticsearch 2014年4月に入ってから怒濤の勢いでこれらのステキな記事が追加されています。 Elasticsearch Features — 主にシステムを中心とした特徴まとめ Elasticsearch Quic

私は、レンダリングの五反田として知られているようだ。実際、国内外の各種カンファレンスで物理ベースレンダリングに関する発表を多く行っているのだから、そのように見られるのは無理もないことだ。しかし開発会社の経営者として、また技術者として、レンダリングだけがゲーム開発に重要な技術と考えているわけではない。むしろ近年においては、他に重要な要素技術が増えている結果、重要性は相対的に下がりつつあると考えている。 実際、レンダリング技術は見た目で一番わかり易いので注目されがちではあるが、ゲーム開発に要求される様々な技術の一部に過ぎない。最も重要なのは、ワークフロー、ツールなど、ゲームでは直接目に見えないもので、これらは制作会社やチームの「文化」を直接反映する。そして、その「文化」は、そこで働くクリエイター自身ですら気付いていないことがある。個人的には、独自文化の発展を重要課題として捉えている。なぜなら、

Former Autonomy chief executive Mike Lynch issued a statement Thursday following his acquittal of criminal charges, ending a 13-year legal battle with Hewlett-Packard that became one of Silicon Valley’s biggest…

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

CompanyEngineeringProductSunsetting AtomWe are archiving Atom and all projects under the Atom organization for an official sunset on December 15, 2022. January 30, 2023 Update: Update to the previous version of Atom before February 2 On December 7, 2022, GitHub detected unauthorized access to a set of repositories used in the planning and development of Atom. After a thorough investigation, we hav

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

www.ospn.jp 滞在時間20分 この後も予定があったので急いでいたため，適当に地図を見てたら道を間違えて迷子になった．ちなみに帰りも迷子になった．汗をかいて完全に濡れオタク． 展示ブースでは，どこかで見たことのあるかのんくん(@HOMOMAID)にハグされそうになった．ローカルさんの売り子？してたっぽい．元気そうでなにより．あとsapporo.cppなるコミュニティの方とお話した．つよそうだった．最後に，帰ろうとしたらえむけーくん(@mktakuya)から電話で呼び出しをくらってポメくん(@pome_11)とふっくん(@fk2763owl)とお話した．めちゃ楽しそうだった． 感想 OSCに参加するのは初めてだったけど，こんなにたくさんコミュニティがあるとは思わなかった．熱かったです．今後もし機会があったらまた参加したいかも．

GitLabにマージリクエストを送ってみました。 gitlab.com 以前の経験からGitLabの開発チームはGitHubはほぼ見てないことを知っていたのでGitLabから送ってみました。 catatsuy.hateblo.jp ちなみに上のエントリに出てくるGritが使われている箇所は現在ではすべてRuggedに書き換わっているので状況は変わっています。 マージリクエスト送った！ / “'created_at DESC' is performed twice (#825) | Merge Requests | http://t.co/LLbgkxK7A7 / GitLab Comm…” http://t.co/F91TCk67US— 健康診断@4/26 (@catatsuy) 2015年6月16日 GitLabの人たちはGitHub見てないのでちゃんとGitLabから送った— 健康診断

さぁ Unity 使えるようになろう！って意気込んでドットインストールのレッスンを受けてみた． https://dotinstall.com/lessons/basic_unity Unity 開発とはこういうものなんだっていう全体像を学ぶことができて個人的に神レッスンだった．ホントに神！ 1人で闇雲に触ってても絶対ここまで理解深まらないし，有料研修を受けてるようだった．このあたりのテーマを学べるのですよ！ Unity IDE の操作 Transform Material Rigidbody Directional Light GameObject の階層化 Prefab Script (JavaScript) キー操作 衝突判定 Unity IDE Tips ドットインストールのレッスンから学んだ Unity IDE Tips を社内で紹介したら「お！知らなかった」的な声もあって少し自慢

２０００年代、女性の歌手の曲で歌詞しかわからない曲があります 歌詞だけ、しかもサビの部分しか覚えていません ２０００年代、女性の歌手の曲で歌詞しかわからない曲があります 歌詞だけ、しかもサビの部分しか覚えていません 「君の胸で稚内、君のために稚内、ﾐｷﾌﾟﾙﾌﾟﾙｴｴ､ｱｰｱｰ、ﾐｷﾌﾟﾙﾌﾟﾙｴｴ､ｱｰｱｰｱｰ」 こんな感じのサビだったと思います。うろ覚えですいません タイトルが分かる方よろしくお願いします

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

いつもはてなブックマークをご利用いただきありがとうございます。 Medium、ブクログ、ブロマガ、STORYS.JP、これら4つのコンテンツ・プラットフォームの公式アカウントがはてなブックマーク上に開設されました。運営者の視点で各サイトからおすすめの記事をブックマークしていただきます。未読の良質なコンテンツの発見にお役立てください。 Medium Medium Mediumは、ツイッターの共同創業者エヴァン・ウィリアムズさんが2012年に立ち上げたWebサービスです。オンラインで質の高い文章が書かれ、共有される世界は、はてなブックマークの目指しているインターネットの理想でもあります。このアカウントでは、Medium Japanの編集者が、日本語で書かれたMediumのストーリーをブックマークしていく予定です。 medium_jpのはてなブックマーク ブクログ ブクログ - web本棚サービ

はじめに @smokeymonkeyです。ここまで「とにかくElasticSearchをAWS上で動かす」ことを中心に調べてきました。ここで一度ElasticSearch自体の構造について整理したいと思います。 ElasticSearchの構造 ElasticSearchは大きく以下のようなデータ構造になっています。 index ... その名の通り索引です。このindexに検索対称のドキュメントを格納します。Indexは複数もつことが出来ます。 type ... 格納するドキュメントを種類によって分別することが出来ます。同じfieldリストを持つdocmentの集合体であり、データベースで言えばテーブルに相似します。 document ... 格納されたドキュメントです。また個々のドキュメントの識別子をidと呼びます。ドキュメントは1つ以上の項目(field)を持ち、データベースで言えば

いまさら fluentd（まだ） をはじめてみた Apache + Elasticsearch + Kibana なにそれ美味しいの？、その４FluentdVagrantElasticsearchkibana3CentOS6.5 いまさら fluentd はじめてみる４ その前に、Elasticsearch + Kibana のインストール方法がバージョンにより色々とあり、毎度のごとくはまる私。2014/7/4版として最新の Elasticsearch + Kibana を簡単にインスコできるようになったので自分メモ。 Elasticsearch + Kibana って 日本語全文検索エンジンですって。懐かしい Namazu を思い出しますわ。歳がばれてしまいますねｗ 実践！Elasticsearchであるように、蓄積データに対しクエリーを発行できるんですね～ それを Kibana を使用

プロダクション環境でElasticsearch+kibana(fluentd)でログ可視化運用をしてみてわかった事でElasticsearchのマッピングについて記事を書いたところ、下記のようなツッコミをいただいたので実際に試してみた。 @johtani ありがとうございます。試してみましたが、APIでindexに対してマッピング追加出来ました。テンプレート+APIで当日分のマッピング追加すれば無駄データは出来ないですね！後で追記しときます。— shnagai (@shnagai) December 22, 2014 内容は、新しいフィールドが追加される時に、事前にスキーマ定義しないと型がStiringのanalyze(分かち書きあり)にされるので、事前にテンプレート作りましょという内容を書いたのですが、既存のインデックスについてもフィールドのスキーマ変更出来るという事でした。 今回の例で

https://twitter.com/johtani/status/462624729577189378見つけたので勝手に掲載させてもらいました。確かにこの方が簡単ですね。 手順を調べたのでメモ。 # Kibana プラグインのインストール $ bin/plugin -url http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip -install elasticsearch/kibana3# ブラウザアクセスURL http://localhost:9200/_plugin/kibana3/NOTE：古いバージョンがインストールされてしまうので、インストールするとき、-url で最新版を指定した方が良さそうです。 インデックスの作成とマッピング定義日本語を含むツィート情報をインデックス、グラフ化したいのでTwi

Each field has a field data type, or field type. This type indicates the kind of data the field contains, such as strings or boolean values, and its intended use. For example, you can index strings to both text and keyword fields. However, text field values are analyzed for full-text search while keyword strings are left as-is for filtering and sorting. Field types are grouped by family. Types in

目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作

先日2014年9月9日(火)に開かれた『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』　出版記念！執筆者が語る大講演会！で、「Kibanaで始めるダッシュボード」というタイトルで発表させて頂きました。会場のGMOのみなさま、Treasure Data、技術評論社のみなさま、どうもありがとうございました。 養成読本で担当したKibanaの内容を中心に、Kibanaをつかったらこんなかんじで簡単にダッシュボードをはじめられるよ、という内容を発表しました。こういうかんじのログがあれば、とりあえずKibanaにつっこむだけで皆様の生活にダッシュボードを見る時間を組み込めるのではないでしょうか。Kibanaをはじめとしたダッシュボードを見ることがテストを書くことと同じように、業務として一般的になっていくんじゃないかと思っています。 Kibanaの詳しい使い方は本にたくさん書いたので是非買っ

GTD®無料体験セミナーを開催しています。 生産性を飛躍的に向上させるGTDメソッドを、無料で体験できるチャンスです！　レベル1の公開セミナーへの参加をご検討している方も、ぜひお試しください。

科学はその方法論上のイメージよりもはるかに”ぞんざい”かつ”非合理的”なものである。 Paul Feyerabend著『Against Method（方法への挑戦）』（1975年） プログラミング言語は魅力的な分野です。それは、計算機科学（と論理）を 社会学や人間とコンピュータの相互作用 、科学的に定量化できない直感や嗜好、そして（良くも悪くも）政治などを含む分野と結び付けてくれるからです。 プログラミング言語を話題にする場合、たいてい何らかの客観的な真実を追求する科学的議論になってしまいます。科学は完璧のオーラに包まれているため、科学的本質の核心部だけに集中し、他の部分を無視するのが正しいプログラミング言語の考え方だと単純に思ってしまうのも無理ありません。 しかし、これではプログラミング言語を面白くしている多くのものが除外されてしまいます。この隙間を埋める1つの方法は、科学の哲学に目を向

スクエニ、『HEAVENSTRIKE RIVALS』でPvPチャット機能などをシステムアップデートで追加…今後のアップデート情報も先行公開 スクウェア・エニックスは、タクティカルRPG『HEAVENSTRIKE RIVALS』(ヘブンストライク ライバルズ)において、PvPチャット機能、コア初回購入時ボーナス追加などのシステムアップデートを実施した。また、期間限定の新ユニットが登場するガチャの追加を実施している。 ■システムアップデート内容 『ヘブンストライク ライバルズ』はクライアント更新で以下のシステムアップデートを実施いたしました。 ●コア初回購入ボーナス アップデート後、初回コアパック購入時のみボーナスのコアを入手できます。 ●PvPチャット PvPバトル中に、対戦相手に定型メッセージを送れるようになりました。 隊長をタップすることでメッセージを4パターンから選ぶことができます。

[uwsgi] ... processes=10 cheaper-algo=spare2 cheaper=2 cheaper-initial=2 cheaper-step=2 cheaper-idle=30 process=10 は最大ワーカープロセス数です。 cheaper=2 が最小プロセス数になり、この間で調整されることになります。 cheaper-initial=2 が起動直後のワーカー数になります。 spare2 アルゴリズムは、 cheaper で指定された数の idle 状態のワーカー数を維持しようとします。 例えば idle 状態のワーカー数が 1 つになった場合、 2 - 1 = 1 個のワーカーを起動します。 cheaper-step=2 は一度に起動するプロセス数の上限です。 cheaper が大きいときに、 cheaper-step であまりたくさんのプロセスを一気

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

LINE MUSICの定額制音楽配信サービス「LINE MUSIC」がサービス開始から2日で100万DL突破！　累計再生回数は1200万回に到達 LINE MUSICは、この日（6月15日）、定額制オンデマンド型音楽配信サービス「LINE MUSIC」のダウンロード数が、サービス公開から2日目となる6月12日時点で100万件（116万件）を突破したと発表した。 「LINE MUSIC」は、定額制オンデマンド型音楽配信サービス。邦楽・洋楽・K-POP・アニメ・ボーカロイドなど幅広いジャンルのヒットチャートや新譜をベースに、150万曲以上の楽曲ラインナップや豊富なプレイリストを揃え、いつでもどこでも利用シーンや気分に応じて様々な楽曲を聴くことができる。 また、LINEでつながっている友人やグループに、LINEのトークやアプリ上から楽曲やプレイリストを送り合うことや、送られた楽曲をLINEアプリ

森永です。 ElasticBeasntalkとDockerを組み合わせると色々と夢が広がります。 Dockerでアプリケーションの実行環境を構築し、EBでAWS環境を構築して実行環境とアプリケーションをまるっとデプロイします。 これが出来るとまったく同じ環境をいくつでも作成できるようになります！ Dockerのコンテナを作成する方法はいくつかあるのですが、今回はコンテナの設計書となるDockerfileを使い作成します。 Dockerfile自体はただのテキストファイルなのでgitで管理すると捗りますし、EB CLIは公式にgitとの連携をサポートしていますので、非常に簡単に使用することが可能です。 前準備 Macで作業していきます。（OS X Yosemite Ver.10.10.3） 必要な物をインストールしておきましょう。 git AWS CLI EB CLI 3.x Macであれば

HerokuのHubotを寝させる 無料で使うには1日6時間寝かせないとならないので Heroku | Heroku’s Free (as in beer) Dynos dashboard.heroku.comからaddonにProcess Schedulerを追加して6時間寝させる。 参考：HerokuでHubotを指定の時間に寝かせる – はらへり日記 寝る前に報告させる 寝る前に「寝ます」とか「寝ましょう」とか言ってくれた方が安心感がある。 herokuはプロセスの終了時にSIGTERMを投げてくるので、それを受ければいい。 nodeだとprocess.on(‘SIGTERM’, function(){ });でキャッチできるはずだけどHubotではできなかった。ソースをよく見たらbin/hubotが先にSIGTERMにイベントを登録して、その中でexitしていた。なのでSIGTER

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

こんにちは、id:hogelog（会員事業部 小室）です。 現在自分が開発しているAndroidアプリのプッシュ通知の実装に Amazon Cognito, Amazon SNS, Amazon DynamoDB を使ったらアプリコード（と、AWSの設定）だけで機能が実現できてしまい、予定していたサーバサイド実装がまったく不要となったのでその知見を共有します。 アプリプッシュ通知の要件 今回実装したプッシュ通知の要件は以下です。 プッシュ通知を許可したユーザ全員に共通した内容を一斉通知 通知はバッチプログラムから週に数回程度 年内には一万ユーザぐらいに利用されること目標 GCMトークンはデータストアに記録しておく 将来的にはA/Bテストなどをおこなうことも可能なように 当初はこれらの機能を実現するため、適当なRailsアプリでGCMトークンを受け取ってうまいことあれこれするAPIを実装しよ

さて、発表された第4四半期の決算は、売上高69億1300万円（前四半期比4.4％増）、営業損益が400万円の赤字（前の四半期は7億4100万円の赤字）、経常損益は5800万円の赤字（同7億7300万円の赤字）、最終利益は4億1600万円（同6億8300万円の赤字）となり、前四半期で増収となるとともに、最終利益が黒字に転換した。 収益が大きく改善したが、主力のネイティブアプリである『ブレイブフロンティア（日本語版）』がMAUの減少が見られたものの、ARPMAU（月次アクティブユーザー1人あたりの月平均売上高）が好調に推移したほか、『ファントムオブキル』がTVCMが奏功し、ユーザーベースが拡大した。また広告宣伝費を19億0900万円から11億1900万円に減らすなど、費用の適正化を図ったことも収益改善の要因となった。 このほか、経常損益の赤字幅が営業損益の赤字が大きくなったが、営業外費用として

105記事目の行ってきたシリーズは、なんと最多４回目の登場。nanapiさんどす。 「できることをふやす」というウルトラわかりやすい経営理念を掲げハウツーサイトやコミュニケーションアプリを提供していたり、KDDIさんと一緒にSyn.allianceに参加していたりとノリノリでございます。 nanapiさん、行くたび大きくなっちゃって何だかホント凄いなぁと感心しきり。 過去に行ったのはこんなかんじ。 2009年11月26日 株式会社ロケットスタート に行ってきた！ - 941::blog 2010年12月29日 株式会社ロケットスタート が引っ越したらしいので行ってきた！ - 941::blog 2014年01月27日株式会社nanapi に行ってきた！ - 941::blog オフィス所在地は表参道から徒歩数分。ガチなオシャレさんクラスだと一日に三回くらいは口にするという「骨董通り」沿いに

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

2015年4月に開催されたイベント「AWS Summit 2015 San Francisco」で発表されたアマゾン ウェブ サービス（以下、AWS）の機械学習に関する新サービス「Amazon Machine Learning」。発表当日から利用可能となっており、ビッグデータ系のサービスを使用していたユーザーなどには特に注目を浴びています。 『機械学習』というテーマが注目を浴びている一方で、いざ実践してみるとなるとどうすれば良いのだろうか、またこのテーマについては統計や分析に関する知識も求められる部分がありますので、気軽に触ってみる……というのもAWSの他のサービスと比べると少しハードルが高い印象があるかと思います。 そこで当連載では、機械学習について興味を持ってはいるものの、これまでそういった実戦経験がない（かくいう私もそんなステータスです）、そんな立ち位置の人が読み進め・実践し・理解で

自分の過去のツイートをカレンダーでふりかえることができるTwitCalというツイッタークライアントアプリを作っています。このアプリではデータのキャッシュ、ロードにRealmというモバイル向けDBを利用しています。 Realmは高速なので、Listviewで3000件のデータを表示する場合もほとんどディレイはありません。 ただし、格納されているデータが10000件くらいになった場合に、速度の保証はありませんし、Out of Memoryも心配です。そこで、必要な分だけデータをロードし、下までスクロールしたら追加でデータを取得するようなListViewの実装をこころみました。果たしてRealmでこの実装方法が適切なのかどうか不明なので、Qiitaではなくブログに投下します。 ツイートデータ取得の課題点 各ツイートにはidがふられています。このidはツイート順に増加するものですが、世の中の全ての

カンバン ソフトウェア開発の変革を読んだ。 カンバン:　ソフトウェア開発の変革 作者: David J. Anderson出版社/メーカー: リックテレコム発売日: 2014/10/10メディア: Kindle版この商品を含むブログ (1件) を見る カンバンシステムそのものについては、以前読んだリーン開発の本質にも書かれている。 リーン開発の本質 作者: メアリー・ポッペンディーク,トム・ポッペンディーク,高嶋優子,天野勝,平鍋健児出版社/メーカー: 日経BP社発売日: 2008/02/07メディア: 単行本購入: 6人 クリック: 141回この商品を含むブログ (67件) を見る が、リーン開発の一部として取り上げられいた、トヨタの成功について書かれていたのでカンバンそのものについている本として、会社に置いてあったから借りて読んだ。 著者、David J. Anderson さんがなぜ

スマートニュース、データサイエンス・マシンラーニングチームの高橋力矢と申します。記事選定や広告ターゲティングといった、高度な機械学習アルゴリズムを必要とする仕事全般に携わっています。 記事や広告を選択する際には、 人の好みをアルゴリズムで予測する必要があります。本エントリーでは、機械学習と近年流行った行動経済学とをつなげる試みを通じて、人の好みや選択規範がどれだけ機械的に予測できるものかについて、ご紹介したいと思います。 San Diegoの風にふれて Mission Bay San Diegoは米国カリフォルニア州南部の、メキシコとの国境付近にあるリゾート地です。米国海軍の基地があることで有名ですが、La Jolla ShoreやMission Bayに代表される、マリンリゾート・マリンスポーツのメッカでもあります。加えて、University of California, San Di

fleuntdを活用したいと決意し、しばらく放置していたのですが、 kibanaというログ可視化ツールと連携するとおもしろいことができる というのを知り、ちょこっと調査してみました。 どうやら、fluentd、kibana、elasticsearchを使えば、 apacheのログをかっこ良く表示できるようです。 もろもろさくっと社内システムに導入できたので、キャプチャとってみました！ 下記画像は、apacheのアクセスログです。(x:時間 y:アクセス数) かっこ良くていいですね！ でも、これだけだと、活用しがいがないので、検索してみましょう。 検索ボックスに「code:200」、「code:304」と打ち込んでいくと、 こんなかんじのグラフになりました。 ステータスコード別にグラフが表示できるのがわかりましたね！ では、正常系のコードを非表示にするとどうなるでしょうか。 おや？どうやら、