Lucene 8 の Top-k クエリプロセッシング最適化(2) MaxScoreアルゴリズム編 | by mocobeta | Medium
Lucene 8 の Top-k クエリプロセッシング最適化(1) 導入編 の続きです。本エントリでは，OR クエリの性能上の問題点を説明してから，それを解決するアルゴリズムである MaxScore およびその改良版 について紹介します。 同じ内容は 転置インデックスとTop k-query に詳しいので併せて参照してください。 転置インデックス走査と Disjunction (OR) クエリの問題点 （Lucene/Solr/Elasticsearch のアーキテクチャを少しでも学んだことがある方はご存知のように，）Lucene は転置インデックス方式を採用しており，検索語 (term) ごとにドキュメント IDのリスト (posting list) を持っています。このとき，ドキュメント ID の並べ方はいくつか考えられますが，圧縮性能の良さなどから ID 昇順で並べることが多く，Lu
Ruby 2.7 — Pattern Matching — First Impressions
The Ruby Programming Language [mirror]. Contribute to ruby/ruby development by creating an account on GitHub. Literal MatchesMuch like a regular case statement, you can perform literal matches: case 0 in 0 then true else false end # => trueIn these cases it would probably be best to use when instead. The difference is that if there’s no match it’s going to raise a NoMatchingPattern error rather th
Rails Developers Meetup 2019 でソニックガーデン伊藤さんの代わりに人生初登壇を果たすまで #railsdm2019
はじめに2019年3月22日 ~ 23日に開催された Rails Developers Meetup 2019 の Day 1 C-1 のトラックで、「jQuery + Sass な SPA Rails アプリを React + CSS in JS にリプレースした話」という話で登壇してきました。株式会社ソニックガーデンの先輩である石澤 佳祐(以下 @kei-p )さんと一緒に登壇してきました。 実はこの登壇が人生初登壇だったのですが、たくさんの方々のご協力をいただき、無事発表することができました。ありがとうございました。 今回の発表は 1 人で準備したわけではなく、たくさんの方々のご協力があって実現した発表ということもあり、せっかくなのでどういう経緯で登壇まで至ったのかを記事にまとめようと思いました。 以下では、発表の概要や、登壇のきっかけから当日までの準備まで、メイキングと言いますか、
Ruby On Rails or Laravel, which do you use? – Employbl – Medium
Last week I wrote about how to build a bookmarking application using Sequelize ORM — an application that allows Javascript to speak SQL. This week we’re going dive in to Ruby On Rails and Laravel and the pros and cons of each web framework. Laravel is branded as The PHP Framework for Web ArtisansWeb what?Web frameworks are libraries of code with varying degrees of functionality written in a progra
プログラミングを教えるときの10のポイント (という論文の紹介)
1. ギークの遺伝子なんてないことを心に留めようよく、「プログラミングには得意不得意がある(some kids get it, and some kids don’t)」とか、さらには「プログラミングには向いていない子がいる」とか聞きますね。 大学のコンピュータサイエンスの授業の成績分布が、とても良く理解できる生徒と何もわかっていない生徒にくっきりわかれる、という話も聞きます。本当でしょうか？Patitsasらの最新の研究によると、実際にはそんなことはなく、くっきりと成績の分布が分れてしまったコンピュータサイエンス入門のクラスは、5.8％に過ぎなかったそうです。 この論文では、「プログラミングには得意不得意がある」という迷信は、プログラミングを学びだしたときに躓きがちな生徒でなく（意識的か無意識的かにかかわらず）、スムーズに学ぶ生徒の方へ教える時間や熱意を費やすことにつながり、ひいてはコン
コインチェック事件は『対岸の火事』ではない
私は創業してからおよそ２年のベンチャー企業を経営しており、CTO兼唯一のプログラマだ。私含め3人の共同創業者と、多くの支援者の力により、これまで自己資本でなんとか開発を続けてきた。 先日、私達の会社は大きなマイルストンを迎え、サービスをβ公開させ、これから大きく勝負に出ようと思っていた。その最中、今回のコインチェック事件が発生した。 私達が行う事業は暗号通貨とは全く関係が無いため、本来であればこれは『対岸の火事』だ。しかし、総額580億円という被害額を生んだ今回の事件は、暗号通貨市場だけでなく、スタートアップ界隈全体へ影響を及ぼすことが容易に想像される。 事件の余波今回の事件で最も強く感じたのは、技術の力で新領域を切り開くスタートアップ企業こそ、時には成長を犠牲にしてでも、技術的安全性・信頼性を優先するべき、ということだ。 顧客にリスクを押し付けることが絶対に起きてはいけないし、少しでも顧
Partial rendering performance in Rails
how to slice your views in the proper wayI see often that people are not aware of the importance of rendering views, and especially partials, in the proper way in Rails. I will now show you the different approaches with relative numbers, which too often are missing in blog posts about this topic. Avoid N+1 QueriesThat’s the first, very important topic: N+1 queries. Avoid them! Don’t let them go th
Gyazo の Web API の設計変更 - r7kamura - Medium
業務委託として現在 Nota 社の Gyazo のサーバサイドの開発をお手伝いさせてもらっているのですが、その中でやっていることについて幾つか紹介したいと思い、今回は開発環境で全面的に Docker を使うようにしたという話について書こ… ここでは、Web ブラウザやその他のクライアントから HTTP を介して利用し、JSON などのデータフォーマットでクライアントアプリケーションとやり取りを行うようなエンドポイントのことを Web API と呼んでいます。 Jbuilder からの移行これまでのコードでは、JSON を生成するために Jbuilder というライブラリを使っていました。これは DSL を用いて JSON を生成するライブラリで、Rails の場合は ActionView と協調して動きます。 Jbuilder からの変更の理由は幾つかあるのですが、主要な理由を挙げると、以
OSSベースの機械学習が強い理由
英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ
一日8時間、60日間ペアプロしてみて思った日常ペアプロのコツ. 一日だいたい8時間、今日まであわせて60営業日くらい、固定ペアのペアプログラミン… | by Naohiro Oogatta | Medium
一日だいたい8時間、今日まであわせて60営業日くらい、固定ペアのペアプログラミングで新規アプリのクライアントからサーバまで開発してみました。チームにエンジニアがちょうど二人だったので。 もはや日常がペアプロです。ペアプロ以外でやってるのは簡単なバグ修正やちょっとした環境整備で、あとはすべて二人で開発しています。ちなみにまだまだ続いています。狂気です。 いい大人が二人集まって狂気を選ぶことになったわけは、成果も出てないしまだ書けません。でも今って、ペアプロやモブプロがブームだって聞きました。それじゃあアホみたいにやってる人間としては黙ってられないです。基本的なことはおいといて、とりあえずこれだけはってつくづく思ったのとか、ペアプロを有意義に長く続けるコツをまとめてみました。 （ちゃんとした話は ペアプログラミングの5W1HとFAQ / 5W1H and FAQ of Pair Program
テックリードという役割
なぜこの文章を書くか?自身が数ヶ月テックリードの役割で経験した内容を基に、テックリードがどういう役割で、毎日の仕事の中でどのような仕事をするのかについて書いていく。 テックリードはサンフランシスコのWeb系企業では一般的なようだが、日本ではまだそれほど広まっているとはいいづらいと思う。 テックリードに求められるのは一言で言えば”技術でエンジニアチームをリードすること”である。Webエンジニアのキャリアパスでたびたび二元論的に語られる、”技術一本で生きていく”職人的なトラックとも”人やプロジェクトのマネジメントをする”マネジメント系のトラックともニュアンスが異なる。 自身の技術力、そしてリーダーシップをもってエンジニアチームのアウトプットを最大化させていくのがテックリードの役割である。 多くの人にその役割を知ってもらい、エンジニアとしてのキャリア形成の助けになればと思っている。 なお、このポ
ランチタイムの勉強会 🍱 ikejiri.rb
週に1回、お昼に池尻大橋らへんのカフェに集まり、読んできた技術書について話す会をやっています。その会で ”オブジェクト指向設計実践ガイド” を読み終わったので、記事にします。 ikejirirbのときよく行く店の🍔。ウマイikejiri.rbとは私 risacanと katorie さんが週に1回集まり読んできた技術書についてはなす会です。2017年3月からはじめました。オブジェクト指向設計実践ガイドを最後まで読み切りたいなあと思っていて、この本を読みませんかと提案したら、 katorieさんも読みたいなと思っていたので、読むことになりました。 どうやるの週1回のランチまでに前もって決めた範囲を読み、気になるところをメモをしておいて、当日はそのメモにそって話しながら内容を復習します。注文してから料理がくるまでと、食べ終わったあとでだいたい20~30分くらい内容について話しているかと思いま
Essential RubyOnRails patterns — part 1: Service Objects
as seen by RubyOnRails Developers @ Selleo Service objects (sometimes referred to as services) is a holy grail in Ruby On Rails development that helps to decompose your fat ActiveRecord models and keep your controllers slim and readable. When to use Service Objects?The pattern is so simple and powerful that it may become a bit overused in time; it is particularly useful when we need a place to def
ボトムアップ組織のマネジメントとは何なのか
いま所属している会社は、ボトムアップな会社ということになっている。正確にはボトムアップとトップダウンが混在していてたまにミスリーディングなのだが、だいたいはボトムアップな会社といえるだろう。 それで、たまに、学生と会ってくれといわれて、うちの会社がボトムアップの会社なんですよ〜、と話すことがある。だがこのボトムアップというやつ、採用活動では『いかに若いうちから活躍できるか』をぐいぐいアピールするための文句ではあるのだが、実際、現場でどういうコミュニケーションになっているのか、あまり説明されない。どういう会社が「良い」ボトムアップの会社なのか、わりとみんな意識していない。 とりあえず適当に若いのに丸投げてみたら、いつの間にかイケてる提案を持ってきた、なんてことは、ありえない。それを実現するためには、上司側の見えない努力がたくさん必要なのだ。 こんなマニアックな話をしている人は多くないと思うの
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
Elasticsearch 分類予測 More Like This編
これまで、機械学習を使った分類予測とPercolatorを使った分類予測を紹介してきました。今回は Elasticsearch の More Like This Query を使ってもっと簡単に分類予測する方法について紹介したいと思います。 More Like This Queryとは？More Like This Query とは、Elasticsearchが提供するいわゆる類似文書検索です。基本的な考え方は、単語の順序は気にせず、同じ語を多く含む文書は類似文書であるというものです。Bag of words によるベクトル空間モデルを基本的な考え方としているそうです。 ElasticsearchのMore Like This Queryは以下の３つの方法で類似する文書を検索することができます。 任意のテキストに対する類似文書検索任意のドキュメントに対する類似文書検索インデックス済みの任意
Elasticsearch Image Plugin — メタデータ
Elasticsearch Image Plugin — インストールから検索までの手順では、Image Pluginを使いマッピング、インデックス、検索まで一通り行いましたが、検索結果を眺めているとmetadataが返ってきていないことに気付きました。metadataはアプリケーション側で使いたいシーンもあるため、ここではmetadata関連の設定についてメモしておきます。 マッピング定義metadataのマッピング方法はガイドにも記載されている通り、内部ではmetadata-extractorが使われています。出力サンプルを見ると分かりやすいと思いますが、画像の高さ、幅からカメラや写真の詳細情報まで取得できるようです。（元画像にその情報が含まれていればです） Image Pluginを使いElasticsearchにmetadataをインデックスしたい場合は、mapping定義にDir
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
My favorite state management technique in Angular — RxJS Behavior Subjects
How to Develop an Amazon Alexa Skill using Node.js