はてなブックマーク

2024-06-17 表題のとおりですが、2018-02-16 から6年3ヶ月ほど勤務した株式会社メルカリを退職することになりました。 前半3年間は機械学習エンジニア、その後は検索チームに異動して検索エンジニアとして楽しく働いていました。 メルカリは自分の社会人キャリアとして一社目の会社でしたが、得難い経験を積むことができたので、これは一生の財産。間違いない。 機械学習エンジニア時代自分が入社した 2018年2月は、メルカリでの機械学習エンジニアとしてまだ片手で数えられる規模での入社であり、他のメンバーはシニアレベルだったので、まさに情熱プログラマーの一番の下手くそでいよう 状態を地で行っていた。 機械学習チームの拡大に伴い、最初の1年ほどは全員と顔見知り、ご飯食べたこともあるし、普通に喋れるという状態を維持できていたが、2年間ほどで全員の顔は把握できないレベルになり、話したことのないメン

2024-06-06 全文検索エンジン Bleve で日本語形態素解析をおこなう で bleze x kagome が気になってやろうとしたが、どうせなら一捻りしたいなと思い、Goの全文検索ライブラリである blevesearch の最新リリースを眺めていると https://github.com/blevesearch/bleve/releases/tag/v2.4.0 v0.2.4 からvector serach が可能に backend は faiss。 テンションが上ったので、最初は、kagome x blevesearch x ANN の構成で vector indexing, query のベクトル化もGo 言語かつ検索サーバーを運用しないで完結する構成による近似近傍探索をやろうと思っていた。。。が、文章をベクトル化するお手軽な方法(Python だとが Go で見つけられなか

運用コストを低く抑えつつ全文検索機能を実現したい: SQLite3 で全文検索を実現する fts5 、ベクトル検索を実現する sqlite-vss 2024-02-22 ドキュメント数が 1 万件に満たない状況で全文検索をしたいドキュメントは頻繁に更新はされずに日時の更新で十分オンラインでのインデキシングを考えなくてよいので、バッチで十分みたいな状態でポータビリティが高く運用コストが低い状態で全文検索を実現したいなと調べていたら SQLite3 が良さそうだったというお話。 全文検索を実現する拡張機能: https://www.sqlite.org/fts5.htmlfts5 から relevancy による order by が使えるようになったらしく、version 4 以前は、relevance をチューニングして改善するのは難しそうだなと思った。この拡張機能が作成された経緯としては

検索エンジンOSS勉強会: Lucene や OpenSearch など検索エンジンOSSへの貢献を念頭にしたオンライン勉強会を立ち上げてみた 2024-01-12 タイトルのとおりですが、検索エンジン OSS 勉強会 という Lucene や OpenSearch などの検索エンジン OSS への貢献を念頭にした勉強会を立ち上げてみました。 といっても今はまだ試運転の段階で、2 月くらいから定常開催していければなぁと思っています。 以下に勉強会の初期の草稿を書いておきます。 最新版は参加者の方と議論を行う DesignDocs を目指して Google Docs で管理しており、ちょこちょこ更新しています。 興味を持ってくれた方からの意見を以下の Google Docs でコメントを頂いて改善して言っています。また、勉強会に興味のある方は、Google Docs 内の Discord リ

Twitter 形式でメモが残せる Obsidian Memos で「考えるな、書け」を体現できるくらい筆が進むようになった 2023-06-16 Obsidian-Memos という Obsidian のプラグインを Twittier で見かけて1ためしてみたら、Obsidian が更に便利になったので紹介。 https://github.com/Quorafind/Obsidian-Memos 以下、こんな感じで daily journal に list or task 形式で書き出されていく Memos の画面 Daily Note にはこんな感じで書き込まれる。 これらの内容は以下のような形式で Daily Note にリスト or タスク形式で書き込まれていく。 - 01:25 Memos を入れてみた、しばらく試してみる - 01:25 書きなぐるようにメモれるのは楽かも、ti

2023-06-02 表題のとおり、Elasticsearch 8.8 のリリース内容が興味深かったので記事にしておきます。 リリースノートはこちら Elasticsearch 8.8 introduces out-of-the-box semantic search | Elastic BlogWhat’s new in 8.8 | Elasticsearch Guide [8.8] | Elastic個人的に気になったのが、 Elastic Learned Sparse EncodeR (ELSER) をリリース ELSER は Elastic が独自に開発した、機械学習モデルで、従来はユーザーが検索のために適宜 fine tune したりモデルを自前で用意するなど、気軽にハイブリッド検索を試すことは難しいのが現状だった。それを解決するために提供されるのが ELSER で、Elasti

2023-04-29 前回の記事の続き1で、Twitter の検索システムシリーズ第 2 弾です。 Earlybird とは?Twitter の検索システムであり、 Apache Lucene をベースにした、リアルタイム検索システム。 論文はここで、 Blog 記事は The Engineering Behind Twitter’s New Search Experienceは 2011 年に公開されている。 TODO: 論文に書かれず、Blog 記事にのみ書かれている内容もあったので読んで追記しておく Web 検索はある程度成熟してきた分野だが、SNS のリアルタイム検索はまだ 2011 年当時いまだ未成熟で未開拓な分野Twitter で新たに開発したのが、 Earlybird と呼ばれるリアルタイム検索に特化した検索エンジンLucene の NRT 機能が導入され始めたのが、2011

2023-04-17 Twitter’s Recommendation Algorithm Elon Mask が以前から計画していた、Twitter の検索&推薦関連のシステムが GitHub で公開された。 良い機会なので、いままでの Twitter 検索の記事をまとめつつ、コードも読んでみます。 単発の記事でまとめようとするとドデカ記事になってしまうので、一連の記事を通じて Twitter の検索システムを学んでいきたいと思っており、以下の構成で進めていく。 概要編論文解説コードを読んでみたTwitter’s New Search Architecture 2010-10-06 公開 この時期に新しいアーキテクチャに移行MySQL による検索から Lucene による検索へ移行要件1000 tweets/sec12000 queries/sec1 billion queries /

2023-04-07 2018 年の中頃だろうか、今の会社に入って同じチームにいる学生インターンとして働いている同僚と昼飯を食べにいった時に話題になったのが情報収集どうやっていますかネタで、 学生さん「どういう方法で情報あつめているんですか? 普段からいろんなネタ知っているじゃないですか?」 自分「良い記事を見かけたら、RSS リーダーに登録して更新を見逃さないようにしてますね~」 学生さん「RSS ってなんですか?」 自分「RSS リーダーってのを使ってまして、え…….知らない? そういう便利なツールがあるんですよ」 キュレーション、SNS の台頭の影響で、RSS の存在さえも知らない世代が存在している。なるほど、もうそんな時代になってしまったのか?と当時はかなり衝撃的な回答でした。 Blog なのに RSS 配信しないサービスなんなの?と今でも息巻いている自分ですが、先日 Twitte

2022-10-29 表題の通り、Elasticsearch 8.4 から待望の近似近傍探索と従来の検索を組み合わたハイブリッド検索が可能になったらしいので、試してみました。 Elascticsearch 8 で導入された近似近傍探索についてElasticsearch 公式の記事1がわかりやすく近似近傍探索について語られています。 また、日本語では@pakio さんの紹介記事2も非常にわかりやすいので、そちらも御覧ください。 嬉しいけど物足りない点公式の資料3や@pakio さんの資料でも触れられていますが、 You can’t currently use the Query DSL to filter documents for an approximate kNN search. If you need to filter the documents, consider using e

2022-10-23 Elasticsearch 8 系から使用可能になった近似近傍探索1を使って、ドラえもんのひみつ道具の自然言語検索ができる検索エンジンを作ってみた。 デモ動画のように、検索したいひみつ道具を説明する文章することで近しいひみつ道具が検索されます。 コードは GitHub に公開してあるので、興味のある方は手元で、動かして遊ぶことが出来ます。 poetry と Docker さえあれば動くようになっています。 hurutoriya/doraemon-himitsu-dogu-search: Doraemon Himitsu Dogu Japanese semantic search based on Elascticsearch ANN システムの概要図はこんな感じ 所感ドラえもんのひみつ道具のデータセットを今回１から作ったが、パースと前処理がめんどくさくてここが一番手間

2022-09-01 日課の RSS フィードを眺めていると、クエリエンジンやデータ処理の最適化のための高速化ライブラリが Meta が OSS として公開した1 のを知った。 Velox のリポジトリはこちら facebookincubator/velox: A C++ vectorized database acceleration library aimed to optimizing query engines and data processing systems. 実際にリポジトリを観てみると C++で書かれており、たしかにパフォーマンスが高いのが納得。 ドキュメントやチュートリアルなどはこちらのサイトで用意されています。 Hello from Velox | Velox Meta 社内では、Presto や Spark に適用して処理の高速化、PyTorch に活用して前処理

2022-08-15 2022/08/14 - 2022/08/18 に開催される Knowledge Discovery and Data Mining (KDD) 2022 の情報が出揃ってきたので、気になった情報をメモしておく。 自分が気になるトピックは、変わらず機械学習の実応用とその周辺領域なのでそれに偏ったリストになっている。 ADS invited speakerKDD 2022 ADS Invited Speakers An overview of AWS AI/ML’s recent contributions to open source ML tools: Accelerating discovery and innovation 招待講演は確か毎回論文化されて ACM で公開されるので論文公開されたらぜひ読みたい。 TutoriasKDD 2022 Tutorials

Search Engineering Newsletter 8 回目の配信です。 今回のイチオシは、Retty さんの検索機能をマイクロサービスとして切り出したお話と、MoT さんの勉強会資料である「Tesla におけるコンピュータビジョン技術の調査」です。 Search#検索サービスの構築 - Retty Tech Blog Retty で検索サービスをマイクロサービスとして切り出したお話。 切り出した理由としては Elasticsearch が返すレスポンスをベースにして各サービスでそのまま使われていた。だが、各サービスがこのフォーマットに依存しているせいで気軽に Elasticsearch の更新ができなかったり、レスポンスを変えるような検索改善も行うのが難しくなっていたのを起因にマイクロサービスへと切り出した。 NOTE:インタフェース設計が割り切っており、お店の id のみを返し

2022-08-08 リーダーの作法 ささいなことをていねいにを読み終えた。 著者は Netscape でマネージャー、Apple でディレクター、Slack でエグゼクティブを経験した Michael Lopp さんで、過去にBeing Geek や Managing Humans を書かれている。 翻訳の質も非常に高く、楽しく読めた。1 そんなにマネジメント関係を読んでいるわけではないが、HITH OUTPUT MANAGEMENT や、エンジニアのためのマネジメントキャリアパス ―テックリードから CTO までマネジメントスキル向上ガイド 同じくらい良い書籍で、学びや共感を多く感じた。 自分はマネジメントのポジションについたことはないが、仕事をしていくなかでマネジメント関係のソフトスキルや複数人でどうやってうまくリーダシップを発揮して、大きい問題を解決するかに興味があるので、良い書籍

2022-03-31 先日の記事で告知した1のですが、昨夜、「Human In The Loop」を題材にした勉強会を開催してきました。 実際に Human In The Loop を扱った MLOps の論文2 を過去に書いているくらい興味のある分野なので、この領域を盛り上げていくために開催できてよかった。 オンライン勉強会でしたので、配信動画を Youtube で公開しております。 Human In The Loop に興味のある方はぜひご覧ください。 Machine Learning Casual Talks #13 (Online) 各発表について各発表の説明は割愛して、一言感想を述べさせていただきます。 Editors-in-the-loop なニュース記事要約システムの提案 by @upura業務成果を国際会議のワークショップに通されたの素晴らしいですね 👏 (自分も論文を出

Googleによる機械学習の実応用をテーマにしたCoursera の講義は、機械学習プロジェクトに携わるなら一度は見ておいても損はない 2022-03-17 過去に執筆した記事1を見返していたら そういえば講師陣がめちゃくちゃ良いこと言ってるんだけど記事内に掲載してなかったなと思い、動画を見返すと今でも学びが多かったので、講義のスクリーンショットを見返しつつ筆をとってみた。 今見たら、日本語版の講義 How Google does Machine Learning 日本語版も公開されているので、興味の湧いた方はぜひ受講しましょう。Certificate を発行しないなら無料で受講できると思います。 講義内容の説明は、過去記事1で行っているので気になる方は御覧ください。 機械学習プロジェクトの努力の割当: 期待と現実 ML Surprise https://www.coursera.org/

Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概

Amazon の製品検索で使われるロバストなキャッシュ手法の論文「ROSE: Robust Caches for Amazon Product Search」 2022-03-03 Web 検索とデータマイニングのトップカンファレンス WSDM2022 のワークショップで The First International Workshop on INTERACTIVE AND SCALABLE INFORMATION RETRIEVAL METHODS FOR ECOMMERCE (ISIR-ecom) が先日開催された。 テーマは e コマース上での検索において 検索システムのスケーラビリティどうやって適合性(Relevancy)をシステムで改善したかシステムの改善についてをテーマにした検索エンジニアなら垂涎もののワークショップとなっている。 同様の検索システムや実応用に注目したワークショ

OSS の Google BigQuery UDF `bqutil.fn` を使えば UDF の独自実装を置き換えられるかもしれない 2022-01-20 TL;DR;UDF を独自実装する前に、bqutil.fnを眺めておくと車輪の再発明が回避できるかも 背景SQL は、特定の処理を行う際にデータの型が同一でないとエラーが発生しますが、もとのスキーマを紹介するよりももっとお手軽にカラムの型を確認したいときがありませんか? 例えば、出力結果を見ただけでは、12345 が STRING なのか INT64 なのか判別不可能ですよね。(もし判別可能な方法知っている人いたら教えて下さい…) GCP による OSS UDF の bqutil.fnなのでお手軽に BigQuery の結果の型を確認したい時になにか良い方法がないかなと調べていたら、OSS でbqutil.fnという UDF が GCP

2022-01-09 Google Spread Sheet による即席アノテーションの限界データ分析で、ラベルがないデータに対して、自分でアノテーション(ラベルを付与)してデータの傾向を素早く掴みたい時がある。 例えば、文章に対してネガティブ・ポジティブなクラスを割り振ったり、画像に対して人が写り込んでいるか否かなどの簡単な分類タスクでは、お手軽に Google Spread Sheet などを使って、500 件のアノテーションはそこまで問題がなく気合でやれる。 実際の流れとしては、GCP を採用している場合、Google BigQuery から SQL でデータを抽出してそのまま Google Sprad Sheet に出力、=image()関数で CDN から画像の URL を参照できたりなどなどかなり便利。 Spread Sheet を共有して複数人でも作業ができるのも魅力的。 だ

Jupyter Notebook で画像をダウンロードすることなく、URLから参照してPandas DataFrame内部に表示させる 2021-12-28 データ分析などをしていると、画像はダウンロードせずに特定の CDN (GCP なら GCS, AWS なら S3 など)で提供されている画像を参照して、 Jupyter Notebook 上で良い感じに表示させたいときがありませんか? 例えば、画像と説明文がペアになっているデータを画像自体はダウンロードせずに Jupyter 上で画像と説明文を DataFrame として表示させたいときが多々ある。 元の画像自体は CDN に格納されていて、画像をダウンロードする必要はなく参照するだけのときにはすごく便利。 毎度画像を CDN からダウンロードするのも無駄なので、画像を加工せずに Jupyter 上で表示するだけなら、この方法がベスト

Amazonがeコマース検索を Lucene により、どうスケールさせているか at Berlin Buzzwords 2019 2021-11-26 情報検索・検索技術 Advent Calendar 2021 1 日目の記事です。 早めに書き終えたので、カレンダー登録日の 2021/12/01 よりもはやめですが、記事を公開してしまいます。 Berlin Buzzwords はドイツで毎年開催されている OSS を利用した検索、データ処理、データベースに焦点をあてたカンファレンスです。 検索関係のシステムに携わっている場合、毎年面白い内容が目白押しなのでぜひとも見てほしい。 今回は Berlin Buzzwords 2019 で発表された「Amazon では Lucene をどう活用して e コマース検索をスケールさせているか」の講演動画を社内勉強会で紹介するために視聴したので、そのメ

2021-10-09 今年の 10 月から、新しく入社した同僚とともに、検索領域の論文や技術ブログを定期的に紹介する社内勉強会をはじめてみた。 定常的に開催されることが一番大事だよねという方針になったので、以下のような仕組みで、可能な限り低コストで継続できるような仕組みにした。 参加者は何も準備をしなくても大丈夫で、勉強会中に紹介された論文をみたり話を聞くだけで良い発表者は凝った資料は用意するのは必須ではなく、極論論文を画面共有で見せながらしゃべるだけでも問題なし当面の目標としては、来年の年末まで継続されているように気長に続けていきたい。 第一回は、発起人の一人である自分がクエリ分類について発表を行った。 Query Understanding for Search Engines (The Information Retrieval Series, 46) の第二章を主にテーマとして取り

2021-08-13 内容システム提供において、基本的に高速であればあるほど顧客は嬉しいものだが、実際のところ高速なシステムを提供して、どの程度の価値が発生するのかが気になったので、調べてみた。 2021/08/14 追記A/Bテスト実践ガイド　真のデータドリブンへ至る信用できる実験とは の書籍で同様な事例が紹介されているとのこと。情報提供ありがとうございます。実務でA/Bテストに向き合った人間であれば必ず一度は考えたことのあるトピックについて、アメリカのテックカンパニー（Airbnb, Google, LinkedInなど）勤務の著者らが国際会議で発表された研究もちゃんと引用して見解を述べており説得力がある。 従って、現時点における最高レベルの意思決定をデータ（A/Bテスト）に基づいて行いたいと思うなら、一度は目を通しておくべきであり関係者必携だと思う。 ※個人的には”Webサービスのレ

2021-07-23 去年の秋頃に子供を授かり、色々と役に立った情報や製品、サービスなどがあったので備忘録がてら残しておく。 ベビーウォール、プレイマット、服や抱っこひもなど鉄板系で買えば良いものなどは記す必要が無いのであえて書いてない。 書籍・情報源★★★ 赤ちゃん寝かしつけの新常識科学的な見地に基づいた、赤ちゃんの睡眠に関する情報を纏めた書籍。データやメタ分析、また著者の経験に基づいて、どう寝かしつけに取り組めばいいのか説明してくれている。★★ 小児科医のママが教える 離乳食は作らなくてもいいんです。簡単にまとめると、離乳食をわざわざ作るのではなく販売されている商品で離乳食をカバーしたほうが栄養素、準備に係る労力もなくなってみんな幸せという書籍★ 厚生労働省が公開している情報ac.jp, go.jp の資料の信憑性は高いので、優先して閲覧するようにしている。★ 赤ちゃんとママ・パパのた

eコマースの検索と推薦についてのサーベイ論文である 'Challenges and research opportunities in eCommerce search and recommendations' を社内勉強会で発表した 2021-07-10 SIGIR eCom を探索していたら発見したサーベイ論文の “Challenges and research opportunities in eCommerce search and recommendations"が面白かったので、社内の勉強会で発表してきた。 和訳すると、「e コマースの検索と推薦における挑戦と研究トピック」で、e コマースにおける検索と推薦の課題が明瞭に書かれていて非常に面白い論文でした。 自分もまだ検索エンジニアとして日が浅いので、手持ちのパターンを増やせるように日々勉強していますが、この論文のおかげでかなり