タグ

ブックマーク / po3rin.com (2)

  • 検索エンジンの数値インデックスを支える Bkd-Tree - 好奇心に殺される。

    Computer Science / Algorithm 検索エンジンの数値インデックスを支える Bkd-Tree Elasticsearchの数値データインデックスに使われるBkd-Treeというアルゴリズムを論文を読みながらまとめました。 Overview こんにちは pon です。Elasticsearch & Lucene 輪読会を弊社で毎週開催しているのですが、そこでBkd-Treeというアルゴリズムに行き着きました。そこでBkd-Treeの論文を読んでみたので、まとめたものを共有しようと思います。 論文はこちら Bkd-Tree: A Dynamic Scalable kd-Tree LuceneでのBkd-Tree Bkd-TreeはLucene6から導入されたようで下記のようにスペース効率、パフォーマンスが大幅に改善されたようです。 以下こちらのElasticsearch公

    検索エンジンの数値インデックスを支える Bkd-Tree - 好奇心に殺される。
    sonots
    sonots 2021/02/05
    あーそういうことね完全に理解した(後で読む
  • 破棄容易性の観点から、データパイプラインのk8s移行にまつわるGoコード改修を振り返る - 好奇心に殺される。

    Go / Kubernetes 破棄容易性の観点から、データパイプラインのk8s移行にまつわるGoコード改修を振り返る 破棄容易性の観点から、弊社でのk8s移行にまつわるコード改修を振り返ります。 Overview こんにちは pon です。Kubernetes が盛り上がるこの頃ですが、私が働いている白ヤギコーポレーションでは記事データを処理するパイプラインがあります。その記事データパイプラインを EKS に移行するに辺り、発生したコード改修について紹介します。Kubernetes移行を検討するにあたって、KubernetesのManifestを淡々と書いていくことも大切ですが、場合によってはアプリケーションコードの改修も発生します。今回は破棄容易性の観点から、弊社のk8s移行で発生したコード修正を紹介します。 廃棄容易性とは The Twelve-Factor Appで 廃棄容易性(D

    破棄容易性の観点から、データパイプラインのk8s移行にまつわるGoコード改修を振り返る - 好奇心に殺される。
    sonots
    sonots 2020/06/02
    安全な停止
  • 1