pixivの全文検索基盤とElasticsearchによるリプレイス - pixiv inside
まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全
Disjoint-set data structure - Wikipedia
In computer science, a disjoint-set data structure, also called a union–find data structure or merge–find set, is a data structure that stores a collection of disjoint (non-overlapping) sets. Equivalently, it stores a partition of a set into disjoint subsets. It provides operations for adding new sets, merging sets (replacing them by their union), and finding a representative member of a set. The
Twitter で医師が拾われて Google のソフトウェアエンジニアになって 3 年半が過ぎました - nodchipの日記
はじめに 『天才』はつくれる 競技プログラミング同好会競技就活部門 Google は世界最高のプログラミングスクールである 雇用形態と働き方 ソフトウェアエンジニア (SWE) Google でのお仕事 Google の面接の内容 Google の面接の問題の種類 コーディングクイズ 知識を吐き出す系 Open-ended question システムデザイン Google の面接の評価基準と対策方法 知識 技能 マインドセット Google の面接のタブー Google の面接の心構え 面接官への話し方 話す量 エリート意識 自己愛 優秀さ、知識量に対するこだわり Google の面接のテクニック 入力条件を確認する 入力の条件を簡単にできるか交渉する テストケースを作って提示する 関連する知識を答える 正しく修正する 競技プログラミングと Google の面接 おわりに はじめに nuc
Latency numbers every programmer should know
latency.markdown Latency numbers every programmer should know L1 cache reference ......................... 0.5 ns Branch mispredict ............................ 5 ns L2 cache reference ........................... 7 ns Mutex lock/unlock ........................... 25 ns Main memory reference ...................... 100 ns Compress 1K bytes with Zippy ............. 3,000 ns = 3 µs Send 2K bytes over
Rust HashMap::entry ユースケースと書き方まとめ - Qiita
Rust の HashMap の entry とは 「Rust entry」などで検索すると HashMap の entry を説明してくださっている記事は多く出てくるので、ここでは簡単な説明にとどめます。 参考: RustのHashMapはentryが便利 参考: Rustでdefaultdict マップや辞書などのデータ構造を扱う際、「あるキーの値が、あればなんらかの処理、なければ新たにデータを追加してから処理」という操作をしたいことは多いと思います。 たとえば、「キーの出現回数をマップに保存する」というケースを考えます。愚直に実装をすると、条件分岐を用いて、「マップにキーがあるか判定し、あれば処理、なければ追加」という操作を記述するかと思います。 let mut map = std::collections::HashMap::new(); let key = "one"; // m
工学としてのSRE再訪 / Revisiting SRE as Engineering
SRE NEXT 2024 IN TOKYO.
KubernetesのJobを使ってプルリクを起点に検証環境が自動で構築される仕組みを改善した話 | 株式会社ヌーラボ(Nulab inc.)
こんにちは。Cacooチームの木村です。以前プルリクを起点に検証環境が自動で構築されるようにしたら すぐにレビューできるようになったのでみんなハッピーになれた話をしたのですが、色々課題があったのでKubernetesのJobを使って改善しましたので紹介します。 この記事はヌーラバー真夏のブログリレー2024の12日目の記事です。 【経緯】プルリク環境は便利 前回の記事では、以下のような経緯からプルリク環境を構築しました。 開発中の機能を試せる検証環境がある 検証環境があると複数人でレビューできて便利 便利すぎてみんなが検証環境のリビジョンを変更したがる プルリクエスト用の環境が構築される仕組みをつくった 複数のプロジェクトが同時進行してても、みんながそれぞれの環境を試せて便利 プルリク環境はチーム内でたいへん好評でした。使い方は非常に簡単で、プルリクエストを作成すると、CIがそのブランチの
How to Build Anything Extremely Quickly - Learn How To Learn
Do “outline speedrunning”: Recursively outline an MVP, speedrun filling it in, and only then go back and perfect. This is a ~10x speed up over the ‘loading-bar’ style (more on that below) Don’t just read this article and move on. Go out and do this for the very next thing you make so you can get in the habit of doing it. (btw, here, speedrunning just means doing something as fast as possible) Outl
桜蔭→慶應医学部→モルガン・スタンレーを3カ月で退職…超エリート女性（24）が年収も地位も捨てて南房総で“年間100万円以下の生活”を始めたワケ《23歳でサイドFIRE》 | 文春オンライン
（右から）くるみさんとトマトさん ――結婚に至った経緯は？ くるみ 慶應大学の医学部を中退した後、モルガン・スタンレーに入る前に不動産会社で働いていたんですけど、転職を考えて会社をやめていたので、名前を変えるんだったら今が合理的かなと思って。 ――籍を入れない選択肢もあったと思うのですが、あえて結婚を選んだのはなぜ？ くるみ 結婚した方が日本の制度的にメリットが多いのと、私は苗字にこだわりがなかった一方で、トマトの方は苗字にアイデンティティがあったので、夫の方に合わせればいいかなって。 両親は学生結婚に反対 ――プロポーズもくるみさんから？ くるみ プロポーズと言えるのかって感じですけど、「会社入ってから途中で名前変えるの面倒だから、今のタイミングで籍入れちゃわない？」みたいな、全然ロマンチックじゃないやつです（笑）。
Cycle detection - Wikipedia
This article is about iterated functions. For another use, see Cycle detection (graph theory). This article may be too technical for most readers to understand. Please help improve it to make it understandable to non-experts, without removing the technical details. (February 2018) (Learn how and when to remove this message) In computer science, cycle detection or cycle finding is the algorithmic p
Googleからオファーをもらうまで
念願だったGoogleからオファーが届き、働けることになりそうです。この記事ではオファーをもらうにいたるまでの経緯と自分のした準備をまとめます。 GoogleからのオファーをacceptしたのでGoogleに転職します！ ずっと憧れだったので嬉しい:) とにかくいいコードをたくさん読んで、いいコードをかけるようになります！ — Kohei@シリコンバレー (@koheiarai94) April 9, 2019 なお、僕の場合はアメリカ生活が長いので英語は問題になりませんでした。 リクルータから連絡がくる (2018.11) Hello again from Google！こんなタイトルのメールが2018年の11月に届きます。内容は近況を知りたいとのことでした。一年ほど前にGoogle Foobar Challengeに取り組んでおり、連絡先を渡していました。Foobar Challeng
Data structures and algorithms study cheatsheets for coding interviews | Tech Interview Handbook
General interview tipsClarify any assumptions you made subconsciously. Many questions are under-specified on purpose. Always validate input first. Check for invalid/empty/negative/different type input. Never assume you are given the valid parameters. Alternatively, clarify with the interviewer whether you can assume valid input (usually yes), which can save you time from writing code that does in
Anews社内情報検索を実現する技術 - Stockmark Tech Blog
本記事では、Anewsの「社内情報検索機能」の裏側を紹介いたします。 本機能は複数の要素技術が組み合わさって実現されており、設計・実装において考慮すべきポイントが多数ありました。 本記事では、それらの全容についてご紹介します。 本記事の構成は次のとおりです。 社内情報検索機能とは？ 設計の全体像 設計・実装のポイント 今後に向けて 社内情報検索機能とは？ 調査レポートや技術報告書、実験データなど、組織に眠る様々な情報を、ビジネスニュースや論文・特許などの外部情報と同時に検索できる機能です。 これまでもAnewsでは、国内外のビジネスサイトや学術雑誌、プレプリントの論文などから情報を提供していましたが、さらなるイノベーションを創造するためには、外部情報だけではなく、組織がこれまで蓄積した内部情報の活用が必要です。その活用を促進する機能が本機能になります。 設計の全体像 まず、全体像を説明しま
CADDiの機械学習モデル開発の流れと継続的な改善 - CADDi Tech Blog
みなさんはじめまして。CADDiで図面解析チームのテックリードをしている稲葉です。今日は、我々のチームがどういった図面解析の機械学習モデルをどのように開発しているのか、それをどのように改善しようとしているかを紹介したいと思います。 目次 どういう図面解析が必要なのか CADDiの機械学習モデル開発の流れ 継続的な機械学習モデルの改善に向けて おわりに どういう図面解析が必要なのか CADDiでは図面活用SaaSであるCADDi DRAWERを提供しています（DRAWERの詳細に関してはこちら）。図面はどういうものが作りたいかを示した設計図なわけですが、PNG画像やPDFなど2次元図面画像で保管されており、構造化されていないデータである事が多いです。作りたいものが何を素材としているか、どのように加工すべきかなどが画像になっているため、人の目では分かってもコンピュータ上では管理し易い状態になっ
ジョージア工科大学でコンピュータサイエンスを学び始める話 - Qiita
目次 はじめに 何故出願したか 何故ジョージア工科大学か どうやって準備したか おわりに はじめに 既に先人たちが書かれている記事も多々ありますが、2023年3月にジョージア工科大学のコンピュータサイエンス修士過程に出願して合格しました。8月から授業が始まるので忘れない内に何故出願したのか、どのように出願準備したのかについてまとめようと思います。働きながら米国のコンピュータサイエンス大学院進学を考えている方々の参考になりますと幸いです。 Acceptance Letter ー 合格証 何故大学院に出願したか ジョージア工科大学に出願した理由をざっくりまとめると、下記の3点です。 「Data&AI周辺への理解を深めて顧客からの技術的信頼度を上げたい」 「学問を続けられる環境に身を置きたい。加えて学位が欲しい」 「世界中どこでも働けるポータブルスキルを持った人材になりたい」 詳細は下記にプロフ
Implementations
This wiki tracks known implementations of QUIC. See also our Tools listing. Current interop status; make sure you are looking at or editing the correct tab. Please add your implementation below. Keep sorted alphabetically. There are three sections, one for "IETF QUIC Transport", one for "HTTP/3C", and one for "QPACK". Entries may appear in multiple sections e.g. where a stack provides both IETF QU
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Top Interview 150 - Study Plan - LeetCode
Istio
Vector database - Wikipedia
SQL, NoSQL, and Scale: How DynamoDB scales where relational databases don't | DeBrie Advisory
