まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全
『若い女性の体臭はラクトン+肉の匂いだから、桃とハムを一緒に食べると女になる』という狂気の知見を試しているが確かに謎の生々しい味になる
すきえんてぃあ@書け @cicada3301_kig 着ぐるみ生命体／トランスヒューマニスト／コピミズム／言語／謎エスニック料理／リキュール／主なるねこかわの御名において にゃーん twitter.com/search?q=%E6%9…
10X ソフトウェアエンジニアの @metalunk です。ネットスーパー、ネットドラッグストアのプラットフォームである Stailer 事業で、機械学習（ML）と検索を専門として働いています。 2024年4月からいま（2024年8月）までの5ヶ月間で6つの推薦機能をリリースできました。この成果を支えたのはチームと ML platform（機械学習の基盤システム）です。このブログではチームの取り組み、ML platform の機能、および具体的な成果についてご紹介します。 このブログは技術ブログの体ではありますが、さまざまな業界、職種の方に読んでいただくことを目指して執筆しました。 (3) 章, (5) 章だけは機械学習に取り組んでいる人向けの内容を含みますので興味のない方は読み飛ばしてもらって結構です（機械学習に取り組んでいなくても興味のある方はぜひ読んでください）が、それ以外は IT
vmsplice is too fast Some programs use a particular system call “vmsplice” to move data faster through a pipe. Francesco already did a deep dive on using vmsplice to make things fast. However, while experimenting with it, I noticed that, when not using vmsplice, Linux pipes are slower than what I would have expected. Since you cannot always use it, I wanted to understand exactly why that was, and
Postgres as a search engine
This method ensures that items ranked high in multiple lists are given a high rank in the final list. It also ensures that items ranked high in only a few lists but low in others are not given a high rank in the final list. Placing the rank in the denominator when calculating score helps penalize the low ranking records. It’s also worth noting: $rrf_k: To prevent extremely high scores for items ra
Search and analytics, data ingestion, and visualization – all at your fingertips.
以下の文章は、コリイ・ドクトロウの「“Disenshittify or Die”」という記事を翻訳したものである。 Pluralistic 先週末、ラスベガスで開催されたDefcon 32に参加し、トラック1で「脱メタクソ化か、死か！ ハッカーはいかにして計算手段を掌握し、クソボスたちのメタクソ化への飽くなき強欲に対抗する新しき良きインターネットを構築できるか」という単独講演を行う光栄な機会を得た。 https://info.defcon.org/event/?id=54861 これは昨年の講演「インターネットのメタクソ化（Enshittification）を止める大胆な計画」の続編で、その講演でのプラットフォームの衰退（「メタクソ化」）に関する私の分析には多くの国際的な関心が寄せられた。 https://www.youtube.com/watch?v=rimtaSgGz_4 Defcon
![「脱メタクソ化か、死か」 | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/c41d621fcbbca4e07e3709013fc76a23cf304bdb/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F08%2F9271a4dfe5a21142_2.jpg)
自律AIが自律AIを改良し続ける自動設計システム「ADAS」発表。手動設計を大幅に上回る性能 | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 気になる生成AI技術の論文を解説する連載、今回はAIがAIエージェントを自動設計して改善を続けて進化するシステム「ADAS」を紹介します。 生成AIウィークリー | テクノエッジ TechnoEdge AIがAIエージェントを改善し続ける自動設計システム「ADAS」従来、強力な汎用エージェントの開発には、基盤モデルをエージェントシステムのモジュールとして組み込む手動設計が主流でした。本研究では、人間の介入なしにAIによって独創的で強力なAIエージェントシステムの設計を自動化する「ADAS」（Automated Design of Agentic Systems）という新たなアプローチを提案しています。 ADASのプロセスは以下のように進行します。ま
【この世で最もいい曲100選】まとめ
皆さんは、「この音楽はなんて素晴らしいんだろう」と感じた経験はありませんか。 この世に「いい曲」は無数になり、中でも「一生聴き続けるほど好きになる楽曲」は、まさに宝物であるとも言えます。 リサフランクさんの「このツイート」も、恐らくそうした発想から始まりました。 全てはここから始まった この呟きを発端に、個々が考える「この世で最もいい曲」を100つ集めたプレイリストを作るブームが到来。 それに伴い、ハッシュタグ「#この世で最もいい曲100選」も作られます。 これらのプレイリストから、「どの曲が最も多く選ばれたか」を私のほうで密かに集計。 そしてリサフランクさんの呟きから5か月後に、集計結果を発表しました。 集計者数415人票数41,805票参加曲数26,625曲 なお、発表時の様子については、下記Togetterで詳細に纏めております。 【この世で最もいい曲100選】「#この世で最もいい曲
Excel関数とは 関数 日付と時刻の関数 TODAY : 今日の日付 NOW : 現在の日時 DATEVALUE/TIMEVALUE : 日付・時刻文字列を日付・時刻に変換 YEAR/MONTH/DAY/WEEKDAY : 年/月/日/曜日を取り出す HOUR/MINUTE/SECOND : 時/分/秒を取り出す DATE/TIME : 年・月・日/時・分・秒から日付/時刻を得る DAYS : 日付の差分(日) DATEDIF : 日付の差分(年,月,日) NETWORKDAYS : 日付の差分(土日祝日除外) WORKDAY : N日後の出勤日(土日祝日除外) EDATE/EOMONTH : X月後 エンジニア関数 XXX2XXX : 〇進数-〇進数変換 情報関数 TYPE : 型 CELL : セル情報 INFO : 情報 ERROR.TYPE : エラー種別 他の情報関数 論理関数
AIチャットボットを搭載した検索エンジンの「Perplexity」が、2024年第4四半期(10～12月)から広告の掲載を開始するとCNBCが報じています。Perplexityでは「広告を1000回表示させるのにかかる費用が50ドル(約7300円)以上」になるとのことです。 Perplexity AI plans to start running search ads in fourth quarter https://www.cnbc.com/2024/08/22/perplexity-ai-plans-to-start-running-search-ads-in-fourth-quarter.html Perplexity Reportedly Plans Ads for AI Search App https://www.pymnts.com/news/artificial-inte
イラレで特色を使った印刷物のデザインをする場合、既存のDICスウォッチを使うのはやめて、RGBでスウォッチを作る - 遠近法ノート
以下の記事は、Adobe Illustratorを使用した特色データ作成のコツです。ただしこれは、正しいデータの作り方とか、RGB入稿とか、そういう話ではまったくありません。特色をCMYKで出すやつとも無関係です。印刷通販の入稿ガイドなどとは、まるっきり違う話を書いています。初心者の方は読まないほうが良いです。 画面の色はあてにならない Illustratorで特色を使う場合（CMYK＋特色の5色刷りや、スミ+特色の2色刷り／3色刷りなど）、たいてい、DICのスウォッチ「スウォッチライブラリ→カラーブック→DIC カラーガイド」を使うと思います。データ作成としてはそれでいいんですが、作り慣れてくると、画面に表示される色味に不満をおぼえますよね。なんでこんなにくすんだ色味なんだって。 表示を「オーバープリントプレビュー」にすればだいぶ鮮やかになります。それでもまだ現物とはかけ離れた色が出るこ
プライバシー重視のブラウザや検索エンジンを手がけているスタートアップのBraveが、全従業員の約14％に相当する従業員27人を解雇したことが報じられました。 Brave lays off 27 employees | TechCrunch https://techcrunch.com/2024/08/28/brave-lays-off-27-employees/ IT系ニュースサイト・TechCrunchが入手した情報によると、Braveが解雇した27人は同社のさまざまな部門に所属していた従業員とのこと。Braveは解雇については認めましたが、解雇された従業員数や解雇理由の公表は控えました。 市場調査会社・PitchBookはBraveの従業員数を約191人と見積もっており、今回の解雇で人員の約14％が削減されたことになります。 Braveは2023年10月にも全従業員の9％を解雇したこと
Helping Users Find Their Own Way: Creating Modern Search Experiences
こんにちは！スタッフエンジニアの @kenkoooo です！Rust から Go で書かれたコードを呼び出す方法を紹介します。 日々ソフトウェアを開発するにあたって、我々開発者は多種多様なツールを利用しています。それらのツールはそれぞれ様々なプログラミング言語で作られていて、その中には Go 言語で書かれたものも多くあります。例えば、自分の AWS アカウントに紐づく権限情報を使って、ローカルからクラウド上で動いているリソースにアクセスすることができるツールとして session-manager-plugin があります。plugin の名の通り、単体で使うことは想定されておらず、AWS CLI で Systems Manager の機能を利用可能にするものです。AWS CLI は内部的にこのコマンドを呼び出して使っています。estie でも内部的に session-manager-plu
Search, watch, and cook every single Tasty recipe and video ever - all in one place! News, Politics, Culture, Life, Entertainment, and more. Stories that matter to you.
Lighthouse CIでデータを蓄積し、Looker Studioで日々のスコアを可視化した話 - ZOZO TECH BLOG
はじめに こんにちは、WEARフロントエンド部Webブロックの新です。普段はWEARのWebサイトのリプレイス開発を担当しています。リプレイスを進める中で、不具合やリプレイス前後での変化にいち早く気づくため、Lighthouse CIによる日々の記録を可視化し定期的に通知する仕組みを作りました。本記事ではその取り組みについて詳しくご紹介します。 目次 はじめに 目次 背景・課題 Lighthouse CI とは やったこと 1. GitHub Actionsでページ毎にLighthouse CIを実行し、結果をGoogleスプレッドシートに保存 2. GoogleスプレッドシートをデータソースとしてLooker Studioでグラフ化 3. Looker StudioからGoogle Apps Scriptを使用するアカウントへメール配信 4. Google Apps ScriptでLoo
この記事では、「んだべぇ」(福島県南会津郡南会津町)、「スキちゃん」(福島県相馬市)について紹介します。 んだべぇ んだべぇ について 「んだべぇ」は、福島県南会津郡南会津町のキャラクターで、傘と雪ぐつを着用していることにより南会津の寒さを表現しており、南会津町のあたたかい雰囲気をのほほんとした表情で表現し、南会津の特産品である藍染のチョッキを羽織って、南会津町をPRしています。 公式サイトには、「食べることが大好きな食いしん坊の妖精」と説明されていますが、何がモチーフなのか、まだ分かっていません。何か分かればこの記事を更新します。 以上、公式サイトを参考に、その他の資料の情報等をまとめました。 詳細は、「公式サイト・その他最新情報等」にある公式サイトのプロフィールを参照して下さい。 んだべぇ 写真集 来らんしょ南会津町～極上の酒と幸～ 下の写真は、2022年に東京駅のすぐ近くにあるKIT
（２０２１年３月１２日アルツハイマー型認知症の診断から約１４年1ヶ月） harienikki.hatenablog.com ＊想像以上に出来ない 前々回の記事で、私はこんなことを書いていました。 災害時に私やオネコさんがジジの食事の用意が出来なくても、 ジジが何か温かいものを自分で食べられないものか…。 harienikki.hatenablog.com 今後、オネコも私も実家に行かれず、ジジは温かい食事を摂れない事だってありえます。 電子レンジは使えないけど、ジジは電気ケトルでお湯を沸かすことはできます。 インスタントのカップラーメンはあまり好まず食べなかったけど…。 背に腹は変えられません。 時々、食べさせて慣れてもらおうかな…。 でも、お湯を注ぐのは危ないかな？(^◇^;) ジジは９６歳。歩行器がなければ屋内の移動すらままなりません。 認知症テストはしていませんが、年齢相応にかなりボ
System Prompts - Anthropic
See updates to the default system prompt for text-based conversations on Claude.ai and the Claude iOS and Android apps. Claude’s web interface (Claude.ai) and mobile apps use a system prompt to provide up-to-date information, such as the current date, to Claude at the start of every conversation. We also use the system prompt to encourage certain behaviors, such as always providing code snippets i
この記事では、群馬県桐生市のマスコットキャラクターの「キノピー」と「キノピー」のモデルであるのこぎり屋根工場について紹介します。 先日(2024年)、観光で桐生市に行ってきました。(左側の)桐生駅に着いた時と(右側の)街を散策中に下のキャラクターを見かけました。こちらが、この街のキャラクター「キノピー」です。 キノピー について 「キノピー」は、群馬県桐生市の産業遺産であるノコギリ屋根の工場をモチーフとした、群馬県桐生市マスコットキャラクターで、胸には桐生市章と自然の豊かさを表現する緑、両腕は渡良瀬川を表現しています。 以上、公式サイトを参考に、その他の資料の情報等をまとめました。 詳細は、「公式サイト・その他最新情報等」にある公式サイトのプロフィールを参照して下さい。 キノピー 写真集 ぐんまちゃん30周年記念 ご当地キャラカーニバル 下の写真は、2023年に群馬県庁で開催された「ぐんま
こんにちは、JADEブログ編集部です。 JADEではコンサルタントの評価基準のひとつとして、「検索クエリ理解」という項目があります。これは「あるクエリやサイトにおけるユーザーの意図や動向、競合などの理解を判断する」といったもので、ある意味、施策を行うためのアイデアの源泉となります。 ちなみに「普通」の評価基準は「限定された一部のクエリに関して、想定されるユーザーの意図と、そのクエリにおける競合を解説することができる。新たにアプローチするべきクエリをある程度まで、調査、発想、できる」。 「良い」の評価基準は「一定程度のジャンルのクエリに関して、想定されるユーザーの意図と、そのクエリにおける競合を深く解説することができる。新たにアプローチするべきクエリを多く調査、発想できる」。 つまり普通と良いの差分は「限定された一部のクエリ」と「多岐にわたるジャンルのクエリ」と、「深く」という文言でした。シ
現在メディカルダイエットの中で、最も人気があるのがGLP-1ダイエットです。 今回の記事ではGLP-1ダイエットを深掘り解説していきます。結論から書きますと、GLP-1ダイエットは痩せます。仕組みや薬の選び方など是非参考にしてください。 GLP-1ダイエットって何？ GLP-1ダイエットは、GLP-1受容体作動薬を使ったダイエット法の事です。使用する薬は、国内外において肥満症の治療に使われている薬です。 肥満症の治療に使われる科学的根拠のある薬ですから、確実なダイエット効果が証明されています。 主な効果は以下があります。 ・食欲中枢に働きかける（食欲を抑えられる） ・胃腸の動きを緩やかにする（満腹感が持続する） ・内臓脂肪の燃焼を促進する 特筆すべきは、食欲自体を抑制する効果です。ダイエットに失敗する原因は、ほとんどの方が「食べることを我慢できない」です。 GLP-1ダイエットが画期的なの
目次[非表示] 1.はじめに 2.SQLとElastic Searchの違いとは？ 3.Elastic Searchの環境構築(Mac) 4.何を検証するのか 4.1.レコード数での比較 4.1.1.テストデータの準備 4.1.1.1.SQL側の準備 4.1.1.2.Elastic Search側の準備 4.1.2.検証 4.1.3.結果 4.2.文字数の速度比較 4.2.1.テストデータの準備 4.2.2.検証 4.2.3.結果 4.3.重複文字で比較 4.3.1.テストデータの準備 4.3.2.検証 4.3.3.結果 5.まとめ 5.1.結果の分析 5.2.結果 6.お悩みご相談ください はじめにこんにちは、株式会社divxでエンジニアをしている清水です。 以前、私はプロジェクト内でElastic Searchを導入するか、あるいはSQLのフルテキストインデックスを使用して全文検索を行
1年前のtumblrやXの自分の投稿を見るショートカット
懐古厨なので、割と一年前に自分が何を投稿したかなーなんて振り返りたくなります。そんな時、iPhoneのショートカット機能を使うと割と簡単に開けますのでシェアします。 tumblrやX(旧twitter)には、投稿日を指定して検索することができる tumblrやXは、アドレスに特定のパターンの文字列を入れると色々な指定ができます。基本的にはこの機能を使い、各SNSのデータを検索する形で特定の日付の投稿を表示させます。 tumblrの場合 https://ユーザー名.tumblr.com/day/YYYY/MM/DD X(旧twitter)の場合 https://x.com/search?q=from:”ユーザー名” sinceYYYY-MM-DD untilYYYY-MM-DD 一年前のSNS投稿を表示させるiPhoneショートカット iPhoneとは書きましたが、もちろんmacでも動作しま
Message: Please enter a numeric string to search or a starting position (decimal digits only) Try our streamlined Pi search interface! About the Irrational Numbers Search Engine: Why create an irrational numbers search engine? Why not! Built in 2002 just for fun, the original implementation only offered digits for Pi and ran on a makeshift server in my basement. The hardware has since been contin
なんで僕とチューしてくれないんですか😢
「○○について調べておいて」。上司にそう言われた場合、あなたならどう動くだろうか。正確な情報を素早く入手したり、新企画につながる情報をキャッチしたりするには何をすべきか。情報の海から最速で必要なものを見つけ出す方法を賢者が明かす！ 情報収集で重要なのは事前準備 コンサルタントとしてクライアント向け資料を作成するため、様々な情報を収集する坂口さん。さらに、テレビやラジオ出演、月に数十本の原稿執筆でも多くの情報を集めている。この作業を繰り返す彼は、情報収集の名人と言える。そこで、限られた時間で素早く情報を集め、アウトプットする鉄則を聞いた。詳細は後述するが、特に大切なのは事前準備だと指摘。情報収集は4段階に分けられ、事前準備にあたる1、2段階が要となる。 「依頼内容に疑問を持つのが最初です。次に問題の所在を明確にします。多くの人はどちらもせずにすぐ情報を集め始めるため、徒労に終わってしまう。い
GoogleのAIによる概要 (AI Overview) の日本での展開開始。オプトインユーザーはSearch Consoleに記録されない？
[レベル: 中級] Google から発表があったように、AI Overview の日本での一般ユーザーへの展開が始まりました。 Search Labs にオプトインしていないユーザーの検索でも AI による概要が生成されます。 非オプトインユーザーには「Search Labs」ラベルなし Search Labs にオプトインしていないユーザーの日本の Google 検索 (https://google.co.jp) で生成された AI による概要です。 「もっと見る」で展開したところです。 オプトインしているユーザーの AI による概要と見た目には “ほぼ” 同じですが、1 つだけ大きな違いがあります。 オプトインしている場合のラベルには「Search Labs」が「AI による概要」の前に付きます。 オプトインしていない場合のラベルには「Search Labs」は含まれず、「AI によ
若者に人気の飲食店が多く集う三軒茶屋。その中心地にあるのが三軒茶屋銀座商店街「三茶しゃれなあど」です。年間を通じてイベントを多数実施し、今では週末になると商店街公式サイトへのアクセスが急増するほど。お客さんに何度も訪れてもらうための商店街の施策について伺いました 長年にわたり、その地域に住む人々の暮らしを支えてきた歴史ある商店街。連日テレビやメディアに取り上げられるような活気あふれる商店街は、どんな工夫で集客に取り組んでいるのでしょうか？今回の舞台は、三軒茶屋銀座商店街「三茶しゃれなあど」。若者に人気の飲食店が多く集う三軒茶屋の中心地にある商店街は、どのような施策を展開しているのか。理事長の飯島祥夫さんにお話を聞きました。 飯島祥夫さん 1953年に三軒茶屋で創業した衣料品小売業（株）三恵の代表取締役社長。女性用下着を中心に展開し、2004年に2代目として家業を継いだのち、EC事業に進出し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pixivの全文検索基盤とElasticsearchによるリプレイス - pixiv inside
10X の推薦を作るチームと ML platform - 10X Product Blog
Xを検索できる「Yahoo!リアルタイム検索」でインプレゾンビ対策
Linux Pipes are Slow | Quentin Santos
Elasticsearch is Open Source, Again
「脱メタクソ化か、死か」 | p2ptk[.]org
とほほのExcel関数入門 - とほほのWWW入門
AI検索エンジンの「Perplexity」が間もなく広告掲載を開始、単価も明らかに
広告ブロッカー標準搭載のブラウザ「Brave」が従業員の14％相当を解雇
長期運用プロダクトの開発速度を維持し続けるためのリファクタリング実践例
Rust から Go で書かれた関数を呼ぶ - estie inside blog
【となりのトトロ】サツキとメイの家の驚くべき裏設定とは？ 宮崎駿監督「病人が死んでしまった家なんです」
「んだべぇ」等の福島県ゆるキャラ写真集 その6｜ゆるキャラ
ジジとカップ麺 - アルツハイマーとともに〜おママの貼り絵日記〜
「キノピー」と桐生市のノコギリ屋根工場｜ゆるキャラ
JADEのシニアコンサルタントは、どんな「初手」を打っているのか？ - ブログ - 株式会社JADE
GLP-1ダイエットは痩せる！サプリとの違いや効果も解説 – メディカルランド
SQLのFULLTEXT INDEXとElastic Searchの速度比較 | 株式会社divx（ディブエックス）
Irrational Numbers Search Engine
「"なんで僕とチューしてくれないんですか😢"」の検索結果（36件） - はてな匿名ダイアリー
これだけで差がつく！多くの人が実践できていない「情報収集」4つの真実｜@DIME アットダイム
人気エリアの三軒茶屋を代表する商店街「三茶しゃれなあど」。WEBやSNSをうまく活用した集客成功のウラ側 - おなじみ丨近くの店から、なじみの店へ。