pixivの全文検索基盤とElasticsearchによるリプレイス - pixiv inside
まもなく17周年を迎えるpixivでは、長年にわたり作品などの全文検索基盤としてApache Solrを使用してきました。 しかし、サービスの規模が拡大する中で、従来の基盤に問題が生じていました。これを受けて、pixivでは全文検索基盤のリプレイスを実行しました。 今回のリプレイスにより、pixivでは検索結果の更新反映時間や検索APIのレイテンシが大幅に短縮されました。また、今後のスケールに対応可能になり、新機能開発においても全文検索が容易に利用できるようになりました。 本記事では、pixivの全文検索基盤の歴史や、今回オンプレミス環境でElasticsearchクラスタを構築し、リプレイスを完了するまでの取り組みについてご紹介します。 こんにちは。pixivのnamazuです。最近、私たちのチームで進めていたpixivの全文検索基盤のリプレイスが完了しました。この機会に、pixivの全
Iconbuddy — 200K+ open source free svg icons
The ultimate source for icons.Download, Customize, Edit and Personalize. Over 200k+ open source icons.
GPTのAPIとText2Speechを組み合わせてAIとの会話体験を実装してみる | DevelopersIO
はじめに OpenAIのDevDayで発表されたText2SpeechのAPIを使ってみたいと思います。Text2Speechとは簡単にいうとテキストの読み上げ機能です。 日本語を読ませる場合、まだ少し英語訛りですが、なかなか人間っぽい発音を行います。 今回はこのText2SpeechのAPIを使って遊んでみたいと思います。 なにを作るのか？ 先程記載したように、Text2Speechでは発話を行うことができます。 この特徴とGPTの会話ができる特性を組み合わせれば、会話っぽいことができるのではないかと思い実装してみました。 今回は試験的に実装を行うため、GPTには「動物博士」としてのロールを与えて動物の雑学を教えてもらいました。 完成形は以下のような動画になります。Text2Speechを利用しているため音声ONの状態での閲覧を推奨します。 発音が英語話者っぽくなっていることや漢字を稀に
RAGを使った生成AIボットでユーザの意図を理解して対話するためのフローを考えてみた | DevelopersIO
はじめに 新規事業部統括部インターンの高橋です。ここ最近はすさまじいスピードで様々な生成AIがリリースされていますね。そのなかでもChatGPTをはじめとするLLMの活用には注目が集まっており、多くの方が使用していると思います。 LLM（Large Language Model）とは大量のテキストデータを学習した言語モデルのことで、一般的な事柄であれば私たちの質問に対して十分納得感のある回答を返してくれます。しかし、LLMが学習したデータに含まれない事柄については正しく回答することができません。 この問題を解決する方法としてRAG（Retrieval Augmented Generation）という手法が用いられます。これは、LLMに外部の情報源（ここでは社内ドキュメントなど）を与えることで、それを参照して回答を生成してもらおうという手法です。ユーザは事実に基づく情報をベースにした回答を得
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
OpenAIのAPIを使って自社ブログ(DevelopersIO)の記事をベクトル検索するボットをつくってみた | DevelopersIO
はじめに 新規事業統括部の山本です。 OpenAI APIをはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMは学習したときのデータに含まれている内容以外に関する質問には回答できません。そのため、例えば社内の文章ファイルに関する質問に回答するチャットボットを作成しようとしても、質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、 ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索する その文章をLLMへの入力（プロンプト）にプラスして渡す というフローにすることで、LLMが学習して
ツンデレ・幼なじみ・メイド・妹のボイスが入った「∞(むげん)プチプチ ぷち萌え」 - GIGAZINE
逐次検索やタイプミス耐性、ファセット検索、ジオサーチ、マルチテナンシーなどの機能を備えた高性能検索エンジン「Meilisearch」が2023年2月に初の安定版であるバージョン1.0をリリースしたとのことなので、早速ローカルで動作させて日本語の検索性能を確かめてみました。 Meilisearch 1.0: the next stage in search https://blog.meilisearch.com/v1-enterprise-ready-stable/ 公式サイトには英語のデモが用意されており、簡単に使い勝手を確かめることができます。試しに「mario」と入力を始めたところ、逐次検索が有効なため途中の状態でも結果が返ってきています。 「mario」と入力すると36件の結果がヒットしました。検索にかかった時間は4ミリ秒と驚異の速度。 デロイトとGoogleによる調査結果によると
Google、AIと検索を融合したSearch Generative Experience (SGE) を発表
[レベル: 上級] Google は、Generative AI（生成 AI）と融合した検索を Google I/O で発表しました。 Search Generative Experience (SGE) と名付けています。 一般公開はまだで、米国のユーザーに対してウェイトリスト登録の受付けを開始しました。 この記事では、速報として Search Generative Experience の概要を紹介します。 AI が生成した回答を検索結果に表示 クエリに対応した AI が生成する回答は検索結果のトップに掲載されます。 ウェブ検索結果よりも上です。 通常の検索では細かく分けないとたどり着けないような複雑だったり、1 つの正しい回答が存在しないような質問にも SGE は対応できます。 検索結果と融合したのは Bing チャットと同じ形式ですね。 📝すずき補足: Bing チャットは単独の
ChatGPTを使った社内ドキュメントを読み込んで回答できるアシスタントBotを作りました！｜howdy39
※2023.04.25 予想以上に見られているので追記 ChatGPTはAPIでの利用なので学習はされません。また入れてる情報は社内のだれでも見れてよい情報に留めており、顧客情報を始めとした個人情報などは一切含めていません。STORES サービスに関わる情報も含んでおりません。 入れているのは社内業務における経費精算などの各種申請の手順、オフィスの利用ルール、福利厚生の解説などに限定されています。 この記事は STORES PX Advent Calendar 2023 Spring 16日目の記事です こんにちは！STORES のPX部門IT本部でマネージャーをしている@howdy39です。 先日、社内向けにChatGPTを使ったアシスタントBot（Slack Bot）を開発しリリースしたのでそのご紹介記事になります。 リリースアナウンスのSlackメッセージどんなBOT？STORES
IconHunt
Required parameter: searchterm, string: searchterm Keywords: palette, boolean: Filter icons by palette. Example queries: "arrow palette=false", "car palette=true". style, "fill" or "stroke": Filter icons by style. Example queries: "arrow style=fill", "car style=stroke". prefix, string: Icon set prefix if you want to get result only for one icon set. Example queries: "arrow prefix=mdi", "car prefix
SVGアイコンを探すときの新定番！ オープンソースのSVGアイコンを横断検索で、好みのデザインを見つけることができる -Iconhunt
オープンソースのSVGアイコンを探すときに大変なのが、好みのデザインを見つけることだと思います。たとえば、検索用の虫メガネアイコンだとレンズの大きさ、持ち手の長さ、レンズと持ち手のバランス、ストロークの太さなど、いろいろなデザインのアイコンがあります。 オープンソースのさまざまなアイコンを横断検索して、好みのデザインを見つけることができるSVGアイコン特化の検索エンジンを紹介します。 Iconhunt Iconhuntは、オープンソースのアイコン（約150K）を対象にした検索エンジンです。キーワードを入力すると、各ライブラリのそのアイコンが一覧で表示されます。アイコンはすべて、MITライセンスの下でライセンスされているIconify -GitHubに従っています。
Googleウェブマスター向けガイドラインが刷新し、Google Search Essentialsに
[レベル: 初級] Google は、ウェブマスター向けガイドラインの名称を変更し、構成を刷新しました。 名称変更 まず、ウェブマスター向けガイドラインの名称を変更しました。 2020 年 11 月に Google は、「ウェブマスター」という呼称の使用をやめました。 にもかかわらず、ウェブマスター向けガイドラインには「ウェブマスター」が依然として残っていました。 ウェブマスター向けガイドラインに相当する新しいドキュメントの名称は「Google Search Essential」です。 📝すずき補足: この記事を書いている時点で日本語版はまだ公開されていないので、日本語名がどうなるかは不明。そのまま「Google 検索エッセンシャル」になるか、完全訳して「Google 検索の本質」にみたいになるか。 【UPDATE (2022/10/18)】 日本語ドキュメントでは「Google 検索の
モバイル検索結果にサイト名を表示する機能をGoogleが正式導入、構造化データでサイト名を指定可能
[レベル: 中級] モバイル検索結果にサイト名を表示する機能を Google は正式に導入しました。 関連する技術ドキュメントも検索セントラルサイトに公開しています。 こちらのキャプチャのように URL の上にサイト名が表示されます。 この記事では、モバイル検索のサイト名表示に関して、僕が個人的に特に重要だと感じた内容を解説します。 日英ほか 4 か国語で導入 モバイル検索の結果で URL の上にサイト名を Google が表示し始めていることを 9 月初めにこのブログで紹介しました。 このときはテスト機能なのか正式機能なのかがはっきりしなかったのですが、今は正式な機能として導入されています。 次の 4 言語のモバイル検索でサイト名が現状では表示されます。 日本語 英語 フランス語 ドイツ語 グローバルではなく言語を限定して公開した機能に、日本語が含まれているのは嬉しいですね。 サイト名を
SEOに取り組むなら活用必至のツール14選【現役コンサルタントに聞いてみた】 -webma-
SEOに取り組むなら活用必至のツール14選【現役コンサルタントに聞いてみた】COLUMNS 2022/07/20 2023/02/02 SEO こんにちは、Webma編集部ライターの具志堅です。 いつもWebmaをご愛読いただき、ありがとうございます！ 今回は、おすすめツール紹介企画の第2弾です。 第1弾の「広告編」では、多くの方に記事を閲覧・シェアいただきました。 広告担当者なら使いこなしたい！業務効率化ツールをマーケターに聞いてみた【9選】 -webma- 今回は「SEO編」ということで、弊社のSEOコンサルタントが日々の業務で重宝しているツールを聞いてみました。 無料のもの・有料のものありますが、どれもSEOに携わるなら使いこなしたいツールとなっています。 「こんなときに使う」「ツールのここが良い！」という現役SEO担当者のコメントも記載しているので、ぜひ気になるツールだけでもチェッ
登録商標や出願中の商標の検索・確認・調査に無料で使える「J-Plat-Pat」の使い方 | 商標登録ファーム（ J-star国際特許商標事務所）
登録商標や出願中の商標の検索・確認・調査に無料で使える「J-Plat-Pat」の使い方 | 商標登録ファーム（ J-star国際特許商標事務所） 2015年3月23日より、特許庁は従来までの「特許電子図書館」をリニューアルし、新たに「J-PlatPat」というシステムの提供を開始しました。 「J-PlatPat」では従来の特許電子図書館のIPDLの様に、無料で登録商標を検索することが出来、商標の調査に利用することが出来ます。 J-Plat（ぷらっと）Pat（ぱっと）の名前の由来はユーザーの方が「ぷらっと」寄って、情報を「ぱっと」見つけられるサービスを目指していくという事です。 商標登録ファームでも中小企業の皆様が気軽に「ぷらっと」、登録商標の検索ができ「ぱっと」必要な情報が見つけられるように、本ページを通して「J-PlatPat」を利用して初心者でも簡単に商標の検索・調査が出来るように使い
「メルカリShops」を支える Google のベクトル検索技術 | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 6 月 17 日に、Google Cloud blog に投稿されたものの抄訳です。 メルカリは、日本で 2,000 万人超、米国で 約566 万人の月間アクティブ ユーザーを持つ、近年最も成功しているマーケットプレイス サービスのひとつです。2021 年 10 月、メルカリは小規模のビジネスオーナーや個人がスマートフォンひとつでネットショップをEC ポータルを開設できる新サービス「メルカリShops」 を日本で開始しました。この新サービスの開発に際しては、「類似性」を利用した新しいマーケットプレイスの実現に Google のベクトル検索技術が導入されています。 ショップを集めただけではマーケットプレイスにはならない立ち上げ当初の「メルカリShops」は、小さな EC サイトの集まりにすぎず、ユーザーは各ショップを 1 か所ずつ開いては販売されている商品
日本の祝日APIをリリースしました - ケンオールブログ
アップデートのお知らせ(2022/03/15) 2022/03/15(火)にケンオールをアップデートしました。 アップデート内容は以下のとおりです。 新API: 日本の祝日API 郵便番号逆引き検索API: 品質の改善 祝日や休日のAPIについて、機能要望アンケートを募集中です！ 新API: 日本の祝日API 日本における祝日は、内閣府が毎年CSVデータを公開しています。 しかし、システムで祝日データを利用するとき、CSVをダウンロードし、それをシステムにロードするというのは意外と手間がかかります。 手動で更新する場合、手順自体を検証した上で運用ドキュメントを執筆する必要があります。 さらに、手動運用によるオペレーションミスのリスクも毎年つきまとうことになります。 自動化する場合、特別に祝日が移動するケースなどに対応できるようにしなければいけません。結局のところ手動でも更新できるようにして
Elasticsearchのmatchとmatch_phraseの違い - grep Tips *
Elasticsearchで全文検索する際にmatchとmatch_phraseの違いがはっきり身についていないのでまとめてみる。 version: Elasticsearch 7.5 matchクエリ matchクエリを使うといわゆる曖昧検索ができる。matchクエリに渡した文字列はanalyzeされてから検索に使用される。 例えばtitleというフィールドに「2021年春に発売される新着本の特集!!NEW!!」という文字を保存していたとして、「2021春」で検索できるかどうかを考えてみる。 GET sample-index/_search { "query": { "match": { "title": "2021春" } } } 解析されたクエリはORで検索される indexをkuromojiで形態素解析されるように設定したので、「2021春」は「2021」と「春」に形態素解析される
How to implement Japanese full-text search in Elasticsearch
全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
特許情報プラットフォーム｜J-PlatPat [JPP]