ベクトルデータの容量を96%削減するBinary Embedding
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
AWS VPC のネットワーク小話～Public/PrivateとIPv4/6～ | 外道父の匠
日々何気なくお世話になっている VPC 含むネットワークは、ちゃんと理解しようとすると思ったより多い情報量と、それに対するパターンの経験が必要になります。 私自身、正直ネットワークのお話は好きじゃないのですが、現行の事情を踏まえてこの辺の基本と雑学を振り返っておくと、技術力のベースが整ってよろしいのではと思って整理することにしました。 はじめに 新年度なので、学習教材シリーズです。今回はネットワーク周りで、基礎に味付けするような内容です。もしかしたらお嫌いなジャンルでしょうか、でも少しだけやりましょうそうしましょう。 関連情報としては、このあたり。 公式 ENOG81: AWSのIPv6とPublic IPv4のおはなし – Speaker Deck Amazon VPC とは? – Amazon Virtual Private Cloud 外道父の匠 AWS VPCルーティングの基本から
MySQL(InnoDB)のSQLパフォーマンスチューニングのエッセンス
はじめに MySQL(InnoDB)でSQLのパフォーマンスチューニングをするときに役に立つ知識をエッセンスとしてまとめました。結合(JOIN)やB-treeインデックスの探索の仕組み、実行計画の基本的な見方を紹介します。 想定する読者は、SQLのパフォーマンスを改善する必要があるが実行計画をみてもいまいちピンと来ない方です。インデックスの作成の経験や、複合インデックスやカーディナリティの知識があることを前提にしています。目標は、実行計画の内容がよく分からない読者が、実行計画をみただけでクエリが実行される様子をイメージでき、自信を持ってクエリの改善にあたることができるようにすることです。 ストレージエンジンはInnoDBを前提としています。また、インデックスはB-treeインデックスを想定しています。全文検索の転置インデックスや空間検索のR-treeインデックスについては触れません。 イン
｢最近、Google検索がイマイチな気がする…｣→本当にイマイチだった
｢最近、Google検索がイマイチな気がする…｣→本当にイマイチだった2024.02.01 08:00139,673 Thomas Germain - Gizmodo US ［原文］ （ そうこ ） 最近、なんとなく、ぼんやりとGoogle検索に対して思っていることありませんか？ 気のせいかもしれないけど、なんとなくだけど、私の感覚だけど、検索結果の質が悪いような…。そのなんとなく、まちがっていません！ 多くのユーザー、アナリスト、専門家が、Google検索結果の質が落ちていると声をあげています。品質は落ちていない、むしろ過去最高に絶好調だ！と異議をとなえているのは、Google。Googleだけ。 ユーザーが結果がイマイチと思っている＆リサーチでも結果にでているんだから、なんとかしてくれよ！ いえ、そう簡単な話ではないようです。 ｢製品の検索｣がとくに悪化ドイツのライプツィヒ大学、バウハ
敵対的プロンプト技術まとめ - Qiita
こんにちは@fuyu_quantです。 この記事はLLM Advent Calender 2023 17日目の記事です。 よかったらプライベートで作成したData Science wikiのGPTsも見て下さい！ はじめに 今回は敵対的なプロンプト技術についてまとめました．まとめ方は主に，Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition というLLMに対する敵対的なプロンプト技術に関してまとめた論文を参考にしています．本記事の内容が世の中のLLMを使ったサービスの機能向上の役に立てれば幸いです． ※世の中のLLMサービスが敵対的なプロンプト手法に対応できるように公開をしたものであり，利用を
OpenAI API で提供されている モデル まとめ｜npaka
「OpenAI API」で提供されている「モデル」をまとめました。 ・Model - OpenAI API 1. OpenAI API で提供されている モデル「OpenAI API」で提供されている「モデル」は、次のとおりです。 ・GPT-4 / GPT-4 Turbo : GPT-3.5を改善し、自然言語やコードを理解し、生成できるモデル ・GPT-3.5 : GPT-3を改善し、自然言語やコードを理解し、生成できるモデル ・DALL-E : 自然言語から画像を生成および編集できるモデル ・TTS : テキストを自然な音声に変換できるモデル ・Whisper : 音声をテキストに変換できるモデル ・Embedding : テキストをベクトル表現に変換できるモデル ・Moderation : テキストが機密または安全かどうかを検出できるモデル ・GPT base : ファインチューニング
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ | mond
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ 端的に言うと性能が良いからです。 これを理解するにはバッファプールへの理解が必要です。ディスク指向のデータベースの上では有限のメモリを最大限活用することでメモリに入り切らない巨大なデータ群に対して良好な参照性能を出す必要があります。バッファプールとはディスク上のデータの羅列を固定サイズのページ（InnoDBの場合16KB）の羅列であるとして読み書きに必要な分だけをメモリに移し取り複数の書き込みをできる限りメモリ内で受け止めて後でまとめてディスクに書き戻すという、ライトバック型のキャッシュのような機構です。 この中においてバッファプールは有限のサイズしか無いので適宜プール内のデータを書き戻して入れ替えながら上手くやっていく必要があります。 さてB+treeとB-treeの最大の違いは木のリ
Ｘがユーザーの生体情報や職歴・学歴も収集へ－ポリシー改定
ソーシャルネットワークのＸ（旧ツイッター）は、プライバシーポリシーを改定し、新たに生体情報なども収集する方針を示した。 同社は新たなポリシーで、「ユーザーの同意に基づき、当社は安全およびセキュリティーの確保や、身元確認を目的にユーザーの生体情報の収集や使用を行う」ことがあると説明。Ｘは何を生体情報と見なすかは定義していないが、他社は人の顔や目、指紋から得られるデータを指す言葉として使用している。 Ｘの担当者は新たなポリシー改定を確認したが、それ以上の説明は行わなかった。 ソーシャルメディア各社は以前から、個人の関心や検索履歴に合わせた広告の販売など、収集する情報やそのデータの使用方法を巡り、世界中のユーザーや規制当局から批判を受けてきた。Ｘがどのように生体情報を収集し、それをどう使用する可能性があるかは不明だ。 Ｘはユーザーの職歴や学歴に関する情報も収集する方針を示している。改定版プライバ
テキストエディタで使われがちなデータ構造 Piece Table の概要と実装 - A Memorandum
テキストエディタのデータ構造 Gap method Piece Table method Piece Table の構造 Piece Table の実装 Piece Table のメソッド まとめ テキストエディタのデータ構造 テキストエディタで採用されているデータ構造にはいろいろあります。 こちらの論文 Data Structures for Text Sequences では各種データ構造について比較検討されています。 多くは、Gap method や Piece table method をベースにしたものが多いのではないでしょうか(図で言う最下部の中心の丸印に当たります)。最近では Rope なども有名ですね。 Gap method Gap method では、現在のカーソル位置で、テキストバッファを2つに分割し Gap を間に挟み、カーソル位置に対する編集(テキスト追加/削除)を
管理者用初期化URLを踏んでWebサービスのデータをふっとばした話 - Qiita
自己紹介 本職のエンジニアではありませんが、ちょっとICT系に詳しそうなやつって感じで、部署のサーバ管理を任されたりもしています。 背景 私の（当時所属していた）部署では、毎年、数週間かけて前年の各人の業務実績をとりまとめて一つの冊子（PDF）にするという仕事があり、この作業を少しでも自動化するため、Webサービスが内製されました。当初は単純に各ユーザが自分の業務実績一覧をテキストで用意してアップロードするというものでしたが、秘伝のタレのように毎年少しずつ改良されたり、大幅に作り直されて別システムから業務データを取り込んでからブラウザ上で編集できるようになったりしつつ、なんやかんやあって私が引き継ぎます。他にやりたい人もなく、ひとり鯖管です。OSはCentOS6でした。 このシステムでは、毎年新しいデータを編集するため、その作業開始時にデータを初期化する必要があります。この作業も自動化し、
朝マックの「ハッシュポテト」は悪魔の食べ物 - kansou
朝マックの「ハッシュポテト」がうますぎて怖い。 丸く揚げられたイモ…サクサクとホクホク…「奇跡」としか言いようのない最高極まりないバランス…初めてハッシュポテトを口にしたとき「こんなにうまい食べ物がこの世に存在していいのか」とこれまでの人生の価値観が180度変わったのを今でも覚えている。 そしてなにより、こんなカロリー爆弾のような食い物を「朝に食う」という背徳感…これがたまらない。 「朝はスムージーしか口にしないんで…」 とほざく腐れ自称青年実業家の無駄にテカったツーブロックの頭をポテトでフルスイングする感覚…金？地位？名声？そんなものはハッシュポテトの前ではまるで「無」。朝にハッシュポテトを食べることができる自分、それが全てだった。 が…毎朝のようにハッシュポテトを食べるたびに、いつしかある衝動に駆られる自分がいた。 「朝以外もハッシュポテトが食いたい」 食いてぇ…朝だけじゃなく昼も夕方
キズナアイとねこますの声を入れ替える機械学習をした - Qiita
最近バーチャルユーチュ－バーが人気ですよね。自分もこの流れに乗って何か作りたいと思い、開発をしました。 モーションキャプチャー等を使って見た目を変えるのは かなり普及しているっぽいので、自分は声を変えられるようにしようと開発しました。 やったこと キズナアイさんとねこますさんの、それぞれの声を入れ替えられるようにしました。これによって、ねこますさんのしゃべった内容を、キズナアイさんの声でしゃべらせることができます。(逆も) 機械学習手法の一つであるCycleGANを用いて、変換するためのネットワークを学習しました。 パラレルデータ(話者Aと話者Bが、同時に同じ内容を話した音声)が必要ありません 。YouTubeから拾った音声でも変換ができます。 当然ですが、一度学習すれば、利用時には何度でも繰り返し利用できます。 期待できる効果 見た目だけでなく、声まで美少女になれます。やったね。 他にも
成人式に出ようと考えたことがまったくなかったし、出なかったことを後悔したこともない人生
成人式に出る出ないって結構人間を分けるんじゃないかと思ったりするわけです。 成人式に出ようと考えたことすらない自分は以下のような人生を送ってきました。似たような人って結構いるんですかね。社交性に問題があるような気がするんですが、これくらい普通でしょうか。考えすぎでしょうか。自分ではよくわかりません。 高校の修学旅行をさぼった高校の文化祭をさぼった大学の卒業式をさぼった大学のナントカ祭に参加しなかったし、見に行きすらしなかった初詣は行かないクリスマスに異性とデートしないこと、したことがないことについて特に劣等感はないバレンタインに家族以外からチョコをもらったこともあげたこともない年賀状は出さないし、来ても返さない固定電話には出ないずっとガラケー数年に一度携帯に入っている家族以外のデータを消去する自分の電話番号やメールアドレスを変えたあと、変更したことを家族以外に連絡しない車の免許持ってない髪
ここがつらいよ東京公共交通オープンデータチャレンジAPI - Qiita
2018/1/4修正：五月雨式に追記していたのを清書しました。以下2018/1/4時点での情報です 12/7から公共交通オープンデータ協議会主催で東京公共交通オープンデータチャレンジが開催されています。 これは東京メトロ発足10周年を記念して開催された東京メトロオープンデータ活用コンテストと同様に、各種公共交通機関の静的データ（一部動的データ）を広く公開しているものです。 既にQiitaでもいくつかこれに関するエントリーが挙がっていますが、ここではAndroidアプリ向けにAPIを触ってみた感想の中でも、事業者ごとの差異でつらかった点を書いてみます。 下記のつらみを極力吸収したAndroid向けのライブラリを作りました。 全般 とにかく不安定 API仕様ドキュメント・フォーラム・APIが同じサーバで運用されているのか、どれかが落ちているときはそれ以外もアクセスできないため開発の手を止めざる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
