SVMを使った類似 embeddings 検索 - kNN ではない類似検索の選択肢 - A Day in the Life
LangChain v0.0.141 に SVM Retriever という実装が入った。これは embeddings(集合)から、単一 embedding と類似しているもの top-K を SVM を使って見つけるという実装で、えっどうやってるの？と追っかけてみたら、知らない知識で面白かったのでメモ記事に。 kNN vs SVM この実装の元となった、knn_vs_svm.ipynbというnotebookがあって、冒頭を機械翻訳すると以下となる。 よくあるワークフローは、あるデータを埋め込みに基づいてインデックス化し、新しいクエリの埋め込みがあれば、k-Nearest Neighbor検索で最も類似した例を検索することです。例えば、大規模な論文コレクションをその抄録に基づいて埋め込み、興味のある新しい論文を与えると、その論文に最も類似した論文を検索することが想像できます。 私の経験では
書籍 Kaggleに挑む深層学習プログラミングの極意、を読み終えて - A Day in the Life
表題の書籍を読み終えてたので感想を。一言で言うと、短い内容にKaggle関係なく機械学習のエッセンスがぎゅっと詰まったインデックスとして解りやすい良書、機械学習初心者にもKaggle初心者にもオススメである。また自分(いちおう自分はKaggle Competitions Master である)も理解が浅かった部分の理解が進み、知らなかったテクニックもいくつもあり、機械学習エンジニアやKaggle有識者も得られるものが多いはずだ。 なお書籍、Kaggle に挑む深層学習プログラミングの極意は著者の一人である石原祥太郎氏から献本いただいたものである（ありがとうございます）。 この書籍の良さの一つは短いことである。索引を抜くと約200Pで、機械学習関連は分厚い書籍が多い中、程よくまとまっている。理論を説明する本はきちんと説明が入るので長くなるし、良くない本は分かりにくい内容でただただ冗長に説明、
岸田繁（くるり）のルーツをたどる | アーティストの音楽履歴書 第46回
アーティストの音楽遍歴を紐解くことで、音楽を探求することの面白さや、アーティストの新たな魅力を浮き彫りにするこの企画。今回は岸田繁のルーツを探る。1996年にくるりを結成し、同バンドで活躍する一方で、ソロ名義では映画音楽のほか、管弦楽作品や電子音楽作品なども手がける岸田。そんな彼の音楽遍歴とは？ 取材・文 / 大谷隆之 「なんか心が気持ちいいなあ」音楽は自分だけが知ってる喜びだった実家の近くに、チンチン電車が走ってたんです。真夏の暑い日に、職員さんが車庫の軌道敷に水を撒いていて。おじいちゃんか誰かに連れられて、それを見ていたのを覚えています。京都の市電が廃止されたのが昭和53年9月なので、僕が2歳半くらいの頃かな。たぶんそれが、僕の中で一番古い記憶ですね。 父親がクラシック音楽好きで、休日はよく家でLPレコードを聴いていました。ベートーヴェンとかチャイコフスキーとか、わりと王道のやつです。
タモリ倶楽部 40年を語ろう | 文藝春秋 電子版
3月末に惜しまれつつ終了した『タモリ倶楽部』。「空耳アワー」のコーナーで長年タモリさんの横で笑い続けてきた安齋肇さんと、番組の進行役としておなじみだった渡辺祐さんが、40年続いた番組の思い出を語り合った。 『タモリ倶楽部』でお馴染みの安齋氏と渡辺氏 Ⓒ文藝春秋 渡辺 『タモリ倶楽部』の台本を何冊か持ってきたんですよ。 安齋 わー、たくさんあるね。 渡辺 手元にあった古い台本だと、昭和61年12月27日（土）収録と書いてあります。 タモリ倶楽部の台本 Ⓒ文藝春秋 安齋 37年前。何のきっかけで番組に出ることになったの？ 渡辺 当時、『タモリ倶楽部』の構成作家を景山民夫さんと加藤芳一さんが担当されていて、私はこのお二人とご縁があったんですよ。で、「食えなさそうなフリーの編集者がいるから、面白いから出しちゃえ」みたいな、わりと軽い感じで呼んでもらった気がします。
Node.js 14から18へアップデートする方法について
Corepackを使ってNode.jsをアップデートする ⬆️⬆️というタイトルで、Node.js 14からNode.js 18へのアップデートする方法について話した。 Node.js 14は4月末でEOLで、Node.js 18までアップデートする必要があるけど、npmの変更が混ざって大変です。 Corepackを使うことで、Node.jsとnpmのアップデートを同時にやらなくても良くなり、問題を分割して対応できます！ Corepackを使ってNode.jsをアップデートする ⬆️⬆️https://t.co/mRHsBcYbpn pic.twitter.com/HiiCe7c5YE — azu (@azu_re) April 28, 2023 スライド: Corepackを使ってNode.jsをアップデートする ⬆️⬆️ Note: Node.js 14は2023-04-30でEOLで
シャウエッセンと新生姜の串焼きは最高の組み合わせだ
趣味は食材採取とそれを使った冒険スペクタクル料理。週に一度はなにかを捕まえて食べるようにしている。最近は製麺機を使った麺作りが趣味。（動画インタビュー） 前の記事：エビの味がする魚、ヒメコダイ（デジタルリマスター） ＞ 個人サイト 私的標本 趣味の製麺 これが練馬のホワイトはうすだ 残念なことにホワイトはうすは、私の家からだと片道一時間半と遠いのだが、気の置けない同年代の友人と四人くらいで飲むというシチュエーションであれば、個人的には日本で一番の店だと思っている。 ボリュームがあるのに値段が安く、何を食べてもおいしい。練馬はちょっと遠いので、うちの近所に支店が欲しい。 練馬の名店、ホワイトはうす。 こういう人達と飲むのに最適。 知らないで頼むと混乱するシーザーサラダ。 串焼きの概念を超えた存在の豚バラおろしポン酢。 ピーマンの歯ごたえが嬉しい生Pつくねチ～ズ。ファミレスのハンバーグよりもボ
こちらいまいち日本でなじみのないスコーンの図解です「もはや別菓子」→英米で食べる目的が違う？
小島Always🔍自由研究 @rakkaseiyo 分かりやすいようにいうと、三角のやつ(スタバでよくあるタイプ)それ、アメリカ式のスコーン。丸いやつはイギリス式のスコーン。 twitter.com/bonguly/status… 2023-04-28 19:55:22 ☕️Tea time with you🫖 @TeaTimeWithYou フォロワーさんは、ご存知の方が多いと思いますが、マツコの知らない世界で、スコーンに興味を持った方への 【スコーン基本情報まとめ】 🫖スコーンは、大きく分けて2種類 1.イングリッシュスコーン(丸型) ジャムとクロテッドクリームで食べる 2.アメリカのスコーン(三角) 何も塗らない pic.twitter.com/VDwEbv1ZTU 2023-04-26 20:37:15
MySQLのutf8mb4と戦った話 - Uzabase for Engineers
皆様こんにちは、NewsPicksエンジニアの米澤です。 先日 2023/03/30は、こちらでアナウンスしていた通り、サービスの停止を伴うシステムメンテナンスを実施させて頂きました。 NewsPicksをご利用頂いている皆様には、ご迷惑おかけいたしました。 今回はこのメンテナンスの中で行われたDBテーブルのmigrationについてお話ししたいと思います。 ことの始まり やったこと 方針決め utf8mb4に対応していないテーブルを調べる migrationを作成する 影響範囲を調べる 開発環境でリハーサルを行う メンテナンスの日 最後に ことの始まり NewsPicksではバグの検知にBugSnagを利用しています。 ある時、BugSnagにこんなエラーが通知されてきました。 org.springframework.orm.hibernate4.HibernateJdbcExcepti
平成ギャルの、ガラケーを「デコる」技術。「デコ電」の歴史と作り方を専門家に教わった | となりのカインズさん
Tajimax 東京都出身。2018年から、SNSを中心に90年代〜00年代の平成ガールズカルチャーを紹介している。『オリコンニュース』『現代ビジネス』『ビジネスジャーナル』などで平成ガールズカルチャー関連のインタビュー取材ほか、『アーバンライフメトロ』『東洋経済オンライン』などのウェブサイト、『クイック・ジャパン』に寄稿。90年代〜00年代の平成ガールズカルチャーのコレクターでもあり、古雑誌をメインに膨大なアイテムを所有している。
「コラ画像にしか見えない」「信号の密度が異常すぎる」 大阪堺筋の4.2キロ区間に46もの交差点が密集する風景に注目が集まる
46もの交差点が、4.2キロの区間に集中しているという、大阪の堺筋の風景が注目を集めています。赤信号の光がズラーッと並ぶ様が壮観！ 運転手にしてみればとイラッとする風景も、はたから見ると美しい 撮影したのはTwitterユーザーのたこ（@road0724day）さん。大阪市浪速区にある恵美須交差点で数十倍のズームレンズを使い、大量の赤信号がまるで合わせ鏡のように連なる風景を捉えました。 「いまいましき赤信号も、ここまで見事に連なると美しいです」とツイートされた写真は、「信号機というより街灯みたい」「コラ画像にしか見えないレベル」「日本の信号の密度が異常すぎるのがよくわかる写真」と話題を呼びました。たこさんは町角の風景や珍しい標識など、さまざまな写真を披露しています。 画像提供：たこ（@road0724day）さん 【画像】たこさんの写真をもっと見る advertisement 関連記事 路
Twitter の検索システム、Earilybirdの論文を読む
2023-04-29 前回の記事の続き1で、Twitter の検索システムシリーズ第 2 弾です。 Earlybird とは?Twitter の検索システムであり、 Apache Lucene をベースにした、リアルタイム検索システム。 論文はここで、 Blog 記事は The Engineering Behind Twitter’s New Search Experienceは 2011 年に公開されている。 TODO: 論文に書かれず、Blog 記事にのみ書かれている内容もあったので読んで追記しておく Web 検索はある程度成熟してきた分野だが、SNS のリアルタイム検索はまだ 2011 年当時いまだ未成熟で未開拓な分野Twitter で新たに開発したのが、 Earlybird と呼ばれるリアルタイム検索に特化した検索エンジンLucene の NRT 機能が導入され始めたのが、2011
「カタン」で友達を出し抜く“これだけ覚えておけば強くなれる3つのコツ”をうまい人に聞いてきた
「カタン」で友達を出し抜く“これだけ覚えておけば強くなれる3つのコツ”をうまい人に聞いてきた 編集部：御月亜希 ボードゲーム「CATAN（カタン）」の大会「カタン日本選手権大会」が，今年は久しぶりに全国横断で開催される。ここ数年はコロナ禍で大会がなくなり，2022年には復活したものの，東日本と西日本のみでの小規模な開催にとどまっていた。それが今年は，まずは北海道で最初の地区大会が5月28日に行われ，ここから中部，北陸，東日本，九州，西日本と，全国で地区大会を実施。これらの大会の上位入賞者が8月20日のファイナル東京大会で競い，優勝者が決まることになる。 日本選手権大会に合わせて，各地で連携イベントの「カタンオープン大会」も開かれ，今は久しぶりに国内のカタン界隈が盛り上がりを見せているところだ。 カタンは，「ボードゲームと言えばこれ！」と言っても過言ではないぐらい，世界的に人気の高い有名ボー
ドイツには日本人には想像できない、別の豆腐ワールドが存在する
1986年東京生まれ。ベルリン在住のイラストレーター兼日英翻訳者。サウジアラビアに住んでいたことがある。好きなものは米と言語。 前の記事：ドイツ人が考える六花亭のフルコースメニュー 〜勝手に食べ放題 逆・海外版 北海道編 ＞ 個人サイト words and pictures ドイツでも豆腐は買える 私は13年ほど前からドイツに住んでいる。もうさすがにヨーロッパの食事には慣れたが、それでも2日に一度は和食が食べたくなる。 日本から遠く離れたドイツだが、アジアスーパーに行けば醤油やみりんなどの調味料はもちろん、米や海苔などいろいろな食材が手に入るのだ。冷凍だけど納豆だって売っている。 以前、ベルリンで納豆を1万回かき混ぜた時もアジアスーパーにお世話になった。 しかも豆腐に関しては、健康食品としての人気が高いからか、ごく普通の地元のスーパーでも手に入るようになった。わざわざ遠くのアジアスーパーま
Steamで自分のゲームをリリースする際に知っておくべきことをまとめた「Steam Dev Cheat Sheet」。その日本語版「Steam開発早見表」が公開に
Steamで自分のゲームをリリースする際に知っておくべきことをまとめた「Steam Dev Cheat Sheet」。その日本語版「Steam開発早見表」が公開に 編集部：松本隆一 「Steam Dev Cheat Sheet」の日本語訳，「Steam開発早見表」が公開された。公開したのは，「HOPE LEFT ME」や「shita ni」などの日本語訳を行ったフリーランスの翻訳者nicolith氏だ。 Steam Dev Cheat Sheetの日本語訳を作成しましたので、ゲーム開発者の方も、単に興味のある方も、ご利用ください。また、元の作成者Matt Hackettの著書とゲームもご覧いただければ。@richtaur Thank you for sharing your great wisdom with us!https://t.co/xkeNmGGEhWhttps://t.co/G
RLHF (人間のフィードバックからの強化学習) の図解｜npaka
以下の記事が面白かったので、軽く要約しました。 ・Illustrating Reinforcement Learning from Human Feedback (RLHF) 1. はじめに言語モデルは、人間の入力プロンプトから多様で説得力のあるテキストを生成することで、ここ数年、目覚ましい成果をあげています。しかし、「良い」テキストかどうかは、主観的で文脈に依存するため、定義することが困難です。 「良い」テキストを生成するための損失関数の設計は難しく、ほとんどの言語モデルは、まだ単純な次のトークン予測損失（クロスエントロピーなど）で学習しています。この損失自体の欠点を補うために、BLEUやROUGEなどの人間の好みをよりよく捉えるように設計された指標も定義されています。しかしこれらは、能力測定において損失関数より適してますが、生成されたテキストを単純なルールで参照比較するため、制限があり
検索が爆速になるデータベース設計を公開します
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
スパゲッティがパスタと呼ばれ始めた日 | 稲田俊輔「異国の味」
よみタイ新着記事 連載 4/6 西の味、東の味。 極私的ナンバーワン、甘くない「京都のきつねうどん」 稲田俊輔 連載 4/5 消費される階級 お金への興味とチャレンジ精神の多寡が、格差や序列に比例する未来がすぐそこに？ 第22回 遅ればせながらの金融教育 酒井順子 連載 4/2 育ちの良い人だけが知らないこと ある彫師の壮絶な人生──劣悪な家庭環境、親友の自殺、完成直前に死んだ客【育ちの良い人だけが知らないこと 第3回】 かとうゆうか 連載 4/1 モラハラ・DVから 逃げる技術！ 「この結婚失敗かも……？」と思ったら知っておきたいTips50 セルフケアは大切！【逃げる技術！第12回】不調があれば通院を 藤井セイラ 新着をもっと見る 稲田俊輔 イナダシュンスケ 料理人・飲食店プロデューサー。鹿児島県生まれ。京都大学卒業後、飲料メーカー勤務を経て円相フードサービスの設立に参加。 和食、ビス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ローカルLMMは使えるか？～性能、展望、ホスティングと費用 #ChatGPTjp