医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話
どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決できるか試したい 1つの医薬品を指す名称は、複数存在するため医薬品検索は意外と面倒な問題です。 例えば、日本人なら頭痛や生理痛、発熱したときに「ロキソニン」を飲んだことがあるかもしれません。この名称は商品の名称ですが、成分の名称は「ロキソプロフェンナトリウム水和物」です。 さらに、ロキソプロフェンには錠剤以外にもテープやパップといった剤形の違いがあります。 そして最後に、ロキソプロフェンを作っている会社は複数あるので、末尾に「トーワ」や「ファイザー」などの組み合わせが存在します。ロキ
GPU ドライバをインストールする | Compute Engine Documentation | Google Cloud
インストール スクリプトを使用して VM に GPU ドライバをインストールする 以下のスクリプトを使用して、インストール プロセスを自動化できます。これらのスクリプトを確認するには、GitHub リポジトリをご覧ください。 Linux実行中の VM に GPU ドライバをインストールするには、次の手順を行います。 サポートされているオペレーティング システム Linux のインストール スクリプトは、次のオペレーティング システムでテストされています。 Debian 10、11、12 Red Hat Enterprise Linux（RHEL）8、9 Rocky Linux 8、9 Ubuntu 20、22、24 このスクリプトを他のオペレーティング システムで使用すると、インストールが失敗する可能性があります。このスクリプトでは、NVIDIA ドライバと CUDA ツールキットをインス
第825回 ローカルLLMの実行ツールであるOllamaをUbuntuで動かす | gihyo.jp
ChatGPTをはじめとした生成AIにおけるここ数年の勃興は語るまでもありません。特にユーザーからの自然言語による対話をもとに文章を生成する仕組みは、すでに趣味や研究の範囲を超えて各分野の業務でも広く使われるようになりつつあります。その自然言語の理解と文章の生成に貢献している概念のひとつが、「LLM（Large Language Model：大規模言語モデル）」です。現在ではChatGPTで使われているGPTシリーズだけでなく、GoogleのGeminiやAnthropicのClaudeなど、規模の大小、目的問わずさまざまなLLMが登場しています。 今回はそんなLLMのうち個人でも利用可能で軽量なモデルの入門として、まずはUbuntu上で動かす方法について紹介しましょう。 図1 ollamaとOpen WebUIを使えばChatGPTっぽいUIからローカルLLMを使える ローカルLLMの
プロンプトエンジニアリングをしよう - 一休.comでの検索システム改善事例 - 一休.com Developers Blog
はじめに こんにちは。宿泊プロダクト開発部の宮崎です。 みなさん、生成 AI 使ってますか？ 近年、AI の進歩はめざましく、文章生成や画像生成はもちろん、動画生成も実用的なレベルで出来るようになっています。 ChatGPT が話題になったのが 2022 年の 11 月なので、たった 2 年足らずでここまで来ているという事実に少し恐ろしくもありますね。AGI(汎用人工知能)の実現もそう遠くないのかもしれません。 一休でも AI 技術は注目していて今年の 6 月に、まさに生成 AI を使ってホテル検索システムの改善を行いました。 この記事では、その時に学んだプロンプトエンジニアリングの重要性について書いていこうと思います。 生成 AI を使ったホテル検索システム 今回我々が実装したのはフリーワード・文章でもホテルを検索できるシステムです。 以下のようなユーザーの自由な入力に対して、適切なホテ
AIが考える“アイドル”がリアルすぎた グーグル「Imagen 3」なぜ高品質? (5/5)
Googleフォトなどの個人データからも学習か グーグルが他社のサービスを圧倒するリアリティをどうやって実現しているのかが気になってきます。 ここからは筆者の推測になりますが、ネットから収集した公開情報だけでなく、Googleフォトなどの個人データからも学習していると考えられます。Googleフォトは2015年にサービスとして開始され、2021年5月までは無料・無制限で画像をアップロードできるサービスとして展開、2021年6月からは15GBまでは無料という方針で運営されています。当初無料で運用された重要な目的には、グーグルがAI用の学習データを収集するという目的があったのではないかと推測されています。 現在のGoogleフォトには機能追加されてきた顔認識や場所のカテゴライズ、被写体の中身が何であるのかといったタグ付けが自動でされるようになっています。これらの技術は生成AI関連の技術が多く含
斎藤知事の実績一覧！98％の公約達成で功績や改革に評価の声も
兵庫県の斎藤元彦知事への不信任決議案が提出される方向で進んでいます。 パワハラやおねだりなど、いかにもワイドショー的なネタに目が向きがちですが、斎藤知事が兵庫県知事としてやってきた功績や実績も注目した方がよい、という意見も出ています。 斎藤知事が知事選で掲げた公約達成率も98％と、実は有能で評価される部分は多くあるようです。 斎藤知事に擁護派が爆誕！マスコミ報道に違和感↓ 斎藤知事に擁護派の流れ！評価や風向きが変わってきた？天下り改革で反発か兵庫県の斎藤元彦知事への連日のマスコミ報道が止まることがありません。 ですが、2024年9月12日の県議会4会派からの辞職申し入れの前後あたりから、斎藤知事を擁護する声がSNSを中心に目立つようになってきました。 斎藤知事が行なってきた県政や、パワハラが本当にあったのか？マスコミの騒ぎ方に違和感を覚える声も多くあがっています。 斎藤知事叩きが起こった原
プロンプトエンジニアリングをしよう - 一休.comでの検索システム改善事例 - 一休.com Developers Blog
はじめに こんにちは。宿泊プロダクト開発部の宮崎です。 みなさん、生成 AI 使ってますか？ 近年、AI の進歩はめざましく、文章生成や画像生成はもちろん、動画生成も実用的なレベルで出来るようになっています。 ChatGPT が話題になったのが 2022 年の 11 月なので、たった 2 年足らずでここまで来ているという事実に少し恐ろしくもありますね。AGI(汎用人工知能)の実現もそう遠くないのかもしれません。 一休でも AI 技術は注目していて今年の 6 月に、まさに生成 AI を使ってホテル検索システムの改善を行いました。 この記事では、その時に学んだプロンプトエンジニアリングの重要性について書いていこうと思います。 生成 AI を使ったホテル検索システム 今回我々が実装したのはフリーワード・文章でもホテルを検索できるシステムです。 以下のようなユーザーの自由な入力に対して、適切なホテ
「Python + Selenium」でGoogleにログインするには？
今まで調べた知識でGoogleにログインしようとしたら、上手くいきませんでした。 改めて調べてみると、2019年頃までは「driver.get()」や「driver.find_element_by_id()」などを使ってログインできますと書かれたものがあるものの、その後はプッツリ途切れているようです。セキュリティが更新されたのでしょう。 私がPythonを始めた理由は、「YouTube Studio」での定型作業を自動化すること。つまり、Googleログインは避けて通れません。 解決方法はいくつかありそうなものの、素人でも簡単にできるものを選ぶことにしました。 Python+SeleniumでGoogleにログインする具体的手段は？ あらかじめGoogleにログインしたプロファイルでChromeDriverを起動します。 step 1手動でGoolgeにログインする 「Google Chr
Difyをローカルで動かしてRAGまで試してみる
Difyを試してみました Difyが話題だったので、少し試してみました。一言でいうとOSS版の高機能ChatGPTのカスタムGPT（GPTs）でしょうか。より詳しくはnpaka先生の記事を参考にしてください。 ChatGPTの有料版でできること以上のことができます。機能も多機能で、少し触った感じでは完成度も高いように感じました。 クラウド版を使うこともできますし、ローカルで自前でサーバーを立てることもできます。GPTsに比べた分かりやすいメリットある使い道は、容量制限なく手軽にローカルでRAGをクラウドにデータをアップロードできる点でしょうか。 それ以外には、GPT4以外のClaude 3 OpusなどのLLMも使えたり、細かい設定を切り替えたりできるので、手軽に色々できそうです。ただ、結構できること多いので少し詳しい人向けかもしれません。 Difyのローカルセットアップ方法 クラウド版は
ChatGPTはこう使う、深津式プロンプトの極意
ChatGPTを利用するときに漫然とプロンプトを入力するだけでは、その能力を十分に引き出せない。ChatGPTの達人である深津貴之氏が、プロンプトの極意を伝授する。 第5回 深津氏に学ぶChatGPTプロンプトの極意、必要な行動を考えさせてから尋ねる ChatGPTの達人である深津貴之氏にプロンプトの書き方を整理して教えてもらう。今回取り上げるのは「ReAct（Reasoning + Acting）」だ。 2024.09.06 第4回 深津氏に学ぶChatGPTプロンプトの極意、段階ごとやアプローチ別に考えさせる ChatGPTの達人である深津貴之氏にプロンプトの書き方を整理して教えてもらう。今回取り上げるのは「Chain of Thought」と「Tree of Thought」だ。 2024.09.05 第3回 深津氏に学ぶChatGPTプロンプトの極意、資料そのものをAIに作ってもら
藤子・F・不二雄ファンは今すぐどら焼き屋を経営しろ
エグい。 何がエグいって、カイロだよカイロ。 あいつらフツーじゃねえぞ。ユーザーを人間に戻す気がない。 「気づけば朝」なんて生ぬるいモンじゃない。気づけば翌日の昼だ。勘弁してくれ。無職より。 まず次から次へと課される低難易度のタスク。こいつがやばい。クリア→報酬→クリア→報酬……を超短いスパンで繰り返させてくる。なめてかかると生活リズムが崩壊し、いずれ死ぬ。絶対にユーザーのドーパミンを途切れさせてやるものかという鉄の意志の産物だ。 そして強い“F”へのこだわり。 「F組のみんな集合〜！ あったまテカテカドラえもん〜いたいた空にはパーマン〜」←どうせこれレベルだろうと侮ってはいけない。 スタッフにはおそらくガチ勢がいる。 ゲームには歴代大長編のゲストキャラが平等に登場するが、出るのはピーブまで。 リルルはいるがピッポはいない。 ひみつ道具をコインと交換してくれるのはクルトやジンジャーではなく
OllamaをPythonで使いたい！ローカルLLMを快適に動かす！ | EdgeHUB
ollama-pythonはPython環境でOllamaが使える無料のライブラリです。 ollama-pythonを利用すれば、ローカルLLMをAPIで簡単に活用できたり、RAGやエージェントへの統合も柔軟に行えます。 この記事では、ollama-pythonの環境構築からモデルを使ったテキスト生成の方法まで紹介します。 ollama-pythonとは ollama-pythonはPython環境でOllamaが使える無料のライブラリです。 ollama-pythonを利用すれば、ローカルLLMをAPIで簡単に活用できたり、RAGやエージェントへの統合も柔軟に行えます。 この記事では、ollama-pythonの環境構築から使い方まで紹介します。 OllamaをChatGPTのようなインターフェイスで使う方法は、別記事で解説しています。 あわせて読みたい Ollamaの使い方！ローカル環
Ollama + Open WebUI でローカルLLMを手軽に楽しむ
ローカルLLMを手軽に楽しむ ローカルLLMを手軽に動かせる方法を知ったので紹介します。今まではLLMやPC環境（GPUの有無）に合わせてDocker環境を構築して動かしていました。 それが、OllamaとOpen WebUIというソフトを組み合わせることで、ChatGPTのように手軽にローカルでLLMを動かすことができます。参考にしたサイトなどは本記事の末尾で紹介します。特にもりしーさんの動画はきっかけになりました（感謝です）。 動かす方法として以下2つを紹介します。 Ollama単体で動かす方法（初心者向け） Ollama + Open WebUIでGUI付きで動かす方法（Dockerが分かる人向け） 初心者でとりあえずLLMを動かすのにチャレンジしたいという人は、1つ目のOllama単体で動かす方法にトライするのがおすすめです。 Dockerとか普段から使っているという人は、1をとば
AIや機械学習が持て囃されて、統計分析やデータ可視化がいまいち主流になれない理由 - 渋谷駅前で働くデータサイエンティストのブログ
先日のことですが、こんなことを放言したら思いの外伸びてしまいました。 データ可視化は一時期物凄く流行った割に今はパッとしない印象があるんだけど、それは結局のところデータ可視化が「見る人に『考えさせる』仕組み」だからだと思う。現実の世の中では、大半の人々は自分の頭で考えたくなんかなくて、確実に当たる託宣が欲しいだけ。機械学習やAIが流行るのもそれが理由— TJO (@TJO_datasci) 2024年8月28日 これはデータサイエンス実務に長年関わる身としてはごくごく当たり前の事情を述べたに過ぎなかったつもりだったのですが、意外性をもって受け止めた人も多ければ、一方で「あるある」として受け止めた人も多かったようです。 基本的に、社会においてある技術が流行って定着するかどうかは「ユーザーから見て好ましいかどうか・便利であるかどうか」に依存すると思われます。その意味でいうと、データ分析技術にと
東京大学松尾・岩澤研究室 GENIACプロジェクトにおいて、大規模言語モデル「Tanuki-8×8B」を開発・公開 | 東京大学松尾・岩澤研究室（松尾研）- Matsuo Lab
発表のポイント 経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、松尾・岩澤研究室が「Tanuki-8×8B」を開発・公開。 本モデルは、フルスクラッチで開発されており、対話、作文能力を評価する指標「Japanese MT-Bench」において「GPT-3.5 Turbo」と同等以上の性能を達成。 Apache License 2.0のライセンスに基づき、研究および商業目的での自由な利用が可能。「Tanuki-8×8B」の軽量版である、「Tanuki-8B」をチャット形式で利用できるデモも公開。 本モデルのNejumi LLMリーダーボード3における評価 発表内容 東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室（以下「松尾研」）は、経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が推進する、
【これがゲームチェンジャーか!】松尾研のTanuki-8BとTanuki-8x8Bを試す｜shi3z
なぜタヌキなのか? その謎は謎のままだが、とにかく日本語性能がGemini1.5Proに次ぎ、少し前のGPT-4よりも高い上に商用利用可能という太っ腹仕様なので使わない手はない。むしろこれさえあればもう誰もGPTに課金しなくて済む、そんな未来が来るのかもしれない。 しかし、Tanukiは特殊な何かをしてるらしくMLXに簡単にコンバートできずvllmで動かすときもちょっと魔改造したvllmが必要になるという。 最近ローカルづいてる吾輩としてはできればMLXで動かしたいのだがMLXがまだTanukiに対応してない(し、そもそも何をすればTanuki対応にできるのかよくわからない)ので、とりあえず「非推奨」とされてはいるものの、Macでもギリギリ動きそうなGGUF版を動かしてみた。 from llama_cpp import Llama filename = "Tanuki-8B-dpo-v1.
介護施設の費用、選び方は？ 施設入居の気になる疑問を、40代ブロガー3人が小菅編集長に聞いてみた｜tayorini by LIFULL介護
介護施設の費用、選び方は？ 施設入居の気になる疑問を、40代ブロガー3人が小菅編集長に聞いてみた #老人ホーム・介護施設 公開日 | 2024/08/30 更新日 | 2024/08/30 自分の親が年老いて、いつか介護する日が来るかもしれない。親がまだ元気であれば今すぐ介護について考える必要はない気もするが、急に必要に迫られることは十分あり得る。 筆者は現在45歳で、両親は70代の半ば。私は大阪に住んでいて、両親は実家のある東京にいる。二人とも幸い元気ではあるが、当然歳は取る。今のうちから介護について知っておかねばと思い、これまでこの「tayorini」で、主に遠距離介護をテーマにした取材をしてきた。 今回は、私と同じように親の介護が近い将来に迫るのを感じつつ、まだ具体的な行動に移せてはいないという、いぬじんさん、はせおやさいさん、赤祖父さんのお三方にお集まりいただいた。 それぞれが抱え
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「東北第二の都市」、誰も答えられない、、、
わずかな年金で老後の生活費賄えず、70歳過ぎても働く日本人が増加
カイロソフト×藤子作品の経営SLG『ドラえもんのどら焼き屋さん物語』が「藤子・F・不二雄マニアゲーム」としてガチすぎるのでその魅力を紹介したい！【特集】 | Game*Spark - 国内・海外ゲーム情報サイト
