Open AIを敢えて使わない、セルフホストなAI Chat Bot(RAG)の意義と作り方 〜スケーラビリティ/コスト最適化のアイデアを添えて〜 - 流沙河鎮
はじめに オープンなモデルの急速な進化 オープンなモデルとは オープンなモデルの活況 オープンなモデルをセルフホストする利点 コスト効率 カスタマイズの自由度 選択肢の多様性 データのプライバシーとセキュリティ チームのケイパビリティ向上 スケーラブルでコスト最適なAI Chat Bot(RAG)の作り方を考える RAGアプローチの構成要素 ベクトル検索とは ベクトル検索の前準備 ベクトル検索の流れ LLMのデプロイ デプロイ方法 必要なスペック End to Endなアプリケーションに仕立てる 環境 使い方 実装上のポイント faiss_index検索時のtop_k intfloat/multilingual-e5-largeでのquery / passageの指定 LLMへのプロンプト 回答のストリーム systemdによるプロセスのデーモン化 スケーラビリティ、コスト最適化のアイデア
型キャストの場所のせいで、秒で終わっていたクエリに1時間超かかるようになってしまった話 - SmartHR Tech Blog
SmartHRで届出書類という機能を担当しているプロダクトエンジニアのsato-sと申します。 今日は、以前私が調査にとても苦労したパフォーマンス上の問題の話を紹介したいと思います。 TL;DR PostgreSQLのアップグレードを実施した アップグレード後、今までは問題のなかった特定のクエリの実行に1時間超かかり、DBのCPU使用率がピッタリ100%に張り付くようになった 色々調査した結果、PostgreSQL上の型キャストの場所のせいで、良くないクエリプランが選択されることが原因だった 型キャストの場所には気をつけよう PostgreSQLのアップグレードと挫折 SmartHRでは基本的にWebアプリケーションのデータベースとしてGoogle CloudのCloudSQLによって提供されるPostgreSQLを利用しています。 私の担当している届出書類機能では、利用中のPostgre
電通･博報堂が牛耳る今の状況はおかしい…広告で5000億円以上を稼ぐ｢世界最強スーパー｣が日本に突きつける現実 小売発のメディアは世界の常識になっている
世界最大の小売企業「ウォルマート」の新サービス 米ウォルマートが5月、データ分析サービス「ウォルマート・ルミネート（以下、ルミネート）」をメキシコ、カナダに拡大すると発表した。世界最大の小売企業である同社は、米国内で4600店舗以上、全世界で19カ国に1万500店舗以上を展開している。同サービスはいずれ米国、メキシコ、カナダ以外の各国にも広がると考えていい。 「ルミネート」は2021年に始まったサプライヤー（ウォルマートに商品を卸している企業）向けのサービスで、同社のリアル店舗やECサイトにおける商品の販売状況や買い物客の購買行動をデータ分析して提供するというもの。 ウォルマートについては、今年3月に「なぜウォルマートは5000億円以上を『広告』で稼げるのか…日本の小売業が誤解する『リテールメディア』の本質」という記事を公開した。「リテールメディア」は、小売（リテール）企業が顧客データなど
なぜゲイリー・マーカスはAGI早期実現に否定的なのか｜ララどり
Gary Marcus本題に入る前に、ゲイリー・マーカスについて簡単に振り返っておきたい。 Gary Fred Marcus（1970年生まれ54歳）は、認知科学と人工知能の第一人者である。23歳でマサチューセッツ工科大学から博士号を取得、現在はニューヨーク大学の心理学および神経科学の名誉教授であり、人間の言語発達や認知神経科学に関する研究で知られている。彼は作家としての顔も持ち、ベストセラー「Guitar Zero」（2012年）を含む5冊の著書を執筆している。「The Algebraic Mind」（2001年）では、現在のAIシステムが直面するハルシネーション問題を予見している。また、機械学習会社であるGeometric Intelligenceの創設者兼CEOとなり、同社は2016年にUberに買収された[1]。 以上がマーカス氏の略歴であるが、シンギュラリタリアンである私にとって
『駐日アメリカ大使ラーム・エマニュエル』
オバマの“クォーターバック” エマニュエル大使のルーツはウクライナの港湾都市オデーサにある。そこから、祖父が１９０５年にパレスチナに移民した。薬剤師だった。父親のベンジャミンは、小児科医でイスラエルからアメリカに移民した。アメリカのユダヤ人の一部は、イスラエルからの移民である。そもそも他の国からイスラエルに移民して、それからアメリカに移民する者、イスラエルで生まれてアメリカに移民する者、そしてアメリカからイスラエルに移民してアメリカに戻る者など、その内訳は様々だが。現在アメリカには総数で２０万人ほどのイスラエル系ユダヤ人が生活している。 父親のベンジャミンは、国家が成立した１９４８年までは、イルグンというユダヤ人の地下軍事組織の一員だった。イルグンはパレスチナを統治していたイギリスが使用していたエルサレムのキング・デービッド・ホテルの爆破や当時はエルサレムの郊外だったパレスチナ人のディール
不確実性に備えるという過ち - hidekatsu-izuno 日々の記録
先日、植田総裁が金利を引き上げたことで株式市場が大混乱に陥った。金融政策は株式市場や株式市場を見て金利操作しているわけではないのだから、直接的に植田総裁に非があるとは言うつもりないけれども、株式市場がそのニュースによる反応を示していると考えると適切な対応ではなかったのは間違いないだろう。 植田総裁によれば今回の利上げは「物価の上振れリスクに少し早めの対処を行った」ことによるそうだ。昔からそうだが日銀は引き締めだけは対処が素早い。2%のインフレ目標を掲げているのだから上下1%は想定の範囲内だと思うがなぜか2.2%程度で利上げの判断を行っている。だったら3%を上回っている昨年に利上げの判断をしなかったのはなぜなのか。 今回のエントリの趣旨だけれど、例によって日銀批判をしようというつもりはない。今回取り上げたのは、このことがビジネスやプロジェクトにも通底する話題なのではないか、と思ったからだ。
演奏会のリハで「楽器の調子がおかしい」と話していたら、その場に居合わせた整体師が「ちょっと見せてもらってもいいですか？」→楽器を渡すと次々と信じがたいことが起きた
taro terahara @srgmtaro ちょっと、にわかには信じ難い出来事があった。先程、夜の打ち合わせ会場にたまたま居合わせた整体の方。 「ちょっと見せて貰っても良いですか？実は僕、楽器の整体もやるんですよ」 リハで、楽器の調子がおかしいという話をしていた時だった。え、なになに？楽器の整体？どーゆーこと？ taro terahara @srgmtaro バーンスリー奏者。人生の半分以上インドの横笛バーンスリーを吹いてます。 控えめに言ってインド音楽馬鹿。ちゃるぱーさと一緒にアフガニスタンの音楽も。srgmtaro.jimdo.com （寺原太郎） note: note.com/srgmtaro srgmtaro.jimdo.com taro terahara @srgmtaro 不安気な顔で見守るみんなの視線をよそに、太鼓の枠や皮をひとしきり撫でたりさすったりして、「どうでしょう
もしもいま、インフラ技術をイチから学ぶならどうしたい？ 現役SRE・Yutaさんが考える学習ロードマップ - Findy Engineer Lab
めまぐるしく変化するテックの世界。技術を身に着けるうえで学ぶべきポイントや学習環境なども年々変わっています。 そこで「もしもいまの環境で、テックのことをイチから学び直すことになったら、自分はどんな風に勉強したいか」というIFストーリーを通じて、技術との向き合い方を考え直してみる企画「テック転生」。 今回は、FinTech企業のSREを務めるYutaさん（@Y0u281）に“自分だったらこう進めたい、インフラ技術の学習ロードマップ”を伺いました。 パブリッククラウドが当たり前になった今、インフラ技術を学ぶスタート地点は？ サーバー構築の次は、ネットワークと資格の勉強を Linuxとネットワークを学んだらいよいよAWSの学習へ 自分が学んだ時より学習コンテンツが豊富 コミュニティを活用すると情報が増えてモチベーションも高まる パブリッククラウドが当たり前になった今、インフラ技術を学ぶスタート地
「ゼロトラスト」提唱者、ジョン・キンダーバーグ氏が語る誤解と本質――「ゼロトラストの第一歩は『何を守るべきか』を明確にすること」
【2024年7月16日追記】記事公開時、タイトルや本文にてジョン・キンダーバグ氏と掲載していましたが、正しくはジョン・キンダーバーグ氏でした。読者ならびに関係者の方々にご迷惑をおかけしたことを深くお詫び申し上げるとともに、以下のように訂正いたします。 【誤】ジョン・キンダーバグ氏 【正】ジョン・キンダーバーグ氏 昨今、サイバーセキュリティの取り組みを議論する際に必ずといってよいほど言及されるキーワードが「ゼロトラスト」だろう。IT系の展示会に足を運んでも、あちこちのブースで「ゼロトラストソリューションを紹介」といった宣伝文句が並ぶ。IT業界、セキュリティ業界ではよくあることだが、一度何かのキーワードが注目を浴びると、ベンダーそれぞれ都合の良いように使われてしまいがちだ。ゼロトラストも例外ではない。 確かにゼロトラストの実現には、さまざまな技術や製品が必要だが、それは決して本質ではない。ゼロ
特定のAmazon S3バケットにだけアクセスを許可する - JPCYBER
特定のAmazon S3バケットにだけアクセスを許可する 2021年5月1日 サポート IAM ポリシーを使用して、特定の AWS Amazon S3 バケットにだけアクセスを許可する方法について説明します。 ■ IAM ユーザーの作成 Amazon S3 バケットへアクセスする際に使用する認証情報を作成します。 AWS マネジメント コンソールで IAM ユーザーを作成し、アクセス キーとシークレット キーを発行します。 ■ IAM ポリシーの作成 Amazon S3 バケットへのアクセス権限を定義する IAM ポリシーを作成します。 以下のようなインライン ポリシーを作成し、先程の IAM ユーザーに付与します。 バケット名（my-bucket）は適宜置き換えてください。 { "Version": "2012-10-17", "Statement": [ { "Effect": "Al
システムで扱うステータスの分解と変換
初めに レバテック開発部の今井です。 ソフトウェア開発において、データの状態管理は非常に重要です。注文の状態、ユーザーの認証状態、プロジェクトの進行状態など、多岐にわたる状況で、適切な状態管理が求められます。しかし、ビジネス要件の変化や新機能の追加に伴い、状態管理が複雑化し、保守が難しくなることがあります。 この記事では、データの状態管理を簡単にするためにMECEを初めとした方法で分析を提案します。これによって、柔軟で効率的なシステム設計が可能になることを目指します。 TL;DR MECEの原則を使ってenum型ステータスを分解する方法を解説する MECEによる分解から一次情報と二次情報という区分を提案し、分析の高度化を目指す 一次情報と二次情報の区分とシステム間のデータ連係の関係性について考察する 対象読者 システムの保守性・拡張性に興味関心のあるエンジニア enumをMECEに分解する
KADOKAWAが受けた攻撃について、Black Suitが残した声明文を（意訳まじりで）邦訳してみた｜wakatono
KADOKAWAが受けた攻撃について、Black Suitが残した声明文を（意訳まじりで）邦訳してみた 自分が立てた仮説を検証できるかもしれないな、と、（KADOKAWAへのランサムウェア攻撃をしかけた）Black Suitが残した声明文を翻訳してみました。 翻訳することで、「（Black Suit側からは）こう見えてるんだな」というのがより詳細にわかりましたが、同時に「おまえらが攻撃しておいて何を言う」という読後感も… 邦訳文（意訳混じり）私たちは、およそ1ヶ月前にKADOKAWAのネットワークに侵入した。言葉の問題で少し時間がかかったものの、KADOKAWAの子会社のネットワークは相互に接続されていることを把握し、複雑なKADOKAWAのIT部門が構築した複雑なしくみを横断することができた。 私たちは、KADOKAWAのネットワーク構成が、適切に管理されていないことに気付いた。異なるネ
解説：生成AIのハルシネーションはなぜ起きるのか
大規模言語モデルが「ハルシネーション（幻覚）」を生成することはよく知られている。ただ、その仕組みから明らかのように、LLMの出力は本質的にはすべてハルシネーションであり、間違いが発覚したものがそう呼ばれているだけだ。 by Will Douglas Heaven2024.06.24 58 25 この記事の3つのポイント チャットボットは間違った情報を提供することがある 大規模言語モデルは統計的確率に基づいてテキストを生成する ハルシネーションを完全に防ぐことは不可能である summarized by Claude 3 2024年4月2日、世界保健機関（WHO）の新しいチャットボットが「善意の意図」の下にリリースされた。 リリースされたのは、「GPT-3.5」が搭載された新顔のバーチャル・アバター「サラ（SARAH：Smart AI Resource Assistant for Health
XML 検証 | 商品レビュー フィード | Google for Developers
Google がお客様のフィードを処理できるよう、フィードを送信する前に XML スキーマ検証ツールを使用してください。XML ファイルの構造を検証するには、さまざまなツールを使用できます。 XML スキーマ ツールの W3C リスト Altova XMLSpy XML エディタ oXygen XML エディタ libxml2 の xmllint xmllint を使用すると、次のコマンドでフィードを検証できます。 xmllint --schema http://www.google.com/shopping/reviews/schema/product/2.3/product_reviews.xsd \ --noout file.xml 特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2
５年前に消えたペットのロバ、野生のアメリカアカシカの群れにいた 米カリフォルニア州
（ＣＮＮ） 米カリフォルニア州で５年前に行方不明になったペットのロバ「ディーゼル」が、野生のアメリカアカシカの群れと暮らしているのが見つかった。 ディーゼルはカリフォルニア州サクラメント郊外に住むテリー・ドゥルーリーさん一家が飼育していた。姿を消して以来、何年も行方は分からず、ドゥルーリーさんは最悪の事態を恐れていた。 ところが今年に入り、同州北部で撮影された野生のアメリカアカシカの群れにいるロバの動画が撮影され、インスタグラムに掲載された。 「やっと見つけた。元気で最高の生き方をしていた。幸せで健康でいてくれて、本当に安心した」。ドゥルーリーさんはＣＮＮ提携局ＫＯＶＲにそう語っている。 ディーゼルは一家が土地管理局から引き取ったロバで、最初の数年は農場で穏やかに暮らしていた。 ところが２０１９年４月、散歩中に何かに驚いて走り出し、そのまま行方が分からなくなった。ドゥルーリーさん一家は何週
JLine3 Terminalメモ(Hishidama's JLine3 Terminal Memo)
概要 Terminalは、JLine3で端末（コンソール）（文字列の入力・表示）を扱うクラス。 コンソールからの入力に関してはLineReaderの中で使われる。 コンソールへの出力はterminal.writer()（PrintWriter）に対して行うのが良いと思う。 端末の種類（Windows（コマンドプロンプト）かどうか等）はOSUtilsで判別できる。 例 import java.io.IOException; import org.jline.reader.LineReader; import org.jline.reader.LineReaderBuilder; import org.jline.terminal.Terminal; import org.jline.terminal.TerminalBuilder; public class JLineExample { p
「ニッセン売却」が象徴するセブン＆アイEC構想の大失敗 カタログ通販に残された利用価値とは
「ニッセン売却」が象徴するセブン＆アイEC構想の大失敗 カタログ通販に残された利用価値とは：小売・流通アナリストの視点（1/4 ページ） 5月9日、セブン＆アイ・ホールディングス（以下、セブン＆アイ）は、子会社の総合通販企業ニッセンホールディングスの全株式を売却すると発表した。セブン＆アイは、グループのポートフォリオの見直しを進めており、昨年は百貨店そごう・西武を不動産ファンドに売却。直近の2024年2月期決算説明会においても、祖業イトーヨーカ堂を中心としたスーパーストア事業の分離独立方針（株式上場後、持分法適用水準の株式保有が前提）を発表したばかりである。 「グローバルコンビニ企業を軸とした、食を中心とする世界トップクラスのリテールグループとしての成長戦略」という大方針の下、セブン＆アイはすでに高級セレクトショップのバーニーズジャパン、スポーツ用品のオッシュマンズを売却。振り返ると、セブ
Bashで$(cat foo.txt)していませんか？$(< foo.txt)しよう - Lambdaカクテル
以下の文書はBashを使う前提の話。 Bashにはコマンド置換(Command substitution)というのがある。$(another-command)のように、$()でコマンドを括る記法だ。これを利用すると、括弧で括られたコマンドが実行され、その標準出力が文字列として取り出され、$()全体を置き換える。シェルスクリプトでは非常によく見る技術だ。 この$()でファイルの内容を読み出すというのを最近見た。このような用法は非常によく見る。 foo-command $(cat params.txt) しかし、より良い書き方があるのでこれを提唱したい。$(< params.txt)と書くことで全く同等のことができる。しかも速いのでこちらのほうが完全に上位互換となる。 foo-command $(< params.txt) この方法はBashのドキュメントのコマンド置換のコーナーにちゃんと書か
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - IBM/JTOpen: IBM Toolbox for Java, an IBM i communications library
Ultra-quiet for CSV output · Issue #378 · julianhyde/sqlline