導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 この記事では、長文から分割されたチャンクを精度高く検索するための手法、Late Chunkingについて紹介します。 サマリー Late Chunkingは、従来のRAGと比較して長文を分割したチャンクでの検索精度を向上させます。 Late Chunkingの特徴として、長文対応のEmbeddingを用いてトークンごとのベクトルデータを取得します。その後、チャンクの単位に合わせてベクトルデータの平均を取り、そのベクトルのデータを利用してベクトル検索をかける手法となっています。 問題意識 チャンク化はコンテキストを失う可能性がある RAGのシステムでは、関連のある情報を取得するために大量の文章情報をある程度

神戸市は、行政データの利活用にいち早く取り組んできました。2022年6月には、行政データで作成したダッシュボードにアクセスできるポータルサイト「神戸データラウンジ」を庁内の職員向けに開発。庁内メンバーが閲覧できる90種類以上に及ぶ全てのダッシュボードは、職員自ら、BIツール「Tableau」で作成しています。翌年には、国勢調査のオープンデータをダッシュボード化して、一般ユーザーが閲覧可能なデータポータルサイト「神戸データラボ」で公開し、話題となりました。 自治体というレガシーなイメージのある世界のなかで、どうやってTableauを使いこなす職人集団が生まれていったのか？その根底には、技術コミュニティの理念が大きく影響していたようです。 現在最前線で活躍する職員、そして最初にTableauを庁内に導入し、たったひとりで3年間「種まき」をし続けたキーパーソン本人に、それぞれ取材しました。 ke

OpenAIが開発するチャットAI・ChatGPTの脆弱(ぜいじゃく)性を利用して、ChatGPTに偽の記憶を植え付け、ユーザーデータを盗み出す手法が報告されています。 ChatGPT: Hacking Memories with Prompt Injection · Embrace The Red https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/ Hacker plants false memories in ChatGPT to steal user data in perpetuity | Ars Technica https://arstechnica.com/security/2024/09/false-memories-planted-in-chatgpt-give-hacker-persis

こんにちはイワツカです。 今年の夏は、特に猛暑日が続いていたので、例年にも増して素麺を食べてました。 さて今回は、AWS Lambda（Python）でLambda Web Adapterを用いてレスポンスストリーミングする方法を試してみたので紹介します。 1. 概要 1.1 レスポンスストリーミングとは？ 1.2 Lambda Web Adapterとは？ 2. アプリ作成 2.1 実行環境 2.2 ディレクトリ構成 2.3 FastAPIの実装 2.4 Streamlitの実装 3. アプリを動かして見る 3.1 チャットアプリをデプロイ 3.2 Streamlitを起動する 3.3 チャットを試してみる 4. まとめ 1. 概要 1.1 レスポンスストリーミングとは？ レスポンスストリーミングとは、HTTPリクエストに対してサーバーがレスポンスを一度にまとめて送るのではなく、データを

パブリッシャーのAerosoftは9月23日、『Global Farmer』の早期アクセス配信を10月7日に開始すると発表した。対応プラットフォームはPC（Steam）。 『Global Farmer』は農業シミュレーションゲームだ。本作の特徴として、web上で公開されている地形情報のオープンデータベースOpenStreetMapに基づき、世界中の実在の土地をマップとしてプレイすることが可能。プレイヤーはその土地の気候や土壌に合った作物を育て、農場を経営していく。 本作では実際の気候に基づき、30種類の気候帯が用意されるとのこと。開始時に選んだ土地によって年間の降雨量や日照時間、土壌のpHなどが変化。栽培に適した作物が変わってくるようだ。また作物はそれぞれ、植え付けに適した時期や生育期間、土壌に与える負担などが異なる。土地の事情に合わせて年間の耕作スケジュールを構築し、収益の最大化を図って

「コアデ 大容量クリアファイル収納ホルダー」は40ポケットで最大80枚のクリアファイルを収納できるホルダー。しっかりした作りで、大容量の収納にも耐えられる製品。アニメイトグループのコアデが手掛けているので、透明袋のまま収納できるなどかゆいところに手が届く設計になっています。 オタクをしていると増えるもの……それはクリアファイル！ アイドルだろうが、二次元だろうが、どんなジャンルでもグッズになることが非常に多い……！ 1枚1枚は薄くとも、量が増えるとかさばるし、何より大切なグッズなので傷つけず保管したい。そして眺めたい。 そんなニーズを満たすのが「クリアファイル用の収納アイテム」です。実際に推し活をしている編集部メンバーがレビューします。 今回紹介するのは、「コアデ大容量クリアファイル収納ホルダー」です。コアデはアニメイトグループで、推し活ユーザーのニーズに応える商品を多数販売している会社。

以下の文章は、Michael Weinberg による Licensing Deals Between AI Companies and Large Publishers are Probably Bad の日本語訳である。 AI 企業と大手出版社のライセンス契約は、ほぼ皆にとってマズいことになるかもしれない。その契約で小切手を直接受け取ることがない人にとっては特に。 Getty Images や音楽レーベルなど大手コンテンツ企業からの初期の著作権訴訟が未だ絶賛継続中だが（定期的に新たな訴訟が起こされている）、最近では大手のコンテンツ保有者と AI 企業の間でライセンス契約が結ばれるのも続いている。 個々のコンテンツ企業にとってその契約が賢明かは脇に置くとして、こうしたライセンス契約が、当事者以外のほぼ全員に悪い結果をもたらすのを私は恐れている。こうした合意を締結する企業の大半は（世論の圧

はじめに こんにちは。データシステム部/推薦基盤ブロックの佐藤 (@rayuron) です。私たちはZOZOTOWNのパーソナライズを実現する推薦システムを開発・運用しています。推薦システムごとにKPIを策定していますが、データの欠損やリリース時の不具合によってKPIが意図しない値を取ることがあるため定常的に確認する必要があり、これをKPIのモニタリングと呼んでいます。 先日、推薦システムの実績をLookerでモニタリングするというテックブログで推薦システムのKPIをモニタリングする方法を紹介しましたが、運用していく中でいくつかの課題が見えてきました。本記事では、より効率的かつ効果的なKPIのモニタリングを実現するための取り組みについて詳しくご紹介します。 はじめに 改善の背景と課題 背景 課題 トレンドを考慮した異常検知が不可能 モニタリングの設定が面倒 アラート対応フローが不明確 サマ

はじめまして。開発部のid:guitarrapc_tech です。 今回、黒騎士と白の魔王を例にモニタリングをどのようにしているのか、どのように考えてサービス監視を行っているのか紹介したいと思います。 目次 目次 モニタリング モニタリングの不足 CBT で気づいたモニタリング不足 モニタリングサービスの要件と選定 モニタリングの分類 モニタリングをレイヤー分けして可視化する 1. サービスの全般的な状態 2. アプリケーションと相互関係にあるリソース状態 3. アプリケーションの詳細なメトリクス状態 4. 各ロールの詳細メトリクス イベント アラート まとめ 参考 モニタリング 「黒騎士と白の魔王」の開発からリリースにかけて、大きな課題であり続けたのが「どのようにサービスのモニタリングを行うか」でした。ここでいうモニタリングは、次の意味を持たせています。 役割 意味 現状把握 サービスが

ミーティングのファシリテーションをする時にミーティングのルールや心構えを音読するようにしてみていて、思ったよりいい感じなので雑に書いておきたい。 たとえば月1の開発チームのミーティングでは、次のようなルールを明記して読み上げている。 ドキュメント・Slackへのコメントを歓迎します。事前・MTG中いつでも質問・意見を入れてください あまり厳格にしすぎずハードルを上げない 議事録はみんなでMTG中に書く 最初に声に出してアナウンスすると、それに応えて意識した行動を取ってくれる人が増えているように思う。 他には、インシデント対応の初動で集まった時にはインシデントコマンダーの立場で次のような心構えを画面共有で映して話す試みを始めた。 犯人探しをしない チャレンジしてリリースすれば一定インシデントは発生する 犯人探しをせずユーザーへの対応と改善に目を向け、落ち着いてOne Teamで対応する 同期

30代後半〜40代を迎えると、まだまだ働き盛りではある一方で、体力の衰えや体調面の不安を抱える場面が多くなりがちです。忙しい中でも健康を気遣っていくためには、どんな工夫をすればいいのでしょうか？ 関西テレビ『旬感LIVE とれたてっ!』のMCなどを務めているフリーアナウンサーの青木源太さんは、40代を迎える中「長く健康で働くこと」の重要性を感じ、健康維持のためのさまざまな取り組みを始めたそう。大好きなアイドル・Hey! Say! JUMPの有岡大貴さんの影響で30代半ばから筋トレを始めたほか、食事や睡眠に関する日々のルーティンにも、自分なりのこだわりがあるといいます。 今回はそんな青木さんに、健康のために取り組んでいることと、継続するコツなどについてお聞きしました。 心筋梗塞・脳卒中など将来病気になる確率を可視化し、生活習慣の改善をサポートするヘルスケアサービス「フォーネスビジュアス」では

Googleは、これまでアドオンとして提供してきた企業向け「Google Workspace」での「Gemini」を、標準機能にする。また、Gemini for Workspaceが、SOCやISOなどの業界認証を取得したことも発表した。

Auth0の無料プランが拡大。月間2万5000アクティブユーザーまで、独自ドメイン、パスキーによるパスワードレス対応も 認証プラットフォームを提供するOkta社は、Auth0の無料プランを拡大したと発表しました。 Auth0は、認証や認可にかかわる機能がクラウドサービスとして提供されており、SDKを用いてWebアプリケーションやモバイルアプリケーション、デスクトップアプリケーションなどに組み込むことで、通常のログイン名とパスワードを用いた認証はもちろん、Active DirectoryやGoogle Workspaceなどとの接続、Facebookなどを用いたソーシャルログイン、パスキーによるログインなどを簡単に実現します。 また、不正ログインに対する防御機能なども備えています。 無料プランで月間2万5000アクティブユーザーまで対応 これまでの無料プランは、最大で月間7500アクティブユ

使い捨ての乾電池と違い、充電することで繰り返し使える充電池。 マウスやポケットシェーバーなど、わりと頻繁に乾電池を使う人にとっては、コスパの高いすぐれものだ。ただし初期投資は若干かかり、例えばパナソニックの「エネループ」充電池だと、単３形1本の単価は約500円。それとは別に専用の充電器が約2000円かかる。 対して、使い捨てのアルカリ乾電池は、100円ショップで数本入りが販売されている。ここが、購入するかどうか、ちょっと悩みどころであった。 ところが、ダイソーでは、充電池と充電器が激安といってもよい価格で売られているのを発見。早速買い求め、性能を検証してみた。 ２本セットで330円という破格値の「LOOPER 充電式ニッケル水素電池」 ダイソーの充電池の発売元は、中国のLEXEL BATTERY CO., LTDの日本総販売店である日本レクセル（株）。LEXELは、ニッケル水素電池の分野で

すまほん!! » PC » 神アプリ！Windowsのマルチディスプレイを完璧に使いこなす「Little Big Mouse」を解説します 「なぜそんなにたくさんモニターを使うのですか？」「そこにモニターがあるからさ」 つい最近、自宅のデスクトップPCのモニターが6枚になってしまいました。もともと、自分のPCから出力できる画面数は4つが最大だったのですが、DisplayLinkアダプターを利用するとポートを増設することができると知り、思わず購入。押入れの奥に眠っていたモバイルモニター2枚を引き出し、接続することで6画面を実現してしまいました。 筆者の持論を展開すると、パソコンにおいてメモリの容量が「机の広さ」に例えられるのと同じように、PC作業中の人間にとって、表示画面の広さはまさに机の広さ。もちろん作業領域はスペースが許す限りデカけりゃデカいほど良く、また多くのウィンドウを常時表示してお

ノイズキャンセリング・メガネなんて初めて聞いた？　いや私もです。 このサイドシールドつきで、ブルーライト軽減、そして反射防止加工がされているノイズキャンセリングメガネQuietFramesは、ADHDや自閉症などの精神神経障害（NPF)やその他の理由で、教室で集中できない生徒たちを助ける。メガネのサイドとレンズの一部にシールドが貼られていて、視野を大幅に狭めるため、周囲からの視覚入力が減る。 スウェーデンで初めてこの新しいツールを導入したボーデンの小学校では、特別支援クラスのエリーセちゃんがこのメガネを使っており、その結果に本人も教師もとても満足している。彼女はこのメガネのお陰で集中することができ、時間に余裕ができ、文章を書くのがうまくなった。先生はその効果を「まるで魔法のよう」と評価している。周りでみんなが話していたりするとまったく集中できなかった彼女だが、今は勉強するのが楽しいと話して

スマートフォンやモバイルバッテリーなどのバッテリー容量を比較する場合、一般的には「mAh・Ah(ミリアンペア時・アンペア時)」が用いられます。しかし、mAhは実際のところバッテリー容量を比較するのに適していないと、スマートフォンなどのデバイス分解情報や修理工具を販売するiFixitが解説しています。 What Is mAh and Why Is It Bad for Measuring Battery Capacity? - iFixit https://www.ifixit.com/News/100286/what-is-mah-and-why-is-it-bad-for-measuring-battery-capacity 以下の写真は、iFixitのポータブルバッテリーです。このポータブルバッテリーは、「5000mAh」のバッテリーを持つとされるスマートフォンを2～3回ほどフル充電で

目次 目次 はじめに NeWork とは リリース頻度変更の背景 それまでの運用 課題 実現方法 解説 日次でワークフローが起動するようにする main ブランチの HEAD にタグが付与されていなければ付与する develop に差分があれば main へのマージを自動で行う 細かな工夫点 main の内容を develop に自動で取り込む 祝日はリリースしないようにする 自動リリース・自動 develop → main マージの制御 Slack にリリース結果を通知する stg 環境に変更内容を通知する その他の考慮 上司への事前説明の省略 スプリントレビュー前のリリース リリースノート 品質面 リリース頻度を変えてみて おわりに はじめに こんにちは、NeWork 開発チームの藤野です。普段はオンラインワークスペースサービス NeWork のエンジニアリングマネジメントをしています