生成AIの隆盛に伴い、ベクトル検索やベクトルデータベースが注目されています。 ベクトルについてより理解するために簡単なデモサービスを作ってみました。 この記事では作ったサービスをもとにベクトルについて説明し、後半では生成AIとベクトルの関連について紹介します。 つくったもの 「しもふりサーチ」 - お笑いコンビ「霜降り明星」のYouTubeチャンネル、「しもふりチューブ」の過去動画を検索できるサービスです。 このサービスには以下の2つの機能があります。 1. 文章での動画検索 文章で動画を検索する 「粗品さんがクイズを出題する回」 や　「せいやさんがギターを弾く回」 など、自然言語で動画を検索できます。 2. 関連動画レコメンド 内容の近い動画をレコメンドする 動画を選ぶと、過去動画の中から内容の近い動画をレコメンドします。 これらの機能はベクトル検索で実現されています。詳細を説明していき

このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。

はじめに データソリューション事業部の力岡です。 近年、大規模言語モデル（LLM）の企業での利用が拡大しており、特にRetrieval Augmented Generation （RAG）と呼ばれる手法を利用した特化型LLMシステムの構築が注目されています。RAGは、企業独自のデータや外部データを利用して情報を生成することができ、知識の取得と活用において優れた性能を発揮します。 今回は、RAGシステムの核心となる文書検索の手法の一つとして、ハイブリッド検索をPythonで実装してみたので、その内容を紹介したいと思います。ハイブリッド検索は、Microsoftが提供するAzure Cognitive Searchなどの一部のサービスには標準搭載されていますが、今回はそれらは使わずにLangChainなどを利用して実装を進めていきたいと思います。 ハイブリッド検索とは ハイブリッド検索の定義は

はじめに ChatGPTで生成AIが一気に注目を浴びて、いろいろ試しに使ってみた方は多いと思います。生成AIの使い方は多岐に渡り、非常に有効なところもあればそうでないところもあります。 例えば、文章の要約、プログラムの作成、翻訳等既に業務で使えるレベルのものも多いです。それに反して、最新の情報やインターネットに出ていない機密情報というのには弱いというところもあります。 ここでは最新情報や機密情報を生成AIで使えるようにするRAG (Retrieval Augmented Generation)をElasticsearchで実現する方法を解説いたします。 こちらの内容は弊社Webinarでも公開しております。 https://www.elastic.co/jp/virtual-events/delivering-generative-ai RAGやElasticsearchについて既に良くご

おはようございます、いつきです。 今回は以下の記事を参考に、ChatGTPで自社データを使うとどうなるのか調べていこうと思います。 Azure Cognitive Searchの作成自社データを活用する事前準備としてCognitive Searchを作成する必要があります。freeプランだとAzure Open AIの自社データとして使うことができなかったので、今回はBasicを選択しました。 また、Cognitive Searchは停止できず、延々と課金されるので、検証が終わったら即時削除しましょう。 自社データをAzure Blob Storageに格納自社データとして、Azure上のコンテナに格納されたファイルを活用する形としました。 今回は、Azure のストレージにコンテナを作成し、そこにファイルをアップロードしました。アップロードしたファイルは疑似個人情報と、規程類一式になりま

We're thrilled to announce the much-anticipated Azure OpenAI Service On Your Data is now generally available! The groundbreaking feature empowers you to leverage the power of OpenAI models, such as GPT-4, and incorporates the advanced capabilities of RAG (Retrieval Augmented Generation) model, directly on your data with enterprise-grade security on Azure. This cutting-edge capability transforms th

近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ

企業における生成AI（人工知能）活用の機運が本格化する中、大規模言語モデル（LLM）が回答を生成する際に、ユーザーの質問文に応じて知識情報を参照する「RAG（検索拡張生成、Retrieval Augmented Generation）」の仕組みに注目が高まっている。日本オラクルは2024年2月、同社の生成AI戦略や企業の生成AI活用について語るイベント「Data & AI Forum」を開催。同社の生成AIサービス「Oracle Cloud Infrastructure（OCI） Generative AI」などを中心に、企業の生成AI活用とデータの利用方法について説明した。 生成AI活用と企業内データとの連係は切っても切れない関係にある。日本オラクルは強みとするデータベースを通してRAGの実装を容易にする機能を提供し、企業における生成AI活用ニーズの受け皿になりたい考えだ。 同イベントで

生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう

インタビュー ｜ 2024.04.08 Mon ELECTRIBE ESX-1との “イチャつける”蜜月関係——食品まつり、愛機を大いに語る 名ギタリストにはそのプレイを象徴するギターモデルがあるように、トラックメイカーのなかにも、キャラクターやアイデンティティと直結する機材を持つ人がいる。 常に型破りでありながら、聴き手を選ばない不思議な味わいのあるトラックを作り続けてきた食品まつりa.k.a foodman。 彼の傍には、いつもKORGのサンプラー「ELECTRIBE ESX-1」という愛機がいる。 各メーカーが小型かつ多機能、高音質のグルーヴボックスの開発を競うように売り出している今、スペック面だけを見れば時代遅れのその機材を、なぜ使い続けるのか。 デジタル機材とのプリミティブで愛に溢れた関係性と、そこで生まれるクリエイティビティについて大いに語ってもらった。 制作とライブにおける、

Office 365セキュリティセンターから監査を有効に設定 管理センタ→【セキュリティ】をクリックします 検索と調査→【監査ログの検索】をクリックします 【監査を有効にする】をクリックする しかしここでエラーが！ こんなエラーが表示されてしまいました。 詳細を表示する  要求: /api/adminauditlogconfig/EnableUnifiedAuditLogIngestion 状態コード: 500 例外メッセージ: {"Message":"実行しようとしたコマンドは現在この組織に許可されていません。このコマンドを実行するには、まずコマンド Enable-OrganizationCustomization を実行する必要があります。","DiagnosticContext":"{Version:16.00.2927.001,Environment:EUSPROD,Deploy

PowerShell 7 以降には macOS 11 以降が必要です。 すべてのパッケージは GitHub リリース ページにあります。 パッケージがインストールされたら、ターミナルから pwsh を実行します。 インストールする前に、後述の「サポートされているバージョン」の一覧を確認してください。 Note PowerShell 7.4 はインプレース アップグレードであり、以前のバージョンの PowerShell 7 は削除されます。 PowerShell のプレビュー バージョンは、他のバージョンの PowerShell と一緒にインストールできます。 PowerShell 7.4 と以前のバージョンを side-by-side 実行する必要がある場合は、バイナリ アーカイブの方法を使用して以前のバージョンを再インストールします。 PowerShell の最新の安定版リリースをインス

当記事は、主にMicrosoft365/M365(旧Office365/O365)を管理者の立場で利用している方向けの記事です。M365の利用者はどこからでもアクセスができて便利ですが、管理者としてはセキュリティやトラブル対応、重要なデータ管理・利用状況の把握などクラウドになっても課題は日々増え続けます。 そうした中で、M365 監査ログを集めておき、それを簡単に分析できるようにしておくと、管理者にとって役に立つことが分かっています。ここでは、M365 監査ログが必要な背景や、実際に監査ログを出してみたときの問題点、どうやって簡単に見ることができるのかをご紹介しています。ここではざっくりとしたご紹介までなので、詳しいやり方などご質問のある方は、お気軽に弊社までご相談ください。 M365 監査ログを取っておくべき理由 こんにちは。この記事を担当するポトフです。皆さんはM365(旧 O365

在庫状況 ブラック 第一次ロット　5月下旬入荷→完売 第二次ロット　7月下旬入荷→完売 第三次ロット　8月下旬入荷→完売 第四次ロット　11月13日入荷→完売 第五次ロット　11月15日入荷→完売 第六次ロット　12月上旬入荷→完売 第七次ロット　12月下旬入荷→完売 第八次ロット　1月17日入荷 →完売 第九次ロット　2月8日入荷→完売 第十次ロット　2月21日入荷→完売 第十一次ロット　2月24日入荷→ 完売 第十二次ロット　3月下旬頃入荷→ 完売 次回入荷時期未定 グレー 第一次ロット　5月下旬入荷→完売 第二次ロット　7月下旬入荷→完売 第三次ロット　8月下旬入荷→完売 第四次ロット　11月13日入荷→完売 第五次ロット　11月15日入荷→完売 第六次ロット　12月上旬入荷→完売 第七次ロット　12月下旬入荷分→完売 第八次ロット　1月17日入荷→ 完売 第九次ロット　2月8日入荷

先程、クレディセゾンの来期組織のプレスリリースが出ましたが、3/1からクレディセゾン CTOの仕事をメインの仕事にしていくことになりました。 （立場は変わりますが技術顧問という形でセゾン情報システムズ/アプレッソの仕事も継続しますので、引き続きぜひ何かありましたらお声がけください。昨年秋にはAmazon Alexaスキルアワードで法人部門優勝＆特別賞のダブル受賞もしたりしてだいぶ面白くなってきています！）。 で、クレディセゾンで何をやっていくか？ エンジニアリングチームの立ち上げをします。 具体的には2つのことをしようとしています。 クレディセゾンは金融の会社です。ITの世界の枠組みで言うと、いわゆるユーザー企業です。 少し前までは、多くのユーザー企業にとって、ITは「社内業務の効率化」のためのものであり、重要ではない、とまでは言わないまでも、今日のような重要性を持つものではなかった。 そ

思想 2024年4月号 岩波書店 Amazon 諫早庸一「『14世紀の危機』の語り方：ヨーロッパ到来以前の黒死病」『思想』2024年4月、no. 1200、9–32ページ。 『思想』の特集「危機の世紀」から、14世紀の危機について論じた論考を読む。 非常に多くの情報を提供する論考である。しかし、その骨子は次のように要約できる。「13世紀世界システム」の崩壊は、黒死病によってもたらされたとは考えられない。なぜなら、システムは黒死病が現れたときにはすでに崩壊していたから。システムの崩壊の主要因はむしろモンゴル帝国の解体である。まず気候変動により、帝国の拡大は13世紀末に止まる。その後、帝国を構成する各ウルスの王位継承制度の不全のためウルスは解体し、変動後の気候に適した小政体が数多く成立していった。 ここから私としては、次のような点に論考のポイントがあると判断した。論考の冒頭では14世紀の危機の

雹仔豆花（Bao Zai Bean Curd)ゴジラホテルに宿泊した際、近くで美味しいデザートが食べられる店を探しこちらにたどり着きました。ホテルに宿泊していなくても「MRT忠孝新生駅」のそばなので行きやすいかと思います。 こちらの特徴は「豆花」がほんのり塩味ということ。 単体でもトッピングを加えても食べても豆花の魅力を損なうこと無く、塩味が風味を際立たせ、全体の味を引き出してくれるそう。期待が高まります! 店内の様子赤いテーブルと椅子がアクセントになったお洒落な店内です。 日本の家にありそうな家具がどこかレトロな雰囲気を醸し出しています。 メニュー店頭のメニューを見て注文→支払いを済ませて席に着きます。 看板メニュー・傳統豆花＋三種配料ほんのり塩味が効いた豆花（鹽滷豆花）＋3種類のトッピング（三種配料）：70元（約329円） 花生：ピーナッツ粉圓：タピオカ紅豆：あずき　 …を合わせました

はい、ラヴジョイの続き。 cruel.hatenablog.com 今回は、18世紀に、存在の大いなる連鎖が流行って、それが人間の立ち位置についての考え方に影響し、格差社会の弁明まで出てきました、という話。 ラヴジョイ『存在の大いなる連鎖』第6講：18世紀の人間の立ち位置 比較的中身は薄いというか、言われていることはそんなに意外ではなく、ああ、こういう考え方も出てくるかねえ。というもの。全体として、存在の位階があってそれが重要なんだから、人間は自分が特別と思うな、自分のポジションだけ守ってろ、改善しようとするな、という現状肯定イデオロギーが出てきた、ということになる。それぞれについて、いろんな詩人や評論家があれこれ言っているのを引用するけれど、ざっと見ておけばいい感じ。それが18世紀社会の維持に決定的な影響を持っていた、という感じではない。 ラヴジョイ『存在の大いなる連鎖』第6講：18世紀