はてなブックマーク

この度、「Azure OpenAI ServiceによるRAG実装ガイド」をダウンロードしていただいた方限定に、RAGのハンズオンを無料開催いたします。 本ガイドの目的は、これからRAGを始める人に参考にしていただくため、「シンプル」「強力」「すぐ動く」をモットーにしたRAGアプリケーションを実装するためのガイドです。本ガイドではRAGのアーキテクチャのみならず「実際に動くコード」もご用意致しました。読者の皆様には、コードを動かしながらRAGをより深くご理解頂けることを一番の目的としております。 ハンズオンのお申込みは先着順となっておりますので、ご興味がある方はお早めにお申し込みください。 【無償】初級テクニカルトレーニング Azure OpenAI ServiceによるRAGハンズオン 〜独自データを用いた生成AIの利活用を学ぶ〜【初級編】 ＜概要＞ Azure OpenAI Servi

こんにちは、サイオステクノロジーの佐藤 陽です。 今回は Azure の AI Services の 1 つである Azure AI Document Intelligence について入門していきたいと思います。 PDF や画像データを扱いやすいデータにしたい！ RAG の開発で PDF の情報を独自データとして活用したい！ Document Intelligence から返ってくるパラメータの構造が分からない。 といった方は最後までご覧ください。 特に、3つ目のDocument Intelligence から返ってくるパラメータについて知りたい方はコチラへどうぞ！ AI Document Intelligence概要 Azure AI Document Intelligence は Azure AI Services に含まれるサービスのひとつであり、pdf ファイルや画像データからの

Table users { id integer [pk] first_name varchar last_name varchar email varchar [not null] password varchar [note: 'Hashed password'] created_at datetime [not null, default: `now()`] updated_at datetime Indexes { email [unique, name: "ui_users_email"] } Note: 'table: users' } 上記のテーブル定義を dbdiagram.io の左側のコード記載部分に張り付けると右側にプレビューが表示されます。 以下は dbdiagram.io でのプレビューをした時の表示です。(Noteの箇所は説明のため加工しています) (1) Ta

みなさん、こんにちは。サイオステクノロジー武井です。今回は、Azure OpenAI ServiceによるRAG実装ガイドを公開しましたので、ご紹介させてください。 ※ このブログでのご紹介ととも以下のイベントでもガイドに関する詳細なご説明や、ガイドにはないデモなどを実施しますので、ぜひご参加ください。 Azure OpenAI ServiceによるRAG実装ガイドを公開しました https://tech-lab.connpass.com/event/315703 Azure OpenAI ServiceによるRAG実装ガイドとは？ 以下のURLで公開しております。執筆しているうちに100ページ超の壮大なものとなってしまいました。 https://mk.sios.jp/aoai-rag-dev-guide-form 本ガイドの目的は、「シンプル」「強力」「すぐ動く」をモットーにしたRAGア

サイオステクノロジーの佐々木です。 今回はSBOMツールについて様々な観点で表にまとめてみました。(目視で調べているので取りこぼしやミスがあるかもしれません。その際はご指摘ください) SBOMとは何ぞやという方は別の記事がありますのでこちらを参照してください。 以下はすべてミニマムのプランになります。 今回分類対象とするSBOMツールは以下になります Black Duck Checkmarx SCA FOSSA FossID Insignary Clarity MEND SCA Revenera SCA Snyk Sonatype Lifecycle Veracode SCA Daggerboard Dependency-Track OSS Review Toolkit (ORT) SBOM Tool ScanCode.io Scancode Toolkit SwiftBOM Syft &

はじめに こんにちは。先日、社内にてSBOMに関する勉強会を行いました。この記事では、そこで学んだことを解説していきたいと思います。 具体的な内容は以下の通りです。 SBOMとは何か SBOMを導入するとどんなメリットがあるか SBOMを導入するにはどんなことに気を付けて何をすれば良いか SBOMにはどんな種類があるのか 特に、SBOMに興味はあるけど具体的に何していいかわからない、という方に参考になると思っています。少々長いですが、最後まで読んでいただけると嬉しいです。 それでは、順番に説明していきます。 SBOMとは SBOMとは、ソフトウェア部品表(Software Bill of Materials)、つまり、ソフトウェアコンポーネントやそれらの依存関係の情報も含めた機械処理可能な一覧リストのことです。 ソフトウェアに含まれるコンポーネントの名称やバージョン情報、コンポーネントの開

こんにちは、サイオステクノロジー武井です。今回は、「RAG構築のためのAzure OpenAI Serviceリファレンスアーキテクチャ詳解」と題しまして、マイクロソフトが提供するRAG導入のためのリファレンスアーキテクチャについて解説します。 ※ 本記事の内容がベースとなっているオンラインセミナーのアーカイブが以下のYouTubeで配信されています。ぜひ見てね!! Azure OpenAI Service リファレンスアーキテクチャとは？ マイクロソフトは、Azureでのシステム構築に役立つ様々な設計パターン（リファレンスアーキテクチャ）を提供しています。これらのパターンを参考にすれば、問題なく簡単にシステムを構築することが可能です。ゼロから設計を始める必要はありません。 https://learn.microsoft.com/ja-jp/azure/architecture/brows

はじめに 皆さんこんにちは、新卒2年目エンジニアの細川です。 今回は輪読会にて勉強したDBのインデックスが効かなくなるSQLについて紹介したいと思います。 今回参考にさせていただいた書籍 今回輪読会で読ませていただいた書籍は「達人に学ぶDB設計徹底指南書: 初級者で終わりたくないあなたへ」という書籍です。DBの良い設計や悪い設計について、それがなぜ良いのか悪いのかを例を踏まえて分かりやすく解説してくれている本です。 正規化手順などについても詳しく書かれており、DBに不安を感じる方はぜひご一読をお勧めします！ DBのインデックスについて DBのインデックスと聞くと、何となく貼ると早くなるくらいの認識で使っている方もいらっしゃるのではないでしょうか？(僕はそうでした笑) しかし、インデックスも万能ではなく、種類によって向き不向きもあり、正しい使い方をしないとうまく効果を発揮できません。 インデ

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【3/22開催】テックブログを書こう！アウトプットのススメ 1年で100本ブログを出した新米エンジニアがPV数が伸びなくてもTech Blogを書き続ける理由とは？ https://tech-lab.connpass.com/event/312805/ 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチ

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【3/22開催】テックブログを書こう！アウトプットのススメ 1年で100本ブログを出した新米エンジニアがPV数が伸びなくてもTech Blogを書き続ける理由とは？ https://tech-lab.connpass.com/event/312805/ 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチ

SQLのlike文ではだめなのかという疑問が湧くと思います。like文検索では全ての文書を検索しなければなりません。例えば、SQLで「ペット」でlike文検索(select * from docs where content like ‘%ペット%’)したとします。そうなると、文書全体を検索することになります。 一方で、転置インデックスを検索する場合は、「ペット」をキーに検索しますと、その単語に直接関連付けられた文書(ドキュメント1、ドキュメント2、ドキュメント4)を引っ張ってくることができます。これにより、検索時間が大幅に短縮され、大量のデータを扱う検索エンジンで特に有効です。 検索結果の順位付けキーワード検索による検索結果の順位付けの方法について、ご説明します。Googleで検索を行うと、検索したキーワードに一番関連のありそうなWebサイトやドキュメントが上部に表示されますよね。これは

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ こんにちは。サイオステクノロジー OSS サポート担当 山本 です。 今回は systemd + rsyslog な環境でど

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ みなさん、こんにちは。サイオステクノロジー武井です。今回は、今話題沸騰の生成AIサービスであるAzure OpenAI Se

サイオステクノロジーの池田 透です。 今回はTerraform Custom Providerの設計について説明します。 TerraformとはOSSのクラウドリソースのプロビジョニングツールでAWS、Azure、GCPなどマルチクラウドに対し、多くのインフラをプロビジョニングできます。 一方で提供されていないプロビジョニング処理についてはCustom Providerで処理を記述する必要があります。 Custom Providerの適切な設計をするにはTerraformの仕様や慣習を把握した上で進めることが大切です。 このような点を踏まえながら、最終的にHashiCorpが提供するProviderのリファレンスレベルの仕様書ができ、実装をスタートできる状態にすることを目標とします。 Custom Providerの開発の必要性の判断 まずはそもそもTerraform Custom Pro

Azure Application Gatewayとは？ Azure Application Gatewayとは、Azureが提供するL7のロードバランサーです。以下の特徴があります。 もちろんマネージド。セキュリティパッチ当てたりなどの運用は一切不要である。 負荷に応じて柔軟にスケールする。 SSLの終端を行うことができる。 WAF(Web Application Firewall)によって高いセキュリティを確保できる。 Azureの各種サービスと密な連携が可能である(例えばApp Serviceの前段に配置することも簡単にできる) と、まぁいろんな特徴があるわけなんですが、以降でそれらの特徴をわかりみ深く説明していきたいと思います。 Azure Application Gatewayの構成 Application Gatewayの概念は少々複雑です。まずはざっくりとした概念図をご説明し

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ 今回は、Gitをチームで運用していく際におざなりにされがちなことについて書いています。一週間前におざなりにして注意を受けたの

bash における () [] {} とは Linux で bash を使用している環境で、スクリプト内などに括弧 () [] {} が使用されることがあります。 これらの括弧を使用することで、より複雑なスクリプトが作成できたり、スクリプトの記述を簡略化する事が出来ます。 なお、bash とはシェルの名称です。シェルには他にもたくさんの種類がありますが、bash が Linux 標準のシェルとして採用されています。 () [] {} の使い方 丸括弧 () 丸括弧 () は、括弧内に記載された命令をサブシェルとして実行します。 サブシェルというのは、シェルから起動された別の (子プロセスの) シェルのことを言います。 サブシェルで操作した内容は、元のシェルに影響を与えません。 $ pwd /opt/dir1 $ (cd /opt/dir2) $ pwd /opt/dir1 ただし、ファイル

はじめに 今回は、React＋Typescript環境でエラーハンドリングについて向き合った結果についてまとめて報告していこうと思います。 どもども！新米フロントエンドエンジニアである龍ちゃんです。エラーハンドリングって大変だなと思っている今日この頃です。注意点です！この記事ではコーディングまでは行わず、事前準備として調べた内容をざっくりとまとめた内容になります。 先に結論としてReactでエラーハンドリング方法について触れておきます。 ここからは、僕の頭の中を図に落とし込んで各項目の説明を挟んでいきます。実装用のメモとして先人たちのブログを掲載しておきます。僕自身もこれからという分野なので一緒にエラーハンドリングの沼におぼれていきましょう。 僕の勉強遷移 はい！勉強遷移をそのままアウトプットしました。今回のこと始まりとしては、エラーハンドリングという単語を知らないところから始まりました。

こんにちは。サイオステクノロジーの橋本です。 今回は運用上役に立ちそうなコマンドや tips をまとめてみました。 なぜまとめたのかというの、私がよく忘れて都度都度調べたりするのがめんどくさくなったからです…. 1: vmstat や iostat の結果に時刻を付ける ・使いどころ vmstat が特に顕著ですが、便利ですが一体いつの時間の情報かわからないことがよくあります。 これを利用することで時刻も併せて表示させることが可能です。 ・コマンド実行例 $ vmstat 1 | awk '{print strftime("%y/%m/%d %H:%M:%S"), $0}' 23/01/23 13:57:52 procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- 23/01/23 1

nginx-1.22.1 stable and nginx-1.23.2 mainline versions have been released, with a fix for the memory corruption and memory disclosure vulnerabilities in the ngx_http_mp4_module (CVE-2022-41741, CVE-2022-41742).

みなさん、こんにちは。サイオステクノロジー武井です。今回は、導入がカンタンで開発効率爆上げなVisual Studio Code拡張機能をご紹介したいと思います。 ※ 本記事は技術評論社出版の「Software Design」2022年10月号(詳細はこちら)に私が寄稿した「エディタこそ開発の要 ［最大活用］Visual Studio Code」の記事をベースとしております。是非、Software Designの方も合わせてご覧ください！！ はじめに Visual Studio Code はインストール初期でも機能は豊富であり、かつインタフェースもシンプル、そして拡張機能により利用者の環境に合わせて自由にカスタマイズできることが、大きな魅力となっております。 一方で、その機能の豊富さにより、どの機能を使ってよいのかと迷われる方もいると思います。 そこで本記事では、「導入がカンタンで開発効率

こんにちは、サイオステクノロジー技術部 武井です。今回は、APS.NET Coreの主要な機能の一つであるDelendency Injection(以降、DIと呼称)について、書きたいと思います。 DIはビジネスロジックの中ではインターフェースだけを定義し、その実装を外部から注入(Injection)するという実装方法で、レトロなところでいいますと、JavaのフレームワークであるSeasar、Google謹製のフレームワークGoogle Guice、最近ではSpring Bootなどで使われており、古くから使われている方式です。 APS.NET CoreではDIが標準装備になっています。いいですね。 やってみる ということで、以下の要件を満たすアプリケーションをDIを使って、作成します。 MVCなアプリケーションで、朝の挨拶、夜の挨拶を返すクラスをDIして、ブラウザに「Good Morin

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ みなさん、こんにちは。武井です。 ワタクシ、月イチか月二くらいで「世界一わかりみの深いクラウドネイティブ on Azure」

こんにちは、サイオステクノロジー武井です。今回は、Azureで簡単にチャットボットを作れるサービス「Azure Bot Service」を世界一わかりみ深く説明したいと思います。 全2回シリーズでお届けする予定で、今回は一番基本である「オウム返しボット(入力した言葉をそのまま返すボット)」を作成することで、Azure Bot Serviceの基本を説明していきます。 チャットボットとは 「チャット」とは、皆さん御存知の通りネットワーク上でテキストや画像などを通して、ユーザー同士がコミュニケーションを取り合う手法です。近年、代表的なものでは、Slackなどがあります。 「ボット」とは、「ロボット」の略で人間に変わり、様々な処理を自動化してくれるプログラムのことです。 この2つの言葉をかけ合わせたのが「チャットボット」であり、「チャットボット」とはチャットによるコミュニケーションにおいて、あら

◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【4/18開催】VSCode Dev Containersで楽々開発環境構築祭り〜Python/Reactなどなど〜 Visual Studio Codeの拡張機能であるDev Containersを使ってReactとかPythonとかSpring Bootとかの開発環境をラクチンで構築する方法を紹介するイベントです。 https://tech-lab.connpass.com/event/311864/ 今回はInstagram Graph API Ver.14.0を使用し、ユーザー情報、ユーザーの投稿情報を取得・表示します。