はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい

こんにちは、CX事業本部デザインチームの小峰です。 先日、Agendというメディアさんからインタビューいただきました。 仕事のすれ違いを「ただ、話す」で解決していく、スクラムから学んだチームコミュニケーション―――――クラスメソッド小峰さんインタビュー この中で「ただ話す」を紹介しています。 今回は、これについて少し深掘ってみます。 これを知ったのはインタビューでもお話した通りLeSS Frameworkがきっかけでした。複数チームによるアジャイル開発体制を検討している中で出会いました。いわゆる「大規模アジャイル」の一種です。 「ただ話す」は、大規模アジャイルの学習のために「大規模スクラム Large-Scale Scrum(LeSS) アジャイルとスクラムを大規模に実装する方法」という本を購入し、そこで紹介されていたものになります。 調整と統合 スクラムガイドでは主に1チームでのスクラム

自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた はじめに 今回は、OpenAIのWhisper APIとAmazon Transcribeという2つの音声文字起こしサービスを試し、それぞれの精度を比較してみました。 Amazon Transcribeは、音声をテキストに変換する自動音声認識サービスです。 ストリーミングとバッチ処理のどちらでも文字起こしが可能です。 攻撃的な言葉を指定すると、Amazon Transcribeがそれらの言葉を文字起こしから自動的に削除する語彙フィルタリングなどの機能もあります。 Amazon Transcribeの詳細は、下記の記事をご参考ください。 OpenAIには音声をテキストに変換する「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び

PostgreSQLではデータベースを作成すると、デフォルトで public スキーマが作成され、任意のユーザーがこのスキーマにオブジェクトを作成できました。 CVE-2018-1058 でpublicスキーマのこの仕様とsearch_pathを使ったトロイの木馬攻撃の脆弱性(仕様の潜在リスク)が報告されました。 この攻撃から守るために、以下のような方法が推奨されています。 public スキーマの CREATE 権限を REVOKE ユーザーごとにスキーマを割り振る search_path に public スキーマが含まれないように調整 PostgreSQL 15からは、1つ目の回避策がデフォルトで有効になり、データベースのオーナーだけがpublicスキーマにオブジェクトを作成できるようになります。 Remove PUBLIC creation permission on the pu

マルチプラットフォーム（ubuntu、RHEL、Windows、MacOS）対応のLTSがついたOpenJDK互換のJavaリリースのアナウンスです！ しばらく前に、Amazon LinuxでのJavaのLTSが発表され大きな話題となりました。 Amazon LinuxでのJavaのLTS (Long-Term Support)提供について 「ほぇー、AWSもやりおるやんけ！！」と感慨にふけっていたら、それの100倍ぐらい衝撃的なニュースが、Javaの神様James Goslingのツイートで飛び込んできました。 Just announced #amazon #Corretto at #devoxx. It is our distribution of OpenJDK. https://t.co/09cuPEqnex — James Gosling (@errcraft) 2018年11月

ども、大瀧です。 昨日から開催されているDockercon 17では、Docker関連の多くの発表がありました。 その中のひとつにMobyプロジェクトがあり、プロジェクト発足に合わせてGitHubのdocker/dockerリポジトリがmoby/mobyリポジトリに移動しました。今後Docker CE(Community Edition)のソースやIssueなどを見るときは、こちらのリポジトリにアクセスしましょう。 このブログでお伝えしたいことは以上なのですが、「Mobyってなんだよ?!Dockerが名称変更したの?」と言われそうなので、ちょっとだけ解説します。経緯についての一次情報は、以下をご覧ください。 Transitioning to Moby by shykes · Pull Request #32691 · moby/moby ほどなくちゃんとした説明がDocker社のブログなど

はじめに AWSチームのすずきです。 2016年11月1日、AWSが提供するモニタリングサービスの Amazon CloudWatch のアップデートがありました。 1 確認できたアップデート内容について、紹介させていただきます。 アップデート内容 メトリクスの保持期間 メトリクスの保持期間が 従来の14 日から 15 ヶ月に延長されました。 2016年11月1日時点、連続稼動中のリソースの稼働情報、「5分」測定値は2016年9月1日0時、「1時間」測定値は2016年7月9日0時まで遡ったデータを確認することが可能でした。 15ヶ月(455日)保持されるメトリックの値は1時間単位のものとなります。 1分毎の測定値は15日、5分毎の測定値は63日で消去されます。 63〜455日以前の稼働情報を確認する場合、グラフ表示の期間を「1時間」に変更してご覧ください。 UIの改善 カレンダーウィジェッ

久しぶりにvyosネタではない市田です。 今回は、netdataというLinux向けのモニタリングツールについてご紹介します。 netdataとは netdataは、ZabbixやNagiosなどの監視ツールとは異なり、リアルタイムパフォーマンスモニタリングができるツールです。 その代わりと言ってはなんですが、長期間の監視データの蓄積などはできないので、過去のパフォーマンスグラフを参照すると言ったことはできません。 以下のようなリアルタイムなリソースグラフを見ることができます。 下記のgifではカクカクしていますが、実際はもっと滑らかな動きのあるグラフになります。公式サイトが参考になるかと思います。 NetData - Real-time performance monitoring, done right! netdataの特徴 githubでは以下の特徴を謳っています。 Stunnin

CloudWatchには[BurstCreditBalance]という項目がありますので、こちらをチェックしてみるとどれくらいの容量が必要か見積が出せると思います。 非同期書き込み EFSは共有ストレージ、ということで非同期による書き込みが出来るようにマウント時に非同期オプション（async)をつけることができます。その場合バッファはEC2内にキャッシュされます。 またパフォーマンスを確保するためにはEC2そのもののメモリやCPU処理能力も関係します。パフォーマンスが出ないと感じた時はインスタンスタイプを上げてみるのも手です。尚EBS最適化されたインスタンスでもEFSにはその影響はないので注意しましょう。 制限事項 その他制限事項を羅列します。 最大ファイルシステム数: 10 AZ毎の最大ターゲットマウント数: 1 ターゲット毎の最大セキュリティグループ数: 5 ファイルシステム毎の最大タ

負荷試験対策ミーティング ここでは、チームメンバーを集めて、システム要件の再確認と、バックエンドのアーキテクチャを再確認をまず行います。すなわち、「求められているもの=要件」と、「提供できるもの=アーキテクチャ」の確認です。ここの認識が揃っていないと、的はずれな負荷試験を実施してしまうことになりかねません。立場や役割にかかわらず、サービス全体として考えるべきです。 負荷試験の目的 負荷試験を行うことによって、何を示したいのか決めます。今回は、以下の目的を定めます。 サービスリリース後、想定されるピーク時のリクエストを受けた場合でも、問題なく稼働を続けられることを確認する システムのスループット限界値を確認する 負荷試験の観点 たいていのWebシステムの場合、昼夜を問わず稼働し続けるものとなるでしょう。今回例にとったシステムも24時間365日、リクエストを受け付けるものとします。この場合、観

第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。 設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。 それではインデックスするためのデータ構造を Elasticsearch でどのように設計するのか解説したいと思います。 設計フローまで変えてしまう画期的なドキュメント指向型検索エンジン Elastic 社のホームページを見てみると Elasticsearch の特徴の１つとして「Document-Oriented」と言う記載があります。直訳すると「ドキュメント指向」です。 簡単に説明すると 現実世界の複雑なデータをJSONドキュメントにしてインデックスするだけで、デフォル

よく訓練されたアップル信者、都元です。「認証 認可」でググると保育園の話が山程出て来ます。が、今日は保育園の話ではありません。そちらを期待した方はごめんなさい。こちらからお帰りください。 さて、先日のDevelopers.IO 2016において、マイクロWebアプリケーションというテーマでお話させて頂きました。一言で言うと OAuth 2.0 と OpenID Connect 1.0 のお話だったのですが、これらを理解するにあたっては「認証」と「認可」をはっきりと別のものとしてクッキリと認識する必要があります。 まず、ざっくりとした理解 認証と認可は密接に絡み合っている一方で全く別の概念です。正直、理解は簡単ではないと思います。 まず「認証」は英語では Authentication と言います。長いので略して AuthN と書いたりすることもあります。意味としては 通信の相手が誰（何）であ

はじめに 藤本です。 小ネタです。 先日、Elasticで多くのProductの新バージョンがリリースされました。 Elasticsearch 2.2.0, 2.1.2, and 1.7.5 released Kibana 4.4.0 is eye meltingly colorful Beats 1.1.0 & Winlogbeat released Logstash 2.2.0 and 2.1.2 released Elasticsearch for Apache Hadoop 2.2.0 and 2.1.3 released 先日、【新機能】ShieldがKibanaに対応しました、WinlogbeatでWindowsログモニタリングをエントリしました。 今回は地味なアップデートでKibanaがRPMファイル、DEBファイルでの提供を開始したことで、Elasticの各プロダクトがYu