ChatGPT - LLMシステム開発大全
ChatGPTとLLMシステム開発について纏めた187ページ資料です。 2024/04 名称を改め資料を大幅にアップデートしました！ 今後も随時更新していきます。 データサイエンティスト協会での発表動画はこちら。 https://youtu.be/l9fpxtz22JU Build Japanでの発表はこちら。 https://youtu.be/UEZzx6a005g?si=Ot8EO2bv8yhQQEcy 2023/7/28 体裁修正、余計なページを削除 2023/12/12 RAG、API仕様、モデルのページを追加。また情報を最新化。 2024/04 名称を改め資料を大幅にアップデートしました！ 1. LLM - GPTの全体像 LLM - GPT とは何なのか ～チャットAIを例にした動作イメージ～ 大規模言語モデル(LLM)が持つ基礎能力 デジタルツールとLLMの連携 GPTに関す
AzureでGPT活用するためのシステムの参考アーキテクチャ “金太郎飴的に複製できる”管理構成のすすめ
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。さらに、AIネイティブなアーキテクチャの有効活用のためにおすすめな従来の用途固定AIモデルの整理と、GPTを活用するためのシステムの参考アーキテクチャについて話します。前回はこちらから。 今後はAIネイティブなアーキテクチャが登場するだろう 蒲生弘郷氏（以下、蒲生）：ここまで言ったところで、GPT自身にいろいろなものを食わせるというところもあったと思いますが、（今後）よりAIネイティブなアーキテクチャが（登場することが）予想されます。 例えば「社内独自の技術である○○につ
「Azure OpenAI Service」と「OpenAI」それぞれのChatGPT APIの比較 5つの観点を踏まえた使い分け例の紹介
Azureを活用するさまざまなシーンで活躍しているエンジニアを招き、Azureについて語り尽くす「Qiita Night～Azure～」。ここで株式会社wevnal CTOの鈴木氏が登壇。Azure OpenAI ServiceのChatGPT API と OpenAIのChatGPT APIの比較結果について話します。 鈴木氏の自己紹介 鈴木和男氏：では始めます。ゴールデンウィーク直前にもかかわらず、たくさんの方にお集まりいただいきありがとうございます。それでは、さっそく始めます。 私のほうからは、Azure OpenAI ServiceのChatGPT APIと、OpenAIのChatGPT APIに関して、お話しできればなと思います。 プロダクションレベルで運用しているので、各々いい点、悪い点はあったりしますが、それも交えながら話せればなと思います。 スピーカーに関して説明します。私
CTOの視点から見たAzure OpenAI ServiceとOpenAIのChatGPT APIの深堀り比較 - Qiita
※ この記事の内容は先日のQiita Nightでお話ししたことと一部重複します。 Qiita NightではLTの制限時間(10分)に収めるため、結構端折りました。 はじめに ChatGPTが登場してから数ヶ月が経ちました。 ChatGPTをはじめとしたGenerative AIは完全に現在のIT業界のトレンドとなっています。 今や多くの企業でChatGPT APIをサービスに組み込んで顧客提供を開始したり、自社の社内システムに組み込んだりと積極的に利用するようになりました。 私もGenerative AIが無くなると業務に支障が出るレベルで利用しています。 そして、2023年5月時点ではChatGPTのAPIを利用する方法として、本家OpenAI社が提供しているAPIを利用する方法とMicrosoft社が提供しているAzure OpenAI ServiceのAPIを利用する方法の2つが
マイクロソフト、フルマネージドな負荷テストサービス「Azure Load Testing」正式サービスとして提供開始
マイクロソフトはクラウド上で大規模な負荷テストを行えるフルマネージドな負荷テストサービス「Azure Load Testing」を正式サービスとして提供開始したことを明らかにしました。 外部に公開する予定のあるクラウドサービスでは、想定するユーザー数に対して適切なコンピューティングリソースが割り当てられているか、挙動に問題はないか、性能上の問題がある場合にはボトルネックがどこにあるか、などを本番開始前に調査する必要があります。 そのためには、あたかも実際に多数のユーザーがアクセスしてくるのと同じような状況を作り出さなくてはなりません。 Azure Load Testingは、そうした負荷の作成を作り出し、容易にテストできるようにしたものです。 上記の図にあるように、Azure Load TestingはApache JMeterのスクリプトを実行することで負荷を作り出し、それをエンドポイン
カスタム固有表現認識 - Azure AI サービス - Azure AI services
カスタム NER は、Azure AI Language で提供されているカスタム機能の 1 つです。 これは、機械学習インテリジェンスを適用してカスタム固有表現認識タスク用のカスタム モデルを構築できるようにする、クラウドベースの API サービスです。 カスタム NER を使用すると、ユーザーはカスタム AI モデルを作成して、コントラクトや財務ドキュメントなどの非構造化テキストからドメイン固有のエンティティを抽出できます。 開発者は、カスタムの NER プロジェクトを作成することによって、データのラベル付けを繰り返し行うことができ、モデル パフォーマンスをトレーニング、評価、および改善してから、利用できるようにすることができます。 ラベル付けされたデータの品質は、モデルのパフォーマンスに大きく影響します。 モデルの構築とカスタマイズを簡単にするために、サービスには、Language
AWS や Azure サービスと Google Cloud を比較する | Google Cloud の無料プログラム
フィードバックを送信 AWS や Azure サービスと Google Cloud を比較する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 最終更新日: 2022 年 11 月 5 日 次の表に、一般提供の Google Cloud サービスと、それに対応するアマゾン ウェブ サービス（AWS）または Microsoft Azure のサービスを示します。この表は、サービスタイプ、機能、サービス名などのキーワードでフィルタできます。今後も最新の情報をお届けするために、フィードバックをお寄せください。 Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in r
セールのときだけスケールアップさせたい––ZOZOTOWNのAzure SQL Databaseコスト節約術 Part1
2019年5月23日、DMM.comとZOZOテクノロジーズによる合同勉強会「DMM x ZOZOを支える基盤技術」が開催されました。数多くのサービスを展開している2つの巨大プラットフォームは、どのようなインフラ基盤・運用によって支えられているのか？ 2社で活躍するエンジニアたちが、その舞台裏を明かします。プレゼンテーション「ZOZOTOWN HTTPS化におけるSREチームのアプローチ」に登壇したのは、株式会社ZOZOテクノロジーズ開発部、リプレースチームの鶴見純一氏と杉山弘二氏。講演資料はこちら Azure SQL Database 節約術 鶴見純一氏（以下、鶴見）：「ZOZOTOWN Azure SQL Database 節約術」ということで、鶴見と杉山の2名で発表します。 まず、自己紹介をさせてください。 ZOZOテクノロジーズの開発部リプレースチーム リーダーの鶴見と申します。
Resource Center | Microsoft Azure
Explore Azure Get to know Azure Discover secure, future-ready cloud solutions—on-premises, hybrid, multicloud, or at the edge Global infrastructure Learn about sustainable, trusted cloud infrastructure with more regions than any other provider Cloud economics Build your business case for the cloud with key financial and technical guidance from Azure Customer enablement Plan a clear path forward fo
How Microsoft drives exabyte analytics on the world’s largest YARN cluster | Microsoft Azure Blog
At Microsoft, like many companies using data for competitive advantage, opportunities for insight abound and our analytics needs were scaling fast – almost out of control. We invested in Yet Another Resource Manager (YARN) to meet the demands of an exabyte-scale analytics platform and ended up creating the world’s largest YARN Cluster. In big data, how big is really big? Yarn is known to scale to
Azure新ポータルのクラウドサービスから仮想マシンを停止しても課金は継続される - 浅草橋青空市場
タイトルそのままですが、Azureの新ポータルから参照→クラウドサービスとたどった中にあるインスタンス一覧から仮想マシンを停止しても、課金は継続するというメッセージが出てきました。 実際に、PowerShell の Get-AzureVM でも InstanceStatusは「StoppedVM」となってIPアドレスは残ったままの、OSだけ落ちてる状態になりました（そしてこの状態から「開始」を押すと全てのインスタンスを開始するような見た目になってびっくりします）。 旧ポータルの方で、クラウドサービス内から停止させた場合は、課金の発生しない、StoppedDeallocated の状態となるようです。 同じクラウドサービス内にWebRoleと仮想マシンが混在するような場合にも、新ポータルだと挙動が統一されるので分かりやすということなんでしょうね。
画像認識対決 ~Microsoft VS Google VS IBM VS AWS~ - Qiita
はじめに この記事は、Life is Tech ! アドベントカレンダー2016 18日目の記事です。 はじめまして！iPhoneメンターのにっしーです。 「時間があるときに勉強しよう」と人工知能／機械学習／Deep Learning／認識技術といったトピックの記事の見つけてはストックしてきたものの、結局2016年は何一つやらずに終わろうとしているので、とにかく一歩でも足を踏み出すべく、 本質的な理解等はさておき、とにかく試してみる ということで画像認識技術に触れてみることにしました。 画像認識とは? 画像認識とは、画像データの画像内容を分析して、その形状を認識する技術のことである。 -- Weblio辞書 画像認識では、画像データから対象物となる輪郭を抽出して、背景から分離し、その対象物が何であるかを分析するのが基本になります。 しかし、人間なら無意識化に行われていることですが、コンピュ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Run Jupyter notebooks in your workspace - Azure Machine Learning
Building an Azure OpenAI-Powered PDF Question-Answering System in Python
Dapr Distributed Application Runtime with Azure CTO Mark Russinovich
Azure Data Lake Store: a hyperscale distributed file service for big data analytics | the morning paper
https://dl.acm.org/doi/10.1145/3035918.3056100
Behind the scenes of Azure Data Lake: Bringing Microsoft’s big data experience to Hadoop | Azure Blog | Microsoft Azure
Clearer choice of CLI: Azure CLI 2.0 for Resource Manager | Azure updates | Microsoft Azure
Windows Azure : Windows Azure Joins Windows Server in a New Organization: Server & Cloud Division