方法 - 大規模なデータセットで Azure OpenAI Service を使用する - Azure OpenAI
Azure OpenAI を使用すると、入力候補 API を要求することで、多数の自然言語タスクを解決できます。 プロンプト ワークフローをいくつかの例から大規模なデータセットの例に簡単にスケーリングできるように、Azure OpenAI サービスと分散機械学習ライブラリ SynapseML を統合しました。 この統合により、Apache Spark 分散コンピューティング フレームワークを使用して、OpenAI サービスで何百万ものプロンプトを処理することが容易になります。 このチュートリアルでは、Azure Open AI と Azure Synapse Analytics を使用して、大規模な言語モデルを分散スケールで適用する方法について説明します。 前提条件 Azure サブスクリプション - 無料アカウントを作成します 目的の Azure サブスクリプション内の Azure Op
ゼロから始めるLLM(データセット編)｜空
OpenAIの最新ニュースで、日本のデータセットが不足しているという報道がありました。 そのため、関連情報を調べてログに記録しておくことにしました。 忘れないように、データセットの探索に関する備忘録を残しております。 また、言語のデータセット以外にも、様々な便利なデータが存在することから、それらについても記録しています。 データセットのあるサイトHugging Face「Hugging Face」というのは、人工知能（AI）に関する技術や情報を提供するサイトの名前です。このサイトでは、自然言語処理や機械学習、ディープラーニングなど、AIの分野で扱う技術やツール、モデルなどの情報を提供しています。例えば、文章を翻訳したり、自然言語での会話を生成したりするのに役立つ「トランスフォーマー」というモデルも、hugging faceで配布されています。このサイトを使うことで、AIの分野に興味がある人
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex 生成AIカンファレンス 〜徹底解剖「トップランナーから見た日本が挑む生成AIの最前線」〜 日時：5月8日(水) 10:00-18:30 形式：オフライン・オンラインのハイブリッド開催 場所：東京大学伊藤謝恩ホール（オンライン参加の方は配信URLをお送りします） 参加方法：下記イベントページより申込 ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT（OpenAI）
ソフトウェア設計のトレードオフと誤り
「プログラムを設計するときに行った技術的な判断や選択が、後日大きな制約となる」これはプログラマなら誰しも経験したことのあることでしょう。本書は、そんなプログラミングにおける各種の設計上の選択について、トレードオフの内容やそれがどのような誤りを招きうるのかという点を踏まえて紹介する書籍です。 コードの重複、エラーや例外処理、柔軟性と複雑性のバランスのようなコードレベルの選択から、APIの設計、時刻の扱い、データローカリティのようなシステム寄りの話題、またライブラリの選択、分散システムの一貫性と原子性、バージョニングのようなより抽象度の高い内容まで、さまざまなシチュエーションにおけるトレードオフの実態と、その失敗例をとり上げます。 本書は日々のプログラミングにおける解決策のヒントを得るだけでなく、より幅広い設計上の知見を広める上でも役に立つでしょう。 正誤表 ここで紹介する正誤表には、書籍発行
君はVS Codeのデバッグの知られざる機能について知っているか - Qiita
はじめに こんにちは、kenです。 GWに「暇だな～～、こんな日はVS Codeの公式ドキュメントを読むか！w」と思って何気なく読んでたらデバッグに関して知らない機能がいくつかあったので、今回はそれをご紹介したいと思います。 おそらく今から紹介する機能はあまり知られてないと思います。もし全部知ってたらVS Code完全理解者なので誇ってください。（！？） 以下に記載する内容はVS Codeの公式ドキュメントのDebuggingという章を参考にしています。 注意 これから紹介する機能は言語によって使えたり、使えなかったりします。 今から紹介する機能のデモはすべてPythonで行おうかと思ったのですが、上記の理由からPythonではサポートされていない機能についてはJavaScriptやC++で代用しました。 デバッグで使える便利な機能 ログポイント機能 行を指定しログポイントを追加すると、そ
Official page for Debug Adapter Protocol
The Debug Adapter Protocol (DAP) defines the abstract protocol used between a development tool (e.g. IDE or editor) and a debugger. What is the Debug Adapter Protocol? Adding a debugger for a new language to an IDE or editor is not only a significant effort, but it is also frustrating that this effort can not be easily amortized over multiple development tools, as each tool uses different APIs for
アルカリ洗剤をアルミ缶に入れて爆発の解説
西新井駅切符売り場でアルミ缶が爆発して女性が怪我をしたという事故。やらかした中国人が逮捕されたが、実はこの事故は度々起こっている。 https://www3.nhk.or.jp/shutoken-news/20230509/1000092245.html 有名なのは数年前に地下鉄日本橋駅で乗客の荷物が破裂してガスが発生、機動隊や消防が出動して駅ごと閉鎖、電車は不通になった事件があった。 今次の事故でも爆発なので警察は念の為にG事案（広域ゲリラ事件）として捜査を行うが、コーヒー缶爆発と来たら業務用洗剤ちょろまかしによる爆発に決まっている。 やってる事は馬鹿であり、よくわかってない馬鹿が扱えないような仕組みになってるのだが、ルーズな会社が多くてこの手の事件が起きてしまう。しかも時限爆弾みたいに当初は大丈夫なのに時間が経ってから事故になるという仕組みがあるのだ。 だからその辺をちょっと解説するよ
APIシナリオテストの新ツールrunn
runn is 何？ ３行まとめ 今回はAPIシナリオテストツールのrunnをプロジェクトに導入し、一部機能のコントリビュートしながら3ヶ月間触ってみておすすめだと感じたことを記事にまとめたいと思います。 runnとの出会い 4ヶ月ほど前にスキーマ駆動開発を行っているプロジェクトでいい感じのAPIのテストをしようと色々 調査 をしていました。 その当時はOpenAPIでスキーマ定義してswagger-uiからポチポチ手動テストをしていましたが、APIの数も増えるし同じAPIでもパターンが結構あり、流石に手動でのテストでは限界があるなーと考えていました。 パラメータ数も多いのでControllerテストで書くにしてもコード量が多く、レビューが辛いと感じていました。 APIをE2Eでテストしたい、最終的にはCIで自動テストまでもっていきたいと思いました。 しかし、いざ調べてみると案外ニーズにマ
React Application Architecture for Production〜これ一冊で全てが網羅〜
はじめに この記事は、Alan Alickovicさんの著書「React Application Architecture for Production」をまとめたものになります。Alanさんと言えばZennで最も人気のある記事「bulletproof-react」の作者であり、彼のprojectから学ぶことはとても多い印象です。 今回紹介する本は2023年1月に公開されたため、bulletproof-react以後のReactアプリケーションにおけるベストプラクティスの宝庫となっています。また、本で扱われているアプリケーションのProjectがGitHubで公開されていることから、Projectを眺めるだけでも勉強になる点があるかと思います。 想定読者 Reactのアーキテクチャを模索している方 テスト手法やCI/CDなどのアプリケーション設計に関心がある方 使用される技術と本の構成 言
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
