Chain-of-Thought（CoT：思考の連鎖）Prompting（プロンプティング）とは？：AI・機械学習の用語辞典 用語「思考の連鎖プロンプティング」について説明。問題を解くまでの一連の手順をプロンプトに含めるテクニックを指す。人間の思考プロセスでは、算術などの問題を途中の手順（計算過程）に分解して段階的に解いていくことが一般的だが、それを模倣した、プロンプティングのテクニック。 連載目次 用語解説 最近の自然言語処理において、言語モデルの思考の連鎖（CoT：Chain-of-Thought）プロンプティング（Prompting）とは、問題を解くまでの一連の手順をプロンプト（＝言語モデルに入力するテキスト）に含めるテクニックのことである。例えば図1の下にある「標準的なプロンプティング」では結果の例文だけをデモンストレーションとして提示しているのに対し、図1の上にある「CoTプロン

こんにちは。高橋です。普段はコンサルとしてデータ分析を活用したデジタルマーケティング支援をやっております。最近では『データ分析力を高める　ビジネスパーソンのためのSQL入門』を出版してSQLを使ったデータ分析の普及活動を頑張っております。 今回は自分が本業や複業などで色々なデータ分析案件に携わった経験から意思決定に繋げるためのデータ分析のステップについてまとめてみました。 正しくデータ分析ができているかデータ分析がビジネスにおいて重要であるということは、今の時代当たり前になりつつあります。 どんな企業でも、どんなビジネスパーソンでもデータを活用する流れはもはや止めることはできない時代に来ています。 しかし、実際にデータ分析が正しくできているかと言うと、必ずしもそうではないと感じることがあります。 データを見ただけて終わる 今あるデータから何かわからない？ そもそも使えるデータなんてない デ

The Long Animation Frames API is an alternative to the Long Tasks API which has been available in Chrome for some time now (since Chrome 58). As its name suggests, the Long Task API allows you to monitor for long tasks, which are tasks that occupy the main thread for 50 milliseconds or longer. Long tasks can be monitored using the PerformanceLongTaskTiming interface, with a PeformanceObserver: con

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

はじめに こんにちは、クラウド事業部の本橋です。 今回はAWSの機械学習部門の受験し合格できましたので、勉強方法や感想を共有してみたいと思います。 機械学習については全く触れたことがない状態からのスタートでした。 勉強方法 AWSの機械学習部門はまとまった教材がないので、以下の順番で学習しました。 ①一般的な機械学習の知識習得 ②AWSに関する機械学習の知識習得 ①一般的な機械学習の知識習得 ディープラーニングG検定(ジェネラリスト)最強の合格テキスト[明瞭解説+良質問題] 機械学習の全体像の把握と各用語の理解に非常に役立ちました。 各トピック細かいところは自分で調べる必要がありましたが、AWS試験対策であれば十分だと感じました。 ディープラーニングG検定(ジェネラリスト)最強の合格テキスト[明瞭解説+良質問題] 見て試してわかる機械学習アルゴリズムの仕組み 機械学習図鑑 それぞれのアルゴ

こんにちは。データサイエンス部の石川です。 弊社では広告配信の最適化のために CTR・CVR*1 を推定する機械学習モデルを開発していて、定期的な学習とモデルの更新を行っています。 このようなシステムにおいて、学習済みモデルが推論システムで問題なく動作することを保証するために、デプロイされるモデルの挙動を検証する仕組みが必要です。 特に、学習時と推論時で同一の広告リクエストに対して同じ推論値を出力するかを確認する仕組みを「差分検知」と呼んでいます。 この記事では、弊社の広告システムにおける機械学習モデルの差分検知について紹介します。 背景 課題 解決策 PyO3 の実装 まとめ 背景 弊社の CTR・CVR を推定する機械学習システムでは、ワークフローエンジンが定期的にモデルの学習を実行し、その後学習済みモデルを S3 にアップロードします。 広告スコアリングサーバは S3 上のモデル変更

1. ファインチューニングの利点ファインチューニングの利点は、次のとおりです。 (1) プロンプトよりも高品質な応答 (2) プロンプトに収まりきらないより多くの例の適用 (3) プロンプトの短縮によるトークン数 (コスト) の節約 (4) プロンプトの短縮による処理時間の短縮 モデルは膨大な量のテキストで事前学習されており、このモデルを効果的に利用するため、プロンプトに手順や応答の例を指定する手法が使われます。この例を使用してタスクの実行方法を示すことを「Few-Shot」と呼びます。 ファインチューニングで、プロンプトに収まりきらないより多くの例で学習することにより、さまざまなタスクでより良い結果を達成できるようになります。プロンプトに多くの例を指定する必要はなくなります。これによりトークン (コスト) が節約され、処理時間も短縮されます。 2. ファインチューニングの使用料金ファイン

以下の記事が面白かったので、かるくまとめました。 ・GPT-3.5 Turbo fine-tuning and API updates 1. はじめに「GPT-3.5 Turbo」のファインチューニングが利用可能になりました。「GPT-4」のファインチューニングもこの秋に提供される予定です。 初期のテストでは、ファインチューニングした「GPT-3.5 Turbo」が、特定の狭いタスクに関して「GPT-4」と同等、またはそれ以上のパフォーマンスを発揮できることが示されています。 他のAPIと同様、ファインチューニングAPIで送受信されるデータは、OpenAIやその他の組織が、他のモデルを学習するために使用することはありません。 2. ファインチューニングのユースケース今回のリリースにより、開発者は教師ありファインチューニングで、ユースケースに合わせてこのモデルのパフォーマンスを向上できるよう

ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように

AI動作分析ソフト「Rehab Cloud モーションAI」の提供を開始動画を撮るだけで、バランス評価を実現。データに基づく転倒予防が簡単に 株式会社Rehab for JAPAN（本社：東京都千代田区、代表取締役：大久保 亮　以下「当社」）は、AI動作分析ソフト「Rehab Cloud モーションAI」の提供を開始いたしました。 これにより介護事業者は客観的なバランス評価に基づき、高齢者の転倒予防の対策に取り組むことが可能となります。これまでRehab Cloudで提供してきた加算算定や記録業務の支援に加えて、テクノロジーの活用によってケアの質を高め、科学的介護の実現をより一層支援してまいります。 サービス開始の背景 日本は超高齢社会を迎えており、要介護（要支援）認定者数は、介護保険制度が開始した2000年より3.2倍と増加し、2023年度の介護保険給付費の予算は過去最高の12.8兆円と

はじめに 8/23未明(日本時間)、下記のアナウンスがありました。 「ExcelにPythonが導入」という、 これまで何回か見たような気がしなくもない1 大ニュースが飛び込んできました。 これはPythonの生みの親であり、現在はMicrosoftのDistinguished EngineerであるGuido van Rossumが直々に紹介していました。 日本語でも様々なメディアがニュースにしています。 上記記事を読んで、初見時に思ったことをメモしておきます。 後で私の誤解、はやとちりで間違いだとわかるかもしれないのでその点はご了承下さい。 技術的にどのような実装をしているのか Starting today, Python in Excel will also be natively integrated directly into the Excel grid. To get sta

米IBMは8月22日（現地時間）、プログラミング言語「COBOL」で構築されたシステムを「Java」に高速変換する生成AI採用の新製品「watsonx Code Assistant for Z」を発表した。IBM Z上で稼働する。 COBOL（Common Business Oriented Language）は1959年に開発された、最古のプログラミング言語の1つだ。現在COBOLを学習するプログラマーはほとんどいないが、現在も金融機関や政府機関などのシステムで広く使われている。 Code Assistant for IBM Z は、パフォーマンスとセキュリティを維持しながら、企業がメインフレームアプリをリファクタリングするのをサポートするよう設計されているという。オンプレミス構成でローカルで実行できるが、クラウドで実行するCode Assistantは、COBOLとJavaだけでなく、

Metaが音声を入力するだけで「文字起こし」「別言語への翻訳」「別言語への吹き替え」を実行できるAI「SeamlessM4T」を2023年8月22日(火)に公開しました。SeamlessM4Tは日本語音声の入力にも対応しており、日本語・英語・中国語・フランス語などを含む35言語への出力をサポートしているとのこと。誰でも使えるデモも公開されていたので、実際にデモを使ってどれだけの精度で文字起こしや吹き替えを実行できるのか試してみました。 Introducing SeamlessM4T, a Multimodal AI Model for Speech and Text Translations | Meta https://about.fb.com/news/2023/08/seamlessm4t-ai-translation-model/ Introducing a foundationa

大規模言語モデル（LLM）の利用を簡素化するオープンソースのチャットbotコンソール「OpenChat」の作者であるモー・ジェラーダス氏は2023年8月21日（米国時間）、企業がSaaSやWebアプリケーションなどの製品で、ユーザーを支援するカスタムAI（人工知能）コパイロットを提供するためのOSS（オープンソースソフトウェア）「OpenCopilot」初期β版を公開したと発表した。 Shopifyの「Shopify Sidekick」、Microsoftの「Windows Copilot」「Bing Copilot」、GitHubの「GitHub Copilot」など、AIコパイロットの提供により、製品に付加価値を付けようとするITベンダーが相次いでいる。「OpenCopilot」は、企業がSaaSやWebアプリケーションなど、自社製品に合った独自のAIコパイロットを提供できるようにする

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

東京都は8月23日、文章生成AI「ChatGPT」を、全局の職員5万人が利用できる体制を整えたと発表した。Microsoftの「Azure OpenAI Service」を導入した。 職員向けの「文章生成AI利活用ガイドライン」も一般公開。利用のルールやプロンプトのコツ、今後の展望などを、有識者に意見を求めながらまとめた。 都が導入したサービスは、入力データが学習目的で利用されず、サーバにも保存されないという。このためガイドラインでは、職員が業務で利用する場合は、庁内の共通基盤で利用するよう求めている。 また、個人情報など機密性の高い情報は入力しないこと、AIが生成した回答の根拠や裏付けを必ず自ら確認すること、著作権保護の観点から、既存の著作物に類似する文章の生成につながるようなプロンプトを入力しないことなどを推奨している。 都のデジタルサービス局で行ったアイデアソンをベースに、効果的な活

大量のテキストから知識を学んでニューラルネットに蓄えている「大規模言語モデル」。米オープンAIが発表したChatGPTのブームで一躍有名になったこのAIはただ話し相手になるだけでなく、今後科学の諸分野に影響を及ぼすかもしれない。生命科学を中心に、すでに変化が起こり始めている。大規模言語モデルとは、WebサービスであるChatGPTの内部で動いているAIだ。ネット上にある大量のテキストを学習する