こんにちは。わいけいです。 今回の記事では、生成AI界隈ではかなり浸透している RAG について改めて解説していきます。 「低予算で言語モデルを使ったアプリを開発したい」というときに真っ先に選択肢に上がるRAGですが、私自身もRAGを使ったアプリケーションの実装を業務の中で何度も行ってきました。 今回はその知見をシェア出来れば幸いです。 RAG（Retrieval-Augmented Generation)とは まず、 そもそもRAGとは何ぞや？ というところから見ていきましょう。 RAG（Retrieval-Augmented Generation) は自然言語処理（NLP）と特に言語モデルの開発において使用される技術です。 この技術は、大規模な言語モデルが生成するテキストの品質と関連性を向上させるために、外部の情報源からの情報を取得（retrieval）して利用します。 要は、Chat

「これ、マストだわ」モニター購入して気づいた、あったほうがいい周辺機器4選 #Amazon新生活セール

SRE の田中 @kenzo0107 です。 社内版 ChatGPT を構築し、社内の ChatGPT 利用を促進した話です。 社内版 ChatGPT が必要だった理由 以下要望を実現する為です。 秘匿情報をクローズドな環境で OpenAI にポストしたい 社員誰もが最新のモデルやバージョンで高精度、且つ、パフォーマンスの高い ChatGPT を利用したい 構成 - Web 版 社内 ChatGPT Web サービスは AWS に配置 ALB を会社毎に分けて Google 認証する *1 ECS から Azure API Management 経由で Azure OpenAI Service に問い合わせ API Management は Azure OpenAI Service の監査ログを取得する為に配置している *2 Azure 側ではネットワークセキュリティグループで AWS N

Claude 3、気になりますよね 今まで触ったことないけど、興味を持った方へ、入門するところまでのご案内です。 とりあえずチャットがしたい claude.aiにアクセスして、アカウントを作成します。 メールアドレスを入力する方法と、Googleのアカウントと紐付ける方法があります。 私はGoogleアカウントとの紐づけを行いました。 ログインができたら、もう、チャットができます。ChatGPTのような感じです。 日本語も自然に回答してくれます。 左下にClaude 3 Sonnetとあります。これはClaude 3のモデルの名称で、SonnetはClaude 3のシリーズの中で真ん中のモデルです。 Haiku - ハイク Sonnet - ソネット Opus - オーパス 名前からモデルの特徴を想像してもらいました。概ね特徴を捉えているのではないでしょうか。 Claude 3の特徴として

ボードゲームやアクションゲーム、各種ツールやシミュレーションなどさまざまなソフトが100日間に作られた いままで数えきれないほどのプログラマーに会ってインタビューもさせてもらってきたが、久しぶりに若いプログラマーの話を聞いてきた。ここ1、2年では U22グランプリの男子中学生や全国小中学生プログラミング大会の受賞者たちだが、今回は、ChatGPTを使ってプログラムを書きまくった女子大生である。 彼女は X（Twitter）の自分のアカウントで1日1本のソフトを100日間連続で作るというイベントをやっていて「おっ、頑張っているな！」と思って応援していた。「こんなゲームを作ってほしい」などとリクエストを出したりもしていたのだが、どうも私が想像していたものと内容もやり方も違っていたようである。 目下、ソフトウェア産業の最大のテーマは「我々は人間の言葉でプログラムを書くようになるだろうか」というこ

3. APIキーの取得APIキーの取得手順は、次のとおりです。 (1) 「Anthropic」のサイトのAPIの「Get API Access」をクリックしてログイン。 はじめての場合は、アカウントを新規作成します。 (2) ダッシュボードを確認。 初回は「Get started testing Claude with $5 in fee credits.」で$5分のクレジットを取得できます。 (3) 「Get API Keys → Create Key」でAPIキーを作成。 APIキーはGoogle Colabで利用します。 4. Colab での実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install anthropic(2) 環境変数の準備。 左端の鍵アイコンで「ANTHROPIC_API_KEY」を設

こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から

今回の記事では下記のような悩みを解決します。 「LightGBMというワードをよく目にするので、LightGBMについて知りたい」 「LightGBMのpythonでの実装方法が知りたい」 早速解説していきます。 LightGBMとは Li... 今回は、「住宅価格予測問題」を使って、「データの前処理、LightGBMでモデル構築、Optunaを使ってハイパーパラメータを調整し予測精度をup」という機械学習（回帰問題）の一連の流れを解説していきます。 まずはデータの読み込みと前処理から解説します。 データの読み込みと前処理 下記のコードで住宅価格予測のデータを読み込み、dfとします。 （下記のコードは覚える必要ないです。コピペしてデータを読み込んでください） dfは81個の列、1460個のデータからなります。 from sklearn.datasets import fetch_openm

機械学習は現代社会において多くの分野で利用されています。 しかし、モデルの設定やハイパーパラメータの調整など、そのプロセスは非常に煩雑であり、多くの時間と専門知識が要求されます。そこで登場するのが「自動機械学習（AutoML）」です。 この記事では、AutoMLの中でも比較的人気のあるライブラリであるAuto-Sklearnを使って、誰でも簡単に機械学習モデルを構築できる方法を解説します。 基本的な使い方から応用例まで、Pythonの実行例付きでご紹介。機械学習に新しい風を吹き込むAuto-Sklearnで、あなたもデータ解析のプロになりましょう！ はじめに なぜ自動機械学習（Auto ML）が必要なのか？ 機械学習は今や多くの業界で応用されています。医療から金融、製造業まで、データを解析して有用な情報を引き出す力は計り知れません。 しかし、その一方で、機械学習モデルを設計、訓練、テストす

機械学習は、データから学ぶ技術です。しかし、実際のデータは完璧ではありません。特に、データセットにおける欠損データの問題は、機械学習プロジェクトにおいて避けられない課題です。欠損データをどのように扱うかは、モデルの性能に大きな影響を与えます。 伝統的に、欠損データを扱う一般的な方法は「一変量代入法」です。この方法は、欠損値をその変数の平均値や中央値で置き換えるなど、単純明快であり、実装が容易です。しかし、これは各変数を独立して扱うため、変数間の関係を無視してしまうという欠点があります。 ここで、より洗練されたアプローチとして「多変量代入法」が登場します。 この方法は、欠損データのある変数と他の変数との関係を考慮に入れ、欠損値をより正確に推定しようと試みます。多変量代入法は、変数間の相関関係を利用して、欠損データを推測することにより、よりリアルなデータセットを作成することを目指しています。

AIイラストでマンガを作る方法のマンガです。 ①～④まであります。総計64ページです。 全部読んでもらえると、うれしいです！ キャラに表情をつけていくプロンプトとは？ ②に続きます！

ChatGPTが返してくる回答を見て、そんな印象を持った人は、まだ本当の力を引き出せていないだけかもしれない。

この記事は、一度使われて終わるような、ChatGPT にちょっとした機能を追加しただけの GPTではなく、本当に使われる素晴らしく便利な GPTs を作成、開発するための教科書として、書きました。 今までの GPTs 開発関連の情報を全てまとめた内容になっています。 この note 一冊を読めば、GPTs 制作の基礎から応用まで全部わかります。 記事の内容は必要に応じて適宜アップデートしていきます。 目次は以下です： 第1章 GPTsの概要とその可能性そもそも GPTs とはなんでしょうか？ 一言で言うと、ChatGPTを自分独自に大幅にカスタマイズできる機能とそのカスタマイズされたAIのことです。 ただし、GPTsを単なるChatGPT のいち機能の一つとして考えるのは非常にもったいないです。 OpenAI は、GPT Store という、他の人が作ったGPTsを使えるようになるストアの

これは「今までガチガチに手描きで漫画を描いてきた奴が、ＡＩをフルに作って漫画を作るとどうなるか」という実験の記録・第４弾です。 第１～３弾はこちら。 今回の実験の目的は以下になります。 ■構図作りにDALL-E3とAdobe Psを併用するとどれだけ時短ができるか ■AI画像とわかるAI漫画で、それが描かれた「技術」より「内容」を面白いと思ってもらうにはどうしたらいいか それと、今回の漫画を例に下記についても書きました。 これはAIとは直接関係がない、漫画のネーム技術の話になります。 ■AIのような扱いの難しい題材でギャグ漫画を作る時のネームのコツ（投げ銭用おまけ） ■構図作りにDALL-E3とAdobe Psを併用するとどれだけ時短ができるか結論から言うと、こちらの漫画「AIずきん」11Pの原稿作成にかかった時間は１日半です（ネームは除く）。 丸一日ずっと作業していたわけでもないので、ポ

「Microsoft 365 Copilot」の現時点での日本語版の状況や、利用前に注意すべきことなど、業務での活用を想定したリアルな情報を専門家が紹介する。生成AIを体験できるチャット機能「Bing Chat Enterprise」やビデオ編集機能「Microsoft Clipchamp」、共同作業機能「Microsoft Loop」などMicrosoft 365の注目機能についても解説している。 2023年11月1日から一般提供が開始された「Microsoft 365 Copilot」（以下、Copilot）は、Microsoft 365のアプリケーションによる資料作成やデータ分析といった作業を生成AI（人工知能）で効率化するとして注目を集めている。自然言語で指示をすることで、あっという間に資料が出来上がるデモを見て期待を膨らませる人もいるだろう。 現時点での日本語版の状況や、利用前に

最近、DALL-E 3に画像ID（gen_id）が導入され、シード値の仕組みが変更されたので色々とテストしてみました。 １．カスタム指示の準備最初に、画像IDとシード値がいつも表示されるように、カスタム指示に以下のように入力して有効にしておきます。 必ず英語プロンプトで画像生成してください。 画像生成した場合は、画像IDとシード値を表示してください。 ２．画像の生成＞日本人の若い女性の写真を2枚描いてください。 すると、このように2枚の写真とその画像ID及びシード値が表示されます。 どちらかの画像をクリックすると、その画像を拡大した画面が表示されます。 その画面で、右上のⓘの記号をクリックすると、以下のように、画像生成に使用したプロンプトが表示されます。 プロンプト A portrait of a young Japanese woman, with long straight black