こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 最近は GPT-4o や Claude 3 を使ったアプリを、せっせと実装したりしていたのですが、Difyの登場により「もう、これでいいじゃん」という気持ちが抑えきれていません。 今回はそんなDifyを使って、「LLM自体の知識が足りないときにGoogle検索を行って回答するチャットボット」を作ってみました。 Google検索して答えてくれる 1. 概要 1.1. Difyとは 2. 環境構築 3. アプリ作成 3.1. 各ブロックの簡単な説明 4. 動かしてみる 5. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル（LLM）を活用したアプリ

インストールが完了したらアドレスバーに chrome://flags と入力して設定画面を開きます。以下の 2 つのフラグを設定します。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled また、あらかじめ Gemini Nano のモデルをダウンロードしておく必要があります。アドレスバーに chrome://components/ と入力して Optimization Guide On Device Model の「アップデートを確認」をクリックします。 Gemini Nano を使ってみる それでは、Gemini Nano を使ってみましょう。以下のコードをコンソールに貼り付けて実行します。 const canCreate = aw

昨晩、Apple が新型 iPad Pro と iPad Air を発表した。一部で予想されていた通り、M3 はスキップして M4 が搭載された。Air も M3 ではなく M2 が搭載された。これは Apple Silicon を製造する TSMC の動向をある程度追いかけてる人にとっては、とても合点がいく展開だったと思う。 www.apple.com Apple Silicon でも TSMC の N3B と呼ばれる 3nm 世代を使って製造されるのは iPhone 15 Pro に搭載される A17 Pro だけになるんじゃないかと考えていた。なぜなら TSMC N3B はたいへん歩留まりが悪い、つまり不良品率が高くて製造コストが高いと報じられていたからだ。それを改善した N3E もすでに動いていて、Apple 製品以外はこちらを使うことになるだろうとも報じられていた。 実際は Ap

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

はじめに この記事では、巷で「この技術によりGPUが不要になるかもしれない、NVIDIAなどの半導体関係の株価が...」と話題になっている、BitNet b1.58についての論文を丁寧に解説します。このMicrosoftが先日発表したBitNet b1.58はそのエネルギー効率の凄まじさから2024年初めの大きな技術改革となるかもしれません！！ 筆者の見解 関する論文解説に入る前に、この技術に関する私の個人的な意見を述べたいと思います。 1bitの技術を用いることで達成されたその驚異的なエネルギー効率の高さは、既存の大規模言語モデル（LLM）とは一線を画しています。この技術が今後のAI技術の発展にどのように影響を与えるかについては以降の発表がとても楽しみです。 一方で、「GPUが不要になるかもしれない」という意見に関しては、ある程度の限定的な視点からの意見と言えます。BitNet b1.5

こんにちは、「機動戦士ガンダム 水星の魔女」が大好きなおじさんです。「水星の魔女が好きすぎて、AI絵をひたすら生成してたらいつの間にか絵が描けるようになっていた」という妙な体験をしたので、それについて記事を書いてみようと思います。具体的にどれくらい？というと、特に練習していないのにこれくらい変わっていました。 ←2023年9月 / 2024年2月→　始めにお断りしますが、この記事は、「AI絵をやるのがお絵描き上達への近道だョ！」だとか、「お絵描きをやるにはこうしたらいいョ！」といったものではありません。「絵が描けるようになる」の定義は人によって違うでしょうが、少なくともこの程度のレベルで他人様にお絵描き指南をしようなど、完全に暴挙であることくらいは分かります。私は今の自分の絵をお世辞にも上手だとは思っていませんし、それほど絵を上手になりたいとも思っていません。 この記事は「特に絵を練習して

はじめに BitNet、最近話題になっていますね。 そもそも量子化って何？という方もいると思うので、この記事は DeepLearning の量子化から入り、その上で BitNet の触りについて見ていこうと思います。色々とわかってないことがあり、誤読してそうなところはそう書いてるのでご了承ください。 図を作るのは面倒だったので、様々な偉大な先人様方の図やスライドを引用させていただきます。 量子化 DeepLearning における量子化 DeepLearning の学習・推論は基本 float32 で行います。これを int8 や Nbit に離散化することを量子化といいます。 計算に使う値は、モデルの重み、アクティベーション（ReLUとか通した後）、重みの勾配等があります。 学習時については一旦置いておいて、この記事では推論における量子化について焦点をあてます。推論時に量子化の対象となる

Generate cute illustrations that can be used for presentation materials, public relations, and posters. プレゼン資料や広報、ポスターに利用可能な、かわいいイラストを生成します。※英語・日本語文字のオーバーレイにも対応しました。画像生成後「文字を入れて」と指示してください。フォントも複数あります。Text overlay is also supported. After generating the image, please instruct "insert text".

これは全社会人が読んで得をする書籍ですが、特に「パソコンが得意ではない社会人の方」が読むと一番効用が大きいように思いました。 また、私自身IT業界で働いていて世間一般的には「パソコンが得意な人」だと思いますが、それでも知らなかった使い方もたくさんあり学びが多かったです。 この書籍の推しポイントやりたいことベースで書いてある 日常のあらゆる面倒なことに手が届く パソコン触りたての人がつまづきそうなポイントへのフォローが丁寧 （例：ChatGPTはShift Enterで改行できる、など） 試行錯誤のうえのプロンプト（＝AIに対しての指示）が載っているので出力が安定している （※ ChatGPTをはじめとしたLLMは同じ入力でも毎回出力変わります。また、ちょっと言葉が足りなかったりするだけで意図しない出力が返ってきますがそのあたりへの気配りが非常に丁寧です） 著書の専門性が高い（Kaggle

Youtubeで配信しながら全プロンプトを実行しましたので、各節へのリンクを整理しました。時間のところにYoutubeへのリンクになっています。 もしずれていたら、その時間まで移動して視聴ください。 はじめに (4:00) 1章 ChatGPTの基礎知識 (5:50) 2章 ChatGPTの基本的な使い方 (6:28) 3章 ChatGPT Plusのセットアップ (7:32) 4章 ファイルのアップロードとダウンロード (12:40)4.1 アップロード・ダウンロード (13:03) 4.2 扱うことができるファイル (16:02) 5章 繰り返し作業を一瞬で (16:55)5.1 文字列操作 (17:20) 5.2 正規表現でのパターンマッチ (25:36) →54ページの正規表現でできることの例の説明 (29:09) 5.3 ファイルの一括操作 (46:20) 5.4 QRコード作成

いまからわかる！ChatGPT活用プログラミング ChatGPT APIのFunction callingを使って⁠⁠、請求書の構造化データを抽出する 先月、OpenAIからFunction calling（関数呼び出し）機能がリリースされました。これが何なのか、何のために使うべきなのか、ちょっと見ただけでは分かりづらいと思います。 今回は請求書から情報抽出をするというよくありがちなケースを題材に、Function callingの利便性を示してみます。 Function callingとは OpenAIが2023年6月13日にリリースしたChat APIの追加機能です。主にできることとして以下の3つが挙げられています。 外部ツールを呼び出して質問に答えるチャットボットを作成する 自然言語を内部APIの呼び出しやSQLに変換する テキストから構造化データを抽出する たとえば天気予報と血液型

マイクロソフト、初心者向け生成AI学習教材「生成AIアプリケーションの開発を始めるために必要な全知識を学べる12講座」を無償公開 コースの内容には、大規模言語モデル（LLM）がどのように動くかを理解する。「生成 AI と大規模言語モデルの紹介」、ユースケースに適したAIモデルを選択できるようにする「様々なLLMの調査と比較」、プロンプトの構造と使用法の理解のための「プロンプト・エンジニアリングの基礎」、埋め込み技術を利用したデータ検索アプリケーションを構築する「Vector Databasesを利用した検索アプリケーションの構築」、外部APIからデータを取得するためFunction Callingを設定する「Function Callingとの統合」など、入門的な内容から高度なアプリケーションの開発まで多岐にわたるレッスンが用意されています。 レッスン内容は日本語による説明と図で構成 各レ

どうも、よー清水です。 新年明けましておめでとうございます。本年もどうぞよろしくお願いします。 2024年になりましたので、生成AIを取り巻く状況と今後についてまた語っていきたいと思います。 2023年の3月に書いた記事はこちら↓ 以前の記事でも冒頭に書きましたが、僕の画像生成AIに対するスタンスはほぼ変わりません。 僕は画像生成AIについては「権利者に許諾なしで作品を使う」という1点が気に入りません。AIや技術の進歩は歓迎しますが、著作権など既存の権利を蔑ろにする進歩はおかしいと思っています。 AIの学習に使用するのはよいですが、それは事前に学習に使用することに同意した人だけに限るべきです。 現状でも本やWeb掲載など、公的または商業利用の場合は事前に編集者やライターさんから連絡をいただき、使用用途を確認の上で許諾を出します。 場合によっては掲載料を提示します。これがAI学習とAIの商用

米Appleは主要な報道機関や出版会社の記事データを生成AI開発に使う許可を得るため、このほど交渉を開始した。米紙The New York Timesが12月22日に報じた。 Appleは記事データ使用許可に関して少なくとも5000万ドル相当の複数年契約を持ちかけているという。 Appleが接触した報道機関・出版社にはファッション誌「VOGUE」や高級紙「The New Yorker」を傘下に持つ米出版大手Conde Nastや米NBC Newsの他、米誌「People」、ニュースサイト「The Daily Beast」などを傘下に持つ米IACが含まれている。 Appleが接触した報道機関や出版社には、乗り気でないところもあったという。 関連記事 Apple、iPhone上でのLLM実行を可能にする手法の論文を発表 Appleは「LLM in a flash:Efficient Large

OpenAIは、大規模言語モデル（GPT-4）でよりよい結果を出すためのプロンプトエンジニアリング（プロンプトのノウハウ）入門テキストを同社のウェブサイトで公開している。 同テキストでは、現在同社で最高の性能を持つ大規模言語モデルGPT-4を対象に、よりよい結果を導くための6つの戦略と、それぞれを実行する際の具体的な戦術（コツ）が掲載されている。 また、「Prompt examples」のページでは、上記で紹介したものを含む多数のプロンプト例が紹介されており、すぐに利用できるようになっている。 では紹介された6つの戦略を見ていこう。 明確な指示を書く LLMは利用者の心を読むことができないので、回答が長すぎる場合は「簡潔に」、単純すぎる場合は「専門家レベルで」と明示的に依頼する必要がある。 具体的な戦術としては下記が提案されている。 ・より関連性の高い回答を得られるよう、質問は詳細に ・モ

関連記事 音楽生成AI「Suno AI」が話題、文章から楽曲を瞬時に作成　プロの音楽家も「これはヤバい」と驚愕 音楽生成AI「Suno AI」がX上で話題になっている。歌詞や曲調を文章で指示するだけで音楽を自動生成するサービス。生成した音楽の出来栄えには、プロの音楽家からも驚きの声が上がっている。 Microsoft Copilot、GPT-4 Turbo、最新DALL・E 3対応などでグレードアップ Microsoftは、生成AIサービス「Microsoft Copilot」で間もなく提供する予定の複数の新機能を発表した。「GPT-4 Turbo」採用で2023年4月までの情報を反映する他、動画要約も可能になる。 Microsoft、「Bing Chat」を「Copilot」にリブランド　GPTも作れる「Copilot Studio」も発表 Microsoftは2月に立ち上げた“AI採用

※本レポートは、米国時間 2023 年 11 月 15 日に公開された “What Can Copilot’s Earliest Users Teach Us About Generative AI at Work?” の抄訳を基に掲載しています。日本を含む市場別データはこちらを参照ください。 8 か月前、マイクロソフトは Copilot for Microsoft 365 を発表しました。これは、デジタル負債を削減し、生産性を向上させることで、人にしかできない仕事に注力できるようにするものです。そして今、誰もが知りたいのは、生成 AI は本当に仕事を変革するのか、またどのように変革するのかということです。 新たなデータは、生成 AI が生産性向上を実現できることを示しています。マイクロソフトは、Copilot を拡大する中で、お客様と共に学びたいと考え、Copilot が仕事をどのように