対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」(Recurrent Neural Network)には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 (1)RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 (2)RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み
はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック: Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました! 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です! Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ
World-class multimodal multilingual embeddings for search/RAG/agents.
ChatGPTは株価予測ができる 森正弥氏:こんな使い方もありますみたいなところで、大企業でもいろいろ進んでいるのは財務分析で、「財務データを入れて分析して」と言うと……ちょっと(スライドの)真ん中の文字が小さくて見えにくいですが、一般的な財務分析をしてくれます。 ちょっとインパクトがあったのが、ChatGPTは株価予測ができるという話ですね。これは普通にAIやマシンラーニングをやられている方からすると、「おいおい、それは言い過ぎだろう」と思ったりするわけですが、この論文の中身を読んだり、あるいは株価予測を業務としてやっている方からすると「まぁ、そうだよね」と思うところがある。 それは何かというと、株価予測だけじゃなくて金利の予測とか、そのマーケットの予測とか、あるいは原材料の価格予測でも共通の話です。基本的に今のデータからマシンラーニングの予測モデルを作って予測していきます。過去データか
1. はじめに Cohere社が最近リリースしたLLMのCommand R+がGPT4に迫る性能を発揮していたり、RAG利用での性能で話題となっています。 そのCommand R+でRAGを体験できるチャットアプリの実装がLightningAIにてチュートリアルが公開されています。 これを身近な環境で動かしてみたいと思います。 このチャットボットでCohere社の以下のモデルが使われています LLM: Command R+ Embed: embed-english-v3.0 / embed-multilingual-v3.0 Reranker: rerank-english-v3.0 / rerank-multilingual-v3.0 以下の動画のようにブラウザでPDFファイルをアップロードしてチャットで問い合わせができます。 2. 必要なもの 以下の2つを準備しましょう。 Cohere
Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか
Hakkyでは「データでプロダクトを価値あるものにする」というミッションの元、大規模言語モデルを積極的に活用して記事執筆しております。ビジネスにおけるAI活用のため、Handbookをお役立ていただきましたら幸いです。 概要 LangChain を使用する手順は以下の通りです。 インストール 環境設定 LLM を利用したアプリケーションの実装 本文書では、まず、LangChain のインストール方法と環境設定の方法を説明します。 その後、LLM を利用したアプリケーションの実装で用いる機能であろう以下の6つの機能の使用例を紹介します。 LLMs: 言語モデルを呼び出すためのラッパーを提供します チャットモデル: チャットモデルを呼び出すためのラッパーを提供します プロンプトテンプレート: プロンプトのテンプレートを作成する機能を提供します チェーン: ひとつのワークフロー内で LLM や
みなさんプログラムは書いていますでしょうか。この一年でChatGPTができ、CopilotにCopilot Chatなど色々なAIツールが出ていますが今回お勧めするのはPhindというAIアシスタントです。 Phindとは Phind(Phind.com)とは端的にいえばGPT-4を超えるコーディング能力に特化した言語AIです 参考リンク:大規模言語モデル「Phind」がコーディングにおいてGPT-4を上回る リンク内で言われているように、WebからChatGPTやGoogleのように簡単に使うことができますが、Phindの真髄はここでは味わえません。 Phindの真の実力 Phindの本当の実力はVScode拡張を使うことによって体感することができます。 PhindのベースモデルはPhind-CodeLlamaというものを使っています。これはMeta社が作ったCodellamaというプロ
AIでは代替しづらい人間のスキル 小澤健祐氏:この作るAIから使うAIへの変化は、ぜひご理解をいただきたいところです。その上で今日は簡単にキャリアのお話もできればということで、これからのヒューマンスキルみたいなお話をさせていただきたいなと思っております。 こういった定義の仕方は、見たことがある方も多いかもしれませんが、今、生成AIを使うと、本当にさまざまなことができるようになっています。 どういうことかと言うと、人間のスキルをソフトスキル、ハードスキル、メタスキルに1回分解してみるとしましょう。ソフトスキルとして挙げられるのは、やっぱり人間性に近い対人関係などのスキルですよね。 どうしても型化をすることができず、何かの学習サービスで学習することが難しいものになります。ちょっとアートな側面があり、形式化されていない。だからこそAIなどの技術で代替しづらい、そして学習しづらいのが、このソフトス
2023年5月13日13:00~17:00 に、イベント「教員向け ChatGPT 講座 ~基礎から応用まで~」(開催の広報記事)。この記事では、その開催報告と振り返りを記します。 注: 本イベントの動画や資料は、各大学や教育機関などの勉強会、研修、FD・SD などで是非ご活用下さい(何件かご連絡いただいておりますが、事前の確認などは必要ございません)。 概要人と「対話」する人工知能 ChatGPT は教育にも大きな影響を与え始めています。数多くの情報が出てきていることをふまえて、教育における活用を検討する上で有用であろう情報を吉田なりにまとめて提供する講座を開催しました。 コロナ禍における教育オンライン化対応のように、多くの教員が困るだろうと感じ、できる限りの情報提供をしたいと思い、長くなってしまい恐縮ですが渾身の4時間イベントとしました。 内容としては、ChatGPTの使い方などの基礎
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く