はてなブックマーク

はじめに 最近のAIはすごいですよね。 人間の質問に答えてくれるのはもはや当たり前で、ネットや社内の情報を探してきて答えてくれたり、渡した文書や画像を理解して答えてくれたり、しゃべったり絵を描いてくれたりプログラム書いてくれたりと、できることがどんどん増えています。 でも、まだ人間の指示に従って何かをしてくれるだけで、指示をしないと何もしてくれません。そんな中で最近耳にし始めたのが「AIエージェント」です。どうやら、イチイチ人間が指示を出さなくても、AIがいろいろ考えていろいろやってくれる仕組みのようです。これはなかなかおもしろそう！ そんな中で刊行されたのが、この「LangChainとLangGraphによるRAG・AIエージェント［実践］入門」です。刊行記念イベントが会社の近くで開催されていたので、仕事を抜け出して先行購入してきちゃいました。 ただ、500ページ近くもあるんですよ、この

なお、この記事の内容は、2024年7月25日に開催されたAzure OpenAI Service Dev Dayでの登壇内容とほぼ同じです。スライドの方が好みの方はこちらからぜひ！ 1. 対象のサービスについて 2023年4月にリリースしたのは、「サイト内検索」とChatGPTを連携させたサービスです。 サイト内検索とは サイト内検索は、インターネット検索の企業サイト限定版です。インターネット検索は検索プロバイダーがネットの利用者に向けて提供しているサービスですが、サイト内検索は企業が自社サイトへの訪問客に向けて提供しています。 サイト内検索にChatGPTを組み合わせてみた理由 少し主語が大きくなってしまいますが、一般的な企業のサイトやサイト内検索機能は、サイト訪問客の期待にはまだまだ応えられていません。企業側はいろいろな想いを持ってサイトを構築しサイト内検索機能を提供していますが、訪問

注意！ わかりやすくなるように極端に簡略化している部分や個人的な見解でまとめている部分があります。 数式や専門用語は極力使わないようにがんばりましたが、ページ下部の注釈では専門用語を使用しています。 2024年2月時点の情報に基づきまとめています。AI界隈は動きが早いので 常に最新の情報で確認してください。 個人で作成したものであり、内容や意見は所属企業・部門見解を代表するものではありません。 なお、この記事の内容は、2023年12月に開催したStudyCoさんのイベントでお話した内容とほぼ同じですので、動画の方が好みの方はこちらの配信動画をどうぞ！ こちらはその時のスライドです！ 第1章 AIはなぜ人間みたいなことができるのか？ 初回は「そもそもAIとはなにか？」についてのお話です。 そもそもAIとはなにか？ AIとは「artificial intelligence」の略です。日本語にす

ChatGPT Prompt Engineering for Developers （開発者向けChatGPTプロンプト エンジニアリング） ChatGPTのプロンプト講座です。Pythonを使うためにエンジニア向けとなっていますが、実行しないで動画だけ見ることもできます。また、講座で使うコードはすでに用意されていてブラウザ内で実行できるので、開発環境の準備も不要で非常にお手軽です。 Building Systems with the ChatGPT API （ChatGPT APIを使ったシステム構築） 実際にシステム構築する際のヒントが満載の講座です。 安全性の確保方法やユーザーの質問内容を分類して段階的に処理する流れ、回答の評価方法とその改善のアプローチなどが学べます。商用サービスの展開を考えられている方にお勧めです。 LangChain for LLM Application De

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 仕事で使う技術以外はさっぱりわからないけど、この先大丈夫かな…… こんなお悩みを持つエンジニアの方は、結構多いのではないでしょうか。 新たに何かを勉強しようと思っても、この業界は広すぎて何を勉強すればいいのかさっぱりわかりません。また、仕事以外の時間で勉強するのはすごく大変ですから、自分が好きなことじゃないと続かないでしょう。でも、何もわからないので何が好きなのかもわかりません。 結局なにも始められず、気づくと時間だけが過ぎていて、ある時ふと思います。 仕事で使う技術以外はさっぱりわからないけど、この先大丈夫かな…… こんなル

全文検索エンジンも、事前に検索対象のデータを調べてこのような索引を作っておくことで、高速な検索を実現しています。 インターネット検索の例 たとえばインターネット検索の場合、まず各サイトからデータを収集して、その中から索引に載せる単語を選んで索引を作ります。索引のデータは下の図の右側のような表になっています。各単語と、それがどのサイトのどこにあったのかを記録しておく形です。 検索の時は、この索引データを調べます。例えば利用者が「理解」という言葉で検索したら、索引の「理解」のところを調べます。そうすると「サイトAの8文字目と18文字目、サイトGの……」と出現場所がわかるので、すぐに結果を返せます。 なお、この図では索引の単語の並び方が適当ですが、実際には本と同じように「あいうえお順」などに並べておいて、すぐに単語を見つけられるようにしてあります。 索引にない単語 この仕組みの場合、索引にある単

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

良かった点 最後まで読んだ結果、「ディープラーニング完全に理解した1」と人に言えるようになりました😄 困った点 「ゼロから作る」とあるので、この本を読みながら実際に作ってみようと思われる方は多いかと思います。私もそんな1人だったのですが、この本だけで作るのは大変でした。具体的に困った点をまとめます。 Pythonは少し知っている必要があります この本の1章は「Python入門」ですが、内容はかなりあっさりしていますので、この1章だけではPythonのプログラミングができるようにはならないと思います。私はPythonをかじっていたので良かったのですが、全く触ったことがない方は、他の入門書や入門サイトを併用されることをお勧めします。 後半はコードの説明が減るので大変です 3章まではコードの説明も多いため、本を読みながら実際に実装できるかと思います。ただし、4章からはだんだん説明が省かれるよう

7章 畳み込みニューラルネットワーク この章は、畳み込みニューラルネットワーク（CNN）の説明です。 7.1 全体の構造 これまでのAffineレイヤーやSoftmaxレイヤー、ReLUレイヤーに加えて、Convolution（畳み込み、コンボリューション）レイヤーとPooling（プーリング）レイヤーが出てくる説明です。 7.2 畳み込み層 畳み込み層の説明は、画像処理を少しかじっておいた方が読みやすいです。 「画像は通常、縦・横・チャンネル方向の3次元の形状です」とありますが、画像は縦・横の2Dデータですから、3次元だと奥行きまで加わった3Dデータになるのでは？と思われる方もいるも知れません。 ここでの「チャンネル」というのは、RGBなどの色ごとの情報を指しています。MNISTのようなグレースケール（白黒の濃淡のみ）のデータであれば1つの点の濃さを1つの値で表現できるので1チャンネルで

この仮想マシンの構築については、Parallels DesktopでmacOS仮想マシンを構築にまとめています。 1章 Python入門 第1章はPython入門です。私は言語処理100本ノックをPythonでやっていたので、この章はPythonをおさらいする感じになりました。 1.1 Pythonとは Pythonいいぞ、という説明です。 1.2 Pythonのインストール 本に従いAnacondaをインストールしました。特につまずくところはなかったのですが、本ではインストールについて3行くらいしか書かれていないので、軽く手順をまとめておきます。 まず、本に載っているAnacondaのサイト(https://www.anaconda.com/distribution)で「Download」します。残念ながら英語です。 Pythonのバージョンを尋ねてくるので、本に従って3系である3.7を

5章 誤差逆伝播法 この章は、ニューラルネットワークの学習において重みパラメーターの算出を高速化するための、誤差逆伝播法についての説明です。 ちなみにこの「伝播」（でんぱ）という言葉はPropagetionの訳なのですが、「伝搬」（でんぱん）と訳されることもあって日本語は混沌としています。この辺りを調べたブログの記事を見つけましたので、興味のある方は 歩いたら休め > 【機械学習】"Propagation"の訳は「伝播」or「伝搬」？ をどうぞ。 5.1 計算グラフ 計算グラフによる説明は、誤差逆伝播法を学ぶ上で非常に分かりやすいです。この本の人気の秘密は、この5章なのかも知れません。 ニューラルネットでは学習が必須で、そのためには重みパラメーターの勾配を求める必要があり、各パラメーターの微分の計算が必要になります。計算グラフを利用すると、その微分の計算が、後ろから前へ向かって局所的な微分

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 私は仕事や趣味の開発にWindowsを、また言語処理の勉強にUbuntuを使っていますが、ハードはMacBook ProやMac miniで、どちらのOSもParallels Desktopで仮想化しています。 今度、Deep Learningの勉強にふとmacOSを使ってみたくなりました。普通ならMacをそのまま使うかと思いますが、開発環境の構築などで試行錯誤することを考えると、仮想マシンの方がスナップショットで分岐したり戻したりできて便利です。そこで、Parallels Desktopを使いmacOSの仮想マシンを作ってみ

はじめに OSのメモリ管理について、自分自身の復習も兼ねて、誰でもわかるような解説に挑戦してみます。「仮想メモリって何？」「キャッシュって何？」といった方向けです。 メモリはOS（Windows、Linux、macOS etc...）が管理しています。そのため、OSが何をやっているのかをご理解いただければ、この投稿の目的は達成です。 ちょっと本業が多忙のため、何回かに分けてのんびり進む予定です。あらかじめご了承ください。 （追記）LT動画のお知らせ この記事は3本に分かれていますが、それらをひとまとめにして（少しだけ割愛して）、Easy Easyというエンジニアリング コミュニティのLTイベントでお話させていただきましたので、その時の動画とスライド資料をリンクしておきます。 この記事のLTは15分ちょっとです。1.5倍で再生してもだいたい聞き取れたので10分くらいでいけます。Qiitaの記

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

言語処理100本ノック 2015の挑戦記録です。環境はUbuntu 16.04 LTS ＋ Python 3.5.2 :: Anaconda 4.1.1 (64-bit)です。過去のノックの一覧はこちらからどうぞ。 第6章: 英語テキストの処理 英語のテキスト（nlp.txt）に対して，以下の処理を実行せよ． ###58. タプルの抽出 Stanford Core NLPの係り受け解析の結果（collapsed-dependencies）に基づき，「主語 述語 目的語」の組をタブ区切り形式で出力せよ．ただし，主語，述語，目的語の定義は以下を参考にせよ． 述語: nsubj関係とdobj関係の子（dependant）を持つ単語 主語: 述語からnsubj関係にある子（dependent） 目的語: 述語からdobj関係にある子（dependent） ####出来上がったコード： # codi

はじめに Linuxを使ったことがなく、Pythonも全く知らず、統計も大学でかじったはずが全く覚えておらず、正規表現も知らず、英語も苦手という私が、LinuxとPythonで言語処理100本ノック 2015を受けてみよう、という挑戦の記録です。一覧はこちらからどうぞ。 ちなみに私のスペックですが、一応元プログラマーとしてWindows Visual C/C++畑で育ってきました。ちなみにその前は68k MacのMPWでC++。意味が分かる方は同世代か先輩ですね^^ この歳で、はたしてどこまでノックに耐えられるのか... 環境について Ubuntu 14.04 LTS Python 2.7.6 gedit 3.10.4 で挑戦します。今のパソコンはMacなので、実際にはParallels Desktopで仮想化しています。 Pythonは3.xにしようか悩んだのですが、Ubuntuの素人が