サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
TGS2024
qiita.com/segavvy
はじめに サイト内検索とChatGPTを組み合わせたRAGのサービスを2023年4月にリリースして1年3ヶ月が経ちました。その間に多くのお客様のPoC・導入・オンボーディングに関わったので、そこで感じたことなどをまとめます。 なお、この記事の内容は、2024年7月25日に開催されたAzure OpenAI Service Dev Dayでの登壇内容とほぼ同じです。スライドの方が好みの方はこちらからぜひ! 1. 対象のサービスについて 2023年4月にリリースしたのは、「サイト内検索」とChatGPTを連携させたサービスです。 サイト内検索とは サイト内検索は、インターネット検索の企業サイト限定版です。インターネット検索は検索プロバイダーがネットの利用者に向けて提供しているサービスですが、サイト内検索は企業が自社サイトへの訪問客に向けて提供しています。 サイト内検索にChatGPTを組み合わ
注意! わかりやすくなるように極端に簡略化している部分や個人的な見解でまとめている部分があります。 数式や専門用語は極力使わないようにがんばりましたが、ページ下部の注釈では専門用語を使用しています。 2024年2月時点の情報に基づきまとめています。AI界隈は動きが早いので 常に最新の情報で確認してください。 個人で作成したものであり、内容や意見は所属企業・部門見解を代表するものではありません。 なお、この記事の内容は、2023年12月に開催したStudyCoさんのイベントでお話した内容とほぼ同じですので、動画の方が好みの方はこちらの配信動画をどうぞ! 第1章 AIはなぜ人間みたいなことができるのか? 初回は「そもそもAIとはなにか?」についてのお話です。 そもそもAIとはなにか? AIとは「artificial intelligence」の略です。日本語にすると「人工知能」ですね。コンピュ
はじめに ChatGPTブームで世の中にプロンプトの講座や勉強サイトがあふれていますが、何で学べばいいのか迷ってしまいますよね。そんな皆さんにオススメしたいのがこちらの入門講座です! いずれも現時点(2023年6月25日)ではDeepLearning.AIが無料で公開中の講座です。 ChatGPT Prompt Engineering for Developers (開発者向けChatGPTプロンプト エンジニアリング) ChatGPTのプロンプト講座です。Pythonを使うためにエンジニア向けとなっていますが、実行しないで動画だけ見ることもできます。また、講座で使うコードはすでに用意されていてブラウザ内で実行できるので、開発環境の準備も不要で非常にお手軽です。 Building Systems with the ChatGPT API (ChatGPT APIを使ったシステム構築) 実際
はじめに 仕事で使う技術以外はさっぱりわからないけど、この先大丈夫かな…… こんなお悩みを持つエンジニアの方は、結構多いのではないでしょうか。 新たに何かを勉強しようと思っても、この業界は広すぎて何を勉強すればいいのかさっぱりわかりません。また、仕事以外の時間で勉強するのはすごく大変ですから、自分が好きなことじゃないと続かないでしょう。でも、何もわからないので何が好きなのかもわかりません。 結局なにも始められず、気づくと時間だけが過ぎていて、ある時ふと思います。 仕事で使う技術以外はさっぱりわからないけど、この先大丈夫かな…… こんなループにハマってしまっている方には、いろいろなことを手軽に広く浅くインプットできる「Easy Easy」がオススメです。 Easy Easyとは Easy Easy はエンジニアリングを愛する全ての人の為のコミュニティです! 最新技術も大事ですが、このコミュニ
全文検索エンジンも、事前に検索対象のデータを調べてこのような索引を作っておくことで、高速な検索を実現しています。 インターネット検索の例 たとえばインターネット検索の場合、まず各サイトからデータを収集して、その中から索引に載せる単語を選んで索引を作ります。索引のデータは下の図の右側のような表になっています。各単語と、それがどのサイトのどこにあったのかを記録しておく形です。 検索の時は、この索引データを調べます。例えば利用者が「理解」という言葉で検索したら、索引の「理解」のところを調べます。そうすると「サイトAの8文字目と18文字目、サイトGの……」と出現場所がわかるので、すぐに結果を返せます。 なお、この図では索引の単語の並び方が適当ですが、実際には本と同じように「あいうえお順」などに並べておいて、すぐに単語を見つけられるようにしてあります。 索引にない単語 この仕組みの場合、索引にある単
はじめに ふと思い立って勉強を始めた「ゼロから作るDeep Learning❷ーー自然言語処理編」の4章で私がつまずいたことのメモです。 実行環境はmacOS Catalina + Anaconda 2019.10、Pythonのバージョンは3.7.4です。詳細はこのメモの1章をご参照ください。 (このメモの他の章へ:1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / まとめ) 4章 word2vecの高速化 この章は、3章で作ったword2vecのCBOWモデルの高速化です。 4.1 word2vecの改良① まず入力層から中間層までの高速化です。この部分は単語を分散表現に変換する埋め込みの役割を担いますが、MatMulレイヤーだと無駄が多いのでEmbeddingレイヤーへ置き換えます。 Embeddingレイヤーはシンプルなのですが、逆伝播の実装でidxが重
はじめに ふと思い立って勉強を始めた「ゼロから作るDeep LearningーーPythonで学ぶディープラーニングの理論と実装」が読破できたので、感想やこれから読む方に向けてのメッセージをまとめます。購入を悩んでいる方や、読み始めたけど途中で挫折してしまった方の参考になれば幸いです。 良かった点 最後まで読んだ結果、「ディープラーニング完全に理解した1」と人に言えるようになりました😄 困った点 「ゼロから作る」とあるので、この本を読みながら実際に作ってみようと思われる方は多いかと思います。私もそんな1人だったのですが、この本だけで作るのは大変でした。具体的に困った点をまとめます。 Pythonは少し知っている必要があります この本の1章は「Python入門」ですが、内容はかなりあっさりしていますので、この1章だけではPythonのプログラミングができるようにはならないと思います。私はP
はじめに ふと思い立って勉強を始めた「ゼロから作るDeep LearningーーPythonで学ぶディープラーニングの理論と実装」の7章で私がつまずいたことのメモです。 実行環境はmacOS Mojave + Anaconda 2019.10、Pythonのバージョンは3.7.4です。詳細はこのメモの1章をご参照ください。 (このメモの他の章へ:1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / まとめ) 7章 畳み込みニューラルネットワーク この章は、畳み込みニューラルネットワーク(CNN)の説明です。 7.1 全体の構造 これまでのAffineレイヤーやSoftmaxレイヤー、ReLUレイヤーに加えて、Convolution(畳み込み、コンボリューション)レイヤーとPooling(プーリング)レイヤーが出てくる説明です。 7.2 畳み込み層 畳み込み層の説明
この仮想マシンの構築については、Parallels DesktopでmacOS仮想マシンを構築にまとめています。 1章 Python入門 第1章はPython入門です。私は言語処理100本ノックをPythonでやっていたので、この章はPythonをおさらいする感じになりました。 1.1 Pythonとは Pythonいいぞ、という説明です。 1.2 Pythonのインストール 本に従いAnacondaをインストールしました。特につまずくところはなかったのですが、本ではインストールについて3行くらいしか書かれていないので、軽く手順をまとめておきます。 まず、本に載っているAnacondaのサイト(https://www.anaconda.com/distribution)で「Download」します。残念ながら英語です。 Pythonのバージョンを尋ねてくるので、本に従って3系である3.7を
はじめに ふと思い立って勉強を始めた「ゼロから作るDeep LearningーーPythonで学ぶディープラーニングの理論と実装」の5章で私がつまずいたことのメモです。 実行環境はmacOS Mojave + Anaconda 2019.10、Pythonのバージョンは3.7.4です。詳細はこのメモの1章をご参照ください。 (このメモの他の章へ:1章 / 2章 / 3章 / 4章 / 5章 / 6章 / 7章 / 8章 / まとめ) 5章 誤差逆伝播法 この章は、ニューラルネットワークの学習において重みパラメーターの算出を高速化するための、誤差逆伝播法についての説明です。 ちなみにこの「伝播」(でんぱ)という言葉はPropagetionの訳なのですが、「伝搬」(でんぱん)と訳されることもあって日本語は混沌としています。この辺りを調べたブログの記事を見つけましたので、興味のある方は 歩いたら
はじめに 私は仕事や趣味の開発にWindowsを、また言語処理の勉強にUbuntuを使っていますが、ハードはMacBook ProやMac miniで、どちらのOSもParallels Desktopで仮想化しています。 今度、Deep Learningの勉強にふとmacOSを使ってみたくなりました。普通ならMacをそのまま使うかと思いますが、開発環境の構築などで試行錯誤することを考えると、仮想マシンの方がスナップショットで分岐したり戻したりできて便利です。そこで、Parallels Desktopを使いmacOSの仮想マシンを作ってみることにしました。Mac on Macです。 最初はオフラインのインストーラの入手方法を調べたり、起動イメージの作り方を調べたりしていたのですが、Parallels Desktopの場合、ホストOSと同じバージョンのOSで良ければそんな作業は全く必要なく、驚
はじめに OSのメモリ管理について、自分自身の復習も兼ねて、誰でもわかるような解説に挑戦してみます。「仮想メモリって何?」「キャッシュって何?」といった方向けです。 メモリはOS(Windows、Linux、macOS etc...)が管理しています。そのため、OSが何をやっているのかをご理解いただければ、この投稿の目的は達成です。 ちょっと本業が多忙のため、何回かに分けてのんびり進む予定です。あらかじめご了承ください。 (追記)LT動画のお知らせ この記事は3本に分かれていますが、それらをひとまとめにして(少しだけ割愛して)、Easy Easyというエンジニアリング コミュニティのLTイベントでお話させていただきましたので、その時の動画とスライド資料をリンクしておきます。 この記事のLTは15分ちょっとです。1.5倍で再生してもだいたい聞き取れたので10分くらいでいけます。Qiitaの記
言語処理100本ノック 2015の挑戦記録のまとめです。 これは言語処理100本ノック 2020の挑戦記録ではありません。古い2015年版が対象です。ご注意ください 挑戦した環境 Ubuntu 16.04 LTS + Python 3.5.2 :: Anaconda 4.1.1 (64-bit)です。 (問題00と問題01だけはPython 2.7です。) 第1章: 準備運動 テキストや文字列を扱う題材に取り組みながら,プログラミング言語のやや高度なトピックを復習します. 投稿へのリンク 主に学んだこと、コメントで教えていただいたことなど
言語処理100本ノック 2015の挑戦記録です。環境はUbuntu 16.04 LTS + Python 3.5.2 :: Anaconda 4.1.1 (64-bit)です。過去のノックの一覧はこちらからどうぞ。 第6章: 英語テキストの処理 英語のテキスト(nlp.txt)に対して,以下の処理を実行せよ. 58. タプルの抽出 Stanford Core NLPの係り受け解析の結果(collapsed-dependencies)に基づき,「主語 述語 目的語」の組をタブ区切り形式で出力せよ.ただし,主語,述語,目的語の定義は以下を参考にせよ. 述語: nsubj関係とdobj関係の子(dependant)を持つ単語 主語: 述語からnsubj関係にある子(dependent) 目的語: 述語からdobj関係にある子(dependent) 出来上がったコード: # coding: utf
はじめに Linuxを使ったことがなく、Pythonも全く知らず、統計も大学でかじったはずが全く覚えておらず、正規表現も知らず、英語も苦手という私が、LinuxとPythonで言語処理100本ノック 2015を受けてみよう、という挑戦の記録です。一覧はこちらからどうぞ。 ちなみに私のスペックですが、一応元プログラマーとしてWindows Visual C/C++畑で育ってきました。ちなみにその前は68k MacのMPWでC++。意味が分かる方は同世代か先輩ですね^^ この歳で、はたしてどこまでノックに耐えられるのか... 環境について Ubuntu 14.04 LTS Python 2.7.6 gedit 3.10.4 で挑戦します。今のパソコンはMacなので、実際にはParallels Desktopで仮想化しています。 Pythonは3.xにしようか悩んだのですが、Ubuntuの素人が
このページを最初にブックマークしてみませんか?
『@segavvyのマイページ - Qiita』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く