超重要な基盤技術「Attention」、Transformerがなぜ画期的なのかを知る
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 実は、エンコーダーとデコーダーに用いられている「RNN」（Recurrent Neural Network）には、欠点があります。それは、長い文章が苦手だということです。 なぜ苦手かというと、以下の2つのポイントからそのように言えます。 （1）RNNでは、翻訳元文章全体の特徴を記憶できるサイズが固定されている。そのため、文章が長くなり単語の数が増えるほど、エンコーダーにおいて、文章の前の方で出現した単語の意味が薄まってしまう。 （2）RNNでは、単語を1つずつニューラルネットワークで処理する。そのため、単語の数が多くなればなるほど処理時間がかかってしまう。 ですので、RNNが持つこうした欠点を解消するための仕組み
誰でもわかる全文検索入門
全文検索エンジンも、事前に検索対象のデータを調べてこのような索引を作っておくことで、高速な検索を実現しています。 インターネット検索の例 たとえばインターネット検索の場合、まず各サイトからデータを収集して、その中から索引に載せる単語を選んで索引を作ります。索引のデータは下の図の右側のような表になっています。各単語と、それがどのサイトのどこにあったのかを記録しておく形です。 検索の時は、この索引データを調べます。例えば利用者が「理解」という言葉で検索したら、索引の「理解」のところを調べます。そうすると「サイトAの8文字目と18文字目、サイトGの……」と出現場所がわかるので、すぐに結果を返せます。 なお、この図では索引の単語の並び方が適当ですが、実際には本と同じように「あいうえお順」などに並べておいて、すぐに単語を見つけられるようにしてあります。 索引にない単語 この仕組みの場合、索引にある単
デジタル庁2023年度事業 行政での生成AI利活用検証から見えた10の学び (1/3)｜デジタル庁
デジタル庁のAI担当の大杉直也です。この記事では、生成AIによる業務改善の一助になればと思い、実際の行政業務で生成AIの利活用を検討する際に得られた知見を共有します。 本記事は、「デジタル庁2023年度事業 行政での生成AI利活用検証の結果報告（以降、報告書とよびます）」で得られた知見を、よりわかりやすく具体的に示すために、「10の学び」の形式にまとめたものです。 その検証ではデジタル庁を中心とした行政職員を対象に、実際に複数種類のテキスト生成AIを取り扱える環境＋ユースケースごとの独自開発を含むサポート体制を作り、(1)どの行政業務に対し、(2)どのようにテキスト生成AIを使えば、(3)どのくらい改善効果がありそうか、を調べました。また、報告書には含まれていなかった個別ヒアリング等による知見も反映させています。 文量が少し多くなってしまったため、全3回の構成で紹介いたします。第1回の本記
モテる友人を持ったわたしのあまりに単純なミス（古賀及子）｜シカク（大阪のインディーズ書店）
古賀及子さんのエッセイ連載、今回はおためし版で無料でお読みいただけます！ とにかくモテる人だった。 知り合ったのは当時全盛期だったミクシィの、コミュニティのオフ会でだ。昭和50年代の1月から3月に生まれた人たちだけが参加できる集まりで、参加者に誕生日を聞くとだれもかれもが早生まれなのが、そういうものだとわかっていても可笑しかった。私は1月生まれで、彼女は3月生まれだ。 なんだかもう本当にモテた。会う男性がみんな彼女を、驚くほど簡単に好きになる。 さらさらでまっすぐの栗色のロングヘア、茶色い瞳のよく動く丸い目、長いまつげが印象的だけれど濃い化粧はせず、服装は気取らずカジュアル、いつも笑顔で、ふるまいは一生懸命、恋人はおらず、地方から東京に出てきてひとり暮らしで仕事を頑張るようすにひかれる気持ちは理解できたが、それにしてもという釣れ具合だった。 彼女と私は同い年で、偶然自宅が近所だったこともあ
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
「ChatGPTには一度言ったことを覚えていてほしい」 ベクターストアで社内向けChatGPTの頭をちょっと良くした話
「ChatGPT Meetup」は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。1回目に登壇したのは、株式会社リンクアンドモチベーションの白田幹氏。社内向けのChatGPTを改善した時の開発について発表しました。 LLM推進担当の白田氏 白田幹氏：「Vector Storeを使って社内向けのChatGPTの頭を少しだけ良くした話」というところで、ちょっとお話できればと思っています。 はじめに、自己紹介をさせてください。株式会社リンクアンドモチベーションという会社におります、白田幹と申します。2020年新卒入社で、データサイエンティストとしてこれまで働いてきたのですが、「ChatGPT」の登場とともに今はLLM推進担当というところで、基本的には社内に向けてLLM
ChatGPT - LLMシステム開発大全
私の今まで経験してきた全てのLLMノウハウを詰め込んだ、LLMシステムの開発ガイドです。 初めてLLMシステムを開発したいと思った時でも、精度改善や運用に行き詰った時でも、何かしら役に立つと思います。 現在200ページ超。 今後も随時更新していきます。 2023/7/28 体裁修正、余計…
［速報］ChatGPTを組み込んだ「Microsoft 365 Copilot」は月額30ドルの追加料金で提供。マイクロソフトが発表。Inspire 2023
［速報］ChatGPTを組み込んだ「Microsoft 365 Copilot」は月額30ドルの追加料金で提供。マイクロソフトが発表。Inspire 2023 マイクロソフトは、日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、Microsoft 365にChatGPTベースのAI機能を組み込んだ「Microsoft 365 Copilot」を1ユーザー当たり月額30ドルの追加料金で提供することを発表しました。 2023年3月に行われたMicrosoft 365 Copilot発表時の様子。左はModern Work & Business Applications担当CVP Jared Spataro氏 Microsoft 365に自動生成機能などを追加 Microsoft 365 Copilotは、Outlookによる過
Azure OpenAIの「Add your data」で出来ること出来ないこと
この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope
リモート開発を助ける「思いやりのある文章」の書き方 - ROUTE06 Tech Blog
新しいプロジェクトに参加してローカル環境を作り始めると、何かとエラーに遭遇します。 また、設計や実装について開発者に相談したり、コードレビューを依頼することもありますね。 開発者が近くにいれば、（それなりに、程よいタイミングを見計らって）話しかけて、エラーの原因を調べてもらったり、設計方法をホワイトボードにスケッチしながら相談できますが、リモート開発ではそうはいきません。 リモート開発で成果を上げるためには、このブログのように何の装飾もインタラクティブ性もない文章で、自分の状況や相談したい事柄を正確に伝える必要があります。 とはいえ私は昔、「文章がわかりにくい」と毎日、毎日上司にフィードバックをもらうくらいには文章を書くのが下手くそでした。今もわかりやすい文章が書けている自信はありません。 それでも、これまでに何度か、議論が好転したり、プロジェクトが前に進むきっかけとなる文章を書けたことが
SNSで1000万回再生！ 大臣を「論破」した大学院生が伝えたかったこととは（今野晴貴） - エキスパート - Yahoo!ニュース
５月７日のNHK日曜討論「いま話し合おう 子ども・若者とお金」では、小倉こども政策担当大臣と、社会保障を専門とする大学教授や、子育てや若者の問題に取り組むNPOの関係者などが、少子化対策について議論を交わした。 放送後、論者の一人として番組に出演していたある大学院生の発言にSNS上で大きな注目が集まっている。中には、「大臣よりも現状を理解している」「忖度なしの意見が爽快だった」といった意見が多数見られた。彼女の発言を切り取った動画は、SNS上で1000万回以上再生されている。 注目を集めたのは、NPO法人POSSEで奨学金問題など若者の貧困問題に取り組む、一橋大学院生の岩本菜々さんだ。日々の相談活動から見えた現場の実態をもとに、小倉大臣を前に若者の貧困の現状を訴え、討論を挑んだ。 彼女が述べた意見とはどのようなもので、なぜ「一人の大学院生」の発言が、これほどまでに反響が寄せられたのか。日曜
行政機関も「ChatGPT」 神奈川の市役所では“全国初”業務導入 | NHK
質問を入力するだけですぐに自然で説得力のある回答が返ってくるAIとの対話ソフト「ChatGPT」の利用が、首都圏を中心に個人や企業に加え、神奈川県横須賀市役所では全国の自治体で初めて利用されるなど急拡大しています。 対話式AI「ChatGPT」の普及が急速に進む中、神奈川県横須賀市は市の業務への活用を試験的に始めました。市によりますと全面的に自治体の業務に導入するのは全国初だということです。 「ChatGPT」はアメリカのベンチャー企業「オープンAI」が開発し、去年11月に公表した対話式AI＝人工知能です。 日本語にも対応していて、AIと対話するようにやりとりを進め、内容を指定して文章を作成させたり、すでにある文章を要約させたりできます。 知りたい情報を尋ねると人が作成したような、自然なことばで回答を作成できることから、幅広い分野で活用が想定されるいわゆる“生成系AI”の1つで、企業などで
しばらく使ってわかったがChatGPTは「中央値のアウトプット」を出すのを得意とするので人間には「外れ値のアウトプット」が求められていくようになる
山口周 @shu_yamaguchi しばらく使ってみてわかったんですけど、ChatGPTは「中央値のアウトプット」しか出せないですね。裏側で統計が動いているのがよくわかる。となると人間には「外れ値のアウトプット」が求められるということです。自分の仕事のアウトプットが中央値寄りなのだとするとちょっと危ないかもしれません。 山口周 @shu_yamaguchi 慶應義塾大学文学部哲学科、同大学院文学研究科修士課程終了／電通、BCG等を経て現在は独立研究者／著作家／アクティヴィスト／J-WAVE番組ナヴィゲーター／一橋大学経営管理研究科、神山まるごと高専他の教員／人文科学と経営科学の交差点に棲息／コメントやリプライは基本的に確認しておりませんので悪しからず
ChatGPTで社員の心を分析できるか？ | DevelopersIO
私が経営しているベイジという会社には日報という制度があり、毎日社員が日報をアップしてくれています。 この日報をChatGPTに読み込ませて診断してもらうことで、社員のメンタルの状態を観測できるのではないかと思いました。 そこで、「使っていいですよ」と承諾してくれた社員の日報を元に、少し実験をしてみました。 感情パラメーターの設計 いきなり漠然とChatGPTに分析させるのではなく、評価基準を設定することで、客観的かつ定量的な評価がしやすくなり、時系列の比較や他者との比較がしやすくなると考えました。 ただ、私自身は感情やメンタルの専門ではないので、それ自体をまずChatGPTに問いかけてみました。 それっぽいものが出てきました。ただ、似たようなものが並んでいたり、「それって感情？」と思うようなものが混じってたりと、いまいち精度が低いようにも思いました。 そこでこれはこれで参考にしつつ、この分
｢ChatGPT、これやって｣うまくやってもらうために知っておきたい4つの構成要素
｢ChatGPT、これやって｣うまくやってもらうために知っておきたい4つの構成要素2023.04.05 12:0036,015 かみやまたくみ ChatGPTを使っていてわりとあるのが、｢変な答えが返ってくる…｣。ChatGPTは確かに賢いですが、まだ発展途上でもあり、｢聞き方｣｢言い方｣がうまくないとそういう結果になることもあります。 経験上、ChatGPTが微妙にズレた回答をするのは、自分がした質問がごちゃごちゃしているとき。もうちょっと言うと、自分の中で｢本当にして欲しいこと｣が整理されておらず、質問の後ろに書かれていることが多いです。 対するChatGPTは前にある文言を重要だととらえる傾向にあるように思います。結果として｢本当にして欲しいこと｣がスルーされたり誤解されたりしてしまう…そんな印象です。 どうしたもんかな…と思っていたら、GitHubで公開されている『Prompt E
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
当てはめるだけで小学生でもロジカルな文章が書ける…ハーバード大で教えられている｢オレオ公式｣のすごさ 1日10分書く習慣が頭脳を鍛える (2ページ目)
Microsoft 365 Copilot 初期設定方法が公開されたので確認してみた（展開前にアクセス権限管理を再考する）
WhisperとChatGPTで文字起こし | ドクセル
［速報］WindowsにチャットAIを搭載「Windows Copilot」発表、サイドバーから利用可能。6月にプレビュー版が登場予定。Build 2023
GPT-4で今日からできる仕事効率化活用術７選！｜ChatGPT研究所
