技育祭は「技術者を育てる」ことを目的としたエンジニアを目指す学生のための日本最大のオンラインカンファレンスです。「技育祭2023【春】」に登壇したのは、元2ちゃんねる管理人のひろゆき氏。エンジニアを目指す学生からの質問に答えました。全5回。2回目は、「ChatGPT」がエンジニアに与える影響について。前回はこちら。 酒を飲んでコードを書ける気はしない ひろゆき氏（以下、ひろゆき）：（コメントを見て）「飲酒しながらプログラミングしているんですけど、ひろゆきさんもされていますか？」ということなんですけど、僕、酒を飲んでプログラムを書いたことはたぶんないですね。 司会者：へぇ、意外ですね。なんでですか？ ひろゆき：もともと、家であまり酒を飲まないのもあるんですけど、脳のバッファー量って超重要じゃないですか。 例えば、コードをバーッと書いている時に、話しかけられたり電話がかかってきたりすると、脳の

【2023/11/7追記】 OpenAI Dev Dayにて、開発者向けの大型アップデートが発表されました。この記事で紹介している手法は、Retrieval-Augmented Generation(RAG)と呼ばれてきましたが、今回のアップデートでコンテクスト長（やりとりできるテキストの長さの上限）がこれまでの8Kから128K（12万8千トークン）に大幅にアップするため、一般的な本の内容は1冊分丸ごと渡すことができるようになります。独自データベースとの連携という意味では、ここで紹介している手法も引き続き有効な手法ですが、API関連でも様々な機能が追加されているので、リリースやSam Altmanによるキーノートは要チェックです。 ChatGPTは、膨大な量のテキストを学習してはいますが、天気予報のような最新の情報や、ある特定の本の内容や、特定のサービスの詳細についてはじめから知っているわ

こんにちは、CX事業本部 Delivery部の若槻です。 今回は、ChatGPT plugins のベータ提供が開始されていたので、現在利用可能なプラグインと、実際に試してみた内容についてご紹介します。 ChatGPT plugins とは ChatGPT UI 上で 3rd-party アプリケーションを利用できるようにする機能です。 プラグインを追加することにより、ChatGPT に対して次のような機能拡張を行うことができます。 リアルタイムな情報の取得（例：スポーツのスコア、株価、最新ニュースなど） プライベートなナレッジベースからの情報取得（例: 社内ドキュメント、個人的なメモなど） チャットベースのアクション代行（例: 航空券の予約、フードの注文など） 各社が ChatGPT 向けのプラグインをこぞって開発するようになれば、ChatGPT がツールの枠を超え一種のプラットフォーム

ChatGPTが登場してから始めての大型連休で、自分も久々にまとまった時間がとれたので個人開発をしていました。 ほこりがつもったソフトウェアプロジェクトを取り出すと、大抵の場合はライブラリのアップデートや連携サービスのアップデート対応などに時間を費やしてしまい、せっかくの貴重な休日を環境構築だけに費やすというのが大変憂鬱でした。 しかし、ChatGPTのおかげでこうした個人開発も全く苦ではなくなりました。 以下、自分が取った方法を説明します。 ここでは、個人のプライベートリポジトリでの開発プロジェクトを想定しています。 OSSの場合はこの方法をそのまま適用すると色々課題があると思うのでご注意ください。 方法 GitHub（または類似サービス）を開きます。 大量のIssueを登録します。登録方法のコツは後述します。 各Issueに対してChatGPTに質問し、回答結果をコピーしておきます。

Bard は、ジェネレーティブ AI を活用してユーザーをサポートする Google の試験運用中のサービスです。旅行プランの案を出したり、ブログ記事の構成案を作成したりと、英語での公開から 2 か月弱の間に、すでに多くのユーザーに様々な方法でお使いいただいています。 そして、本日より Bard が日本語でも利用できるようになりました。「おいしい卵焼きを作るためのコツを教えて」や「夏休みの自由研究のアイデアを出して」など、 創造性と生産性を高めるパートナーとして、 bard.google.com から、Bard をぜひお試しください。 Bard とは Bard は、Google の大規模言語モデル（ LLM : Large Language Model ）である PaLM 2 を利用しています。LLM は言語のパターンを拾い上げること、それを使って文章の中で次に来る確率の高い単語を予測する

Googleは5月10日（日本時間5月11日未明）、米カリフォルニア州マウンテンビューで開催中のイベント「Google I/O 2023」で、生成的AI「Bard」が日本語に対応したことを発表しました。 BardはOpenAIのChatGPTと同様に、AIに対してテキストチャットによる対話が可能なサービスです。 これまでは英語にのみ対応していました。また、利用するにはまずウェイトリストに登録し、その後Googleから利用許可の連絡が来くるまで待つ必要がありました。 今回、ウェイトリストがなくなり180カ国以上ですぐに英語での利用が可能になったこと、そして日本語と韓国語に対応したことが発表されました。今後さらに40の自然言語にも対応予定です。 Bardは現在、Googleが開発した最新のAI基盤モデル「PaLM 2」を用いており、今後さらに強力な基盤モデルのGeminiへ移行する予定であるこ

楽天ゴールドカードはメリットない?プレミアムカード・年会費無料楽天カードとの違いや元を取る損益分岐点はいくら?

今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必

最近、chatGPTとかStableDiffusionとかAI技術が話題だけど、こういったIT技術が社会に与える影響ってどのくらいなんだろう？ 個人的にははてなやネットで騒がれてるほどインパクトはなくて、世の中がちょっと便利になるくらい。 これまでを振り返ると、 2000年ごろ：P2P/ブロードバンドNapster、WinMX、WinnyなどのP2P技術が登場し、ブロードバンド環境が整ってきて、音楽や映画は（当然違法だけど）オンラインで簡単に手に入るようになった。 TVニュースで「宇多田ヒカルが新曲を発表」と聞き、Winnyで検索したらものの5分でダウンロードできた時には、これは時代が変わるって興奮したことを覚えてる（怖くなって後からCD購入した）。 1～2年もすればCD/DVDなんかなくなるし、レンタルCD/DVDなんて消え去るだろうって思った。 その後、サブスクサービスは発展したけど、

やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(

2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部資料が、Discordの公開サーバーから流出しました。 Google "We Have No Moat, And Neither Does OpenAI" https://www.semianalysis.com/p/google-we-have-no-moat-and-neither 対話型AIの知名度を爆発的に高めた「ChatGPT」を開発するOpenAIは、対話型AIの分野で頂点に立っているとも分析できますが、Googleは「G

Geoffrey Hinton tells us why he’s now scared of the tech he helped build ジェフリー・ヒントン独白 「深層学習の父」はなぜ、 AIを恐れているのか？ 深層学習の父と呼ばれるジェフリー・ヒントンが本誌の取材に応じ、グーグルを退社した理由を語った。グーグルを辞めてから話したい「AIの問題」とは何か？ by Will Douglas Heaven2023.05.08 233 54 ジェフリー・ヒントンがグーグルを退社するという電撃発表をした5月1日の4日前、私はロンドン北部の美しい通りにあるヒントンの自宅で彼に会った。ヒントンは、「バックプロパゲーション（逆伝播）」と呼ばれる現代の人工知能（AI）の中核をなす非常に重要な技法の開発に貢献した深層学習のパイオニアだ。しかし、グーグルに10年間在籍したヒントンは、AIについて現在

2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。 Image credit: Google 2017年、Google は画期的な論文「Attention Is All You Need」を発表し、今日の AI トレンドの基礎を築いた。 Transformer の最も重要なブレークスルーは、言語モデルの運用フローとは別に、多くの処理作業を同時に行うことでコンピューティングパワーを利用できるようにする「並列化」だ。スタンフォード大学の研究者は2021年の論文で、「AI 分野のパラダイムシフトを促すだけでなく、AI で何が可能かという想像力を広げる」と、Transf

やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる

StableLMのファインチューニングってできるのかな？と調べたところ、GitHubのIssueで「モデル自体の性能がまだ良くないから、ファインチューニングの段階ではないよ」というコメントがありまして。 シートの中身を見てみるlm-evalシートstablelm-base-alpha-7bは54行目にありまして、確かに他の言語モデルと比較するとまだまだな性能のようです。応援したいですね。 シートの列の意味それぞれの列の意味については推定ですが以下の通りです。 RAM 言語モデルのGPUメモリ消費量。 lambada(ppl) LAMBADAデータセットによる測定値。ロングレンジの言語理解能力をテストする（文章全体を読まないと答えられないタスクでの評価）。PPLはPerplexityという指標で、モデルの予測の不確かさを示す。PPLが低いほど、モデルの予測精度が高い。 lambada(acc

先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて

単方向通信であるということと、HTTP/1.1上で動作しているのが大きな特徴です。 また、HTTP上で動作することから、通信の互換性が高く、セキュリティモデルも使いまわせるので安心です。 どんな用途と相性がいいの？ 双方向通信がしたいわけでなければ、相性の幅がとても広いです。 今回の ChatGPT のような、GPT がトークンを生成するごとに送るケースはもちろん、通知の未読件数バッジの更新、ニュース速報の表示など、サーバからイベントを送りたい時ならなんでも使えます。 HTTP/1.1で動くカラクリ SSEはHTTPのレスポンスヘッダにContent-Type: text/event-streamを指定した上で動作します。 SSEが動く流れ クライアントがサーバーに HTTP/1.1 リクエストを送信し、イベントストリームに接続します。 サーバーは、Keep-Alive 接続を使用して、T

2022年11月にOpenAIがリリースしたChatGPTはユーザー（人間）と対話を行う形式でテキストを生成する「大規模言語モデル（LLM：Large Language Model）」と呼ばれるものです。ユーザーとの間で文脈に沿ったテキストを生成するのが大きな特徴ですが、適切な返答があることもあれば、どう見ても間違った返答をすることもあります。それでも、これまでのテキスト生成AIよりも格段に品質の高い出力を行う大規模言語モデルだといえます。その品質の高さから、ChatGPTをどう活用すべきかとか、ChatGPTは使うべきではないといった議論も各所で行われるほどです。 本eBookでは、ChatGPTとは何かに始まり、ChatGPTがなぜユーザーの意図に沿った返答を返せるのか、ChatGPTの技術を取り込んだマイクロソフトのBingの概要、ChatGPTからの返答をよりよいものにするためのテ

ユーザーに届ける価値を徹底的に追求する マーケティングを提供します © Copyright 2022 バズ部. All rights reserved. あなたはコンテンツ作成におけるAIの活用をどのように思われているだろうか。例えば、ChatGPTを活用したコンテンツは良いコンテンツと呼べるだろうか。 現時点での回答は、「良いコンテンツと呼べる場合もあれば、呼べない場合もある」といったところだろう。 実際、ChatGPTの台頭により今まで以上にテクノロジーの活用がコンテンツ作成に活かされているし、“活かし方”によっては良質なコンテンツが作れる気配がする。 ところが、まだその“活かし方”には様々な議論があり問題点が指摘されることも多い。例えば、無機質で平均的で抽象的な文章が生成されるなどだ。「嘘」が紛れ込むこともある。 特に重要な問題として「ユーザーニーズの観点が抜け落ちたコンテンツになり