プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 - Qiita
ChatGPTのチャットボットを安全に運用する方法 プロンプトインジェクションは、不適切な文字列や悪意のあるコードを含むプロンプトがChatGPTに送信されることで発生するセキュリティ上の懸念です。 2023/04/11現在、LINEボットとして公開されている多くのサービスでプロンプトインジェクション対策がなされていないようです。この記事では、プロンプトインジェクション対策の背景や具体的なプロンプトの例を紹介し、ChatGPT APIを安全に利用する方法を説明します。 背景 ChatGPT APIは、OpenAIが開発した大規模な言語モデルで、自然言語処理のタスクを実行するために利用されます。しかし、APIを利用する際にはセキュリティ上の問題が生じることがあります。プロンプトインジェクションはその一例で、攻撃者が意図的に悪意のあるプロンプトを送信することで、システムやユーザーに悪影響を与え
働いていないことへの言い訳記事です。 この夢のような生活がもうすぐ終わるので書きたくなりました... ちなみにサムネイルは「仕事」でぱくたそで検索したら出てきました。 「エレベーターも給料も下降中の写真素材」というタイトルです。 https://www.pakutaso.com/20140914273post-4629.html 何をしていたのか 会社を辞めて約 1 年ほどプログラミングの勉強をしていました。 前職では「みんなのレベルが高くて着いていけないな〜」って感じることが多く、その原因のほとんどが知識や経験不足に依るところだったので、そういうのを先に補ってから働いた方が良さそうと思って辞めました。 いわゆる異業種からのキャリアチェンジでプログラマとしてのキャリアを始めたので、知識や経験は同世代の人たちに比べるとかなりのハンデがあり、そのハンデを埋めるための勉強をしました。 プログラミ
ラピダスから振り返る日本の国家プロジェクト
日本がラストチャンスとばかりに開始した「日の丸半導体」ラピダスに多大な公費が追加されていることが話題を集めている今日この頃。 心無い専門家たちからは必ず失敗するだの金ドブだの批判殺到中だが、本当に日本（経済産業省）主導の国家プロジェクトは今まで成功しなかったのだろうか？ この記事では主に経済産業省、旧・通商産業省が中心となって始めた国家プロジェクトを振り返る。 超LSI国家プロジェクト（1976年）結論:成功簡単に:半導体製造の基礎研究に成功 大規模集積回路（LSI）の研究、特に基礎研究に力を入れた国家プロジェクト。 当時、半導体弱小国であった日本で700億円以上の金を基礎研究に投資するのは挑戦的であったが、電子ビーム露光技術などの研究レベルのアイディアを実用・量産レベルに持ってくることに成功。 よく「日本は半導体生産はダメだが、生産機械はまだシェアがある」というが、この40年前の国家プロ
Rustの実用性が理解できる図を作成してみた 〜C/C++/Java/JS/Python/Go/TS/Elixirとの比較〜
エディタ支援 言語の公式がエディタ支援(LSP等)を提供しているかを示しています。 自動テスト 言語の公式が自動テスト(ユニットテスト等)を備えているかを示しています。 リンタ 言語の公式がリンタを提供しているかを示しています。 ビルドシステム 言語の公式がビルドシステムを提供しているかを示しています。 パッケージマネージャ 言語の公式がパッケージマネージャを提供しているかを示しています。 フォーマッタ 言語の公式がフォーマッタを提供しているかを示しています。 手続き型 言語のプログラミングパラダイムが手続き型プログラミングを強くサポートしているかどうかを示しています。 オブジェクト指向 言語のプログラミングパラダイムがオブジェクト指向プログラミングを強くサポートしているかどうかを示しています。 関数型 言語のプログラミングパラダイムが関数型プログラミングを強くサポートしているかどうかを示
概要 よくある年末っぽい日記の記事です。 だいだいこれどうりのバランスでソースコードも書いてる 言語はなんでもいい時はNode.jsで書く。移植性が高いので。複数人でメンテしそうな時はTypeScriptを採用し、プライベートの時は型を完全に無視する PHPはほぼLaravel。ビジネスのみの関係 Swiftはそんなに書いた記憶がないけどアプリのメンテをしてたと思う Vueも仕事で使っていたけど最近はReactに傾いてる Objective-Cは書いてない グラフに含まれてない部分だとAndroidアプリでKotlinを使って、データ分析でPythonを書いた このグラフは GitHub Profile Summary Cards っていう便利ツールを使わせてもらって自動生成している。 記録方法 コードを書く時はおもむろに ~/tmp 以下にディレクトリ掘ってIDEを開きはじめるので実質そ
最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー
『ポートピア連続殺人事件』にAIを搭載した技術デモが4月24日にPC（Steam）で無料配信決定。現在のNLP（自然言語処理）とはどのようなものかを体験できる内容に
スクウェア・エニックスは4月24日（月）にNLP（自然言語処理）アドベンチャー『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を公開すると発表した。プラットフォームはPC（Steam）となり、価格は無料で配信される。 本作は1983年に当時のエニックスから発売されたアドベンチャーゲーム『ポートピア連続殺人事件』を題材に、AI技術のひとつ「自然言語処理」という技術を構成する「自然言語理解（NLU）」について体験できるソフトウェアと位置付けられている。 原作の『ポートピア連続殺人事件』当時のアドベンチャーゲームはコマンド入力式と呼ばれ、プレイヤーが自由に文字列を入力することでキャラクターの行動を決定し、物語を進めていくというシステムだった。 この方法はプレイヤーに大きな自由度を与えられる一方で、とるべき行動が分かってい
技術書典13で注目している新刊本
2022年9月11日（日）追記 技術書典が始まって2日経ちました。ありがたいことに筆者の本を買ってくださった方もいらっしゃいます。本記事で紹介した本はすべて購入し、ダウンロード可能なものには全部目を通しました。結論からいうと全部買ってよかったです。買って後悔するような本はひとつもないので、安心してお買い上げください。一部の本には購入後のコメントを書き加えました。しかし皆さんクオリティが高いですね。 もうすぐ技術書典13が始まります。筆者は今回初めて出展者として参加することもあり、とても楽しみにしています。オンラインマーケットも技術書典13仕様になり、新刊特集も登場しました。 新刊特集のキャプチャ（筆者の本も入っています。うれしい！） DiscordやTwitterを見ているとギリギリまで執筆している方も多く、新刊特集の対象本は毎日のように増えています。まだまだ増えそうですが、とりあえず現時
こんにちは。デジタルテクノロジー統括部でアナリストをしているY・Nです。 パーソルキャリアのデジタルテクノロジー統括部は、一般社団法人データサイエンティスト協会が定める「データサイエンティストに求められるスキルセット」を基に、以下の3つのグループが組織されています。 ビジネスグループ アナリティクスグループ エンジニアグループ 出典：データサイエンティスト協会 これらの3グループが互いに連携しあい、AI（ここでは機械学習による予測モデルを指すことにします）によって様々な業務を自動化させたり、意思決定の補助に利用させるプロジェクトに取り組んでいます。 その際、「AIの判断根拠をどの程度（どの様に）見せれば良いか」ということが常にビジネスグループで議題に上がります。殊にAIの予測結果を人間（特に営業部門の人）が見た上で意思決定の補助として利用する場合に顕著で、判断根拠が表示されないブラックボッ
0. はじめに 昨今のAI、DXブームの影響で、機械学習、深層学習（ディープラーニング, Deep Learning） への注目は増すばかりですが、初学者の方にとって機械学習を学ぶハードルは依然高い状態かと思います。 機械学習、特にディープラーニングを習得するには学ぶべきことが多く、また分野によっては難易度が高いということもあり、学んでいる途中で挫折してしまうという人も多いという印象があります。 そこで本記事では、これから機械学習を学びたい方が自学自習する際の助けになるようにと、有用な自習コンテンツをまとめました。 本記事では、機械学習エンジニアとして実務に参画できるレベルを目指して、コンテンツを収集しました。よって機械学習の理論やライブラリに加え、社会実装する上で付随して必要となるソフトウェアエンジニアリングのスキルも含めています。 コンテンツについては、適宜追記していく予定です。 対象
この記事は Rust Advent Calendar 2023 シリーズ2 の1日目の記事である。 Rustは良くも悪くもシステムプログラミング言語なので、何も工夫しなければデバッグの体験がC言語と同じレベルになってしまう。例えば「rust lldb」でググると上位に Debugging Rust programs with LLDB is a nightmare というスレッドが出てきてしまう。 使うべきツールを知っていれば幾分かマシな体験にできる。Rustコンパイラはデバッガとして LLDB, GDB, WinDbg/CDB をサポート していて、僕はWinDbGは10年くらい触ってないので、この記事ではLLDBとGDBについて書く。 LLDB Apple SiliconのMacだとGDBが使えないので、必然的にLLDBを使うことになる。 CodeLLDB GDBと同じく、LLDBにも
ヤフーは6月1日、個人への誹謗中傷などに対応するため、現在「Yahoo!ニュース」のコメント欄において導入している、深層学習を用いた自然言語処理モデル（AI）のさらなる活用などの対策強化を進めていくと発表した。 同社では、専門チームによるパトロールやAIによって不適切な投稿対策を実施してきたと説明。「Yahoo!ニュース コメント」においては、深層学習を用いた自然言語処理モデル（AI）による検知を通して、1日平均約2万件の不適切な投稿（記事との関連性の低いコメントや誹謗中傷などの書き込みなど）を削除しているという。 今後は、この自然言語処理モデル（AI）を、他の投稿系サービス事業者に技術提供していくという。さらに、これらの問題への対処にあたっては、法的課題や実務的課題があると認識しており、これらの課題をデジタル時代に即した共通規範に基づき解決すべく、議論する場である検討会を6月中をめどに設
はじめに もっとミニマルで簡単なポータブルな環境を! 自分自身の研究のための環境構築についてこれまで二本の記事を書いてきました. これらの記事から二年ほどたち, いくつかの点において不満点が出てきました. 特に, GCPや自宅のサーバー上でリモートで作業することが多くなってきたので, よりミニマルでポータブルな環境が必要になりました. 以下では, 現時点で最小限の努力で環境を再現ができることを目標にしたDockerベースのGitHubレポジトリのテンプレートとその使い方を紹介します. このテンプレートを用いて作られた環境は, 新たなコンピュータ上で最短4ステップで環境を再現できるようになります. git clone VSCodeの"Open in Remote Containers" renv::restore() dvc pull この環境とセットアップはこのレポジトリにテンプレートとし
こんにちは、Doryと申します！ 2022年末からChatGPTをはじめとしたAI技術が爆発的に普及しはじめ、とてもワクワクしながら毎日を過ごしています。 本日は、昨今のAI技術がユーザインターフェースにどんな変化をもたらすか？という観点から記事を書いてみました。 CUI→GUI→NUI→？人間とコンピュータの接点であるユーザインターフェースは、その時代の最新技術を取り込むかたちで、これまで進化を遂げてきました。 70年代ごろ：CUI（Character User Interface） キーボードを使用した文字によるコマンド入力 いわゆる"黒い画面"のユーザインターフェース 80年代ごろ：GUI（Graphical User Interface） マウスなどのポインティングデバイスによる操作 画像や記号を用いて、情報を“モノ”として直感的に扱うユーザインターフェース 現代：NUI（Natu
米グーグルの人工知能（AI）研究部門が、AI倫理研究者の解雇を巡って大きく揺れている。同社が開発した自然言語処理技術「BERT（バート）」のような巨大な言語モデルが内包する問題点を指摘しようとした2人の女性研究者が、2020年12月と21年2月にそれぞれ解雇された問題だ。「論文の社内検閲」に端を発した騒動に見えるが、AI倫理を巡るより根深い社内対立が透けて見える。問題が明らかになったのは20年
そろそろ前職を退職してから、はてなで働き始めて5年(!)が経とうとしている。5年も働いていると、昔何をやっていたか、その当時どういう気持ちで働いていたかを忘れてしまう。備忘録っぽく書き残しておこう。ポエムです、長いです、大体自分向けに書いてる。 NTT CS研 => 株式会社はてな チーム開発への適応 インフラ苦手意識の克服 教師なし機械学習の本番環境での運用 データ基盤とCustomer Reliability Engineerへの挑戦 今後はデータエンジニアリング NTT CS研 => 株式会社はてな 基礎研究職からWebアプリケーションエンジニアへの転職だった。ログを残しておくと、こういう時に振り返れて便利。 NTT CS研を退職して、株式会社はてなに入社しました - yasuhisa's blog 割と珍しい(?)転職ではあったかもしれないが、機械学習や自然言語処理はアルゴリズム単
YouTuberが4chanでAIを訓練して「ヘイトスピーチマシン」を生み出しネットに放流してしまう、AI研究者は困惑と懸念を表明
世界最大規模の画像掲示板である4chanは、多くの匿名ユーザーによりサブカルチャーから政治まで幅広いトピックの会話が交わされていますが、比較的検閲が緩いため過激な言論やヘイトスピーチの温床にもなっています。YouTuberのYannic Kilcher氏が、4chanの中でも特に物議を醸す「/pol/(Politically Incorrect板、政治的非中立／政治的に正しくない／非ポリコレ板)」から抽出した330万件のスレッドで訓練したAI「GPT-4chan」を作ったところ、過激で人種差別的な発言をまき散らす「ヘイトスピーチマシン」が誕生してしまったとのことです。 This is the worst AI ever - YouTube AI Trained on 4Chan Becomes ‘Hate Speech Machine’ https://www.vice.com/en/ar
｢Go言語でつくるインタプリタ｣は前提知識無しで取り組める言語処理系のチュートリアル - Explore cs in depth!
目次 目次 概要 本題 私がこの本を購入した理由 数ある言語処理系の技術書でも恐らく最も初歩的 Goは現在恐らく最も可読性が高い言語 何故オススメ? プログラミングの本質が見えるから 単純にコード量が多いのでやってて楽しい テスト駆動開発 読者の為に残された多くの課題 総評 おまけ 概要 ※注意 Go言語でつくるインタプリタ 作者: Thorsten Ball,設樂洋爾出版社/メーカー: オライリージャパン発売日: 2018/06/16メディア: 単行本（ソフトカバー）この商品を含むブログを見る こちらの本を読み終わりました(付録以外)｡ 言語処理系に興味を持った衝動で買った本ではありましたが､ 今まで読んだ本でもトップレベルで完成度の高いものだったので､ ここで紹介しておきたいと思います｡ 簡単に良いところをまとめておくと､ プログラミングの抽象的な概念をより深く学べる これは言語処理系
AI研究団体・OpenAIが発表して話題を呼んだ対話型AI「ChatGPT」は、テキスト自動生成AI・GPT-3の派生形である「GPT-3.5」をファインチューニングした自然言語処理モデルです。チューリッヒ工科大学で機械学習とロボティクスの博士号課程に進んでいるダニエル・デュガス氏が、GPT-3が行っている数学的処理工程について解説しています。 The GPT-3 Architecture, on a Napkin https://dugas.ch/artificial_curiosity/GPT_architecture.html ◆入力／出力 まずGPTの「入力」とは一連のN個の単語のことで、「(入力)トークン」とも呼ばれます。そして、GPTの「出力」とは、入力トークンの最後に配置される可能性が最も高いと推測される単語です。例えば「not all heroes wear(すべてのヒーロ
エイプリルフールに便乗しているサイトまとめ2024年版
By ほしのるる 毎年おなじみのエイプリルフールが今年も始まりました～！どれが本当でどれがウソなのか、もしかしたらネタのふりをしているだけでマジなのではないか？というようにして現実と虚構が溶け合っていくカオスな一日のはじまりはじまり～。 ◆エイプリルフールのネタのタレコミのやり方 この記事中に未掲載のネタで「エイプリルフールやってる！」というのを発見したときや「うちもエイプリルフールをやってます！」という自薦の連絡はネタのタレコミ用メールフォームから送信してもらえればOKです！ ・掲載されやすくなる押さえるべきポイント GIGAZINE編集部員がサイトを見に行っても「どれがエイプリルフールのネタなのだ……？」ということで瞬時に判断できない＆ネタの意味がわからず記事化をあきらめてしまうしかない……となったり、「どこかがいつもと違うらしいが元のサイトの状態を知らないので、どこがどう変化したかま
近年、ChatGPTを始めとする大規模言語モデル*1に大きな注目が集まっておりますが、これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方、学習に要するエネルギーは、原発１基１時間分の電力量が必要*2とも言われており、また、運用には大規模なGPUクラスタを必要とし様々な業界に特化するためのチューニングや推論にかかるコストが膨大であることから、サステナビリティおよび企業が学習環境を準備するための経済的負担面で課題があります。 NTTでは、これらの課題を解決する研究開発を進め、今回、軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発しました。「tsuzumi」のパラメタサイズは6～70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。「tsuzumi」は英語と日本語に対応し
れきちず
れきちずとは 誰にでもわかりやすく馴染みのある「現代の地図デザイン」で、歴史地図を閲覧できるサービスです。古代から現在、そして未来まで一気通貫に閲覧できるWeb地図を目標としています。 2024年5月1日、作者の所属する株式会社MIERUNEに運営を移管しました。 現在公開しているマップについて 江戸時代後期（1800〜1840年ごろ、文化・文政・天保年間）を想定した地図になります。現状、村名が江戸近郊にしかない、地点（POI）が少ないなど不完全な箇所もあります。順次追加していく予定です。 地形の3D表示については現在の地形を表示しています。そのため、当時とは異なる地域があります。 移管の経緯 2023年8月に作者・加藤の個人プロジェクトとしてスタートした『れきちず』は、多くの反響を頂き様々なメディアに取り上げていただきましたが、同時に様々な要望も寄せられています。歴史地名に関するオープン
前回の記事では、JavaScript の実行エンジン V8 の JIT 出力コードを読んでみました。記事は M1 Mac 上で動かした結果でしたので、ARM アーキテクチャのアセンブラを読むことになりました。 さてそんな ARM アーキテクチャですが、最近の ARM には FJCVTZS という JavaScript 専用の機械語命令があるのをご存知でしょうか？CPU に、特定の言語（それもコンパイラを持たない JavaScript）専用の命令があると知ったとき、私は大いに驚きました（過去にも Jazelle みたいなものはありましたが） 今回は、この FJCVTZS 命令について、実際にどれだけ効果があるのか、V8 をビルドしながら調べてみましょう。 FJCVTZS 命令とは？ FJCVTZS 命令は、Arm v8.3 から導入された JSCVT 命令の一つで、JavaScript の言
はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり
RPGなどのゲームをプレイしている最中に、村人のようなノンプレイヤーキャラクターが同じことしか言わなかったり、同じ行動ばかり続けていることにがっかりしたことがあるゲーマーは多いはず。ジョージア工科大学と、Facebook AI Research(FAIR)が協力して行った最近の研究で、「目標を持って会話したり行動したりするファンタジーゲームのAI」が発表されました。 How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds (PDFファイル)https://arxiv.org/pdf/2010.00685.pdf Teaching AI agents to communicate and act in fantasy worlds https://techxplor
文章のなかの地理空間 － 地理空間情報科学(GIS)と自然言語処理(NLP)の融合へ向けて －
MIERUNE Meetup mini #4（ https://mierune.connpass.com/event/257222/ ）で使用した発表スライド（一部修正版）
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models
パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った背景まで丁寧に解説します。
![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）、理事長: 徳田 英幸）は、ユニバーサルコミュニケーション研究所データ駆動知能システム研究センターにおいて、独自に収集した350 GBの日本語Webテキストのみを用いて400億パラメータの生成系の大規模言語モデルを開発しました。今回の開発を通し、事前学習用テキストの整形、フィルタリング、大規模計算基盤を用いた事前学習等、生成系の大規模言語モデル開発における多くの知見を得ました。現在は、更に大規模な1,790億パラメータの生成系大規模言語モデル（OpenAI社のGPT-3と同等規模）の学習を実施中で、また、学習用テキストの大規模化にも取り組んでいます。今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定です。 NICTでは、これまでWebページを収集し、インターネット
AI（LLM）についてまだみんなが知らない8つの事実（論文：Eight Things to Know about Large Language Modelsについて）
いかにも海外の煽り記事みたいなタイトルを付けてしまったが、おおむねそういう感じの内容の論文が発表されて、興味深かったので今回はそれについて書いてみたい。 最近、「AGIが人類を滅亡させる！」みたいなAI人類滅亡説がにわかに広がっているらしい。 これの言い出しっぺみたいな人は、ユドコウスキー氏という方らしいが、彼は何十年も前からAI脅威論を言っていたらしい。そういう人もいるとは思うが、最近はそれを真に受けちゃう人が増えてるらしい。ChatGPTの実力に驚いた人が増えたからだろうか。 ホワイトハウスでFox Newsの記者が「AIが人類を滅亡させるってホントですか？」と質問しちゃうというような、パニック映画さながらの出来事まで起きている。これはエイプリルフールではない。 ホワイトハウスでFox Newsの記者が「機械知能研究所の専門家がAI開発を無期限に停止しないと文字通り地球上のすべての人間
はじめにLayerXの代表をしています福島と申します。本日はLLM(Large Language Model, 大規模言語モデル)について、なぜ大事なのか?経営者の視点でどうこの波を考えればいいのかについてです。 LLMが今非常に話題になっています。ChatGPTの裏側もこのLLMからできていると言えばわかりやすいでしょうか。 私は現在、LayerXという会社を経営しております。LayerXでも多分に漏れず、LLMに対するものすごいワクワクと、この波に対応しないと会社が消えてなくなるという強い危機感を抱いています。 私自身が元機械学習エンジニア、現在現役の経営者というキャリアを歩んできました。その立場から、なるべくわかりやすく、LLMの波というものを経営者がどう捉えるべきか、どう波を乗りこなすべきかの一助となればと思い筆を取っています。(機械学習のプロの方からすると、おいおいそれは単純化し
【深津式プロンプト】「ChatGPTに役割を与える」活用例と使い方 | マーケターが知っておきたい生成AI
2022年11月末のリリース以降、1週間未満でユーザー数が100万人を突破するなど、大きな注目を浴びるChatGPT。マイクロソフトが検索エンジンBingとChatGPTを融合した、新しい検索機能を発表したことでも話題を呼んでいる。 そんなChatGPTにいち早く注目し、さまざまな活用方法を考案しているのがnote株式会社 CXOの深津貴之氏だ。同氏は2月9日（木）、「あなたの仕事が劇的に変わる!? チャットAI使いこなし最前線」と題したイベントに登壇し、豊富な具体例とともに仕事でも役立つChatGPT活用術を公開した。 本レポートではChatGPT初心者に向けた基礎知識を整理したうえで、“深津式”ChatGPT活用術を紹介していく。 ChatGPTとは？ 何がスゴイ？ChatGPTとは、OpenAI社が開発した自然言語処理のAIモデル「GPT」を搭載した、対話型のAIチャットツールのこと
クオリアというのは、たとえば赤い色をみたときに、それがカラーコードとして同じであっても、リンゴの赤と血の赤で想起される「赤らしさ」が違うよね、そのそれぞれの「赤らしさ」とは？みたいな話です。 それがChatGPTの挙動と対応づけれるんではないだろうか、と。 ※ クオリアを解明できるという話ではありません もしくは、「りんご」と言ったときにあの赤い果物の直接的なイメージだけではなく「こないだ食べたのはちょっと固かった」だとか「スーパーで300円で並んでた」だとか「皮をむくのがめんどかった」だとかいろいろ想起されることも含めた「りんごらしさ」のことです。 正確にいえば、何かの単語や物体を意識したときに「らしさが生まれること」をクオリアと呼んでるんだと思います。 そいういうクオリアというのが結局なんなのか、というのが問題になってると思うのだけど、ChatGPTを見るとなんとなくクオリアというのが
生成AIサービスの活用によって生産性を劇的に改善させた企業がある一方で、期待した成果を得られずに結局使わなくなってしまったという事例も多い。明暗を分けるのは何か。いち早く生成AIを実装したコネクテッドワークスペース「Notion」の日本法人であるNotion Labs Japan ゼネラルマネジャー アジア太平洋地域担当・西勝清氏と、研究室や経営する会社でNotionを使っている落合陽一氏に、生成AIサービス活用について語り合ってもらった。 生成AI「使う人、使わない人」で生じるギャップ ――日本における生成AIサービスの活用状況をどのように見ていますか。 西 新しいテクノロジーは時折登場して世間を驚かせますが、今回のLLM（※1）については、当初、日本の大企業や官庁の反応は非常によかったと思います。ところが、それは初速のみ。今では海外のほうが活用が進んでいる印象です。 ※1 生成AIの種
本１冊を機械翻訳で訳してみた - Qiita
昨年暮れに、新 企業の翻訳者を目指す皆さんへという本を出版しましたが、その本を機械翻訳を使ってまるまる１冊英語に翻訳してみました。翻訳済みの英語はこちらです。PDFファイルを無料でダウンロードいただけます。 使った機械翻訳システムはみらい翻訳です。Google翻訳やMicrosoft Translatorも試してみましたが、少なくとも昨年夏にいろいろ試した結果、（英日はわかりませんが）日英の翻訳品質が一番良い印象でした。もっとも、定量的な評価をしたわけではないので、あくまでも「印象」です。 私は1980年代の終わりころに機械翻訳の研究をしていました（学位も機械翻訳の研究でいただきました）。ですので、ある程度は機械翻訳のことはわかっていると思っていました。初期のもくろみは、辞書の整備と十分な前編集を行うことで、ほぼ後編集なしで本１冊をまるまる英訳することでした。後で述べるように、今の機械翻訳
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
会社をやめて約1年プログラミングの勉強に費やしたことに対する満足と後悔
2020年に作ったソフトウェアや開発技術をふりかえる - laiso
Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer
AIプロジェクトにおける説明可能性の方針 - techtekt
機械学習エンジニアに爆速でなるための教材集 - Qiita
Rustプログラムのデバッグ辛すぎ問題 - Qiita
「Yahoo!ニュース」、1日約2万件の誹謗中傷コメントを削除--検知AIを外部提供へ
VSCode + Dockerでよりミニマルでポータブルな研究環境を
LLMが変える、ユーザインターフェースの未来｜Dory
研究者2人を解雇したGoogle AI倫理対立の深刻度 - 日本経済新聞
はてなで働き始めてからほぼ5年になるので振り返ってみる - yasuhisa's blog
OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説
NTT版大規模言語モデル「tsuzumi」 | NTT R&D Website
ARM に存在する JavaScript 専用命令「FJCVTZS」を追う（ついでに V8 をビルドする）
自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録
ファンタジー世界が舞台のゲームでAIが「目的があるかのように」話したり行動したりできるようにする研究
Interpretable Machine Learning
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？
日本語に特化した大規模言語モデル（生成AI）を試作｜2023年｜NICT-情報通信研究機構
LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX
クオリア問題はChatGPTで説明がつく - きしだのHatena
落合陽一がNotionで実践する｢共有知｣の活用法 | Notion | 東洋経済オンライン
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog