こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
キーワードを選ぶと自動で記事が書けちゃうAIライター
至極真っ当で常識的な文章が上がってきます。 OpenAI のチャットボットAI｢ChatGPT｣が大流行しており、今やさまざまなアプリやサービスにも組み込まれるようになっています。 もちろん公式サイトで使うこともできますが…いざとなると何を質問してどう活かせば良いのか？ 使い道がハッキリしていないと猫に小判ですよね。 AIに原稿を書いてもらおう株式会社ユーザーローカルが開発したのは、ChatGPTのGPT-4と連携した記事作成サービス｢ユーザーローカルAIライター｣。 使い方は非常に簡単で、テーマを決めたらまず関連がある単語を2～5個ほど入力するだけ。どんな流れで原稿ができるのか、調査がてらレッツ・トライです。 Image: 株式会社ユーザーローカル試しに｢夏休み 子供 熱中症対策｣と入力すると、｢関連キーワードを選択｣画面に進みます。そこでまた3～10のキーワードを選択すると？ Imag
「Facebook」「Instagram」「WhatsApp」を運営するMeta Platformsで人工知能（AI）担当のチーフサイエンティストを務めるYann LeCun氏は、この分野に携わる多くの人を困惑させることになりそうだ。 LeCun氏は6月、「Open Review」に投稿した論文で、機械に人間レベルの知能を持たせることが期待できると考えるアプローチについて概観を示した。 この論文で暗に主張しているのは、現在のAIに関する大規模なプロジェクトのほとんどは人間レベルという目標に決して到達できないという点だ。 LeCun氏は、9月に入って米ZDNetが実施した「Zoom」でのインタビューの際、現時点で最も成功しているディープラーニング（DL）の研究手法の多くを非常に懐疑的に見ていることを明らかにした。 コンピューター科学分野のノーベル賞に相当する「ACM A. M. チューリング
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
ChatGPTのリリースでGoogleは「コードレッド」を宣言、AIチャットボットが検索ビジネスにもたらす脅威に対応するためにチームを再割り当て
AI開発団体のOpenAIが発表した「ChatGPT」は、自然言語処理モデルの「GPT-3」の進化系である「GPT-3.5」がベースになっており、質問文を打ち込むと人間が書いた文章と見分けが付かないほどに高精度の文章で回答してくれます。そんなChatGPTの登場に、ユーザー数世界最大を誇る検索エンジンを持つGoogleの経営陣が事業に対する深刻な脅威への警戒を示して「コード・レッド」を宣言したと報じられています。 ChatGPT and Other Chat Bots Are a ‘Code Red’ for Google Search - The New York Times https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html Google at 'code red' over ChatG
Googleは、都内で開催したイベント「Generative AI Summit Tokyo」で、コード生成や補完のためのAIモデル「Codey」が日本語に対応したと発表しました。 CodeyはGoogleの最新の大規模言語モデルPaLM 2をベースとした、コード生成や補完のための基盤モデルです。 Codeyは、自然言語による指示に基づいてコードを生成する機能、チャットで会話しつつコード関連の質問に回答する機能、コードの足りない部分を補完する機能などを備えています。 対応するプログラミング言語は、Java、JavaScript、TypeScript、PHP、Python、Ruby、Rust、C＋＋、C＃、Go、Kotlin、Scala、Swift、GoogleSQLなど。さらにGoogle Cloud CLIやKubernetes Resource Model（KRM）、Terraform
GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？
GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。そんな中、メモリの消費量を激減させつつ少ないデータでトレーニングできる手法「QLoRA」が登場しました。 [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art
話題の無料画像生成AI「Stable Diffusion」をオフラインのiPhoneのみで動かせるアプリ「Draw Things」を使ってみたよレビュー
文章(プロンプト)を入力するだけで画像を生成してくれるAI「Stable Diffusion」が大きな注目を集めていますが、Stable Diffusionを使うには高性能GPUを搭載したマシンを用意する必要があるため興味はあっても使うのを諦めていた人も多いはず。そんな中、iPhoneに搭載されたチップを利用してオフラインでもStable Diffusionを用いた画像生成を可能にするアプリ「Draw Things」が公開されました。実際にDraw Thingsを使ってみたところ、モデルデータの切り替えやシード値の手動入力など高度な機能が山盛りの高性能画像生成アプリに仕上がっていたので、インストール手順や使い方をまとめてみました。 Draw Things: AI-assisted Image Generation https://draw.nnc.ai/ Draw Thingsを使うには、
画像や文章の自動生成、顔認識、ゲームのプレイなど、人間の行動を模倣するAIを開発するためには、膨大なデータセットで学習する必要があります。データセットの内容にはインターネットに存在する画像や文章が使われるケースが多くありますが、このインターネット上にある文章に含まれる誤字がAIの発達に大きな影響を及ぼすと、IBMリサーチ・Amazon・テキサス大学の研究者が発表しています。 [1812.00151] Discrete Adversarial Attacks and Submodular Optimization with Applications to Text Classification https://doi.org/10.48550/arXiv.1812.00151 If AI can read, then plain text can be weaponized – TechTa
Facebook、どんな話題にも対応できるAIチャットボット「BlenderBot 2.0」オープンソースで公開。会話しつつ裏でネット検索し最新情報を取得
Facebook AI Researchは、会話の内容を知識として蓄えつつ、同時にネット検索をして知識をアップデートする機能を備えたAIチャットボット「BlenderBot 2.0」をオープンソースで公開したことを発表しました。 あたかも人間の様に会話に応じてくれるAIチャットボットは、今回発表された「BlenderBot 2.0」の前身となる「BlenderBot 1.0」も含めてこれまでにも存在しました。 これらはAIによって人間からの入力を理解し、それに対して過去にトレーニングした内容を基に情報を取り出し、適切な文章を生成して返答する能力を備えています。 しかしこれまでのAIチャットボットは、ある時点で集められた情報を基にトレーニングが行われ、それを基にAIチャットボットとして活動を行います。そのため、基本的には活動開始後に発生した事象に関する知識を持つことはありませんでした。 例え
画像生成AIは、無から画像を生み出しているわけではなく、膨大なデータセットで学習した内容から求められた画像を出力しています。そこで、出力された画像をもとにして、データセット内のどういった画像がもとになったのかわかるサービスが「Stable Attribution」です。 Stable Attribution https://www.stableattribution.com/ サイトにアクセスすると、Stable Attribution制作の経緯が表示されます。スクロールすると話が続きますが、ただちにサービスを利用したい人は右下にある「skip story」をクリック。 すると画面が左右に分かれたような表示になります。これは、左がAIが画像生成にあたり用いたデータセットの画像、右が生成された画像を示します。 生成された画像の下の「SHARE ATTRIBUTION」をクリック。 すると、「
サイバーエージェントではこれまでも、新卒エンジニア向けに「チーム開発の進め方」や「良いコードとは何か」といった資料や、Unityエンジニア向けのゲームシステムの高速化に関するノウハウなどを無償公開している。 関連記事 ミクシィ、新卒向け研修資料を無償公開 「Git」と「テスト・設計」 今後も随時公開 MIXI（旧社名ミクシィ）は、同社の新入社員向け技術研修で使用した資料を無償公開した。 日経新聞、新卒エンジニア向けセキュリティ研修資料を無償公開 日本経済新聞社は、新卒エンジニア向けセキュリティ研修資料を無償公開した。同社が4月の新人研修で使用したもので、ページ数は30ページ以上。 ゲームシステムを高速化する社内ノウハウを無償公開 Unityエンジニア向けに サイバーエージェント サイバーエージェントは社内研修用の書籍「Unity パフォーマンスチューニングバイブル」のPDFを公開した。 3
「新しい能力に突然目覚める」のは物語の主人公だけではないようです。 Googleの研究部門（Google Research）とスタンフォード大学（Stanford University）などで行われた研究によって、会話型AIを成長させていくと、会話以外の新能力を訓練なしに突然、獲得することが示されました。 chatGPTのような会話型AIは本来、人間と会話するために作られましたが、ここ数年の研究によって、会話機能以外の意図しなかった能力が存在することがわかってきました。 研究者たちはこのようなAIの大規模化による新規能力獲得を「創発」と定義しており、小規模AIを積み上げるだけでは起こらない現象だと述べています。 ただ現在、どのくらいのAIの規模で、どんな新規能力が現れるかは、発見されるまで知ることができず、それぞれの能力値に上限が存在するのかさえ不明となっています。 もしかしたら将来的に、
CULTURE | 2023/09/22 AIが人間に反乱しないよう「道徳」を実装すべきか。京大の哲学者・出口康夫が本気で考えて示した結論 Photo by Shutterstock 京都大学で出口康夫氏が行った人気講義を書籍化した『AI親友論』（徳間書店）... Photo by Shutterstock 京都大学で出口康夫氏が行った人気講義を書籍化した『AI親友論』（徳間書店）。 同書はAIと人間との関係性でよく言われる「仕事が奪われる（人間が奴隷にされる）」、あるいは逆に「人間が支配できる程度の性能に抑えるべきだ」といった敵視を前提とした議論ではなく、人間とAIが「親友」として共生するための社会観・人間観をいかにして考えることができるかについて、これまでのAIやロボットにまつわる議論も参照しながら考え抜いた一冊だ。 本稿では、アイザック・アシモフの「ロボット三原則」の時代から続く「A
OpenAIが開発したChatGPTは、アメリカの医師免許試験であるUnited States Medical Licensing Exam(USMLE)に合格できると報告されるほど精度の高い文章を生成することが可能で、さまざまな分野への応用が期待されています。そんなChatGPTが、3年間で合計17人の医師が原因を特定できなかった、7歳の少年が抱える慢性的な痛みの原因を明らかにしたことが報告されています。 ChatGPT Diagnosed A Boy's Pain. 17 Doctors Over 3 Years Could Not https://www.today.com/health/mom-chatgpt-diagnosis-pain-rcna101843 2020年当時4歳だったアレックス君は体の痛みを突如訴え始めました。そこで母のコートニー氏は毎日アレックス君に痛み止めを与
凸版印刷は10月18日、AIの技術を活用して文章の誤りを指摘する「AI校閲・校正支援システム」を開発したと発表した。広告、パンフレット、カタログなどの原稿を読み込ませると、誤変換や誤字脱字を自動で検出する。文脈を分析し、「保証」「補償」といった熟語の誤用も特定できる。法人の文書作成を効率化する狙いで、利用者は結果を基に原稿を修正し、文章を読みやすく改善できる。 業界・企業特有の言い回しや専門用語を学習させ、指摘の精度を高めることも可能。言葉遣いのレギュレーションを複数インプットし、著作物に応じて使い分けられる機能も持つ。読み込ませた文書を社内に回覧できる機能も備えており、修正内容を責任者に確認してもらうことや、必要に応じて人の手で赤字を入れてもらうこともできる。 一連の機能により、文章の質を高める効果の他、人による制作スキルのばらつきや、成果物を2～3重にチェックする手間をなくす効果を見込
AIが中国で既にイラストレーターの仕事を奪い始めている、現場の悲鳴と実際にどのようにAIが用いられているのかをまとめたレポートが公開
Stable DiffusionやMidjourneyの登場により、画像生成AIに対する期待は爆発的に高まっており、今やWindowsの標準ブラウザであるEdgeにも画像生成AI機能が搭載されています。そんな画像生成AIの活躍により、中国のゲーム業界ではさっそくイラストレーターたちが仕事を奪われつつあると、テクノロジーメディアのRest of Worldが報じました。 AI is already taking video game illustrators’ jobs in China https://restofworld.org/2023/ai-image-china-video-game-layoffs/ 2022年にDALL-E 2が登場して以来、MidjourneyやStable Diffusionといった画像生成AIが登場し、ユーザーはテキストから非の打ちどころのないイラストを
最終更新日： 2020年3月4日 AIの高まりとともにデータの大切さが再認識される今、オープンにさまざまなデータが公開され、気軽に活用できるようになっています。 オープンデータの存在は、膨大なデータから学習を行う機械学習にとって不可欠で、構築したいAIに合わせてオープンデータを選択し、活用することが必要です。 一方、オープンデータのみでは競合優位性のあるAIは構築できません。マクロなオープンデータと、独自に収集したミクロなデータを組み合わせて、独自のAIを構築していくことが重要です。 オープンデータを活用したサービスを構築する際には、サービスのUX（ユーザー体験）を高め、いかにユニークなデータを取得できるかが勝負なのでオープンデータに頼りすぎないようにしましょう。 今回、オープンデータ・データセットを6カテゴリに分類し、100個選出しました。自身のサービスやAIの構築に活かせそうなデータを
MeCab互換な形態素解析器Vibratoの高速化技法 - LegalOn Technologies Engineering Blog
こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは、MeCab互換の形態素解析器Vibrato（ヴィブラ〰ト）を開発しています。プログラミング言語Rustで実装しており、高速に動作することが主な利点です。Vibratoはオープンソースソフトウェアとして以下のレポジトリで公開しています。 github.com 本記事では、Vibratoの技術仕様を解説します。以下のような方を読者として想定します。 自然言語処理の要素技術に興味のある方 データ構造・アルゴリズムに興味のある方 Rustでの自然言語処理に興味がある方 Vibratoについて 最小コスト法による形態素解析 単語ラティスの構築 最小コスト経路の計算 高速化の取り組み 辞書引きのキャッシュ効率化 実装での注意点 連接コスト参照のキャ
ChatGPTは、難解なNode.jsの処理を解釈して、Pythonに移植できるのか？ - Taste of Tech Topics
こんにちは、igaです。 先日の連休で、あるコンテンツの聖地巡礼をして英気を養ってきました！ 英気を養ったところで、「Node.jsからPythonにソースコードを移植する」ということが必要になりました。 元のNode.jsのコードでPythonには存在しない書き方をしていて、そのままPythonに書き直すのが難しいため、ChatGPTに助けてもらって移植を行ってみよう、と考えました。 今回のポイント 変換にあたって、Node.jsで変数の値をインクリメントする「index++」という記述が、Pythonには存在しません。 同じように変数の値をインクリメントする場合、Pythonでは「index += 1」という記述にする必要があります。 それで今回のソースコードですが、関数の引数を指定するところでインクリメントの、しかもやや複雑な記述が存在していました。 num = this.#tran
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
生成AIの飛躍的性能アップの秘密「グロッキング」とは？
ChatGPTなどの優れたAIモデルを開発するAI研究団体のOpenAIが発見した、ディープラーニングにおける最も魅力的な謎のひとつとされる「グロッキング」について、GoogleのAI研究者が位相変化との関係を指摘しています。 [2301.05217] Progress measures for grokking via mechanistic interpretability https://arxiv.org/abs/2301.05217 A Mechanistic Interpretability Analysis of Grokking - AI Alignment Forum https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokk
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米Google Researchと米UC Berkeleyの研究チームが発表した論文「DreamFusion: Text-to-3D using 2D Diffusion」は、テキストから3Dオブジェクトを生成するシステムを提案した研究報告だ。事前に学習したテキストから2D画像を生成する拡散モデルを用いて、テキストから3次元への合成を実行する。 テキストを条件に2D画像を生成するモデルは現在、高忠実度で多様かつ制御可能な画像合成をサポートしている。これらモデルの品質向上は、大規模な画像-テキストデータセットとスケーラブルな生成モデルアーキテクチャからもたらされる。 特に拡散モデルは、安定し
以下の要件に沿う、AWS Lambdaで利用できるコードを生成してください。 ## 要件 - Python 3.10で記載すること - 指定のS3バケットに格納されたファイル一覧と合計ファイルサイズを、Slackの特定のチャンネルに通知する - 前日の0:00から23:59までに格納されたものを、当日08:00に通知する import boto3 import datetime import json import logging import requests # 設定 S3_BUCKET_NAME = "your-s3-bucket-name" SLACK_CHANNEL_ID = "your-slack-channel-id" SLACK_WEBHOOK_URL = "https://hooks.slack.com/services/your-slack-webhook-url" #
ChatGPTが答えられない質問でも強引に聞き出す「ジェイルブレイク」が可能になる会話例を集めた「Jailbreak Chat」
「人間並みに自然な文章で入力したテキストに応えてくれる」ことで話題となったOpenAIの対話型AI「ChatGPT」はオンラインで一般公開されており、基本無料で誰でもアクセスできます。ChatGPTの作成するテキストには制限がかけられていますが、テキスト入力によって巧妙に制限を外す「ジェイルブレイク(脱獄)」が一部ユーザーによって試みられており、以下の「Jailbreak Chat」にそのプロンプトがまとめられています。 Jailbreak Chat https://www.jailbreakchat.com/ ジェイルブレイク用のプロンプトとは、ChatGPTと会話を始める前段階として一番最初に入力するテキストのこと。このJailbreak Chatは、ワシントン大学でコンピューターサイエンスを学ぶアレックス・アルバート氏がまとめたページです。 Jailbreak Chatにアクセスする
ChatGPTの開発元OpenAIが「10年以内にAIがほとんどの分野で専門家のスキルレベルを超える」という懸念に基づき「超知能AI」の登場に備えるべく世界的な規制機関を立ち上げる必要があると主張
現地時間の2023年5月22日、対話型AI「ChatGPT」や大規模言語モデル「GPT-4」などを開発したAI研究団体のOpenAIが、専門家のスキルレベルを超え、高度な生産活動を行うAI「超知能(Superintelligence)」の登場を予期し、AIの安全な開発を進めるためには国際的な規制機関の立ち上げが必要になると提唱しています。 Governance of superintelligence https://openai.com/blog/governance-of-superintelligence 2023年5月22日にOpenAIはサム・アルトマンCEOやグレッグ・ブロックマン氏、イリヤ・スツケバー氏の連名で、AI研究における国際的な監視組織や規制機関を立ち上げる必要があると提唱しました。 Initial ideas for governance of superintel
ChatGPT Code Interpreterで画像編集をしてみる - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 先日、以下のように、ChatGPTのCode Interpreterを用いて、画像データを加工する記事を書きました。 その際は、リサイズや画像の切り抜きなど、基本的な加工ができることを確認しました。 今回は、画像編集ソフトで行うような、より高度な画像処理を実施してみたいと思います。 acro-engineer.hatenablog.com 利用する画像は前回記事と同様、以前撮影した富士山の写真を使いたいと思います。 画像処理/加工 今回、以下のような画像処理／加工を実施してみました。 ガンマ補正を適用し画像を明るくする CLAHEを適用しコントラストを調整する シャープネスを向上させる ノイズ除去を適用する ガンマ補正を適用し画像を明るくする ガンマ補正は、画像の明るさを非線形に調整するための手法です。 一番単純に画像を明るくする方法は、
GPT-4の半分以下の計算でほぼ同等なIQを持つパーソナルAI「Pi」と基盤モデル「Inflection-2.5」が登場
AI企業・Inflectionが開発している生成AI「Pi」は、ユーザーひとりひとりに最適化された「パーソナルAI」です。そんなPiの能力を飛躍的に向上させた基盤モデルである「Inflection-2.5」をInflectionが発表しました。 Inflection-2.5: meet the world's best personal AI https://inflection.ai/inflection-2-5 PiはAndroidやiOSのスマートフォン、ブラウザなどを通じて会話する事が可能なAIで、日本語にも対応しています。 Inflectionによると、Piはデイリーアクティブユーザー数100万人、月間アクティブユーザー数400万人の利用者を抱えているとのこと。また、平均会話時間は33分で、10人に1人は1時間以上話し込んだり、使ったユーザーの60％は翌週にまたPiを使っていたり
GitHub、コードの脆弱性を発見後、修正コードまで自動生成してくれる「Code scanning autofix 」発表。GitHub Universe 2023
GitHub、コードの脆弱性を発見後、修正コードまで自動生成してくれる「Code scanning autofix 」発表。GitHub Universe 2023 GitHubの年次イベント「GitHub Universe 2023」が米サンフランシスコで開幕。1日目の基調講演で、GitHub Copilotが脆弱性のあるコードを自動的に修正してくれる「Code scanning autofix 」を発表し、発表と同時にプレビュー公開となりました。 Copilotには以前からコードの脆弱性を発見する「GitHub Advanced Security」と呼ばれる機能が備わっていました。 これはXSS（クロスサイトスクリプティング）などのコードのロジックなどの潜在的な脆弱性や、漏洩すると大きな事故を引き起こすシークレットがコード内に含まれていないか、などをチェックしてくれる機能です。 今回発
機械学習でアルゴリズムを構築する上で重要なのが「データセット」です。アルゴリズムの精度を上げるためにはより多くのデータと時間が求められますが、十分に大規模なデータセットを集めたり探したりするのは機械学習を行う上で特に苦労するポイント。そんなデータセットをオンライン上から検索できる「Dataset Search」の正式版をGoogleが公開しました。 Dataset Search https://datasetsearch.research.google.com/ Discovering millions of datasets on the web https://blog.google/products/search/discovering-millions-datasets-web/ Dataset Searchにアクセスするとこんな感じ。 データセットを検索するには、入力欄に検索した
プロンプトを遺伝的アルゴリズムで自動最適化するプロンプトエンジニアリング手法『Promptbreeder（プロンプトブリーダー）』 | AIDB
関連研究 ■GPT-4などのLLMに「自らの論理的な整合性をチェック」させるフレームワーク『LogiCoT』と実行プロンプト ■LLMの出力から誤り（ハルシネーション）を減らす新手法『CoVe（Chain-of-Verification）』と実行プロンプト ■LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法 従来の課題 手作りのプロンプト戦略 現在、プロンプトエンジニアリングの分野で広く用いられているChain-of-Thought（CoT）やその派生テクニックは、基本的には手作りです。特定のタスクや問題に対して最適なプロンプトを設計する際に、人の専門家が手動でプロンプトを生成しています。 自動化の必要性 手作りのアプローチは効果的である場合も多いですが、スケーラビリティに欠けるという問題があります。大規模言語モデル（LLM）が多様なタスクで使用される現代においては、プロン
大半のパスワードを1分以内にクラッキングできるAI「PassGAN」が登場、どんなパスワードであればPassGANでも解析不可能なのか？
サイバーセキュリティ企業のHome Security Heroesが、ニューラルネットワークでパスワード予測を行うAI「PassGAN」を使って実際のパスワードを解析する実験の結果を発表しました。それによると、一般的なパスワードのおよそ半分が1分で、65％が1時間で解析できてしまったとのことです。 2023 Password Cracking: How Fast Can AI Crack Passwords? https://www.homesecurityheroes.com/ai-password-cracking/ 通常、パスワードの解析に使われるパスワード推測はシンプルなデータ駆動型のツールが使われます。つまり、膨大なデータを元にパスワード分析を行うというやり方で、こうした方法は小規模で予測可能なパスワードの場合は効率的に解析可能ですが、サンプルサイズが大きくパターンが複雑になって
「初代iPhoneと同等の衝撃」と評されるOpenAIの次世代言語モデル「GPT-4」が2023年3月発表予定、画像認識機能や多言語対応の強化が実現か
2023年3月9日にドイツで開始された「AI in Focus – Digital Kickoff」と題したイベント内で、Microsoftドイツ法人のアンドレアス・ブラウンCTOが、AI開発団体のOpenAIが開発した次世代大規模言語モデル「GPT-4」が来週にも発表されることを明らかにしました。ブラウン氏はGPT-4を「ゲームチェンジャー」と評しています。 GPT-4 is coming next week – and it will be multimodal, says Microsoft Germany | heise online https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html ブラウン氏は2023年
米Microsoftら、“コーディング専用”大規模言語モデル「WizardCoder」開発 文章から高品質なコード出力
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftや香港浸会大学に所属する研究者らが発表した論文「WizardCoder: Empowering Code Large Language Models with Evol-Instruct」は、米Hugging Faceが5月に発表したCode LLM（コーディング専用大規模言語モデル）「StarCoder」を軽量で高精度に強化する手法を提案した研究報告である。リポジトリはこちら。 コード生成に関連する課題に取り組むため、多数のCode LLMが提案されている。これらのCode LLMは、大量のコードデータを使用して事前学
コミュニケーションや行動などに特徴がみられる自閉症スペクトラム症(ASD)の子どもを「網膜の写真」だけで100％の精度で見分けられるディープラーニングAIモデルを、韓国の延世大学医学部の研究チームが開発しました。ASDの子どもを早期診断する客観的なスクリーニングツールとして、AIが有望な選択肢になる可能性があると期待されています。 Development of Deep Ensembles to Screen for Autism and Symptom Severity Using Retinal Photographs | Ophthalmic Imaging | JAMA Network Open | JAMA Network https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2812964 AI-screene
カリフォルニアのスタートアップであるStability AIによる「Stable Diffusion」や、Discordのコマンドを利用する「Midjourney」、アニメなどのイラストに特化した「NovelAI」のほか、Adobeが発表した著作権的にクリアな「Adobe Firefly」など、さまざまな画像生成AIが普及しています。画像生成AIはプロンプトを入力するだけでかなりリアルな人物や高クオリティなキャラクターイラストを生成できますが、AIが苦手としている表現やパーツもあり、中でも「人間の手」を描くのに失敗するケースが多くなっています。なぜAIは手を正しく描くことが得意ではないのかというメカニズムを、オンラインメディアのVoxが解説しています。 Why AI art struggles with hands - YouTube 画像生成AIによる人物やキャラクターはかなり高クオリテ
はじめに データアナリティクス事業本部 BIチームのkariyaです。 ChatGPTではテキストでのやり取りになりますが、どうにかして図を作成してもらうことはできないかと思いER図の作成を依頼してみました。 なお、ChatGPT(無料プラン)での実行結果を記載しています。 欲しいER図 小売業の一般的なデータを持っている 各テーブルの中に、複数のデータ項目（列）を持っている データ分析がしやすい、スタースキーマの構造になっている やってみる まずはやりたいことをそのままお願いしてみます。 入力 下記の条件を満たすER図を作成してください。 ・小売業の一般的なデータを持っている ・各テーブルの中に、複数のデータ項目（列）を持っている ・データ分析がしやすい、スタースキーマの構造になっている 出力 画像のアップロードサイトのリンクが貼られたようですが、閲覧できませんでした。 他の手段で出力で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？
Meta、新音声生成AIモデル「Voicebox」 短い音声から自在に声を生成
AIの第一人者ルカン氏、現在のアプローチの多くは真の知能につながらないと批判
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
Google、コード生成や補完のAIモデル「Codey」が日本語での指示や説明に対応したと発表
インターネット上の文章にわざと誤字脱字をまぎれこませることでAIを狂わせるサイバー攻撃の可能性
AIが生成した画像のもとになった画像の帰属を示すサービス「Stable Attribution」
サイバーエージェント、AI開発手法「MLOps」の研修資料を無償公開 全140ページ
会話型AIが成長すると突然「新しい能力」を獲得すると判明！ - ナゾロジー
AIが人間に反乱しないよう「道徳」を実装すべきか。京大の哲学者・出口康夫が本気で考えて示した結論｜FINDERS
3年間で17人の医師が見つけられなかった少年の痛みの原因をChatGPTが特定することに成功
「校閲・校正ができるAI」登場 “てにをは”や誤字脱字をチェック 「保証」と「補償」の違いも理解
【保存版】オープンデータ・データセット100選 -膨大なデータを活用しよう！ | AI専門ニュースメディア AINOW
Googleの無料AI講座受けてみた 1時間で機械学習の基礎がわかる | Ledge.ai
文章から“3Dモデル”をAIが生成 米Googleなどが「DreamFusion」を開発
【性能比較】日本語対応したBard(バード)とGPT-4の出力を比較してみた - Qiita
Googleが機械学習用のデータセットをインターネット上から検索可能な「Dataset Search」を正式公開
大規模言語モデルが“目”を持つとどうなる？ グーグルによるデモの内容は
AIモデルは「網膜の写真」だけで子どもが自閉症かどうか100％見分けられるという研究結果
なぜAIは「手」を描くことを苦手としているのかをアートと工学の専門家が解説
ChatGPTにER図を作成してもらってみた | DevelopersIO