マイクロソフト、軽量かつ高性能な大規模言語モデル「phi-1」を発表
Microsoft ResearchのAI研究チームは6月20日（現地時間）、わずか13億パラメーターと従来のものよりもサイズが小さいにも関わらず「GPT-3.5（1750億パラメーター）」を上回る成績を収めたTransformerベースの大規模言語モデル「phi-1」を発表した。このモデルは間もなく「Hugging Face」で公開される予定だといいう。 ベンチマークでGPT-3.5を凌駕 「Textbooks Are All You Need」と題された研究論文によると、このモデルは8台のA100（NVIDIAの高性能GPU）でわずか4日間かけて訓練され、インターネット上から取得した60億トークンの「教科書品質」データセットと、GPT-3.5で生成した10億トークンの微調整用「練習問題」データセットが使用された。 サイズが小さいにもかかわらず、phi-1はLLMの性能を測定するためのベ
大規模言語モデルを化学ツールで拡張：新フレームワーク「ChemCrow」の登場 | AIDB
本記事では、化学者や研究者が化学に関連する問題を解決するための新たなフレームワーク「ChemCrow」について紹介します。スイス連邦工科大学やIBMリサーチなどによる共同研究で開発されたこのフレームワークは、大規模言語モデル（LLM）を化学ツールで拡張し、化学に関連する問題を解決する能力を向上させます。 参照論文情報 タイトル：ChemCrow: Augmenting large-language models with chemistry tools 著者：Andres M Bran, Sam Cox, Oliver Schilter, Carlo Baldassari, Andrew D White, Philippe Schwaller 所属：EPFL、University of Rochester URL：https://doi.org/10.48550/arXiv.2304.05
Stable Diffusionなどの画像生成AIが出力する画像に電子透かしを埋め込んで追跡可能にする技術「Tree-Ring Watermarks」が提案される
「画像に透かしを入れる」と聞くと、人間が制作したコンテンツの転載や悪用を防ぐためのものだと認識している人が多いかもしれませんが、近年はAIが生成したコンテンツに透かしを入れて帰属を示す試みも進行中です。新たに、AIが生成した画像を追跡可能にする「Tree-Ring Watermarks(年輪透かし)」という技術を、メリーランド大学の博士課程でコンピューターサイエンスを研究しているユーシン・ウェン氏らが発表しました。 [2305.20030] Tree-Ring Watermarks: Fingerprints for Diffusion Images that are Invisible and Robust https://arxiv.org/abs/2305.20030 GitHub - YuxinWenRick/tree-ring-watermark https://github.c
ChatGPTのような高性能言語モデルを生み出した技術はどんな仕組みなのか？をAI企業のエンジニアが多数の図解でゼロから解説
OpenAIが開発したChatGPTをはじめ、さまざまなAIが人間レベルの会話を行ってくれるようになりました。そうしたチャットAIがどのような技術で成り立っているのかをAssemblyAIのエンジニアであるマクロ・ランポニさんが知識ゼロでもわかる丁寧さで解説しています。 The Full Story of Large Language Models and RLHF https://www.assemblyai.com/blog/the-full-story-of-large-language-models-and-rlhf/ ChatGPTがリリースされてから1億人以上に利用されるまでにかかった月数はなんとたったの2カ月。とんでもないスピードで普及していきました。 ChatGPTのヒット以降、さまざまなチャットAIが登場していますが、それらのチャットAIは「言語モデル」という技術によって
ChatGPTを使う前に知っておくべき「何を学習しているか」
万能の人工知能と称賛するような記事も度々見かける対話型AIサービス「ChatGPT」は、2022年11月30日にOpenAI社から発表されてからまだ８カ月だ。サム・アルトマン最高経営責任者（CEO）は、今年４以降、日本をはじめフランス、英国、ドイツ、欧州連合（EU）、インド、韓国などを次々と訪問し、各国の首脳と面会して自社の技術をアピールするとともに、各国で議論されているAIを規制しようとする動きを牽制している。 すでに、EUではAIを包括的に規制するAI法修正案が５月14日に可決している。この修正案には、ChatGPTなどを含む生成AIサービスを提供する企業にAIの学習に使用する著作物の開示を求めることなどが盛り込まれている。 アルトマン氏は「EUの規制は厳し過ぎる」として、事業撤退も視野に入れているようだ。一方、日本へは４月以降に２度も訪問しており、ChatGPTの活用を推奨する企業経
改正電気通信事業法が施行だけど、またしても何も知らなかったWebサイトやアプリ運用者のために書いておくぜ - フジイユウジ::ドットネット
2023年6月16日 から改正電気通信事業法が施行なんですけど知ってました？ これ、収益目的なら企業運営でも個人運営でもほとんどのWebサービス・スマホアプリが対象という、めちゃめちゃ広範囲にみんなが対応が必要なやつなんですけど、ヤバくない? 何もしてなくない? やっべえなというWEBサイト担当者/アプリ開発者が結構いそうな雰囲気がいんたーねっつから漂ってまいりました。 企業のオウンドメディアや、個人運営のアフィリエイト目的サイトなんかも対象になる場合があって、メディア系サイトはもちろんアプリ開発者にも影響ある感じですので、やるべき内容をブログにしたためておきます。 ※ぼくは法律の専門家ではないので、ちゃんと総務省の公式ドキュメントなどにも当たってくださいね。 ググると「外部送信規律」とか「電気通信事業者又は第三号事業を営む者」とか専門用語の記事ばっかり出てきて自分が何をしたらいいのかの情
養護老人ホームって何？ 特別養護老人ホームとの違いは？ | 介護 | ファイナンシャルフィールド
（公益社団法人 全国老人福祉施設協議会のパンフレットから引用） 入所を希望する方は、市区町村の役所・役場窓口、居宅介護支援事業所、地域包括支援センター、民生委員、養護老人ホームなどに相談すると良いでしょう。入所の申し込みはお住まいの市区町村の役所・役場窓口で行います。 申し込みが行われると、市区町村が本人、その扶養義務者等に係る養護の状況、心身の状況、生計の状況その他必要な事項について調査が行われます。入所判定委員会が調査および本人の健康診断等に基づいて、措置の要否を判定します。入所判定委員会の報告により、市区町村長が入所措置の要否を決定します。 公益社団法人全国老人福祉施設協議会の調査を見ると、「措置を行うことで財政支出を懸念する市区町村が措置に消極的となり、結果的に福祉的支援を必要としているにもかかわらず措置される方（入所者）が少なくなる、いわゆる「措置控え」といわれる問題が長年指摘さ
SQLのCASE式の使い方を基礎からUPDATE文での応用まで初心者向けに解説 - TECH PLAY Magazine
SQLのCASE式は、クエリ内で条件分岐や結果の変更が必要な場合に使用されます。CASE式の基本的な使い方から入れ子にする方法やLIKE演算子を使った応用などを解説します。 SQLのCASE式は、条件に基づいて結果を返す式です。データベース内のテーブルやクエリの結果に基づいて、特定の条件を満たす場合に異なる結果を取得する際に使用されます。 CASE式は通常、SELECT文やUPDATE文などのSQLクエリの中で使用され、クエリの柔軟性を高め、条件に応じた操作や結果の取得を容易にするための強力なツールです。 データの条件に応じて動的な結果を生成するため、データの加工や条件付きの値の置換にも役立ちます。 初めてSQLを学ぶ人にとってもCASE式は非常に便利な機能であり、基本的なデータ操作において頻繁に使用されますので覚えておきましょう。 CASE式の基本的な使い方 SQLのCASE式は、条件に
大規模言語モデルの開発者が知っておくと役立つさまざまな数字
Googleの人工知能部門の責任者を務めるスゴ腕エンジニアのジェフ・ディーンがかつて作成した「すべてのエンジニアが知っておくべき数字」に習って、「大規模言語モデル(LLM)の開発者が知っておくべき数字」が元Googleのエンジニアだったワリード・カドスさんによってまとめられています。 ray-project/llm-numbers: Numbers every LLM developer should know https://github.com/ray-project/llm-numbers ◆プロンプト編 40-90％：プロンプトに「簡潔に」を追加することで節約できる量 LLMの返答はトークン単位で課金されるため、LLMに簡潔に返答するよう要求すると大幅にコストを削減可能です。単にプロンプトに「簡潔に」を追加するだけでなく、例えば10個の案を出すというプロンプトを行う時に代わりに5個
GPUメモリが小さくてもパラメーター数が大きい言語モデルをトレーニング可能になる手法「QLoRA」が登場、一体どんな手法なのか？
GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。そんな中、メモリの消費量を激減させつつ少ないデータでトレーニングできる手法「QLoRA」が登場しました。 [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art
Microsoftがたった13億のパラメーターでGPT-3.5超えのHumanEval50.6％をたたき出す「phi-1」を発表
LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。 [2306.11644] Textbooks Are All You Need https://doi.org/10.48550/arXiv.2306.11644 Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa https://analyticsindiama
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT超入門：たくさんあるAIチャットツールどう使う? 注意点は?
家庭用ルーターがサイバー犯罪者に悪用される可能性!? 警視庁が公開した対策方法で設定を見直そう【セキュリティ対策をしよう！】