You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

🤗 Try the pretrained model out here, courtesy of a GPU grant from Huggingface! Users have created a Discord server for discussion and support here 4/14: Chansung Park's GPT4-Alpaca adapters: #340 This repository contains code for reproducing the Stanford Alpaca results using low-rank adaptation (LoRA). We provide an Instruct model of similar quality to text-davinci-003 that can run on a Raspberry

ICLR22 大規模モデルを高速かつ低消費メモリでfine-tuningする新たな手法 HypernetworksのようにTransformerの各層に学習可能なパラメタを挿入する (Adaptation層) しかし，重みを固定するにしてもAdaptation層を学習させるためにはGPUに載せないと意味ないので，結局時間が掛かってしまう そこで，新たな学習手法としてLoRAを提案 LoRAでは，重み $W\in \mathbb{R}^{d\times k}$の差分 $\Delta W$を学習させる． また $\Delta W$を低ランクの行列 $B \in \mathbb{R}^{d\times r}$と $A \in \mathbb{R}^{r\times k}$に分解する． (どちらも学習対象) $$y = (W+\Delta W)x = (W + BA)x$$ encoder-dec

みなも データ分析に強くなるためのポイントを解説します。Excelを用いた統計分析や、テキストマイニングツール、BIツールの情報を中心にお届けします。

最近話題になった大規模言語モデルをまとめました。 1. クラウドサービス1-1. GPT-4「GPT-4」は、「OpenAI」によって開発された大規模言語モデルです。 マルチモーダルで、テキストと画像のプロンプトを受け入れることができるようになりました。最大トークン数が4Kから32kに増えました。推論能力も飛躍的に向上しています。 現在、「ChatGPT Plus」(有料版)で制限付きで利用できる他、ウェイトリストの登録者を対象に「OpenAI API」での利用も開始しています。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Metaの大規模言語モデル「LLaMA」の7Bモデルに微調整を行った、オープンソースでよりよい命令追従性を実現した大規模言語モデル「Alpaca 7B」をスタンフォード大学の研究チームが公開しました。Alpacaを用いると、GPT-3.5に似た動作を、はるかに小さな環境で簡単・安価に再現することができます。 Alpaca: A Strong Open-Source Instruction-Following Model - Stanford CRFM https://crfm.stanford.edu/2023/03/13/alpaca.html Stanford Alpaca, and the acceleration of on-device large language model development https://simonwillison.net/2023/Mar/13/a

「Alpaca」の学習方法について軽くまとめました。 1. Alpaca「Alpaca」は、「LLaMA 7B」(Meta)をファインチューニングした言語モデルです。「text-davinci-003」による「self-instruct」で生成された52Kの命令追従型の学習データを使って学習しています。「Alpaca」はOpenAIの「text-davinci-003」に似た挙動を示しますが、驚くほど小さく再現が容易で安価であることが特徴です。 また、「Alpaca」は学術研究のみを目的としており、商用利用は禁止しています。 2. 学習済み言語モデル と 学習データアカデミックな予算で高品質な言語モデルを学習させるためには、「強力な学習済み言語モデル」と「高品質な学習データ」が必要です。 1つ目は、最近リリースされたMetaの「LLaMA」で解決されます。2つ目は、「self-instru

画像生成AI「Stable Diffusion」などの有名AIでも利用されているPython向け機械学習ライブラリ「PyTorch」のバージョン2.0が正式リリースされました。PyTorch 2.0は後方互換性を保ちつつ、処理速度が大幅に向上しています。 PyTorch 2.0: Our next generation release that is faster, more Pythonic and Dynamic as ever | PyTorch https://pytorch.org/blog/pytorch-2.0-release/ Release PyTorch 2.0: Our next generation release that is faster, more Pythonic and Dynamic as ever · pytorch/pytorch · GitHub

pandasはPythonでデータ処理を行う際に便利なライブラリ。本書ではこのpandasを使ったプログラミングを学べる問題を、9つのトピックにわたって51問収録しています。 【問題例】 列ごとに昇順／降順を変えて確認するには 日時から週の開始日の列を作成するには 値によってスタイルを変えるには 実務でよく行うデータ処理のお題を解くことで現在の自分の理解度を確認でき、模範解答を読むことで効率のよいプログラミングの方法を学べます。また、用意された別解ではほかの考え方や方法も学べるため、データ処理のコーディングの幅が広がります。 入門書だけでは得られない実践的な力を身につけたい方は、ぜひ試行錯誤しながら取り組んでみてください。 目次 Prologue PyQでPythonやpandasを学ぶ 第0章 本書の使い方 第1章 pandasの基礎知識 第2章 データを入出力しよう 第3章 データの概

openai-cookbookのサンプルコードを実行してみました。openai-cookbookはOpenAI の公式リポジトリの一つで OpenAI API で一般的なタスクを実行するためのガイド＋サンプル コード集です！ お疲れさまです。とーちです。 連日、ChatGPT 関連のニュースで盛り上がってますね。 私も OpenAI の API を使ってなにか作ってみたいと思っていたところ、社内からの情報で、 openai-cookbookという git リポジトリがあることを知ったので試してみました。 上記のリポジトリは OpenAI の公式リポジトリの一つで OpenAI API で一般的なタスクを実行するためのガイド＋サンプル コード集となっています。 Guides & examples を読んでみる リポジトリのトップページのGuides & examplesから読み進めていくこと

言語モデルのChatGPTや画像生成AIのDALL·Eを手がけるAI研究所のOpenAIは、AI技術の悪用を防ぎ社会に友好的な形で発展させることを目的に、サム・アルトマン氏やイーロン・マスク氏らが2015年に発足させた非営利組織です。そんなOpenAIの創始メンバーに名を連ねるイルヤ・サツキヴァー氏が、AIをオープンにするという設立当初の理念は誤りだったと、IT系ニュースサイト・The Vergeのインタビューの中で語りました。 OpenAI co-founder on company’s past approach to openly sharing research: ‘We were wrong’ - The Verge https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-il

言語処理学会第29回年次大会(NLP2023) に参加しています。 そこで、予定のプログラムの昼休みをつぶして緊急パネルディスカッションが開催されました。 「緊急パネル：ChatGPTで自然言語処理は終わるのか？」 https://www.anlp.jp/nlp2023/#special_panel 本投稿では、その内容を少しだけ振り返ると共に、私の所感も添えて述べたいと思います。 １．パネルの概要東北大学の乾先生がファシリテーションされながら、以下の方々が5分ずつくらいライトニングトークして、その後残り時間でslackの質問を拾いながらフリー議論という形式でした。 ライトニングトークといってもしっかりプレゼンテーションされていて、それぞれ短時間でご自身のスタンスや考えをまとめられていて、さすがでした。 なお、プレゼンテーションスライドは参加登録者のみの取り扱いで、学会参加者に告知されてあ

大規模なインフラを自由に使えないAI研究者向けに、Metaが「小規模で高性能な言語モデル」を公開：「重要で変化の激しい分野でのアクセスをさらに民主化する」 Metaは、同社開発した言語モデル「LLaMA」（Large Language Model Meta AI）を研究者向けに公開した。「人間の文章生成に似た方法で文章を生成できる」という。

.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

はじめに 2023年3月15日未明、OpenAIから GPT-4がリリースされ、Google CloudからはVertexAIの新機能として Generative AIが追加され、Generative AI App Builderのリリースが発表されました!! 奇しくも同日発表となったそれぞれのサービスに関してリリースドキュメントが公開されているので、要点を絞って両方紹介できればと思います 同時にGenerativeAIに関するサービスが発表されるあたり、この業界（この業界に閉じない可能性の方が高いけど）の歴史の分岐点にいる感じしますね サマリ (GPT-4) GPT-4は多くの学術的ベンチマークで 人間レベル（しかも成績優秀者）の性能を発揮し、既存の機械学習ベンチマークにおいても 他の先端モデルの精度を上回っている GPT-4はマルチモーダルなモデルであり、インプットとして画像とテキスト

こんにちは、クレスウェア株式会社の奥野賢太郎 (@okunokentaro) です。本記事では、GPT-4を使った開発体験について語りたいと思います。 2023年3月14日、GPT-4が発表されました。GPT-4とは、OpenAI社が開発した最新のAI技術で、自然言語処理の能力が従来のGPT-3.5と比較して、さらに向上しています。これにより、文章生成やコーディングの補助といった様々な分野での応用が期待されており、開発者にとっても非常に興味深いツールとなっています。現在は、GPT-4を利用するためにはChatGPT Plusという課金コンテンツに月額20ドルを支払う必要があります。驚くことに、この記事もChatGPTに大半を書いてもらいました。それでは、GPT-4を活用したコーディング体験について紹介します。 AIとのペアプロに近いコーディング体験 筆者はGPT-4公開初日である日本時間の

こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 GPT-4が発表されました。以下の公式の発表情報からGPT-4の概要を見ていきます。 公式情報 GPT-4に関する概要は以下に書かれています。 より詳細な研究内容については以下に詳しく記述されています。 また開発者向けのデモも配信されています。 以降は、これらを元に情報を整理していきます。 概要 GPT-4はその噂通り、大規模なマルチモーダルモデルとして発表されました。 具体的には、画像とテキストの入力を受け付け、テキスト出力を出すモデルとなっています。 （ただし、画像入力はまだ研究段階のプレビューであり、一般には公開されていないようです。） さまざまなベンチマークで人間レベルの性能を発揮し、例えば、司法試験の模擬試験では、受験者の上位10％程度のスコアで合格を達成しています。（一方、GPT-3.

GPT-4にGPT-4の発表を要約させてみた　人間よりも良い記事になるか？　超長文をChatGPTに読ませる方法も（1/4 ページ） 日本時間の3月15日午前2時ごろに発表があった、米OpenAIの大規模言語モデル「GPT-4」。筆者は起床していたので即対応でき、おそらく日本の商業メディアでは最速で記事を掲載できたが、時間との戦いかつ、準備がない深夜の働かない頭で記事を書くのは、大事な点をしっかり網羅できたか不安な部分もあった（いま見返しても問題はないと思うがあったら随時指摘してほしい）。 何より、米国司法試験の模擬問題で受験者上位10％であるとか、日本語を扱わせてもGPT-3.5英語版より性能が高いだとか、とにかくその言語処理性能がずば抜けているという話だ。執筆しつつ、自分という人間が書いていることにやや滑稽さも感じた。 であれば、まずはやってみるのが一番だ。GPT-4はGPT-4の発表

AIがヤバい。今回は本気でヤバい。 既存の仕事は今後どうなってしまうのか。ライター業は、AIに取って代わられるのではないか。 危機感の理由は「GPT-4」だ。米OpenAIが3月14日（現地時間）に公開した、次世代の大規模自然言語モデル。その試用が、AIチャットbot「ChatGPT」の有料版で利用できるようになったので、早速試したところ、たまげた。 以前のバージョン「3.5」は、詳細かつ適切に指示しないと狙った結果が得られなかったのだが、「4」は、雑な指示でも適切な結果を返してくれる。例えば、以下のような感じだ 「ゆかたんかわいい」で「縦読み」を作ってもらった。「縦読み」とは、横書きで意味の通じる文章で、冒頭の文字を縦に読むと別の意味になっている、という言葉遊びの一種だ。前モデルの「GPT-3.5」だと要領を得ない返答だったが、「GPT-4」は一発でこんな答えを示した。 「ゆめのような彼

chat.md 結城浩 こんにちは。今後、GPT-4を使ったアプリケーションやサービスがたくさん登場してくると思います。その中には、たとえばSNSを利用したbotもたくさん出てくるでしょう（現在でもすでにありますけれど）。そこで質問なんですが、SNSでおしゃべりしている相手が、人間なのか、GPT-4などの技術を使ったAIなのかを識別するにはどのような会話をしてみればいいでしょうか。一般的なAIでは難しいかもしれないので、GPT-4に限ってもいいです。あなたの考えを聞かせてください。 ChatGPT Model: GPT-4 GPT-4のような高度なAIと人間を識別するのは、時に難しいことがあります。しかし、いくつかの方法を試してみることで、相手が人間かAIかを見極めることができるかもしれません。 複雑な感情やニュアンスについて尋ねる: AIは感情やニュアンスを理解するのが苦手です。複雑な感

中国百度が、対話型AIサービス「文心一言（アーニーボット）」を発表した。世界的に話題となっている米国の「ChatGPT」の中国版といえるもので、AI分野でも米中の競争が激化しそうだ。 【北京＝三塚聖平】中国インターネット検索最大手の百度は3月16日、対話型の人工知能（AI）サービス「文心一言（アーニーボット）」を発表した。世界的に話題となっている米国の「ChatGPT」の中国版といえるもので、AI分野でも米中の競争が激化しそうだ。 百度の李彦宏（り・げんこう）会長は16日に北京で行った記者会見で、「チャットbot」と呼ばれる自動会話プログラムなどのAIサービスについて「巨大な市場ニーズがある」と強調。文心一言は、質問に文章で回答する他、文章による指示で動画や画像を作成するといった機能があるという。 16日から一部の利用者向けにテストサービスを開始。李氏は「まだ完全な体験ではない」と説明して

今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP

［速報］マイクロソフト、ChatGPTベースの「Microsoft 365 Copilot」を発表。AIがExcelの数字を分析しグラフ化、PowerPointを自動生成、長いメールを要約など マイクロソフトはオンラインイベント「The Future of Work: Reinventing Productivity with AI」を開催し、Microsoft 365にChatGPTベースのAI機能を組み込んだ「Microsoft 365 Copilot」を発表しました。 Microsoft 365 Copilotは今後数カ月以内にWordやExcel、PowerPoint、Outlook、Teamsなどすべてのプロダクティビティ製品群に搭載される予定。利用料金やライセンス形態などは今後発表予定とのこと。 デモで紹介されたMicrosoft 365 Copilotの主なポイントをまとめま

［速報］マイクロソフト、自然言語で誰でもアプリケーション開発が可能になる「Copilot in Power Automate」「Copilot in Power Apps」発表 マイクロソフトはローコードでスマートフォン用の業務アプリケーションを開発する「Power Apps」と、CRMなどの既存の業務アプリケーションを組み合わせて新たな業務アプリケーションを開発できる「Power Automate」にChatGPTベースのAIを組み込んだ「Copilot in Power Apps」および「Copilot in Power Automate」を発表しました。 いずれも自然言語でCopilotに作りたいアプリケーションの内容を伝えると自動的にアプリケーションが生成される機能を備えており、プログラマだけでなく、あらゆるビジネスマンがアプリケーションを開発できるようになると期待されます。 これ

米Microsoftは3月16日（現地時間）、オフィスアプリ「Microsoft 365」の新機能「Microsoft 365 Copilot」を発表した。「ChatGPT」のようにチャットで指示することで、「Word」や「Excel」などの作業をサポートしてくれる。今後数カ月以内に導入予定という（価格やライセンスは近日中に発表予定）。

Humans are hard-wired to dream, to create, to innovate. Each of us seeks to do work that gives us purpose — to write a great novel, to make a discovery, to build strong communities, to care for the sick. The urge to connect to the core of our work lives in all of us. But today, we spend too much time consumed by the drudgery of work on tasks that zap our time, creativity and energy. To reconnect t

ワードやエクセルでGPT-4体験。Microsoft 365 Copilotはこんなことができる2023.03.17 03:0078,929 amito 本日0時にマイクロソフトから｢Microsoft 365 Copilot｣が発表されました。 何が起こったのか簡単に言うと、ワードやエクセル、パワポなど、おなじみのお仕事アプリのほぼすべてにChatGPTのような対話型のAIが埋め込まれました。 ブラウザでChatGPTとお話するより格段に実用的だと思いますこれ。 マイクロソフトはこのAIを｢Copilot（コーパイロット：副操縦士）｣と呼んでいます。お仕事の助手のような存在ってことです。その助手が何をやってくれるのか、マイクロソフトが挙げている例をいくつか紹介します。 Outlookでメールの自動生成送りたいメールのざっくりした内容をCopilotに指示します。例では娘の高校卒業のお祝い