こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回も「Terraformで構築する機械学習ワークロード」ということで、前回の記事ではLambdaを使いましたが、今回はその処理をBatch on Fargateに載せてみたいと思います。 前回記事は以下です。 構成イメージ 構成としては以下のようなものを作成していきます。 前回との違いとしては、まずLambdaの代わりにBatch on Fargateを使う点です。 Fargateのタスク(ジョブ)上のコンテナイメージで物体検出モデルの一つであるYOLOXを動かしていきます。 また、それ以外にもBatchを使用する場合は、S3イベントとBatchの間にEventBridgeが必要となります。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際の

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

【レポート】最新情報：Snowflakeによる機械学習 – Snowflake Data Cloud World Tour Tokyo #SnowflakeDB こんにちは、スズです。 2023年09月08日(金)、ANAインターコンチネンタル東京にて、Snowflake社による日本最大級のデータイベント「Snowflake Data Cloud World Tour Tokyo」が開催されました。 本記事では、『最新情報：Snowflakeによる機械学習』のセッションレポートをお届けします。 セッション概要 スピーカー Snowflake株式会社　セールスエンジニアリング本部　シニアセールスエンジニア　西原 拓未氏 データサイエンティストや機械学習エンジニアがSnowflake上でネイティブに機械学習モデルを開発し、本番適用するために役立つ最新の機能追加について紹介します。 引用元：Da

投資家用・スタートアップ支援用・大学支援用に改良中　更新中）tfidf etc embeddings cluster reconstructing vis:　特許など長文の、動的な文章間類似俯瞰図可視化・迅速閲覧・解析・探索手段。および第三の特許検索手法、動的な知識抽出管理手法、特許自動生成 （類似度ベクトルと小規模言語モデル及びChatGPTを用いた空白領域における特許生成追加）自然言語処理NLP可視化Visualization特許 追記を繰り返しており整合性も取れておらず非常に読みにくい状態です．近日中に再整理します． 技術だけではなく方法論が重要となります。後ろ向きに検証し、前向きに予測することが重要となるでしょう。現在検証中です。 お題をいただけますと助かります。後ろ向き検証ではどうもわかりきったものを恣意的に選んで言えるかもしれない危惧があるところです。 個人的には、会社の方針に

※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 生成 AI は数え切れないほどの方法で私たちの想像力を捉えてきました。それは、人間のような反応をする chatbot だけでなく、まったく新しいユーザー エクスペリエンスを引き出してくれます。さらに、追加の専門的なスキルを必要とする従来の AI ワークロードとは異なり、これらの新しい生成 AI ワークロードは、デベロッパー コミュニティのより多くの開発者が利用できます。アプリケーション デベロッパーが生成 AI アプリケーションの構築に本格的に取り組む際、イノベーションの鍵はモデルそのものだけでなく、その使用方法やモデルの基盤にあるデータにもあります。 このたび、Google は、Google Cloud Next において、運用データを使用したパフォーマンスとスケーラ

2023年8月分のAWSおよびGoogle Cloudの機械学習関連サービスのアップデート情報をお届けします。 データアナリティクス事業本部 インテグレーション部 機械学習チームの鈴木です。 クラスメソッド データアナリティクス通信(機械学習編) の2023年9月号です。2023年8月分のアップデート情報をお届けできればと思います。 はじめに AWSでは、エンドポイント更新オプションの追加やモデルカードのクロスアカウント共有のサポートなどがあり、SageMakerがより広いユースケースに対応したことが伺えました。SageMaker Distribution Dockerイメージにより、ローカル環境・Studioノートブック・SageMakerトレーニングジョブで同じランタイムを使用できるようにもなりました。 Google Cloudでは、Google Cloud Next '23でのアップ

低解像度の音声データを超解像化をする拡散ベースの生成モデル AudioSR が公表されていました。リンク先に変換サンプルなどもあり、音声や自然音、音楽など幅広いジャンルの例が示されています。高い再現度であるようなので、さっそく試してみました。 インストール!pip install git+https://github.com/haoheliu/versatile_audio_super_resolution実行！GPUメモリを16GBくらい消費します。Google Colab無料枠だとメモリが足らなくて動かない感じでした。 !audiosr -i /content/kurumi.wav変換例変換前（サンプリングレート8kHz）

15 times Faster than Llama 2: Introducing DeciLM – NAS-Generated LLM with Variable GQA 1. Introduction As the deep learning community continues to push the boundaries of Large Language Models (LLMs), the computational demands of these models have surged exponentially for both training and inference. This escalation has not only led to increased costs and energy consumption but also introduced barr

Note: This blog post is also available as a documentation page on Transformers. Large Language Models (LLMs) such as GPT3/4, Falcon, and LLama are rapidly advancing in their ability to tackle human-centric tasks, establishing themselves as essential tools in modern knowledge-based industries. Deploying these models in real-world tasks remains challenging, however: To exhibit near-human text unders

「LangChainソースコードリーディング／テーマ：OpenAI Chat APIを『ちゃんと』使う」は、LangChainでOpenAI Chat APIを「ちゃんと」使うことをテーマとして、ソースコードリーディングを実施する勉強会です。ここで大嶋勇樹氏が登壇。続いて、Memory機能がChat APIをちゃんと使っているかを実際のソースコードから確認します。 LangChainにはなぜMemoryという機能があるのか 大嶋勇樹氏：続いて、OpenAI Chat APIを「ちゃんと」使うには、ということをもう少しやっていこうと思います。 ここではLangChainのMemory機能を扱おうと思いますが、LangChainにはMemoryという機能があります。なぜそんな機能があるのかの背景からいきます。 そもそも、LangChainなしのOpenAIのAPIというものは、前回のやり取りを

Open Interpreterのライセンス、バージョンアップのタイミングでMITからAGPL-3.0に変更されていますので注意ください。 Open Interpreterが凄い 凄いの出ちゃいましたね。Open Interpreterの凄さとか、可能性とかは、以下のshi3zさんのブログ記事で感じていただければと思います。こういうエモい文章はshi3zさん最高に上手ですね。 自分としては、Advanced Data Analysis（旧ChatGPT Code Interpreter）を触っていて「こりゃ凄いな」と思っていたものの、少し制約に窮屈さを感じていたところだったのでバッチリのタイミングでした。 Open InterpreterをDocker環境を動かす Open Interpreter凄いのですが、問題は凄すぎる点ですね。ガンガンコマンドを実行するので、ローカルで動かしたら凄い

TR:TL 最近、日本語のLLMが続々公開されているが、各LLMが何文字まで生成可能なのかを知りたい。 Rakudaのデータで各LLMのトークナイザーの「1トークンあたりの文字数」を調べた。 標準的な日本語特化のLLMでは2.0~2.6文字/トークン程度、一方で、GPT-4/3.50.96文字/トークン程度。 背景 最近、日本語でも使えるLLMが続々と公開されています。特に、GPT-3.5-turboやGPT-4は、8192トークンという大きい最大トークン長を誇っています。一方で、LINEのjapanese-large-lmなどの2023年時点で公開されている公開されている日本語LLMの多くは、2048トークンが最大トークン数になっている場合が多いです。額面上、LINEのLLMは、OpenAI GPT-3.5の1/4の長さのテキスしか生成できないように見えますが、それぞれのトークナイザーは

Azure OpenAI Serviceを使ったほうがいい場合 Azure OpenAI Serviceを使ったほうがいい場合は4パターン考えられます。 1.独自のプロンプトやコンプリーションを追加したい場合 Azure OpenAI Serviceにはカスタムモデルという機能が存在しており、GPT-3.5やGPT-4に対して独自のプロンプトやコンプリーション（プロンプトに対するAIの応答）を追加することが可能です。これは「社内独自の業務知識をもったチャットボットを顧客に用意するとき」などに役立ちます。 プロンプトやコンプリーションは以下のようにJSON形式で追加でき、特に数学の知識がなくてもカスタマイズ可能です。 json {"prompt": "地球は太陽の周りを何日で一周しますか？", "completion": "約365.25日"} {"prompt": "地球は太陽の周りを何時

はじめに ChatGPTが公開されて半年以上が経過し、そのユーザは急激に増えて世界的に普及しましたが、その一方でユーザの一部からは「ChatGPTは性能劣化したのではないか」という疑問が出てきました。同AIの性能に関しては、生成された回答と人間が作成したそれとの違い、さらには政治的トピックに対する回答の党派性などといった疑問も生じます。 最近、以上のような疑問について調査した論文が発表されました。それらは、以下のような3つの問題を論じています。 疑問1：ChatGPTの性能は、経年変化しているのか。 疑問2：（Stack OverFlowに掲載された質問に対する回答のような）特定のトピックに関するChatGPTの回答はどのような特徴を持っており、人間が作成したそれとどのような違いがあるのか。 疑問3：ChatGPTを含めた言語モデルは、政治経済的トピックに関して何らかの党派性をもった回答を

9月6日に公開された Open Interpreterは、現在世界で最も注目を集めるGitHubのリポジトリです。公開から2日でデスクトップアプリの早期アクセスウェイトリストには5000人、さらにDiscordでのコミュニティ参加者は500人を超え、レポジトリには9月15日現在で、レポジトリには20K以上のスターが付いています。このツールは、自然言語の指示でさまざまなコードを書き、実行することができ、日常の作業を劇的に効率化します。この記事では、Open Interpreterという新時代のAIの力で、あなたの仕事もプライベートも次のステージへと進化させるための「活用事例25選」をご紹介していきます。 Open Interpreter の基本的な機能・情報はこちらの記事に分かりやすくまとめてくださっていますので、こちらもぜひご覧ください!! 👉 Today I’m launching O

MicrosoftのAI研究部門が2020年7月にオープンソースのAI学習モデルをGitHubのリポジトリに公開した際に38TBにおよぶ機密データを漏えいしていたことを、クラウドセキュリティ企業のWizが公表しました。機密データにはパスワードや秘密鍵、3万件を超えるMicrosoft Teamsの内部メッセージが含まれていました。 38TB of data accidentally exposed by Microsoft AI researchers | Wiz Blog https://www.wiz.io/blog/38-terabytes-of-private-data-accidentally-exposed-by-microsoft-ai-researchers Microsoft mitigated exposure of internal information in a

In July we shared with this audience that OpenAI Whisper would be coming soon to Azure AI services, and today – we are very happy to announce – is the day! Customers of Azure OpenAI service and Azure AI Speech can now use Whisper. The OpenAI Whisper model is an encoder-decoder Transformer that can transcribe audio into text in 57 languages. Additionally, it offers translation services from those l

日米の一般ビジネスパーソンに対して、データサイエンティストの認知・理解を調査データサイエンティストの認知率は、日本：25.1% アメリカ：63.6%、興味を持つ人は、日本：32.4% アメリカ：39.2%で、アメリカでは職種として浸透、日本でも興味を持つ人は多い 一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：高橋 隆史、以下 データサイエンティスト協会）は、日本とアメリカに在住の一般就労者向けに実施したデータサイエンティスト（以下 DS）の認知・理解に関する調査結果を発表しました。 ＜調査結果のまとめ＞ DSの認知率は、日本：25.1% アメリカ：63.6%で、アメリカではDSは一般に広く浸透した職種 DSという職種に就労することへの興味は、日本：32.4% アメリカ：39.2%で、日米間の差は小さい 所属企業にDSがいる割合は、日本：8.1% アメリカ：32.4%

この記事は、私が参加しているオンラインセミナー「統計検定準一級勉強会」の講義ノートです。セミナーで使用しているテキスト「統計学実践ワークブック」は統計学のエッセンスを簡潔にまとめている良書ですが、数式などは結果のみで導出方法が記載されていないので、この記事で、できるだけフォローしました。このテキストを使用して勉強している人の理解の手助けに少しでもなれば幸いです。間違いや助言があればご指摘していただくとありがたいです。 $$ \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm arg~min}\limits} $$ 23 判別分析（その１） フィッシャーの判別分析 ここでは、テキストP.203～P.204に沿って、フィッシャーの線形判別関数の導出を行います。テキストには ベクトル

株式会社ブレインパッドの2023年新卒研修資料です。基礎統計学について扱っています。

PRESS RELEASE 2023年9月15日 富士通株式会社 The Linux Foundation 富士通の自動機械学習技術とAI公平性技術が、Linux Foundationのオープンソースプロジェクトとして始動 富士通株式会社（注1）（以下、富士通）は、世界中の開発者の技術活用によるAIのさらなる普及と発展を目的に、The Linux Foundation（注2）（以下、Linux Foundation）に対し、これまで独自開発してきた自動機械学習技術とAI公平性技術をオープンソースソフトウェア（OSS）としてプロジェクト提案し、それぞれ新プロジェクト「SapientML（セイピエントエムエル）」と「Intersectional Fairness（インターセクショナル フェアネス）」として2023年8月24日までに承認されました。これら2つのAI技術は、2023年9月19日から

AI研究者として知られるデミス・ハサビス氏が率いる、GoogleのAI開発部門・Google DeepMindが、開発中のAI「Gemini」のリリースが近づき、一部企業に初期バージョンへのアクセスを許可したことが報じられています。 Google Nears Release of Gemini AI to Challenge OpenAI — The Information https://www.theinformation.com/articles/google-nears-release-of-gemini-ai-to-rival-openai Google nears release of AI software Gemini - The Information | Reuters https://www.reuters.com/technology/google-nears-re

英国サイバーセキュリティセンター（NCSC）は2023年8月30日（英国時間）、近年広範に普及する大規模言語モデル（LLM）における2点の脆弱（ぜいじゃく）性を指摘した。 「ChatGPT」「Google Bard」などの大規模言語モデルは、膨大な量のテキストデータで訓練されたアルゴリズムを使用しており、ユーザーのプロンプトに対して驚くほど人間に近い応答を生成できる。しかし、LLMには「プロンプトインジェクション攻撃」や「データポイズニング攻撃」のリスクがあると、NCSCは述べている。 プロンプトインジェクション攻撃とは 関連記事 NVIDIAとSnowflakeが「企業の貴重なデータを生成AIに変えるサービス」を提供開始 NVIDIAとSnowflakeは、生成AIを素早く構築するため提携したと発表した。Snowflakeのデータを使用して生成AI用のカスタム大規模言語モデルを構築できる

OpenAIの対話型AIであるChatGPTは、Googleのコーディング職の試験やロースクールの試験で合格点を記録したり、医師免許試験にも合格したりと、高い精度で回答できる実力がいくつも報告されています。一方で、ChatGPTと英語以外でやりとりしていると、意図がうまく伝わっていないと感じるケースも多くなっています。特に、オンラインで見ることが多くない一部の言語では、論理テストに失敗したり基本的な情報の検索もできなかったりとかなり精度が落ちることが報告されています。 ChatGPT fails in languages like Tamil and Bengali - Rest of World https://restofworld.org/2023/chatgpt-problems-global-language-testing/ ChatGPTは英語やスペイン語といった主要な言語で

かなり高度なクオリティでやりとりができる対話型チャットボットであるChatGPTの登場などにより、人工知能(AI)の発展と流行は大きく加速しています。そのようなAIの発展にどのような懸念事項があるのかについて、最強の囲碁AI「AlphaGo Zero」やタンパク質の立体構造予測AI「AlphaFold」を開発したことで知られるAI研究グループGoogle DeepMindの共同創設者であるムスタファ・スレイマン氏が語っています。 ‘I hope I’m wrong’: the co-founder of DeepMind on how AI threatens to reshape life as we know it | Artificial intelligence (AI) | The Guardian https://www.theguardian.com/books/2023/s

ある企業は「ChatGPTはとてもじゃないが業務で採用できない」と判断した。一体なぜ……？　ChatGPTの業務利用の是非をめぐる議論と事例、さらに「GPT-4」のリスクについて紹介する。 OpenAIが2022年の11月にリリースした大規模言語処理モデル「ChatGPT」。ユーザーが入力した質問に対してAI（人工知能）が自然な回答を返すことで話題を呼び、業務生産性向上の効果も期待されている。 しかし、ある企業は顧客の問い合わせ受付をするAIチャットbotを構築する際「ChatGPTは、とてもじゃないが採用できない」と判断した。 本稿ではChatGPTの業務利用の是非をめぐる議論と企業の事例、さらにChatGPTの業務に使いたい企業が知っておくべき「GPT-4」のリスクについて紹介する。 ブックレットサマリー ある企業がChatGPTを採用しなかったワケ ChatGPTはIT記者を廃業に追

主催：日本学術会議情報学委員会ITの生む課題検討分科会 共催：国立情報学研究所 後援：情報・システム研究機構、情報通信研究機構、一般社団法人情報処理学会、一般社団法人電子情報通信学会 　ITの進展は我々の社会に多くの利益をもたらすと共に、新たな課題も生み出しています。Chat GPTに代表される生成AIはその一つであり、さまざまな分野で注目を集めています。今回は、生成AIに関連するいくつかの重要なテーマに焦点を当てます。まず、言語系生成AIの現状について俯瞰し、活用事例を紹介します。また、生成AIの原理的な弱点、倫理的側面、著作権の観点などにおいて直面する適応限界や課題、大規模言語モデル（Large Language Models、LLM）の最新状況と課題についても取り上げます。本シンポジウムでは、生成AI技術の様々な分野でのよりよい活用と潜在的な課題や解決策について、活発な議論の場にし

コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕

コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕

生成AI専門メディア「PROMPTY」を運営する株式会社Bocek、国内外の生成AI関連サービス207社をまとめた「生成AI関連サービスカオスマップ 2023」を公開 生成AIメディア「PROMPTY」を運営し、生成AIの導入をワンストップで提供する生成AI特化戦略コンサルティングファームである株式会社Bocek（本社：東京都大田区、代表：沖村 昂志）は、生成AI基盤チャットボットや画像生成AIなど、生成AIに関連する企業やサービスをカテゴリ別にまとめた「生成AI関連サービスカオスマップ 2023」を発表しました。 カオスマップ公開の背景 東京都が生成AI ChatGPTのガイドラインを発表し、全局で業務利用を開始するなど、生成AIの急速な普及に伴い、企業における生成AI導入が加速していると言えます。 弊社で運営する生成AIメディア『PROMPTY』や弊社の主力事業である生成AI特化のコン

つまりあれ？977年後の自社製品の販売を前倒したことになるのかな？ 今月12日、米コカ・コーラがAI（人工知能）を導入して開発した史上初の新製品「コカ・コーラ Y3000」を発売した。 100年余りの歴史の中、定番のコカ・コーラを中心に宇宙を味わい感じることができる「スターライト」など多様な味を世に送り出してきた同社が、このたびテーマにしたのはなんと未来。西暦3000年をイメージした「未来味」のコーラだ。 従来にない製品作りにあたり、開発チームはまず、人間が思い描く「未来っぽさ」のヒントをAIに理解させ、そこから一歩先行く未来の味の創造に取り組んだそうだ。

【大型アップデート】画像生成AI活用ツール「生成AI GO」に、最新の「Stable Diffusion web UI v1.6.0」と動画生成機能「AnimateDiff」を実装〜さらに高品質な画像生成と動画生成が簡単に可能に！〜 映像解析AIプラットフォーム「SCORER(スコアラー)」を運営する株式会社フューチャースタンダード(本社:東京都台東区、代表取締役:鳥海哲史 以下、フューチャースタンダード)は、最新の画像生成AI「Stable Diffusion XL 1.0（以下、SDXL1.0）」をWebブラウザ上で気軽に活用できる「生成AI GO」の大型アップデートを実施しました。このアップデートには、最新UI「Stable Diffusion web UI v1.6.0」および動画生成機能「AnimateDiff」が実装されています。これにより、SDXL1.0の機能を最大限に引き出

全パートナーをAI人財化へAIリテラシー問うオリジナルテスト「GMO AIパスポート」開始【GMOインターネットグループ】「AI活用No.1企業グループ」へ取り組みを加速 ”すべての人にインターネット”を合言葉に、インフラ、広告、金融、暗号資産事業を展開するGMOインターネットグループ（グループ代表：熊谷 正寿）は、「AI活用No.1企業グループ」となるべく、2023年9月よりグループ108社・約7400人のすべてのパートナー（従業員）（※1）を対象に、AIリテラシーを問うオリジナルテスト「GMO AIパスポート」を開始しました。すべてのパートナーの受検・合格を必須とするテストで、実施によりグループ人財の「AIリテラシー向上」と「AI（ChatGPT）業務活用100%」の実現を目的としています。 GMOインターネットグループは、本プロジェクトによりAI人財の育成を加速し、AIを活用した各種

ABI Researchは2023年8月30日（米国時間）、生成AIの導入により、製造業は2033年までに105億米ドルの収益増加が見込まれるとの予測を発表した。 生成AIは目覚ましい成長を遂げており、Microsoftなどの著名なテクノロジー企業は2023年、OpenAIに100億米ドルを投資している。製造業における生成AIの盛り上がりは、新しい設計の作成から最終的には生産プロセス全体のオーバーホールまで、さまざまな活用に向けた取り組みが始まっている。 ABI Researchによると、製造業は生成AIへの投資を、2026年から2029年にかけて44億米ドルと大幅に増やす予定だ。2033年までに、製造業における生成AIの使用から追加される収益は105億米ドルに達すると予測している。 関連記事 製造業におけるクラウドプラットフォームの収益は2033年までに3000億ドルを超える見込み　AB

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第12回目は、好きな声でオーディオブック作成するAI、Stable Diffusionの40倍高速な画像生成AIなど5つの論文をまとめました。 生成AI論文ピックアップテキスト、画像、動画、オーディオのいずれでも入出力できるマルチモーダル生成AI「NExT-GPT」 電子書籍を“好きな人の声”のオーディオブックに変換するシステム　マイクロソフトなど開発 自律型AIエージェントを改造するためのオープンソースプラットフォーム「Agents」 写真内の被写体を“軽く引っ張る”と揺れ動くモデル　Googleらが開発 Stable Diffusionより40倍以上高速にテキスト