Retentive Network: A Successor to Transformer for Large Language Models
In this work, we propose Retentive Network (RetNet) as a foundation architecture for large language models, simultaneously achieving training parallelism, low-cost inference, and good performance. We theoretically derive the connection between recurrence and attention. Then we propose the retention mechanism for sequence modeling, which supports three computation paradigms, i.e., parallel, recurre
大規模言語モデル(LLM)の作り方 GPT-NeoX編 Part 1
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 の藤井(@okoge_kaz)です。 大規模モデルへの注目の高さを肌で感じる今日このごろですが、事前学習の知見については依然として十分に共有されているとは言い難いと個人的に感じています。 Turing株式会社では、次世代の自動運転技術を支える技術の1つとして大規模言語モデルに注目しており、独自に研究開発を行っています。今回は大規模言語モデルを学習する際、用いるライブラリ候補の１つに上がるであろうGPT-NeoXについて解説します。 以下で環境構築方法、学習を行う方法などについて詳しく解説します。 GPT-NeoXとは EleutherAIが管理しているNIDIA/Megatron-LM ベースの大規模言語モデル(Large Language Model: LLM)を学習するためのライブラリです。 Mi
CTOの視点から見たAzure OpenAI ServiceとOpenAIのChatGPT APIの深堀り比較 - Qiita
※ この記事の内容は先日のQiita Nightでお話ししたことと一部重複します。 Qiita NightではLTの制限時間(10分)に収めるため、結構端折りました。 はじめに ChatGPTが登場してから数ヶ月が経ちました。 ChatGPTをはじめとしたGenerative AIは完全に現在のIT業界のトレンドとなっています。 今や多くの企業でChatGPT APIをサービスに組み込んで顧客提供を開始したり、自社の社内システムに組み込んだりと積極的に利用するようになりました。 私もGenerative AIが無くなると業務に支障が出るレベルで利用しています。 そして、2023年5月時点ではChatGPTのAPIを利用する方法として、本家OpenAI社が提供しているAPIを利用する方法とMicrosoft社が提供しているAzure OpenAI ServiceのAPIを利用する方法の2つが
methexis-inc/img2prompt – Run with an API on Replicate
Run time and cost This model runs on Nvidia T4 GPU hardware. Predictions typically complete within 32 seconds. The predict time for this model varies significantly based on the inputs. Model description Provides approximate text prompts that can be used with stable diffusion to re-create similar looking versions of the image/painting. Try it by copying the text prompts to stable diffusion! A sligh
Stable Diffusionをいらすとやでファインチューニングする
巷で話題のStable Diffusion（以下SD）をファインチューニングする方法が公開されたので、早速やります。
Stable Diffusion Public Release — Stability AI
It is our pleasure to announce the public release of stable diffusion following our release for researchers [https://stability.ai/stablediffusion] Over the last few weeks, we all have been overwhelmed by the response and have been working hard to ensure a safe and ethical release, incorporating data from our beta model tests and community for the developers to act on. In cooperation with the tirel
Google、“ローカルAI”構築用ワンボードコンピュータやカメラを「Coral」ブランドで発売
米Googleは3月6日（現地時間）、“ローカルAI”でIoT端末を構築するためのプラットフォーム「Coral」（β）を発表した。カメラモジュールや開発ボードなど、5種類のハードウェアも披露した。 ローカルAIあるいは「オンデバイスAI」とは、クラウドではなくエッジあるいはローカルあるいはデバイス上でAI処理を行うこと。Coralは「完全なローカルAIツールキットを提供する」という。ハードウェアコンポーネント、ソフトウェアツール、ローカルでニューラルネットワークを構築するために必要なコンテンツで構成される。 いずれも同日公式版になったフレームワーク「TensorFlow Lite」をサポートする。 「Coral Dev Board」は、SoM（システムオンモジュール）として設計されたシングルボードコンピュータ。同社が昨年10月に発表したエッジデバイス向けASIC「Edge TPU」、NXP
nni | An open source AutoML toolkit for neural architecture search and hyper-parameter tuning.
Who should consider using NNI Those who want to try different AutoML algorithms in their training code (model) at their local machine. Those who want to run AutoML trial jobs in different environments to speed up search (e.g. remote servers and cloud). Researchers and data scientists who want to implement their own AutoML algorithms and compare it with other algorithms. ML Platform owners who want
Autonomous Tidying-up Robot System - Preferred Networks
Overview 株式会社Preferred Networksは、ロボットが身近な場所で活躍する社会の実現に向けて、パーソナルロボットの研究開発を行っています。 CEATEC JAPAN 2018では, トヨタ自動車株式会社が開発する "生活支援ロボットHSR（Human Support Robot)" を使い※、最先端の深層学習技術を応用した「全自動お片付けロボットシステム」を展示します。 このシステムは、CEATEC JAPAN 2018に展示されるイノベーション性が高く優れている技術・製品・サービス等を表彰する「CEATEC AWARD 2018」 において、インダストリ／マーケット部門 準グランプリ を受賞しました。 部屋の全自動片付けは、従来のロボットシステムでは実現困難でしたが、近年の深層学習の発展によって初めて実用的なレベルで実現できました。 物をつかむ、物を置く、動作計画を
Microsoftが「Sketch 2 Code」を公開！AIが、手書きのワイヤーフレームをHTMLに自動変換してくれる新時代に。これはすごい！！｜榊原昌彦
Microsoftが「Sketch 2 Code」を公開！AIが、手書きのワイヤーフレームをHTMLに自動変換してくれる新時代に。これはすごい！！ 流れてきたツイートをみて「なんだこのデモは」といろいろ見てみたところ、Microsoft AI labがすごい技術を公開していたので簡単にまとめます。どういう技術かというと「手書きのワイヤーフレームを適切に修正してHTMLに自動変換」してくれます。 Kabel, Spike Techniques, Microsoftが2018年8月末に公開したSketch 2 Codeというライブラリです。GitHub（ https://github.com/Microsoft/ailab/tree/master/Sketch2Code ）で公開されているので、確認することができます。行っている処理は以下の通り。 1. ユーザはWebに画像（手書きワイヤーフレ
How to build your own AlphaZero AI using Python and Keras
Update! (2nd December 2019)I’ve just released a series on MuZero — AlphaZero’s younger and cooler brother. Check it out 👇 How to Build Your Own MuZero Using Python (Part 1/3) How to Build Your Own MuZero Using Python (Part 2/3) How to Build Your Own MuZero Using Python (Part 3/3) In this article I’ll attempt to cover three things: Two reasons why AlphaZero is a massive step forward for Artificial
IBMに詰め寄るWatsonユーザー、APIの相次ぐ変更で混乱も
2015年に米国で開催された米IBMの人工知能（AI）システム「Watson」関連のイベントで、日本のWatsonユーザーがIBMの担当者に詰め寄るシーンがあった。ユーザーが利用している「Watson API」の1つが2016年に「サンセット」になると聞いたからだ。サンセットはサービスが終了することを指す。 この様子を目撃したという参加者は「ユーザーが不満を持つのも無理はない」と話す。Watson日本語版の正式発表は2016年2月だが、一部ユーザーは2015年から導入を進めていた。APIの終了で影響を受けたのは、試行錯誤しつつWatsonの導入を進めていたこれらの先行ユーザーだ。 同じ役割を果たす後継APIは、機能や使い勝手に関して大幅に強化された一方で、互換性はなくデータをそのまま引き継ぐことはできない。 しかしAPIが使えなくなる以上、先行ユーザーは後継APIを使わざるを得ない。従来の
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
Adobe MAX 2017のスニークス – 人工知能Adobe Senseiの活用技術 - ICS MEDIA
米Adobeアドビ Systemsシステムズが主催の世界最大のクリエイティビティ・カンファレンス「Adobe MAX 2017」（ネバダ州ラスベガス）。二日目の10月19日は「スニークス」と題してAdobeの研究中の技術が発表されました。スニークスはAdobe MAXで最大の盛り上がりをみせる恒例の人気イベントです。 ここで発表されたものは現時点では製品に搭載されていないものの将来的に製品に組み込まれるかもしれない技術。過去の例を挙げると、Photoshopのディフォグ（霧を増減させる）機能やマッチフォント機能、最新のPremiere Proに搭載されたイマーシブ空間内での編集機能もかつてスニークスで発表された技術です。本記事では発表された11のテクノロジーを、現地のイベントに参加したスタッフ（池田）がレポートします。 今年は人工知能Adobe Senseiをフル活用した次世代技術のオンパ
日本が機械学習パラダイスなのは情報大航海プロジェクトのおかげ - kuenishi's blog
人工知能じゃ〜これからはシンギュラリティじゃ〜と盛り上がっており、猫も杓子も深層学習で人工知能で人類皆失業などと楽しいお祭り、ぼくは嫌いじゃない。我々が生きていくためには金が必要なんだ。というわけで、ちょっと気になって調べたことがあったのでここに記録しておく。もしこれが知財や法曹方面の業界で有名な話だったらコンピュータエンジニアたち何やってんのという話ではある。 AIブームというやつが燃料になって日本は機械学習パラダイスだという記事が話題になっているが、これは平成21年の著作権法改正で追加された著作権法47の7のおかげである（ラッキー！） じゃあ、そもそもどうしてそんな条項ができてるの？ 調べてみたら情報大航海プロジェクトが深く関わっているようだよ？ちょっとは感謝したらどう？？ もともとこれが気になっていた。ので調べました。という話。 著作権法の47の7が、思いがけず今重要にって解説が散見
お知らせ : 京都新聞
File Not Found. 該当ページが見つかりません。URLをご確認下さい。 お知らせ 事件・事故のジャンルを除き、過去６年分の主な記事は、インターネットの会員制データベース・サービスの「京都新聞データベース plus 日経テレコン」（http://telecom.nikkei.co.jp/public/guide/kyoto/）もしくは「日経テレコン」（本社・東京 http://telecom.nikkei.co.jp/）、「ジー・サーチ」(本社・東京、 http://www.gsh.co.jp)のいずれでも見ることができます。また、登録したジャンルの記事を毎日、ネット経由で会員に届ける会員制データベース・サービス「スカラコミュニケーションズ」(本社・東京、http://scala-com.jp/brain/) も利用できます。閲読はともに有料です。 購読申し込みは下記のページから
Secondmind
The race is on to re-imagine every aspect of the design, development and experience of driving. Engineering organizations that define this future through software will compete. Those with the optimization tools to crush mounting software complexity and accelerate development productivity will win. From reducing design simulation time and calibration overhead, to continuously improving energy effic
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PlayTorch is a framework for rapidly creating mobile AI experiences.
GitHub - microsoft/nni: An open source AutoML toolkit for automate machine learning lifecycle, including feature engineering, neural architecture search, model compression and hyper-parameter tuning.
Nippon Telegraph and Telephone Corporation corevo APIポータル