You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

サイバーエージェントではこれまでも、新卒エンジニア向けに「チーム開発の進め方」や「良いコードとは何か」といった資料や、Unityエンジニア向けのゲームシステムの高速化に関するノウハウなどを無償公開している。 関連記事 ミクシィ、新卒向け研修資料を無償公開　「Git」と「テスト・設計」　今後も随時公開 MIXI（旧社名ミクシィ）は、同社の新入社員向け技術研修で使用した資料を無償公開した。 日経新聞、新卒エンジニア向けセキュリティ研修資料を無償公開 日本経済新聞社は、新卒エンジニア向けセキュリティ研修資料を無償公開した。同社が4月の新人研修で使用したもので、ページ数は30ページ以上。 ゲームシステムを高速化する社内ノウハウを無償公開　Unityエンジニア向けに　サイバーエージェント サイバーエージェントは社内研修用の書籍「Unity パフォーマンスチューニングバイブル」のPDFを公開した。 3

各種ネットワークのサービスや映像配信など、携帯電話回線だけでなく多様な事業に取り組むNTTドコモ。同社はさまざまな事業の中で生まれる、膨大な顧客データを預かっている。そして、それらのデータを活用し、ユーザーに新たな価値を提供する取り組みに力を入れている。データから価値を生み出すには、AI（人工知能）など新たな技術も活用する。深層学習などを使って多数の精度の高い予測モデルを作り、それらを適宜改善しながら運用にする。これ実現するために、NTTドコモではMLOpsの仕組みが必要だった。 従来は社内の企画やマーケティング担当などから依頼を受け、データを扱えるエンジニアがデータを分析し、得られる知見をそれぞれが活用できるようにしてきた。これからは「データ活用は当たり前で、ビジネスユーザーもデータ活用が容易にできるように取り組んでいます」と言うのは、NTTドコモ スマートライフカンパニー データプラッ

ディープラーニングのモデルを推論する際、通常GPUが必要である。しかし、GPUがない場合でも、モデルのパラメータを浮動小数点から整数へと変換する手法を使うことで、CPUだけでも推論処理を高速に行うことが可能である。この手法を量子化と呼ぶ。 PyTorchの量子化 PyTorchには、量子化の方法がいくつか用意されている。 実装は「Eager Mode Quantization」と「FX Graph Mode Quantization」に分かれており、「FX Graph Mode Quantization」の方が新しい実装で、「Eager Mode Quantization」ではモデルのレイヤー融合を手動で行う必要があったところが自動化されている。 また、一般的に量子化の手法として、 ダイナミック量子化 トレーニング後の量子化 量子化認識トレーニング がある。 ダイナミック量子化は、キャリブ

Python版 Semantic Kernelのプランナーを理解しよう。~実装を通して学んだことの備忘録~PythonAzureOpenAIChatGPTSemanticKernel 0. まとめ ※ソースコードと睨めっこし、色々試しながら実行して得た見解ですので、正確ではないかもしれません。 （ドキュメント読めば書いてあるんですかね、、） 用語については下記記事にとてもわかりやすくまとめられています。 スキル間の結果の受け渡しは勝手に行われる 受け渡す必要がない場合でも、受け取りは発生する 受け取った側で使わなければOK 内部の処理では、コンテキストオブジェクトで行われる(context['input']に前の結果が入っている) ネイティブ関数で前のスキルの実行結果を受け取る際はcontextを使う 上述の通り、スキル間の値の受け渡しはコンテキストを用いるため （ドキュメントをちゃんと読

Pythonパッケージ管理ツール ryeの使い勝手がよかったので使用方法をまとめました。 ryeとは GitHub: https://github.com/mitsuhiko/rye flaskの作者である Armin Ronacher氏 (GitHubアカウント @mitsuhiko)が個人利用目的で作成した、Pythonのパッケージ関係管理ツールです。内部実装はRustです。 ryeが作成された思想がリポジトリ Should Rye Exist? のDiscussionページに書かれています。 Should Rye Exist?: XKCD #927 Disucssion中の図にあるように、従来のPythonのパッケージ管理は”様々な標準”が存在し、このばらつきを統一しようと新しくパッケージ管理ツールを導入しても、”新たな標準が追加されるだけ”となり、真のパッケージ管理の標準化を行えて

はじめに ニュース記事を閲覧できるウェブサイトは各種ありますが、データ解析などの目的である程度まとまった量のニュース記事を機械的に収集したい場合には有料サービスを利用する必要があり、誰でも簡単にできるわけではありません。 この記事では、簡単な Python のプログラムと、開発目的ならば無償で利用できる NEWS API を使って、ニュース記事を収集する方法を紹介します。なお、読者は Python, JSON, HTTP に関する基本事項を理解していることを想定しています。 News API とは NEWS API は、世界中のニュースソースから現在および過去のニュース記事を単純な REST API で取得できるサービスです。多少の制約はありますが、日本の大手新聞社やニュースサイトの日本語記事も取得できます。 NEWS API は基本的に有料サービスですが、開発目的の場合は制限付きながら無

Transformer[1]の核心となる仕組みであるAttentionは、入力シーケンス内の各トークン間の関連性に基づいて注意の計算を行います。それにより、Transformerは従来の系列処理において主流であったRNNの性能を凌駕する性能を実現し、更には画像処理などの領域でも大きな成果を上げることができました[2]。このように従来のモデルでは成し得なかったような成果を達成できる万能な仕組みであるAttentionですが、その計算コストは入力シーケンス長\(n\)に対して指数関数的に増加するという大きな課題を持ちます。つまり、扱えるシーケンスの長さは計算機のハードウェア性能に大きく影響され、ある程度のシーケンス長を扱うには、高い処理能力と大容量のメモリを持つ計算機が必要となります。そのため、如何にすればAttentionの計算コストを下げることができるのか、計算量を減少させられるかが研究さ

以下の記事が面白かったので、簡単にまとめました。 ・StackLLaMA: A hands-on guide to train LLaMA with RLHF 1. はじめにこの記事では、「SFT」「RM」「RLHF」の組み合わせで、「Stack Exchange」の質問に答える「StackLLaMA」の学習の全ステップを紹介します。 ・SFT (Supervised Fine-tuning) : 教師ありファインチューニング ・RM (Reward / preference modeling) : 報酬 / 嗜好モデリング ・RLHF (Reinforcement Learning from Human Feedback) : ヒューマンフィードバックからの強化学習 「StackLLaMA」は、以下でデモを試すことができます。 ベースモデルとして「LLaMA 7B」、データセットとして「

カリフォルニア大学バークレー校の学生と教員がカリフォルニア大学サンディエゴ校とカーネギーメロン大学と協力して設立したオープンな研究組織「Large Model Systems Org(LMSYS Org)」が、ChatGPTやPaLM、VicunaなどのチャットAIや大規模言語モデル(LLM)のベンチマーク「Chatbot Arena」を公開しています。 Chatbot Arena Leaderboard Updates (Week 4) | LMSYS Org https://lmsys.org/blog/2023-05-25-leaderboard/ Chatbot Arenaでは、LLMベースの対話型AIを評価するためのオープンプラットフォーム「FastChat」にユーザーが招待され、匿名モデル2種類を相手に会話を行い、どちらの方がより精度が高かったかの投票が行われます。この投票結果

MicrosoftのguidanceライブラリはLLMアプリケーションを作成する際の新たな定番となりそうな気がしています。そういう訳で、今回はguidanceのgenメソッドについて詳しく追ってみたいと思います。 基本的な使い方import guidance gpt3 = guidance.llms.OpenAI("text-davinci-003") gpt3_5 = guidance.llms.OpenAI("gpt-3.5-turbo") gpt4 = guidance.llms.OpenAI("gpt-4", api_key=API_KEY) guidance.llm = gpt3まずはguidanceライブラリを読み込み、使用するLLMを宣言します。OpenAI APIを使用する場合、初期化パラメータとして以下のパラメータを使用できます。 model 使用するモデルの名前を指定し

サイバーエージェントが突如、オープンソースとして無償公開した大規模言語モデル（LLM）｢OpenCALM（オープンカーム）｣が話題を呼んでいる。 国内の大手IT企業が、研究、商用など目的を問わず使用できる大規模言語モデルを公開するのは非常に珍しい試みだからだ。 今、国内の生成AI業界では、日本を軸にした新たな動きが活発化している。 サイバーエージェントと同日の5月17日にrinna社からも独自のLLMがオープンソースで登場したり、22日には東京工業大学と富士通などが2023年度中にスーパーコンピューター｢富岳｣を使い、和製生成AIを開発すると公表した。 なぜサイバーエージェントがLLMを作り、オープンソース化したのか。その狙いをAI事業本部の開発チームに聞いた。 —— 5月17日の発表を見て、少なからず｢なぜサイバーエージェントからLLMを？｣と考えた人もいそうです。大規模言語モデルを自社

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 韓国のKAISTとS2W Inc.に所属する研究者らが発表した論文「DarkBERT: A Language Model for the Dark Side of the Internet」は、ダークウェブに特化した大規模言語モデルを提案した研究報告である。 ダークウェブは、Googleなどの一般的なWeb検索エンジンにはインデックスされず、通常のWebブラウザではアクセスできないインターネットの一部である。ダークウェブにアクセスするためには、Tor（The Onion Router）などの特別なソフトウェアが必要で、匿名性の高い利点から違法な取引、例

Discussion of this page on Hacker News, May 21, 2023. Training and running neural networks often requires hardware acceleration, and the most popular hardware accelerator is the venerable graphics processing unit, or GPU. We have assembled cloud GPU vendor pricing all into tables, sortable and filterable to your liking! We have split the vendor offerings into two classes: GPU Cloud Servers, which

","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"

こんにちは。しおぱんです。ChatGPTのプラグインがあまりに多すぎて大変だったので、プラグイン機能一覧を作りました。 【お知らせ】 プラグインの増加速度が早すぎるため、記事作成が追いついておりません🙇 お急ぎの方はこの記事作成でも利用しております、こちらのプロンプトを使ってみてください🙌 【カテゴリ検索の方法】 ブラウザの検索バーに [カテゴリ名] を入力すると絞り込みできます🙆 Mac: Command + F / Windows: Ctrl + F 【カテゴリ一覧】 [エンタメ]　[音楽・音声]　[画像・動画] [学習]　[学術]　[語学]　[プログラミング] [ビジネス]　[マーケティング]　[ファイナンス] [ニュース]　[ツール]　[リサーチ]　[ウェブアクセス] [天気]　[旅行]　[レストラン]　[ショッピング] [医療・健康]　[不動産]　[求人] [ユーティリティ

ChatGPTは会社で使っていいの？ 禁止している企業8つの例2023.05.29 11:0010,999 Kevin Hurler - Gizmodo US ［原文］ （ 中川真知子 ） 想像通り。 ここ最近のホット中のホットな話題といえば、ChatGPT。使うのか、使わないと時代の流れに置いていかれるのか、使ったら仕事を失うのか、ツールとしてバンバン使っていくべきなのか、なんて議論がされていますよね。みなさんの会社ではどうですか？ ユーザーがChatGPTなどに入力したデータは、心臓部となる大規模言語モデルに送られてモデルの改善に使用されることもあるので、データの取り扱いには慎重にならないといけません。企業で使用したいと思っても、その決断はなかなか難しいかもしれませんね。 ちなみに、OpenAIのサム・アルトマンCEOは、有料ユーザーのインプットに関しては訓練に使わないと話しています。

OpenAI、3億ドル調達で評価額は290億ドルへ ChatGPTの開発企業OpenAIをはじめジェネレーティブAIスタートアップへの投資が急速に拡大しつつある。 TechCrunchが2023年4月29日に伝えたところでは、OpenAIは、最新の資金調達ラウンドで3億ドルを調達し、評価額が270億〜290億ドルに増加した。これは、今年1月のマイクロソフトによる大口投資とは別件となる。TechCrunchは関係筋の情報などから、マイクロソフトの投資額は、約100億ドルに上ると伝えている。現時点でのOpenAIにおける外部株主の保有率は、30％以上になったという。 今回の3億ドルの資金調達ラウンドは、Sequoia Capital、Andreessen Horowitz、Thrive、K2 Globalなどのベンチャーキャピタル（VC）に加え、ピーター・ティール氏らが率いるFounders

近年はChatGPTやBardなどの対話型AIが相次いでリリースされ、人間の質問や呼びかけに対して非常に高精度な回答ができることで注目を浴びていますが、これらの対話型AIは時に真実ではないことを真実かのように話す「ハルシネーション(幻覚)」を起こすことがあります。そこで、膨大な数のAPIから適切なものを呼び出し、幻覚を大幅に減らすことができる言語モデル「Gorilla」を、アメリカ・カリフォルニア大学バークレー校とMicrosoft Researchの研究チームが公開しました。 Gorilla: Large Language Model Connected with Massive APIs https://arxiv.org/abs/2305.15334 Gorilla https://gorilla.cs.berkeley.edu/ GitHub - ShishirPatil/gori

Kaggleコンペティション: Stable Diffusion - Image to Prompts の上位ソリューション / 自チームソリューションについて、社内勉強会で紹介した資料です。

ChatGPTやStable Diffusionなどの生成AIが急速に発展し、社会全体が大きく変化しようとしている。 UXデザインのプロセスや、UX自体のあり方も当然革新されていく。 今回はそうした生成AIによってUXがどう変化していくかを、具体的なメソッドや未来洞察といった具体・抽象を行き来しなが…

資料や作品を作成していると「この画像に似た画像を複数枚用意したい！」という状況になることがあります。画像生成AI「Stable Diffusion」で知られるAI企業Stability AIが開発した「Reimagine XL」を使えば、画像をドラッグ＆ドロップするだけで類似画像をサクッと生成できるとのこと。日本でも無料で使用可能だったので、実際に使ってみました。 Reimagine XL https://clipdrop.co/stable-diffusion-reimagine Reimagine XLにアクセスすると以下のような画面が表示されます。 Reimagine XLの使い方は非常に簡単。類似画像を生成したい画像を点線で囲まれたエリアにドラッグ＆ドロップするだけです。 ドラッグ＆ドロップしてから数十秒で類似画像が3枚生成されました。画面下部のサムネイルをクリックすれば各画像を確

関連記事 アドビの生成AI、β版を一般公開　Adobe IDがあれば無料で使える 米Adobeが同社の生成AI「Adobe Firefly」を一般公開した。無料のAdobe IDさえあればウェイトリストなしで誰でも利用できる。なお、正式版ではなく引き続きβ版としての提供であり、商用目的では利用できないとしている。 AI生成？　「ペンタゴンで爆発」画像で株価下落　Twitterで青バッジアカウント複数が投稿 Twitter上で一時「ペンタゴンで爆発があった」とする画像付きツイートが拡散した。この画像はAIによって生成された可能性が高いと指摘された。ツイートは数時間で削除されたが、この影響で株式市場は一時下落した。 迫るエイプリルフール、AI画像があふれる予感……？　ネットの“フェイク”との向き合い方は 4月が近づき、2023年もエイプリルフールが迫りつつある。一方、22年から急成長を遂げて話

米OpenAIのサム・アルトマンCEOは5月26日に欧州歴訪を終え、「AIを適切に規制する方法について欧州で議論した非常に生産的な1週間だった。われわれは欧州で活動を続けることに興奮しており、もちろんここを離れる計画はない」とツイートした。 アルトマン氏は24日、OpenAIがEUが審査中のAI関連法案「EU AI Act」を順守するのは「技術的に不可能かもしれ」ず、その場合は欧州での事業を停止する可能性があると語ったと広く報じられた。26日のツイートは前言を撤回するものだ。

Googleは2023年5月10日（米国時間）、入力されたテキストを基に音楽を生成するAI（人工知能）ツール「MusicLM」の提供を開始した。Googleは「従来の音楽生成技術に比べて、より自然な音楽を作り出すことが可能だ」としている。 音楽制作に関心がない人にも体験してほしい この新しいモデルはAIテストツール「Google AI Test Kitchen」で提供されており、PCからWebページを参照するか、スマートフォン用のアプリケーションをインストールすることで利用できる。