AI事業本部MLOps研修とは はじめまして、AI Labでリサーチエンジニアをしている岩崎（@chck）と、AI事業本部 Dynalystでデータサイエンティストをしている長江（@nsakki55）と干飯（@hosimesi）です。 今回は、AI事業本部研修で行われた講義のMLOps回の資料を公開します。 🔳 AI事業本部の事業を担う一員として、「AI事業本部で必要なドメイン知識を身につける・関係を構築する（縦・横・ななめまで）」が研修の目標 サイバーエージェントでは、入社後3週間ほどのエンジニア全体研修を行った後、各事業部に配属されます。AI事業本部では、事業部配属直後に2週間ほどエンジニア研修を行います。この研修では、全社研修とは異なり、AI事業本部に特化したアドテクや機械学習に関連する内容が取り扱われています。 ▼事業部研修全体スケジュール AI事業本部の研修は、以下の3つのパー

概要 リップシンクとは, ゲームのキャラクターなどが口をパクパクさせるやつです. 面白そうなので, なんとなくこれを作ってみました. リップシンクの手法は軽く調べた限り 手動で頑張る 音量の大小でテキトーに口動かす 映像から口の形を引っこ抜く 音から口の形を類推する があるようです. 今回は一番下の音から口の形を類推させてみました. モデルの方針 声のデータから口の形≒母音の種類を当てる分類モデルを作ります. そのために, データセットとして｢音声｣と｢母音の文字｣のセットを作ります. データセットについて 方針としては ｢音源｣と｢その音源の文字起こし｣のセットを取得 ｢その音源の文字起こし｣を仮名に直す ｢音源｣のどの時間に, その仮名を言っているのか割り当てる ｢音源｣と｢その音源の文字起こし｣のセットを取得 ｢音源｣と｢その音源の文字起こし｣の2つがセットになっているデータを片っ端

Self-Created Tools to convert ONNX files (NCHW) to TensorFlow/TFLite/Keras format (NHWC). The purpose of this tool is to solve the massive Transpose extrapolation problem in onnx-tensorflow (onnx-tf). I don't need a Star, but give me a pull request. Since I am adding challenging model optimizations and fixing bugs almost daily, I frequently embed potential bugs that would otherwise break through C

はじめに Streamlit vs Gradio Gradioの設計思想 Interface 入出力に応じたUI Interface String Shortcut 入力データのサンプルのセット ドキュメンテーション テーマの変更 タイムアウトへの対処 中級者への第一歩、デモを作る際に知っておきたい処理 Gradioが担当する前処理について プログレスバー もろもろの出力結果を保存するには？ 認証認可（というか認可） その他、解説しないが需要の有りそうなもの まとめ 追記 : 動画になりました。 はじめに 機械学習系のデモアプリを作成することがしばしばありStreamlitを使用していたが、パラメーターなどをいじるたびに処理が最初から走るなどといった挙動に悩まされていた。 同僚がGradioというのを使っていたのでサーベイがてらメモしていたらブログが出来上がってしまった。 本ブログでは、G

こんにちは、ふた月です。 ナビタイムジャパンで主にサーバーサイドのシステム開発や公共交通データの運用改善を担当しています。 今回は公共交通データの運用改善を進める中で、学習や調査向けのデータ可視化に Jupyter を使用した事例を紹介します。 Jupyter とはJupyter はインタラクティブにプログラミングやデータ分析を行うための Web アプリケーションです。Python で利用されることが多いですが、数十のプログラミング言語に対応しています。JupyterLab や Visual Studio Code を利用してローカル環境で利用する他、 GCP、 Azure といったクラウド環境上でも動作環境が提供されています。機械学習でよく用いられている Google Colaboratory にも Jupyter が利用されています。 向き合いたい課題当社では経路探索や案内情報の提供の

Microsoft、「VS Code for the Web」でPythonコードやWebシェルを実行できる拡張機能をプレビュー公開：WebAssembly、WASIでインタープリタを実装 Microsoftは、Pythonコードを「VS Code for the Web」で実行できるようにする拡張機能と、Webシェル実行を可能にする拡張機能をプレビュー公開した。 Microsoftは2023年6月5日、C/C++で書かれたPythonインタープリタを使い、Pythonコードを「WebAssembly」（以下、Wasm）にコンパイルして「VS Code for the Web」で実行できるようにする拡張機能と、Webシェル実行を可能にする拡張機能をプレビュー公開した。 Pythonコード実行拡張機能 Visual Studio Code（以下、VS Code）を、ローカルにインストールせず

I thought it would be fun to go outside of my comfort zone of web development topics and write about something completely different and new, something I have never written about before. So today, I'm going to show you how to implement a programming language! The project will parse and execute programs written in a simple language I called my (I know it's a lame name, but hey, it is "my" language).

Pythonを使うことで身の回りの面倒な業務を効率化することができます。 本記事では、Pythonで社内DX（業務効率化）できることを7つの分野に分けてご紹介したいと思います。 Excel処理 Pythonのライブラリopenpyxlを使うとExcelファイルを操作することができます。 以下はopenpyxlで処理できる基本操作の一部です。 ファイル操作（新規作成、保存） シート操作（集計、移動、削除） 行と列の操作（グループ化、挿入、削除） セルの操作（取得、代入） 具体的には、複数のシートから集計シートを作成したり、ExcelやAccessのデータベースに接続してデータを加工し、グラフを作成することが可能です。 ※Accessのデータベースに接続する場合は、別途pyodbcモジュールを使う必要があります。 追記 2023年8月、ExcelにPythonが追加されました。 概要を知りたい

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Weights & Biases のnoteをフォローしてください LLMの日本語性能ChatGPTが発表されて半年あまりが経ち、世の中は激変しました。少し冷め始めていたAIへの注目は突然急騰し、この新しい技術の可能性を探究すべく、日本では世界的にも突出した数の方々がその動向に関心を持っているようです。 ChatGPTは幅広い言語で高い性能を示している一方で、モデルは公開されておらず、またAPIの利用においてプライバシーや機密性の高いデータを送信することはできないため、オープンソースのモデルにも注目が集まっています。 オープンソースのモデルにもいくつかの系譜があります。 LLaMA：Meta社が公開したアカデミック向けのLLM (商用利用不可) GPT-NeoX：Eleuther AIの開発した完全にオープンソースな技術スタックで開発されたモデル Bloom：BigScienceプロジェク

こんにちは、自動運転EVをつくるTuring（チューリング）株式会社で共同創業者CTOをやっている青木俊介です。 先日Turingは噂のLLM（Large Language Model：大規模言語モデル）で自動運転車を動かすプロジェクトを完遂させました。 上の動画にもあるように、今回開発したデモではユーザ（乗客）が音声で指示を出すと、LLMが裏で動き、自動運転車がユーザの指示に従って動いてくれます。LLMで実際の自動車が動いたのは世界初な気がします。 もちろんこのシステムで公道を走るわけではないのですが、我々Turingの開発思想的には非常に重要なデモでした。 この記事では「なぜTuringがLLMで自動運転車を動かしたのか」「実際どんな風にLLMで自動運転車が動いているのか」「Turingの開発体制の今後」について書いていこうと思います。 1. LLMと自動運転とTuring「LLMで自

Turing株式会社の自動運転MLチームでエンジニアをしている岩政です。 Turingの自動運転MLチームでは、完全自動運転の開発に向けて、走行データから自動走行が可能な深層学習モデルの作成およびデータ基盤の整備、視覚情報以外にも言語を活用したマルチモーダルな基盤モデルの作成に取り組んでいます。 本記事では、視覚情報を認識するモデルと大規模言語モデルを組み合わせて、「自動車走行時の特に危険な状況を説明することができないか？」という観点から、社内ハッカソンで取り組んだことを紹介します。 社内LLMハッカソン 事の発端は、4月のある1日に急遽開催された大規模言語モデル(以下LLM)を活用した社内ハッカソンでした。高度な自動運転の実現において、一般的な社会常識のもと複雑な状況を理解して適切に行動するための「知能」は必要不可欠です。現在、Turingでは、LLMはその知能として高いポテンシャルがあ

Top > 学術＆研究 > GPT-3.5の100分の1以下のモデルサイズでより高いプログラミング処理能力持つ「phi-1」Microsoftが開発

バージョン 0301 の価格 $0.002 per 1K tokens 参考 Introducing new and updated models to Azure OpenAI Service Azure OpenAI Service pricing 2.3. 最大トークン (gpt-35-turbo-16k) gpt-35-turbo-16k シリーズの登場は、これまで gpt-35-turbo の最大トークン 4,096 がボトルネックになっていたユースケースの突破口になりそうです。 ちなみに、gpt-35-turbo-16k も gpt-35-turbo と同じく cl100k_base エンコーディングを使っていますので、日本語に換算すると入出力合計で約 15,000 文字程度を一連の会話の中で扱うことができるようになります。 ただし、最大トークンが大きいモデルの場合、Recen

（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊

はじめに ABEJAでデータサイエンティストをしている服部です。 今回はLLMで外部データを使うケースについてのお話をしたいと思います。 はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキストを抽出する(Retrieval) 2. 関連テキストをLLMのプロンプトに入れ込み、ユーザの入力文に回答する。 Retrieval時の課題 LangChainでの用意 Case1: それぞれの文章がRetrievalしにくい形で保存されている 対策案: ページ構造を意識した形で各文章を格納する 他の対策案 聞き方を明確にする 類似度を測るクエリ文章を置き換える 不要そうな文章をデータから削除する データ自体をLLMで整形し直す Case2: 未知の単語を含む 仮説: ニャオハ

First Visualizations: Frequencies Let us first visualize word frequencies. We can get these frequencies with the quanteda package, which implies transforming the column of lemmas (text.lemmas$lemma) into a quanteda tokens object, then to a document-feature matrix. Doing so, we only retain significant parts of phrases (nous, proper nouns, verbs and adjectives). This only partially spares us the tas

Metaは自社が運営するSNSのFacebookやInstagramにおいて、AIを活用してユーザーの好みに合ったコンテンツをオススメしています。これらのSNSでAIがどのようにしてコンテンツをオススメするのかについて、Metaが詳細な情報を公開しました。 How AI Influences What You See on Facebook and Instagram | Meta https://about.fb.com/news/2023/06/how-ai-ranks-content-on-facebook-and-instagram/ The AI behind unconnected content recommendations on Facebook and Instagram https://ai.facebook.com/blog/ai-unconnected-conte

京都大学は、2022年（令和4年）に文部科学省から「数理・データサイエンスに・AI教育の全国展開の推進」拠点大学の一つに選定され、データ科学の教育とそれに必要な調査研究等を行ってきました。 本学では、その知見を活かしたデータサイエンス関連の公開講座を全5講座実施しています。各講座とも、オンラインビデオ講義（＋ライブ配信）となっており、時間を気にせず学ぶことが可能です。 ビデオ講義では、1回15分程度の動画に分けて概念と問題の注意点等を交えながら丁寧に説明しています。データ科学の最先端で研究をしている講師から直接統計学を学べるまたとない機会ですのでふるってご参加ください。 実施、配信期間および受講料は講座ごとに異なりますので、詳細は各講座のページをご確認ください。 各講座概要 データ分析に役立つ統計基礎講座 ～統計ソフトウェアR活用を目指して～ 実務に必要な統計学の基礎事項について分かりやす

機械学習モデルを使用して画像に関するさまざまな課題を解くための実践的な解説書。コンピュータビジョンは機械学習で最も注目度の高い分野のひとつです。本書では、機械学習エンジニアやデータサイエンティストを対象に、コンピュータビジョンに関連する機械学習の手法、アーキテクチャ、課題、運用などを網羅的に解説します。読者は、分類、物体検出、セグメンテーション、異常検知、画像生成、キャプション生成といった画像関連の問題を、機械学習で解決する方法を学びます。また、データセットの作成、前処理、モデルの設計、学習、評価、デプロイ、監視といった標準的な機械学習の運用からMLOpsまで同時にマスターできます。日本語版では、コンピュータビジョン領域でのトランスフォーマーモデルの活用や画像生成の新潮流である拡散モデルについてまとめた特別コラムを追加で収録しました。 賞賛の声 監訳者まえがき まえがき 1章　コンピュータ

Tencentなどの研究者チームが開発した「DreamDiffusion」は、脳の視ている光景を脳波から視覚化する、まるでSF映画のような技術です。本記事では、この画期的な技術について紹介します。 参照論文情報 タイトル：DreamDiffusion: Generating High-Quality Images from Brain EEG Signals 著者：Yunpeng Bai, Xintao Wang, Yanpei Cao, Yixiao Ge, Chun Yuan, Ying Shan 所属：Tencent AI Labなど URL：https://doi.org/10.48550/arXiv.2306.16934 DreamDiffusionは、脳波（EEG）から映像を生成する技術です。具体的には、頭の外側に付ける非侵襲型の電極からEEG信号を読み取り、その信号を元に拡散

Career Essentials in Generative AI by Microsoft and LinkedIn 6 courses 5 hours of content Discover the skills needed to apply generative AI in your career. Learn the core concepts of artificial intelligence and generative AI functionality. Develop an understanding of generative AI models. Learn the ethical considerations of using generative AI. Explore the impact of generative AI tools.

Microsoftは、スキル取得を支援する同社の「Skills for Jobs」プログラムに、生成AIに関する新たなコースを追加した。コースを修了して必要な試験に合格すると、生成AIに関するスキル開発に取り組んでいることを証明する認定資格を取得できる。 この生成AIに関する無料コースは「LinkedInラーニング」を通じて、「Career Essentials Certificate」（キャリアエッセンシャル認定） を提供する。さまざまなコンテンツを生み出すことができる生成AIは、OpenAI、Microsoft、Googleなどが、独自のAIチャットボットを次々とリリースしたことで、大きな関心を集めている。ユーザーはこれらのチャットボットを使い、質問したり、情報を得たり、コンテンツを作成したりできる。 新たな人気を獲得したAIは、より多くの製品、サービス、組織に浸透し始めている。この変

生成AI（人工知能）の急速な普及を受け、国内外でルール作りが活発になっている。文章や画像など著作物の扱いについて欧州連合（EU）で立法プロセスが進んでいるほか、日本政府も著作権法上の論点を議論する。ただ、「作風」や「声」など法による保護には限界があるものも多い。クリエーターの懸念に応えるためには指針などソフトロー（法的拘束力のない規範）も含めた仕組みづくりが急務だ。声や動き、作風まで守れるか

IT大手のNTTデータは、自動で文章などを作る生成AIを活用した企業向けのサービスを新たに始めると発表しました。生成AIの普及を見込んで日本の企業の間でも事業を強化する動きが相次いでいます。 発表によりますとNTTデータは、生成AIを活用して業務の効率化や新規事業の開発などを支援する企業向けのサービスを新たに始めます。 生成AIをめぐっては、アメリカの企業「オープンAI」が開発したChatGPTの登場をきっかけに企業の間で活用の動きが広がっていますが、文章の内容の正確性などが課題となっています。 新たなサービスでは、ChatGPTと会社独自のAIを組み合わせることで生成AIの回答の正確性を担保するのが特徴だとしています。 野村哲郎コンサルティング担当課長は「AIには、もっともらしいウソをついてしまう特性があるが、リスクの低減と利便性の向上につなげたい」と話していました。 生成AIの普及を見

公開するや瞬く間に世界に広まった生成AI「ChatGPT」。開発を手掛けたオープンAIをCEOのサム・アルトマンとともに率いるミラ・ムラティ最高技術責任者は自分たちの使命をどう捉えているのか。オープンAIの収益性やAIがもたらす人類への脅威などについて聞いた。 ChatGPT公開の反応への感想 オープンAIの最高技術責任者（CTO）であるミラ・ムラティにとって、11月29日の夜は普段と何ら変わらなかった。彼女はその夜、スタートアップ企業である同社のサンフランシスコのオフィスから帰宅したが、その前に彼女のチームは、ある実験的な製品のリリースを済ませていた。ChatGPTである。 ChatGPTは研究用のデモンストレーションとしてラインナップされていた。だが、そのチャットボットのユーザー数がリリース後5日で100万人に達したことで、計画は劇的な変更を遂げた。 ムラティは、自分の予想とは少なくと

3つの要点 ✔️ 大規模言語モデルと効果的な会話を行うためのプロンプトパターンを体系化 ✔️ 特定のドメインにとらわれない，汎用的なプロンプト設計の手法について紹介 ✔️ 特に，プロンプト設計の背後にある考え方や問題設定，注意点等を整理 A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT written by Jules White,Quchen Fu,Sam Hays,Michael Sandborn,Carlos Olea,Henry Gilbert,Ashraf Elnashar,Jesse Spencer-Smith,Douglas C. Schmidt (Submitted on 21 Feb 2023) Comments: Published on arxiv. Subjects: Softwa

ただ、そのレベルの行政指導でも、これだけ大きくネガティブに報じられるところに、政府やメディアのChatGPTへの懸念や不安が滲み出ているといえるでしょう。 こうしたChatGPTへの最近のネガティブな報道の影響もあり、日本の多くの企業や組織でChatGPTを利用して良いのか、禁止した方が良いのかという議論が続いているようです。 ただ、そうしたChatGPTの利用の是非を議論している方々に知っておいていただきたいのが、もはやChatGPTの禁止だけを議論していても仕方がない時代に突入しているという点です。 関連記事 ソニーの「着るエアコン」“バカ売れ”　猛暑追い風に「想定以上で推移」 連日の猛暑が続く中、ソニーグループ（ソニーG）が4月に発売した、充電式の冷温デバイス「REON POCKET 3」（レオンポケット3）の売れ行きが好調だ。同製品は「着るエアコン」とも呼ばれており、ビジネスパーソ

人工知能企業・OpenAIの開発したチャットボットAI「ChatGPT」を訓練するために用いた学習用データセットが無数の人々の著作権とプライバシーを侵害しているとして、カリフォルニアを拠点とするクラークソン法律事務所がOpneAIに対して集団訴訟を起こしました。 The AI Arms Race and Why We Need to Come Together Now — Clarkson https://clarksonlawfirm.com/the-ai-arms-race-and-why-we-need-to-come-together-now/ OpenAI Complaint (PDFファイル)https://storage.courtlistener.com/recap/gov.uscourts.cand.414754/gov.uscourts.cand.414754.1.0.

テキサス大学ソフトウェア工学科の教授 Herb Krasner 氏による2020年の研究によると、バグ（プログラミングエラー）の問題により、同年のアメリカのソフトウェア市場は2兆800億米ドルの損失を被ったという。バグはソフトウェアの動作に欠陥があり、その結果、間違った結果が生じ、これはソフトウェア会社が顧客の信頼を失い、顧客を失う原因にもなる。 個人のレベルで考えても、エラーを見つけるのに時間がかかるだけでなく、バ​​グレポートの作成にも多くの時間を費やすので、プログラマにとってバグは悩みの種だ。 それを経験した人々のペインこそ、我々が Bugpilot を設立した大きな理由だ。 Bugpilot の創設者であり、プログラム開発に長年の経験を持つ Simone Lusenti 氏は、自分がそうやって苦しみ人物の一人でもあると述べた。 そんな理由から、彼は SaaS 企業がバグレポートと解

この声明にはAIが人類を滅ぼす具体的な根拠は書かれていないが、CAISのWebサイトではいくつかのシナリオを提示している。「AIが武器化する」「AIによって偽情報が拡散される（それによって社会が崩壊する）」「AIによって生活が便利になり過ぎ、それに甘えた人類が衰退してしまう」などだ。 今回の声明に対する賛否は専門家の間でも分かれており、議論の決着はついていない。しかし、人類が滅ぶとまではいかなくても、既にAIはさまざまな形で私たちの生活に実害をもたらすようになっている。特に大きな被害が出た事件はオランダで起きた“不正検知AI騒動”だ。 この事例ではどんな技術を使っているか詳細を明かしていないため、記事内では“機械的なアルゴリズム”という広い意味でAIと表現する。 自殺者まで出したAIのアルゴリズム CAISの声明に先立つことおよそ1カ月前の4月。レナーテ・ウォルバースさんという女性とそのパ

IT Leaders トップ ＞ 経営課題一覧 ＞ リスクマネジメント ＞ 事例ニュース ＞ 三菱ガス化学、現場作業のヒヤリハット情報をAIでサジェストする「KYアシストシステム」を国内5工場に導入 リスクマネジメント リスクマネジメント記事一覧へ [事例ニュース] 三菱ガス化学、現場作業のヒヤリハット情報をAIでサジェストする「KYアシストシステム」を国内5工場に導入 2023年6月30日(金)IT Leaders編集部 リスト 三菱瓦斯化学（三菱ガス化学）は、国内の5工場に、自然言語処理（NLP）を活用して事故や労災を削減するシステム「KY（危険予知）アシストシステム」を導入した。作業に関連するヒヤリハット情報をAIでサジェストする。同システムのベースとなった「Incident AI」を提供するシナモンが2023年6月29日に発表した。 三菱瓦斯化学（三菱ガス化学）は、国内の5工場に、

人工知能（ＡＩ）ソフトウエア会社モザイクＭＬは３０日公表した報告書で、米アドバンスト・マイクロ・デバイシズ（ＡＭＤ）のＡＩ用半導体の性能は米エヌビディアのＡＩ用半導体の約８０％と評価した。写真は、AMDのロゴ。２０２３年３月６日に撮影。（２０２３年　ロイター／Dado Ruvic） ［３０日　ロイター］ - 人工知能（ＡＩ）ソフトウエア会社モザイクＭＬは３０日公表した報告書で、米アドバンスト・マイクロ・デバイシズ（ＡＭＤ）のＡＩ用半導体の性能は米エヌビディアのＡＩ用半導体の約８０％と評価した。