連載目次 近年、多くの企業でデータ活用、つまりデータを分析してビジネスに役立てることが重要視されるようになってきました。本稿では、データ分析の定義や目的、メリットといった概要面から、データ分析でできることや役立つツールと思考法などの実践面までを簡単に紹介します。 1分 ―― データ分析とは そもそも「分析する」の意味は、複雑な事柄を複数の要素に分解してまとめ、その構成や意味などを明らかにすることです。よって、何らかのデータ（情報）の構成や意味などを明らかにすることは、広く一般的に「データ分析」と呼ばれますが、これを「広義のデータ分析」とします。本稿で紹介するのは「狭義のデータ分析」です。 ここでいう狭義のデータ分析（データアナリティクス）とは、

AutoMLに関するチュートリアル資料です。主に，ハイパーパラメータ最適化（HPO）とニューラル構造探索（NAS）に関する説明をしています。

はじめに Pythonで動かして学ぶ! あたらしいベイズ統計の教科書を読んだ事をgoogle colaboratryでやろうと思ったらこちらの記事にあるように、colabではpymc3ではなくpymcを使ってくれとのことなので、pymcでやってみました。 ベイズ推定とは ベイズ推定は、統計的な手法の1つであり、事前に与えられた確率分布（事前分布）とデータを元に、事後分布を計算し、その分布を利用してパラメータの推定や予測を行う手法です。 ベイズ推定では、あるパラメータ（例えば、母平均や母分散など）が持つ確率分布を事前分布として仮定します。この事前分布は、事前にパラメータについて知っている情報や仮定に基づいて設定されます。そして、データが得られた後、データと事前分布を組み合わせて事後分布を計算し、それによりパラメータの推定や予測が可能になります。 ベイズ推定に使用するデータの取得と前処理 今回

はじめに NineOCR とは NineOCR が抱える課題 Amazon SageMaker Training とは SageMaker Training の始め方 事前準備 AWS が提供しているコンテナイメージを拡張する方法 独自のコンテナイメージに SageMaker Training Toolkit をインストールする方法 スクラッチでコンテナイメージを作成する方法 まとめ 学習ジョブの実行 学習結果の確認 終わりに はじめに こんにちは、研究開発部の石井です。 本エントリーでは、弊社の OCR エンジン「NineOCR」の開発フローに SageMaker Training を導入した話を紹介します。 NineOCR とは NineOCR は Sansan が独自に開発した名刺特化の OCR エンジンです。 名刺をデータ化するフローの中で実際に活用されており、タスクの高速化・高精

こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ

1. OpenAI APIのモデル「OpenAI API」は、用途に応じて「GPT-3.5」をはじめとする様々なモデル を提供しています。 ・GPT-3.5 : 自然言語とコードを理解および生成する最新モデル。 ・DALL-E : 自然言語から画像を生成・編集するモデル ・Whisper : 音声をテキストに変換するモデル ・Embeddings : 埋め込み (ベクトル表現) を生成するモデル ・Codex : コードを理解および生成するモデル ・Moderation : センシティブおよび 安全でない文章を検出するモデル ・GPT-3 : 自然言語を理解および生成する旧モデル 2. GPT-3.5「GPT-3.5」は、自然言語とコードを理解および生成する最新モデルです。最も高性能で費用対効果の高いモデルは、チャット用に最適化されていますが、既存タスクにも適している「gpt-3.5-tu

Note: Views here are personal opinions and do not represent that of my employer. TL;DR: We release a new open source Flan 20B model that was trained on top of the already open sourced UL2 20B checkpoint. The full technical details have already been updated to the UL2 paper and the checkpoints have been uploaded to Github. Naturally, this model has the same configuration as the original UL2 20B mod

Google の FLAN-20B with UL2 を動かしてChatGPT APIのように使ってみる！言語モデルflanUL2YiTay こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日は昨日公開されたFLAN-20B with UL2を使ってChatGPT APIのように会話をしてみたいと思います。 概要 Google BrainのYi Tayさんらが開発した新しく公開された言語モデルのFLAN-20B with UL2を使ってChatbotみたいな対話をしてみるテストです。 翻訳を組み合わせて実現します。デカ言語モデルが手元で動いてめちゃくちゃ嬉しさがあります。 Google Colab Colab ProのプレミアムGPUでないと動きません 使い方 ランタイム > ランタイムのタイプを変更からGPU / プレミアムとする A100 4

3月2日（日本時間）に公開された「ChatGPT API」を活用した事例が早速生まれ始めている。LINE傘下で“キャラクター召喚装置”ことAIアシスタントデバイスを手掛けるGateboxが3日、同社オリジナルキャラ「逢妻ヒカリ」の会話エンジンとChatGPTを連携させたデモ動画を公開した。 動画は、音声認識と音声合成を使い、逢妻ヒカリの“中の人”としてユーザーとChatGPTが会話する様子が収められている。「一緒にスクワットしよう」と話しかけると、「いいアイデアですね。体感を強化するためにも効果的なエクササイズです。ただし、注意点もありますので正しい方法で行いましょう。一緒にやりましょう」と返してくれる。 ChatGPT APIは、レスポンスの速さに優れており、音声認識によるラグはあるものの、動画を見ると比較的スムーズに会話できていることが分かる。さらに「将来の夢ってある？」「ヒカリちゃん

イントロChatGPTやBing、NotionAIなどの大規模自然言語モデル(LLM)を活用したサービスが注目を集めています。対話、要約、翻訳、アイデア生成などの多様なタスクにおいて、とても性能が高いです。ただ、ChatGPTでは、ときどき嘘が混じっていたり、文献が捏造されたりすることがあります。 ChatGPTとの対話画面（結果の書籍は存在しない）それを防ぐために、BingやPerplexityでは、文献を引用した上で、なるべく嘘が紛れ込まない形で回答してくれます。 Perplexityでは引用もつけてくれるしかし、これらのAIは、Web上の公開されている一部のデータを元に学習しているので、公開されてないデータに対しては当然ながら、正しく回答できません。 そこで、この記事では、自社が保有しているデータをChatGPTに組み込んで、自社オリジナルのPerplexityのようなシステムを作る

NECサイバーセキュリティ戦略統括部セキュリティ技術センターの角丸です。ChatGPT [1]の悪用やセキュリティリスク [2]などの議論が活発に行われ始めています。本ブログでは、ChatGPTとセキュリティに関わる課題について以下の観点で考えてみたいと思います。 みなさんはChatGPTをご存じでしょうか？使ったことがありますか？OpenAIというアメリカの研究所が開発した対話型のAIチャットボットです。 私達が普段使っている言葉、自然言語を利用してあたかも会話しているかのように私達のさまざまな入力に対して回答をしてくれます。 もともと自然言語系のAIとして大規模言語モデルのGPT-3 [3]というものがありました。GPT-3は入力された文章にどの様な文章（単語）が続くかというのを考えて回答を返すモデルです。たとえば、「車の燃料は」という入力に対して「ガソリン」という回答を返すイメージで

AI関連技術を開発する非営利組織OpenAIは2023年3月1日（米国時間）、対話に特化した言語モデル「ChatGPT」と汎用（はんよう）の音声認識モデル「Whisper」をAPIで利用できるようにしたと発表した。APIの公開に合わせて、利用規約を開発者ニーズにより良く対応できるように改訂したことも明らかにした。 ChatGPT APIは1000トークン当たり0.002ドルで提供 関連記事 ChatGPTとは何か　そのできること／できないこと OpenAIがリリースした人との対話をターゲットとする大規模な言語モデル「ChatGPT」。その概要について見てみましょう。 サイバー犯罪者も「ChatGPTを使ってコーディング」をしている　チェック・ポイント チェック・ポイント・ソフトウェア・テクノロジーズは脅威アクターがOpenAIのChatGPTを悪用して悪質なコードを生成していることを、実例

R18判定で非公開にされてしまうためこの記事は note へ移行しました！ 今後の書きモノは全てnoteにしていきます。 下記リンク先を参照＆ブクマ＆シェアして困ってる方に教えてあげてください😃 AI画界隈を盛り上げていきましょう〜😆

DeNAは3月1日、AI生成に関する資料「DiffusionによるText2Imageの系譜と生成画像が動き出すまで」を公開した。238ページにわたる大規模なもので、テキストから画像を生成する「Text2Image」や動画生成「Text2Video」を中心に、最新トピックをカバーしている。 資料では、急速に技術発展しているDiffusionモデルの基礎解説から、Text2Image／Text2Videoに関するさまざまな最新手法、AI生成にまつわる権利関係などの問題点について網羅的にカバーしている。

の使い方をご紹介するという内容になっています。 Stable Diffusion系のモデルを使って美少女イラスト等を生成している方であれば、キャラクターの手や指がグチャグチャになってしまう問題に悩むことが多いと思います。この問題に関しては今まで多くの解決策が模索されていましたが今一つ決定打と呼べる案がありませんでした。 しかしそんな中で「ControlNet」と呼ばれる新技術が登場し、これを活用して手や指の問題をある程度解決する方法が考案されました。そして先日にはこの方法をStable Diffusion web UIで簡単に使える無料の拡張機能が登場したので、ぜひ情報を共有しておこうと思った次第です。 ここではその拡張機能「Depth map library and poser」について、インストール方法や使い方を解説していきますね。 ※2023/04/17追記： 最新のControlN

MARIMO @ankokumarimo DLsite「AI作品に多数の反響をいただいてます。 だから、1サークル各月1作品までにします。」 FANZA「これからもたくさんのAI作品を公開します。 だから、平等に1サークルの公開本数減らします、 販売希望日も無視します。」 建前は真逆だけど、本音が全く一緒やないかーい!! 2023-03-03 16:22:42

神奈川県内の令和４年の交通事故の死者数（速報値）は統計が残る昭和２３年以降で過去最少だった。前年に初めて記録した全国ワーストを１年で返上し、大幅な減少につなげた取り組みを陰で支えたのが、全国で初めて本格導入した交通事故を予測する人工知能（ＡＩ）だ。交通安全システムのハイテク化は自動車の進化とともに長い歴史があり、人知れず県民の交通安全に力を発揮をしている。 全国ワーストとなった令和３年の死者数は１４２人。３年４月から交通事故予測ＡＩを導入していたものの、テスト運用を経て本格的に活用されたのは同年秋からだった。 交通事故予測ＡＩは県警の独自システムで、人流データや交通量、過去の事故の発生状況のほか、人の活動に影響を与える天候、金融機関のＡＴＭの位置など、８３種類の公開情報を学習する。データを読み込んだＡＩは県内全体を１００メートル四方で区切って交通事故の危険性が高い地域を赤色で表示。毎日デー

人工知能（AI）の導入により製造業の研究開発のステージが変わってきた。アステラス製薬は実験に必要な作業の期間を従来の1カ月から1時間半に短縮し、旭化成は新素材研究をAIが自律的に担う「スマートラボ」を4月に稼働させる。AI活用は企業の競争力の源泉である研究開発力を左右する。米国などに後れを取った日本は巻き返しを急ぐ。AIやロボットを駆使した研究の自動化は「ラボラトリーオートメーション」とも呼ば

AIが戦闘機を操縦する時代。単独で17時間の飛行に成功2023.03.03 18:008,775 Nikki Main - Gizmodo US ［原文］ （ Akane Ueno/Word Connection JAPAN ） AIパイロット同士の戦いも起こる…？ アメリカ国防高等研究計画局（DARPA）は、人工知能エージェント（AI）アルゴリズムを開発し、F-16戦闘機が自律飛行できるようになったと発表しました。F-16戦闘機の制御シミュレーションを開発してからわずか3年弱です。 この飛行にはLockheed Martin（ロッキード・マーティン）のVISTA X-62Aが使用されたとのこと。Lockheed Martinは｢VISTA X-62Aは｢Block 40｣の電子機器を搭載してアップグレードした｢F-16D Block 30 Peace Marble Il｣の改良版だ｣とプ

「日本企業のDXは業務改善レベル」　ガートナーが“顧客応対プロセスの体系化”を強く勧める理由：「競争力強化につながるDXを実現する大企業は1割以下」 ガートナージャパンは、アプリケーションに関する展望を発表した。同社は、現在日本企業が取り組んでいるDXの成果は、多くがコスト削減や作業の効率化／自動化の実現のような、業務改善レベルのものだと指摘する。