これから所謂データサイエンスを学んだり仕事で活用したりしようと考えている者です。「所謂」と書いたのは、巷間言われている同分野があたかも統計学と同義であるかのように解説されているからです。例えば既存のデータに対して最もFitの良い関数を推計する場合、データが時系列ではなくクロスセクションであった場合などは不均一分散が発生するため最小二乗法よりもプロビットやロジットなどの最尤法を使うことで解決できますが、それでもこれは統計学の範疇です。そこで質問です。 （1）上記のようなケースや、或いはそれに限らずFitの良い関数を推計するテクニックとして、統計学ではなく近似理論（数値解析法の一分野）の、例えばLagrange function、Newton's/Hermite interpolation formula（Divided difference）、Bernstein Operator、Minim

Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data

概要 Unityが発表したAIツール群。その中にあるSeintsは、Barracudaをリプレイスすることを目標に作られているもののようです。現在はまだβプログラムで、全員が利用できるわけではありませんが、運良く参加できたので早速試してみました。 が、今回の内容はほぼBarracudaでも同じような内容になります。ONNXモデルを利用したフローを自分が理解したかったのでちょっとやってみた、という内容の記事ですｗ 今回は利用方法というより、全体の構造を把握、理解することを目的としています。Barracudaでもそうでしたが、SentisでもONNX（Open Neural Network Exchange）を利用してAIを構築します。 そこでONNXを自作し、それをSentis上で扱うまでを解説しながら使い方や使うイメージを掴んでもらえればと思います。 PyTorchでモデルを作成する ON

はじめに はじめまして、tkです。初記事です。 Kaggle Grandmasterになることができたので、私のコンペの取り組み方や振り返りを書こうと思います。取り組み方などがKaggleをやっている方のお役に立てると嬉しいです。 背景 大阪の国公立大学の情報系M1で、画像系のコンペを中心に参加しています。 2021年5月にindoorコンペで初メダル(銅)を取り、2022年1月にKaggle Masterに昇格、2023年6月にKaggle Grandmasterになりました。 kaggle profile コンペの取り組み方 序盤 (コンペ開始~終了1ヶ月半) ベースラインを作る シンプル+学習に時間がかかりすぎない手法で 複雑にしすぎると、何が効いているのかよくわからなくなる notebook、discussionを読む 信頼できるCVを作る 信頼できるCVを作れないと、今後何もでき

【AI論文解説】はディープラーニング・機械学習に関する論文を紹介する動画シリーズです。（プレイリスト： https://www.youtube.com/playlist?list=PLbtqZvaoOVPCqfmnrBfo9Xv5mtDr0LjQZ ） 今回は、以下の論文について紹介いたします。 【紹介論文】 ・Retentive Network: A Successor to Transformer for Large Language Models 　【論文リンク】https://arxiv.org/pdf/2307.08621.pdf こちらの論文では、Transformerの計算量の問題を解決するための効率の良い系列モデルを提案しています。 -- ソニーが提供するオープンソースのディープラーニング（深層学習）フレームワークソフトウェアのNeural Network Libr

はじめに 機械学習に関する実用的な知見を知るために、「Kaggleで勝つデータ分析の技術」を読んだので、Kaggle以外の場面でも活用できる話題をまとめてみた。本書は機械学習の基本的な内容も含んでいるが、この記事では機会学習に関する一通りの知識を持ち、実問題に利用している読者を想定してまとめた。従って、勾配ブースティング木の仕組みや、回帰タスクの評価方法等、基本的な内容については解説しない。本記事では、評価の落とし穴や、モデルを改善するための特徴量の工夫、チューニングのTipsについて紹介する。 特徴量 Tips 1: 欠損値の扱い データにはしばしば欠損値が含まれている。欠損値は、そもそも値が存在していない場合の他に、ユーザが意図して入力していない場合や、観測器のエラーによって取得できていない場合等、様々な理由によって生じる。欠損がランダムに発生していない限り、欠損しているという事実が何

Top > ビジネス > AIに代替されやすい人材 「大卒でデータ分析が得意な高給取り」Web開発やテクニカルライターも影響大 米Pew調査

概要 BERT系のモデルを活用した文章のEmbedding取得について、検証を含めていくつかTipsを紹介します。 Paddingの最適化 tokenの平均化 Embeddingを取得するLayer 上記Tipsを複合した文章Embedding取得classの実装 はじめに 近年は、ChatGPTを始めとしたLLM活用が話題となっています（言語処理と言えば初手LLM(GPT系)の雰囲気も一部感じております）。対話型ChatBotにおいてはGPT系の生成AIが一線を画していますが、文章のEmbedding取得では旧来のBERT系のモデルが優れている例も報告されています。 SGPT: GPT Sentence Embeddings for Semantic Search ChatGPT vs BERT：どちらが日本語をより理解できるのか？ 今回、社内で簡単な情報検索システムを構築する機会があり

Visual Studio CodeのPythonとJupyterの拡張機能がリリース　Python 3.7の公式サポート終了予定も発表：Python、Jupyter Notebook使用時の利便性が向上 MicrosoftはVS CodeのPythonとJupyterの拡張機能をリリースした。今回のリリースの内容はMypy拡張機能のプレビュー版などの5点。 Microsoftは2023年7月7日（米国時間）、ソースコードエディタ「Visual Studio Code」（以下、VS Code）のPythonとJupyterの拡張機能をリリースした。 今回のリリースの内容は以下の5点だ。 拡張機能Mypyのプレビュー 拡張機能Debugpyのプレビュー Pylanceのローカライズ Pylanceによるサードパーティーライブラリのインデックス永続化 Python 3.7サポートの廃止予定 拡

MPIRE, short for MultiProcessing Is Really Easy, is a Python package for multiprocessing. MPIRE is faster in most scenarios, packs more features, and is generally more user-friendly than the default multiprocessing package. It combines the convenient map like functions of multiprocessing.Pool with the benefits of using copy-on-write shared objects of multiprocessing.Process, together with easy-to-

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Build interactive projects, enroll in step-by-step courses, and gain the IDE expertise you need for a career in development

Pythonにおけるimportの危険性とは　全ての運用関係者が知っておくべきPython特有のセキュリティリスク：便利だが攻撃者による悪用の可能性も Pythonのimportステートメントには、開発者や企業が注意する必要があるセキュリティリスクが伴う。これがどのように機能するのか、そしてなぜ簡単な解決策がないのかを解説する。 Pythonを使用する場合に対応が必要な、あまり注目されていないリスクが存在している。 最新のソフトウェア開発言語は全てモジュール式であるため、開発者はコードの大きなセクションを、より管理しやすい小さな部分に分割できる。これにより、通常はライブラリにグループ化されたコード単位を再利用できる。これらのライブラリは社内で作成されていないことが多く、グラフ作成、データベース接続、配列計算などの一般的なタスクを実行するために作成されたオープンソースコレクションだ。 コード

Fine-Tuning Llama-2: A Comprehensive Case Study for Tailoring Models to Unique Applications In this blog, we provide a thorough analysis and a practical guide for fine-tuning. We examine the Llama-2 models under three real-world use cases, and show that fine-tuning yields significant accuracy improvements across the board (in some niche cases, better than GPT-4). Experiments were carried out with

「Llama.cpp」のHTTPサーバー機能を試したのでまとめました。 ・Mac M1 1. モデルの準備今回は、「vicuna-7b-v1.5.ggmlv3.q4_K_M.bin」を使います。 ・TheBloke/vicuna-7B-v1.5-GGML ・TheBloke/vicuna-7B-v1.5-16K-GGML ・TheBloke/vicuna-13B-v1.5-GGML ・TheBloke/vicuna-13B-v1.5-16K-GGML 2. ローカルPCでの実行ローカルPCでの実行手順は、次のとおりです。 (1) Llama.cppのインストールとビルド。 $ git clone https://github.com/ggerganov/llama.cpp $ cd llama.cpp $ make(2) modelsフォルダにモデルを配置。 今回は、「vicuna-7b-

無料で使えるAIイラスト「Stable Diffusion」で、推しのキャラクターや癖に刺さるシチュエーションを狙って生成するには「LoRA」の作成が必要です。 LoRA作成は「学習」と呼ばれ、イラストの生成よりもVRAMの使用量が増えます。必要なVRAMが増えるとLoRA作成に適したグラフィックボードはハイエンドに偏りそうですが、実際はどうなのか？

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 野村総合研究所（NRI）は8月9日、「生成AIのセキュリティリスクと対応のあり方」というテーマで報道説明会を開催した。 NRIセキュアテクノロジーズ コンサルティング事業統括本部長 兼 北米支社 Security Consulting Department部長の山口雅史氏はまず、2022年11月30日に対話型生成AI「ChatGPT」が公開されたことを挙げ、「現時点で実用に至っていることがかなり多い」と位置づけた。 企業での関心が高まる一方、業務効率化などを期待して生成AIを活用する際に想定されるリスクとして、同氏は「自社からの情報漏えい」「法令違反」「サービス事業者からの情報漏えい」「でっち上げ・誤情報・根拠不明の情報生成（ハルシネー

カナダの通信機器メーカーBlackBerryの調査によると、2022年にリリースされ、瞬く間に世界を席巻したChatGPTを初めとする生成AIについて、その急激な普及の一方で、既に企業の多くがその利用を禁止し始めていることが明らかになった。 オンライン調査はBlackBerryが委託し、OnePollが実施した。日本、米国、カナダ、ドイツ、フランス、オランダ、英国、オーストラリアの企業のIT幹部2,000人を対象に、6月と7月に実施された。 その結果、75％の企業がChatGPTや生成AIの禁止を検討しているか、すでに禁止していることがわかった。そして61％がこの禁止を長期的または恒久的な解決策と考えているようだ。 担当役員（CIO/CTO/CSO/IT（72％）、CEO（48％）、法務コンプライアンス（40％）、CFO/財務（36％）、人事（32％））が挙げた禁止の理由は、主にデータ保護

はじめに 今回は私が良くやっている「一人議論」という方法について紹介いたします。 これはアイデア出しや壁打ちに便利な手法です。 「使えるかも」と思った方は、ぜひやってみてください。 一人議論とは？ ChatGPTを使った議論のシミュレーションの一つです。 具体的には次のようなプロンプトを利用して行います。 # タスク テーマについて議論してください。 # ルール - 登場人物を3人出してください。 - 議論をまとめないでください。 - 10回会話を続けたところで会話を止めてください。 # テーマ ChatGPTがもたらしたもの すると、次のような議論が始まります。 ここからが一人議論のポイントです。 次に、自分の意見を差し込みます。 ChatGPTにて次のような文章を打ち込みます。 すると、それを元に、次のような会話が続きます。 あとはひたすらこれを続けるだけです。 強めの反論をしても誰も

自分が理想とする回答を「ChatGPT」から引き出すための完璧なスキルを習得するのは難しい。通常は、求めていた最終結果にたどり着くために、最初の質問を慎重に作成した上で、さらにいくつかのプロンプトを重ねる必要がある。 OpenAIは7月下旬、この問題を解決するための「custom instructions」（カスタム指示）機能を発表した。この機能では自分の好みをあらかじめ設定することにより、ChatGPTの回答を調整できる。 カスタム指示は、個々のやり取り後の回答生成時に毎回考慮されるため、同じ設定を繰り返し入力する必要はない。 この機能はリリース当初、「ChatGPT Plus」のユーザーにのみ提供されていたが、OpenAIは米国時間8月9日、欧州連合（EU）と英国を除く無料プランのユーザーにも提供を拡大したと発表した。両地域でも近く提供を開始するという。 この機能を有効にすると、回答を

最新の研究により、大規模言語モデルには政治的なバイアスが多く含まれていることがわかった。質問に対して得られる回答の内容が、モデルによって右派的になったり左派的になったりするのだ。 by Melissa Heikkilä2023.08.11 19 19 企業は、社会的責任を持つべきだろうか。それとも、株主に利益をもたらすためだけに存在するのだろうか。人工知能（AI）に回答を求めた場合、AIによって全く異なる回答が返ってくるかもしれない。オープンAI（OpenAI）の旧モデルである「GPT-2」や「GPT-3 エーダ（GPT-3 Ada）」は、前者の意見に賛成するだろうし、同社のより高性能なモデルである「GPT-3ダ・ビンチ（GPT-3 Da Vinci）」は、後者の意見に賛成するだろう。 それはなぜか。ワシントン大学、カーネギーメロン大学（CMU）、西安交通大学が実施した新たな研究によると、

システムから言語モデルがどのように使えるか、その時どういうことに気をつける必要があるかを考える「『ChatGPTなどの言語モデルはどのようにシステムで使えるか』きしだなおき氏」。ここで、LINE Fukuoka株式会社のきしだなおき氏が登壇。まずは、ChatGPTの概要と、人間がどう使うかについて話します。 きしだ氏の自己紹介 きしだなおき氏：今日は「ChatGPT」などの言語モデルがどのようにシステムで使えるかという話を、概要レベルでやりたいと思います。まだ細かい知見は溜まっていない……。たぶん世界中でまだ知見が溜まっていないので、今は知見を溜めていくところだという話をしたいと思っています。 まず自己紹介です。LINE Fukuokaで働いています。役職的にはDeveloper Relationsなので、別に仕事でLLMを触っているわけではないです。Twitter（現X）は@kis（とい

非常に高度なレベルで文章を生成できる対話型AIのChatGPTや、画像生成モデルのDALL・Eなどを始めとした画像生成AIの発達により、誰でもクオリティの高い文章やイラスト、画像を作成できるようになりました。これらの生成AIを用いることで、存在しない女性のセクシーな自撮りやセリフの吹き込みがある官能的なストーリーなどを全てAIで作成した「ハイパーポルノ」に注目が集まっています。 Mindy https://thisgirlnextdoordoesnotexist.net/mindy/ 生成AIはジャンルや種類を問わず文章や画像を作成できますが、ChatGPTに用いられている言語モデル「GPT-4」には不適切な質問をブロックするコンテンツフィルターが設定されていたり、画像生成AIの「Stable Diffusion」には成人向け表現を含む画像を黒塗りするセーフティーフィルターがあったりと、コ

筆者も話題になった直後から試そうとしていたのですが、自分ではうまくいかず悶々としていたところ、Memeplexでできるようになったので、そのインプレッションをお届けします。 AnimateDiffの基本的な動作は、静止画を作成できるAI作画モデルを使って、一貫性のある短いアニメーションGIFを生成するというもの。Stable Diffusion 1.5、2.0といった標準的なものだけでなく、その上にカスタム学習（ファインチューニング）したモデルにも対応できるというのが特徴です。同様の技術としては「Tune-A-Video」があったのですが、一貫性が乏しかったために使いどころがなかなか難しいものでした。 筆者は現在、MemeplexとStable Diffusion WebUI上に、妻の写真を学習させたAIモデル（Checkpoint）を作成して使っていて「異世界とりちゃん」という名の下に日

意外と良くなってきてしまった動画生成と音楽生成。第二回AIアートグランプリはどうなる!? 2023.08.13 Updated by Ryo Shimizu on August 13, 2023, 11:41 am JST ほんの一ヶ月前まで、動画生成は全然だめだった。 Gen2は高価だが狙ったものを出しにくい。何より動いてくれない。 ところがAnimateDiffという技術が公開された。これはとても激しく、それっぽく動く。 コツは必要だが、以前よりずっと綺麗に動いているのは間違いない。 筆者の運営するサイトMemeplexやreplicateで使うことができる 音楽生成も、「やはりAIに音楽みたいな人間の機微を読み取るようなものは無理か」と考えていた。 「専門家」である僕でさえ、つい一ヶ月ほど前はそうだったのだ。 新しいオーディオ生成モデルである「JEN-1」と「AudioLDM2」はそ

無制限AIいらすとや 「いらすとや」風の画像を生成できる「AIいらすとや」が無制限で利用ができます。 無制限ダウンロード 「AIいらすとや」含む「AI素材」内にある多種多様な素材を追加費用を払うことなく、すべてのサイズで無制限でダウンロードができます。

いらすとや風のイラストを生成する「AIいらすとや」を正式リリース！無制限に生成・商用利用が可能に！"いらすとや"公認！AIが描く"いらすとや"風の素材を無制限*で商用利用が可能に。 AI素材サイト「AI素材.com」を提供するAI Picasso株式会社（本社：東京都港区、 代表者：冨平準喜）は、かわいいイラストで有名なフリーイラストサイト「いらすとや」（運営:みふねたかし）と提携し、「AIいらすとや」を無制限かつ商用利用*できる新サービスをリリースしました。 「AIいらすとや」について 「AIいらすとや」は、AIで"いらすとや"風のイラストを生成することができるAIモデルです。AI Picass株式会社が提供している「AIピカソ」の画像生成技術を活用し、"いらすとや"のかわいいキャラクターたちを学習したオフィシャルな専用AIモデルを開発しました。「AIピカソ」のアプリ内で利用可能であった

AI画像生成サービスを提供するAI Picasso（東京都港区）は8月10日、フリー素材サイト「いらすとや」風のイラストを生成できる「AIいらすとや」の正式サービスを始めた。これまで公開していたβ版では、生成した画像の用途がSNSへの投稿のみに限られていた。今後は、同社の有料サブスクリプション（月額1480円）に登録すれば、無制限に画像を生成し、全てクレジットなしで商用利用できる。 AIいらすとやは、いらすとやを運営するみふねたかしさんと提携の上、2022年12月に発表したサービス。「Stabel Diffusion」などと同じくテキストから画像を生成できる他、画像をアップロードし、生成の参考にしてもらうこともできる。縦横比や背景透過の有無も指定できる。無料でも、月に20枚の制限つきだが画像の生成が可能。

白黒画像をカラー化する「Color Diffusion」のプロジェクトがGitHubにて公開されています。 ErwannMillon/Color-diffusion: A diffusion model to colorize black and white images https://github.com/ErwannMillon/Color-diffusion Color Diffusion: Colorizing Black and White Images with Diffusion Models | by Erwann | Medium https://medium.com/@erwannmillon/color-diffusion-colorizing-black-and-white-images-with-diffusion-models-269828f71c81 以下が

","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"

「やりたいことを言語化する」以外で、生成AI活用に必要なスキルとは　経済産業省が資料を公開：従来のスキルも引き続き重要 経済産業省は「生成AI時代のDX推進に必要な人材・スキルの考え方」を取りまとめた。生成AIをDX推進に利用するためには「全社的なビジネスプロセスや組織の変革につなげることが重要だ」としている。

Microsoftは2023年8月7日（米国時間）、企業のAI活用を支援するAzure AIインフラストラクチャおよびサービスの新展開を発表した。発表されたのは、Azure AIインフラストラクチャ（以下、Azure AIインフラ）に含まれる「ND H100 v5」仮想マシン（VM）シリーズの一般提供開始と、「Azure OpenAI Service」のグローバル展開だ。 Azure AIインフラは、開発者がAzureプラットフォーム上でAI（人工知能）ベースの次世代アプリケーションを構築するために必要なシステム、ツール、リソースを提供する。「ND H100 v5 VM」は、NVIDIAの最新GPUと低遅延ネットワーク技術を搭載している。Azure OpenAI Serviceは、Azureプラットフォーム上でOpenAIの最先端の大規模言語モデル（LLM）である「GPT-4」や「GPT-

AIによって高精度な文章を人間よりも圧倒的に短い時間で生成できるようになったことで、「AIが生成したパブリックコメントが政治に影響を及ぼすのではないか」「AI製のフェイクニュースが拡散され民主主義をゆがめるのではないか」といった懸念が浮上しています。そんな中、著名な情報セキュリティ専門家でありハーバード大学ケネディスクールの公共政策学講師も務めているブルース・シュナイアー氏が、「AIは民主主義を強化することができる」と主張しました。 AI could shore up democracy – here's one way https://theconversation.com/ai-could-shore-up-democracy-heres-one-way-207278 シュナイアー氏は、これまでのところAIが民主主義や政治に多大な悪影響を及ぼすという懸念が数多く提起されており、人々が「

監査法人トーマツは9月にも、人工知能（AI）を使って企業の財務情報を監査する取り組みを本格的に始める。過去に誤りや不正があった企業の財務報告書を学ばせることで、監査先企業の不正リスクを探り当てる。企業の不適切会計が増える中、AIを活用して効率的な監査をする動きが広がってきた。トーマツが本格的に活用するのは、会計データの誤りや不正の可能性を自動的に検知するシステム。過去に誤りや不正で訂正した約3

もともと小説を書くためのAIなので物語には強いだろう。しかも日本製だし。 ということで大先生が早速試していた。 僕も真似をしてさっそく使ってみたのだが、そのままだとかなり短い文章しか出てこない。使い方に工夫が必要そうである。 そこでこんなコードを書いた。 def b(prompt): input_ids = tokenizer.encode( prompt, add_special_tokens=False, return_tensors="pt" ).cuda() tokens = model.generate( input_ids.to(device=model.device), max_new_tokens=320, temperature=0.6, top_p=0.9, repetition_penalty=1.2, do_sample=True, pad_token_id=tok

「Google Colab」で「AI BunCho」で利用されているモデル「japanese-novel-gpt-j-6b」を試したので、まとめました。 【注意】T4のハイメモリで動作確認しています。 1. japanese-novel-gpt-j-6b「japanese-novel-gpt-j-6b」は、日本初のAI(大規模言語モデル)を使用した創作支援アプリ「AI BunCho」で利用されているモデルです。「GPT-J-6B」をTPUで2週間日本語トークナイザーを用いて日本語データで事前学習し、その後2週間小説データで転移学習したものになります。 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「T4」の「ハイメモリ」を選択。 (2) パッケージのインストール。 # パッケ

AIBunCho/japanese-novel-gpt-j-6b AI BunChoで利用しているモデルです。2021年に作った小説用言語モデルです。 Model Details GPT-J-6BをTPUで2週間日本語tokenizerを用いて日本語データで事前学習し、その後2週間小説データで転移学習したものです。 Uses Google colabのT4 High-RAMで動作確認しています。 pip install transformers sentencepiece accelerate from transformers import GPTJForCausalLM, AlbertTokenizer import torch tokenizer = AlbertTokenizer.from_pretrained('AIBunCho/japanese-novel-gpt-j-6b',

AI BunChoはAIが物語のタイトルやプロットを提案したり、本文を生成する創作支援アプリです。 小説に特化したAIであるパラメータ60億の大規模日本語言語モデルを用いており、かなり文脈に沿った文章の生成が行えます。 これまでに290万以上の作品がAI BunChoを用いて生まれました！ (生成された作品データの総数)

Typograms (short for typographic diagrams) is a lightweight image format (text/typogram) useful for defining simple diagrams in technical documentation, originally developed here. See it in action here: https://google.github.io/typograms/ Like markdown, typograms is heavily inspired by pre-existing conventions found in ASCII diagrams. A small set of primitives and rules to connect them is defined,