こんにちは！突然ですが、皆さんは下のような二種類の時系列データを判別できるような特徴量を抜き出したいときに何を考えますか？そしてどうやって特徴量を抽出しますか？ 私はパッと見て次の手法を使えば特性が取り出せると思いました。 ピークの数 → k近傍法 ノイズの大きさ → 分散統計量 時系列方向で周期成分の大きさ → Wavelet変換 しかし、当然これだけでは十分な数の特性を網羅できていないでしょうし、適切な特性を抜き出すためにパラメータチューニングを行う必要があります（例えば、Wavelet変換であれば適切な基底関数を選ぶ必要があります）。 このように時系列データの特徴量エンジニアリングは調べることが無限にあり、どの特徴量を算出するかを考えているだけで日が暮れてしまいます。また、抜き出す特徴量が決まったとしてもモノによっては計算が複雑で実装に時間がかかってしまう場合もあります。 そんなとき

深層学習モデル（畳み込みニューラルネットワーク; CNN、Vision Transformer; ViT）の高速化手法のまとめ より詳細な資料は下記 CNN: https://speakerdeck.com/yu4u/moteruakitekutiyaguan-dian-karanogao-su-hua-2019 Vision Transformer: https://speakerdeck.com/yu4u/jin-nian-nohierarchical-vision-transformer

こんにちは、今回は機械学習の予測モデルにおける「ポストプロセス」について説明します。ポストプロセスとは、モデルが出力した予測結果を後処理する手法の一つです。特に、特定のクラスへの予測確率を調整する際に用いられます。 ポストプロセスの一例 以下に、ポストプロセスを適用する簡単な例を示します。ここでは、特定のクラス（クラス1）への予測確率を増強することを目指します。 import numpy as np # 仮の予測確率 preds = np.array([0.1, 0.4, 0.35, 0.7]) # ブースティング係数 boost = 4.7 # オッズを計算しブーストする odds = boost * preds / (1 - preds) # オッズを確率に戻す preds_boosted = odds / (1 + odds) この例では、まず予測確率（preds）をオッズに変換し、

Introduction データセットを追加してリネームを繰り返していると、同一画像が複数枚混ざっていることに気が付きました。 効率的に取り除く方法としてimgsimというライブラリを用いて画像の類似度を測定しました。 過学習の原因となる同一画像の削除、似たような画像の分類等に役立てられます。 ※詳細は下記 GitHub の方でご確認ください。 本記事が少しでも読者様の学びに繋がれば幸いです！ 「いいね」をしていただけると今後の励みになるので、是非お願いします！ 環境 Ubuntu22.04 Python3.11.1 imgsim とは 異なる画像の特徴ベクトル間の距離や類似度の差を計算します。 AugNetというディープラーニング学習パラダイムを用います。 差が 0 なら同一画像、値が大きくなるほど特徴量の異なる画像です。 AugNet とは 教師なし学習を使用して、画像の表現学習を行う

データアナリティクス事業本部 コンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 先月は、アナリティクスサービス全般的に大きなアップデートは少なめでしたが、Amazon QuickSightについては、機能追加やパフォーマンスの改善など、目を引くアップデートが多くありました。 Amazon Redshift 新機能・アップデート 2023/04/13 Amazon Redshift がストアドプロシージャでの自動コミットのステートメントをサポート ストアドプロシージャ内の強化されたトランザクション制御のサポートしました。プロシージャ内のステートメントを自動的にコミットできるようになります。さらに、NONATOMIC モードは、ストアドプロシージャ内のエラーによるアプリケーションの中断を防ぐのに役立ち

Python Notebooks to Web Apps Turn your Python Notebook into a Web App with the open-source Mercury framework. Share your results with non-technical users. Sign up for Cloud Check our GitHub Create with You don't need to know frontend frameworks, HTML, CSS or JavaScript. All in pure Python without leaving Jupyter Notebook. The simplest framework No callbacks!Mercury automatically re-executes cells

前回はOpenAI APIを使ってチャットなどを試しましたが、Jupyter AIはOpenAI 以外にも様々なAPIに対応しています。 今回はHuggingFace Hubを使ってみます。 環境構築​HuggingFace Hubの機能を使うにはhuggingface_hub、ipywidgets、pillowをインストールする必要があります。コンテナで用意します。

ターミナルにトークン付きのURLが表示されますので、ブラウザでアクセスします。 起動しました。 チャットインターフェイス 左パネルにチャットのボタンが追加されています。 Welcomeメッセージが表示されます。 language modelとembedding modelを選択します。 これで準備完了です。 チャットができます。 おお！ ノートブックについて質問できる ただチャットができるだけではありません。ノートブックのセルに対して範囲選択をすると、チャットエリアの下部にInclude selectionとReplace selectionが表示されます。 Include selectionだと選択したコードを含んだ形で質問ができます。 すっげー！ (DefaultActor pid=473) (DefaultActor pid=473) (DefaultActor pid=473) >

GPT-1は1億1700万個のパラメーターを持つ言語モデルで、GPT-2では15億、GPT-3では1750億とパラメーター数が増加するにつれて言語モデルの性能が上がってきています。しかしパラメーター数が増加するにつれてトレーニングに必要なデータの数やトレーニング中に使用するメモリの量も増加し、トレーニングのコストが大きく増加してしまいます。そんな中、メモリの消費量を激減させつつ少ないデータでトレーニングできる手法「QLoRA」が登場しました。 [2305.14314] QLoRA: Efficient Finetuning of Quantized LLMs https://arxiv.org/abs/2305.14314 artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs https://github.com/art

関連研究 OpenAI、大規模言語モデルの数学能力を大きく向上させることに成功 LLMを活用した機械学習ソリューション自動提案フレームワーク：MLCopilotの紹介 AudioGPT：音声認識から歌声合成まで SkinGPT：大規模言語モデルがビジョンベースで診断を下す皮膚科ツール　概要から仕組みまで 大規模言語モデルの毒に用心を　データポイズニングのリスク 目次 LATMとは何か フレームワークの構成 ツール作成とツール使用の詳細 LATMのメリット コストと品質のバランス フレキシビリティと拡張性 実証実験の結果 LATMの可能性 高度な問題解決能力 活用の幅の拡大 LATMの具体的な使用例 論理的な推論タスク ツールの再利用 ツールの適応性 まとめ LATMとは何か LATM（Large Language Models as Tool Makers）は、GPT-4などの大規模言語モ

guidance guidanceではエージェント機能は自前で実装する必要があります。 semantic kernelやlanchainではエージェント機能が用意されています。 自前実装可能なので実装の幅は広そうですが、今回は以下のような流れで実装しました。 実行すべき関数のリストをJSON形式で作成=実行計画 実行計画の作成を行うプロンプトにより実装しています。 JSONに含まれる関数を順に呼び出す pythonの関数として実装しています。 ユーザ側でプロンプトやpythonの関数を作成できるため、自由度が高いなと感じました。 あとはあまり抽象化されていないため、機能拡張・メンテナンスなどが楽そうです。 ①ソースコード全文 ソースコード全文 import os import json import guidance # テキスト生成モデル text_llm = guidance.llms

2022年11月にChatGPTが公開され、たった1週間で100万ユーザーを超えたのをきっかけに、GoogleのBardやMicrosoftのBing AI Chatなど、大規模言語モデルを利用したチャットAIが続々とリリースされています。チャットAIを研究しているセバスティアン・ラシュカさんが、チャットAIが実用化されるまでの研究の軌跡を重要な論文24個に絞って要約しています。 Understanding Large Language Models - by Sebastian Raschka https://magazine.sebastianraschka.com/p/understanding-large-language-models ◆目次 ・主要なアーキテクチャとタスク ・スケーリングと効率性の向上 ・言語モデルを意図した方向へ誘導する ・人間のフィードバックによる強化学習(

この本は、「GPT-4」「ChatGPT」「LangChain」を活用して「チャットAI」を開発するための入門書です。 対象読者は、 ・チャットAIのしくみを知りたい人 ・チャットAIに知識や計算の能力を与えて仕事を自動化したい人 ・会話ロボットやAITuberなどの会話エンジンとして使いたい人 ・自分のアプリケーションにチャットUIを組み込みたい人 になります。 「ChatGPT」は、OpenAIが開発した最新のチャットAIです。ログインして会話を入力するだけで使える手軽さはもちろん、人間のような自然な会話ができることから世界中で人気となり、2022年11月にリリースされてからわずか2ヶ月で1億人のアクティブユーザー数を達成しました。同年にリリースされた画像生成AI「Stable Diffusion」とともに、研究者や専門家ではない一般の人が人工知能を活用しはじめる、ターニングポイントと

概要 GPT-4 に全自動で Minecraft をプレイさせる論文 "Voyager: An Open-Ended Embodied Agent with Large Language Models" を紹介します。 Voyager は、継続的・段階的に複雑なタスクを学習し続けることができ、マップ開拓や新アイテム獲得の能力で既存手法に勝ると主張されています。 既存手法との違い LLM にツールや外部 API を与えて自律的に計画・行動させるアルゴリズムと言うと、ReAct, Reflexion, Auto-GPT などが特に有名です。 これらと Voyager の一番の差別化部分は、Iterative Prompting Mechanism および Skill Library と呼ばれるコンポーネントです。 Voyager はボットを操作するために Mineflayer という Java

NVIDIAは2023年5月28日（米国時間）、新しいクラスの大規模メモリを搭載したAI（人工知能）用スーパーコンピュータ「NVIDIA DGX GH200」（以後、DGX GH200）を発表した。「NVIDIA GH200 Grace Hopper Superchip」と「NVIDIA NVLink Switch System」を搭載したNVIDIA DGXスーパーコンピュータは、生成AI言語アプリケーション、レコメンダーシステム、データ分析ワークロード用の巨大な次世代AIモデルの開発を可能にする。2023年末までに提供が開始される予定だ。 DGX GH200の大規模な共有メモリ空間は、NVLinkインターコネクトテクノロジーとNVLink Switch Systemを使用して、256基のGH200 Superchipを結合し、単一のGPUとして実行可能にする。これにより、1エクサFLO

文化庁は6月2日、著作権法の観点から生成AIについて解説するセミナー「AIと著作権」を開催すると発表した。19日にYouTubeライブで受講者のみに限定配信する。受講料は無料で、事前登録が必要。 セミナーは2部構成。著作権に関する基礎知識などをレクチャーする第1部「著作権制度の概要」の後、第2部「AIと著作権」の講座を開く。第2部では、他人の著作物をAIに学習させる行為や、AIが生成したコンテンツが著作権法上どのように取り扱われるかなどを解説する。 関連記事 個人情報保護委、ChatGPT提供の米OpenAIに行政指導　人種や信条、病歴などを取得しないよう要請 個人情報保護委員会は、AIチャットサービス「ChatGPT」などを提供する米OpenAIに対し、個人情報保護法に基づく行政指導を行ったと発表した。 東大の「教員向けChatGPT講座」無料公開　「多くの教員が困るだろう」から 「Ch

チャットAIや画像生成AIなどの生成AI技術の開発は日進月歩の勢いを見せており、検索エンジンに組み込まれたり、ブラウザから画像を生成できるようになったりするなど、日常生活にも生成AIが登場しています。そんな中、テクノロジー系の話題を扱うブログ「Technomancers.ai」の執筆者の一人であるデロス・プライム氏が、「日本はAI技術に全力を尽くす動きを見せている」と指摘しています。 Japan Goes All In: Copyright Doesn't Apply To AI Training https://technomancers.ai/japan-goes-all-in-copyright-doesnt-apply-to-ai-training/ プライム氏は、2023年4月24日に行われた衆議院決算行政監視委員会での質疑における永岡桂子文部科学大臣の答弁に注目しました。永岡文

どのような生成AI技術であれ、それを構築するためのデータセットについて議論すると、著作権の問題に行き当たる。世界中の政府がこの問題を解決するために何が必要かを議論している中、日本は少し方針が異なるようだ。日本の著作権法による規制は、AIのトレーニングには適用されない。 2019年1月1日に施行された日本の改正著作権法が、AIモデルの開発に大きな影響を与えるのだ。具体的には、同法第30条の4の解釈により、、著作権者の利益を不当に害さない限り、著作権者の許諾を得ることなく「情報分析」のために著作物を利用することができるとされている。 著作権法 第三十条の四　著作物は、次に掲げる場合その他の当該著作物に表現された思想又は感情を自ら享受し又は他人に享受させることを目的としない場合には、その必要と認められる限度において、いずれの方法によるかを問わず、利用することができる。ただし、当該著作物の種類及び

政府の個人情報保護委員会は2日、生成型の人工知能（AI）「Chat（チャット）GPT」を開発した米新興のオープンAIを行政指導したと発表した。病歴など重要な個人情報の取得の仕方に懸念があると判断し、1日付で同社に注意喚起した。同委員会が生成型のAIサービスを巡り行政指導するのは初めてだ。個人情報保護法は人種や信条、病歴や犯罪歴などを特に重要な「要配慮個人情報」としており、収集する段階から本人

はじめに 統計検定準1級は(一財)統計質保証推進協会が実施、(一社)日本統計学会が公式認定する「2級までの基礎知識をもとに、実社会の様々な問題に対して適切な統計学の諸手法を応用できる能力を問う」試験です。現在はCBTでの実施となっています。 主観を込めて言いますと、2級と準1級では難易度に雲泥の差があります。 強調して言っておきます。まったく違います！ 準1級では統計的推定や検定に加えて、多変量解析(重回帰、PCA、主成分分析、数量化)、時系列解析、マルコフ連鎖、確率過程、分散分析、ベイズ統計、MCMC...と範囲が広いのが特徴です。 以下、かなりの長文になりましたが、受験して得た知見をかなり具体的に記述しました。読者の皆様の合格への一助となれば幸いです。 目的 私はとある私立中高で物理と情報を教えています。統計の勉強を始めたのは、教科「情報」を教えるにあたってのスキルアップが目的です。も

統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値～平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 データの見方と 適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①－クロスセクションデータ－ ・比率の見方②－使い方と注意点－ ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公的統計とは ・公的データの入手

米MicrosoftはサポートページでWindowsでのCortanaのサポート終了を告知した。「2023年後半以降、WindowsではスタンドアロンアプリとしてCortanaはサポートされなくなります」となっている。 2014年に「Windows Phone 8.1」の新機能としてデビューしたCortanaは、米Appleの「Siri」対抗の音声アシスタントと目されていた。その後、Windows 10のタスクバーで利用できるようになったが、Windows 11ではタスクバーから消えていた。 Microsoftが5月に開催したBuild 2023で発表した「Windows Copilot」は、Cortanaよりはるかに高機能なアシスタントなので、Cortanaの役目が終了になっても当然だろう。 MicrosoftはCortanaのWindowsでのサポート終了時期について具体的にはまだ発表

「チャットGPT」のように精巧な文章や画像を作る生成人工知能（AI）が進化すると、「人間の仕事を奪うと思う」と答えた人の割合が76.9％に上ったことが3日、民間企業の調査で分かった。現時点では仕事に役立つとの好意的な見方が大勢だが、若年層ほど将来的な脅威と捉える傾向がうかがえた。仕事を奪われるとの懸念は20代では81.7％に達した。 転職などの相談サービスを手がけるライボ（東京）の調査機関Job総研がまとめた。調査結果から予測できる未来像を生成AIに回答させたところ、生成AIの普及は「社会に大きな変化をもたらすことは間違いない」と指摘した。

チャットAIのChatGPTを開発するAI研究団体のOpenAIが、AIを活用したサイバーセキュリティ機能の開発を促進するためのプログラムを始めると発表しました。 OpenAI cybersecurity grant program https://openai.com/blog/openai-cybersecurity-grant-program 2023年6月1日、OpenAIがサイバーセキュリティ助成プログラムを立ち上げました。OpenAIはこのプログラムについて、「AIを活用したサイバーセキュリティ機能を強化・定量化し、ハイレベルなAIとサイバーセキュリティの議論を促進するための100万ドル(約1億3900万円)のイニシアチブです」と説明しています。 OpenAIが始動するサイバーセキュリティ助成プログラムで目指すのは以下の3点です。 1：防御側に力を与える 最先端のAI機能が何よ

カカクコムは6月2日、価格.comのChatGPTプラグインを公開した。ChatGPT上で「2万円以下で買えるイヤフォンを探しています」のように質問すると、価格.comの商品情報を取得して条件に合う商品とその詳細を表示する。 ChatGPTプラグインの機能が有効化されていれば、プラグイン一覧から選択して適用すれば利用できる。予算や商品カテゴリー、メーカー名などを文章で指定すると、おすすめ商品の商品名、メーカー、価格、レビューの点数、スペック、商品ページへのリンクを数件分提示する。 同社は5月にも「食べログ」のChatGPT用プラグインをリリース。「明日の午後5時に4人で入れる渋谷の焼き肉屋さんを教えてください」のような質問に対して、予約可能な飲食店の情報を出力する。 関連記事 ChatGPT Plusのプラグインを使ってみた　「食べログ」連携で実在店舗も案内可能に OpenAIは「Chat

最新世代の人工知能（AI）チャットボットは、世界中の事実、数値、データを知るのに便利だ。しかし、近所のことについて尋ねると、すらすらとは回答しない可能性がある。Googleは今回「Bard」に、ユーザーの現在地に基づく情報をより適切に提供できるようにするオプションを追加した。 Bardを起動すると、デバイスの正確な位置情報を使いたいかどうかを尋ねる通知がポップアップ表示される。使用に同意すると、BardはGoogleの検索エンジンや「Googleマップ」アプリなどのように、ユーザーの正確な位置を検出する。その上で、Bardに近くの場所に関する道順やアドバイスを求めると、Bardは周辺環境に基づく情報を提供するようになる。 Bardは、デフォルトでユーザーの自宅と職場の住所（Googleアカウントに登録されている場合）やIPアドレスから位置情報を使用している。しかし、ユーザーは自宅か職場にい

お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。 2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。 お知らせ connpassをご利用いただく全ユーザーにおいて健全で円滑なイベントの開催や参加いただけるよう、イベント参加者向け・イベント管理者向けのガイドラインページを公開しました。内容をご理解の上、イベント内での違反行為に対応する参考としていただきますようお願いいたします。