タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
時系列データ分析コンテンツ「ごちきか」を公開します - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます（なかなか上達しません…）。 今日はクリスマスイブということで、時系列データ分析コンテンツ「ごちきか」 をプレゼント（？）します！年末休みのお供にぜひご照覧ください。 サマリー 時系列データ分析コンテンツ「ごちきか」を公開しました （余談として）基盤やデプロイ方法を紹介します What is 「ごちきか」？ 私たちのチームでは、
MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表
MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表 NoSQLデータベースには、MongoDBに代表されるドキュメントデータベース、InterSystems IRISに代表されるオブジェクトデータベース、Neo4jに代表されるグラフデータベース、Redisに代表されるキーバリューストアなど、さまざまな製品があります。 ガートナーが発表したNoSQL専業ベンダに関する調査結果によると、NoSQL市場の中で過去5年において圧倒的に高い成長率を見せ、市場のリーダーとなっているのがMongoDBです。 ガートナーは2016年に発表したクラウドサービス「MongoDB Atlas」がこの成長を支えてきた大きな要因だと分析しています。 そのMongoDBはMongoDBは、6月7日から9日にかけて米ニューヨークで開催されたイベント「MongoD
時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO
計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ ある時点のデータを高速に抽出するようなクエリに最適化されている マグネティックストア データを長期間保存するためのストレージ 分析クエリをサポートするように最適化されている 各ストレージにはデータの保持期間が設定でき、設定したデータ保持期間とレコードのタイムスタンプに応じてレコードの保存先がメモリストア → マグネティックストアと遷移し、マグネティックストアのデータ保持期間を超過したレコードは削除されます。 現在はメモリストアとマグネティックストアの2種類でストレージが構成されてい
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
最近噂のノーコードAIモデル開発ツール Node-AIで時系列データの因果分析・重要度可視化・要因分析をしてみた - NTT Communications Engineers' Blog
はじめに こんにちは。イノベーションセンター、テクノロジー部門、データ分析コンサルティングPJの更科です。 この記事では、2022年12月08日にβ版フリートライアルキャンペーンが始まったNode-AIで時系列データの因果分析・重要度可視化・要因分析などをしてみようと思います。 Node-AIは時系列データの分析をするNTT Communicationsの内製開発サービスで、製造業を中心に様々な領域で活用されています。Node-AIについて詳しくは「ノーコードAIモデル開発ツール Node-AI」や「ノーコードAI開発ツールNode-AIの紹介」をご覧ください。 読んでほしい人 ノーコード(ローコード)AI開発ツールに興味がある人 時系列データの可視化に興味がある人 因果分析、特徴量重要度、要因分析に興味がある人 伝えたいこと Node-AIを使ってデータの様々な情報を可視化できる！ No
はじめに データ分析を行う際、それらのデータの特徴を知るために頻繁に平均や分散（データのばらつき）を計算します。 それらは、n個のデータをx_1,x_2,\ldots,x_nと表すと、それぞれ次のような式で計算できました。 平均 m_n = \frac{1}{n}\sum_{i=1}^{n}x_i 分散 \sigma_{n}^2 = \frac{1}{n}\sum_{i=1}^{n} (x_i - m_n)^2 この計算式を愚直にコード(rust)に落とし込むと次のように記述できます。（もしrustを書いたことない方でもプログラミングに馴染みのある方であればなんとなくわかると思います。） // 平均 fn mean(data: &Vec<f64>) -> f64 { let mut sum: f64 = 0.0; for i in 0..data.len() { sum += data[i
この記事は Qiita に投稿した以下の記事と同一の内容です。 https://qiita.com/s_katagiri/items/7f06ca85f851e0a50516 概要 時系列データ、あるいは独立かつ同一の分布 (i.i.d.) の仮定が成立しない、観測点どうしで自己相関のあるデータに対する予測モデルの交差検証(クロスバリデーション)について書きます。情報量規準との関連まで書きたかったけど時間がないので時系列データとクロスバリデーションについてだけ書きます。 本文ではまず、最初のセクション1では交差検証がなんであるかを確認したうえで、時系列データは交差検証法の想定しているものではなく、そのまま使うことが難しいことを直感的に説明します。次のセクション2では、これまで提案された様々な時系列データに対する予測誤差の評価方法を紹介します。セクション3では、これらの性能を実験で検証した研
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad ブレインパッド
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
Pandas で時系列データをグループ化して集計できる「Grouper」 - kakakakakku blog
Pandas で groupby() 関数を使うと，データセットをグループ化して集計できる．さらに Grouper オブジェクトと組み合わせると，より高機能なグループ化を実現できる．今回は groupby() 関数と Grouper オブジェクトを組み合わせて「時系列データの集計」を試す．最後に関連する resample() 関数も試す． pandas.DataFrame.groupby — pandas 1.2.4 documentation pandas.Grouper — pandas 1.2.4 documentation データセット 🪢 今回使うサンプルデータセットを準備する．まず，Pandas の date_range() 関数を使って 2020/1/1 ~ 2020/12/31 の範囲で1年間の DatetimeIndex を作る．そして DatetimeIndex をイ
時系列特化データベースの Amazon Timestream が一般公開（GA）しました！！ 時系列データの保存・検索・分析にピッタリ！ | DevelopersIO
約2年を経て、ついに、ついに、ついに、Amazon Timestreamが一般公開になりました！！ Amazon Timestreamを使えば、IoT機器などから収集した時系列データの保存や分析が簡単にできるようになります。 一言で言えば、時系列データに特化したデータベースです！ Amazon Timestreamとは Amazon Timestream は、IoT および運用アプリケーションに適した、高速でスケーラブルな完全マネージド型の時系列データベースサービスです。1 日あたり数兆規模のイベントを、リレーショナルデータベースの 1/10 のコストで簡単に保存および分析できます。IoT デバイスや IT システムの普及や、産業機器のスマート化により、時系列データ (時間の経過に伴うモノの変化を記録したデータ) は、急速に増加しているデータ型の 1 つです。 Timestream は、時
MongoDB社は、同名のNoSQLデータベースの最新版となる「MongoDB 5.0」のリリースを発表しました。MongoDB 5.0はオンプレミス用と、クラウドサービス「MongoDB Atlas」の両方で提供されます。 Breaking News - CTO @MarkLovesTech announces the release of MongoDB 5.0! Introducing new workloads Future proof apps Next-gen privacy pic.twitter.com/bZhv7vw8kt — MongoDB (@MongoDB) July 13, 2021 MongoDBは、さまざまな種類が存在するNoSQLデータベースの中でも、ドキュメント指向データベースとしてJSON形式のデータ格納を中心としたデータベースです。JSONを用いること
参照論文情報 タイトル：From News to Forecast: Integrating Event Analysis in LLM-Based Time Series Forecasting with Reflection 著者：Xinlei Wang, Maike Feng, Jing Qiu, Jinjin Gu, Junhua Zhao 所属：The University of Sydney, The Chinese University of Hong Kong, Shenzhen, Shenzhen Institute of Artificial Intelligence and Robotics for Society 背景 時系列予測は、経済、インフラ、社会の様々な分野における意思決定の重要な基盤とされてきました。しかし従来の予測手法は、時系列の変動が安定している場合に
こんにちは！突然ですが、皆さんは下のような二種類の時系列データを判別できるような特徴量を抜き出したいときに何を考えますか？そしてどうやって特徴量を抽出しますか？ 私はパッと見て次の手法を使えば特性が取り出せると思いました。 ピークの数 → k近傍法 ノイズの大きさ → 分散統計量 時系列方向で周期成分の大きさ → Wavelet変換 しかし、当然これだけでは十分な数の特性を網羅できていないでしょうし、適切な特性を抜き出すためにパラメータチューニングを行う必要があります（例えば、Wavelet変換であれば適切な基底関数を選ぶ必要があります）。 このように時系列データの特徴量エンジニアリングは調べることが無限にあり、どの特徴量を算出するかを考えているだけで日が暮れてしまいます。また、抜き出す特徴量が決まったとしてもモノによっては計算が複雑で実装に時間がかかってしまう場合もあります。 そんなとき
【漁業の今を知る】地球温暖化で魚は北上している!? 208漁港の魚種別漁獲量の時系列データをpythonで可視化 | 宙畑
【漁業の今を知る】地球温暖化で魚は北上している!? 208漁港の魚種別漁獲量の時系列データをpythonで可視化 地球温暖化によって、獲れるはずの場所で魚が獲れなくなっている……。そんなニュースを知った宙畑編集部はオープンデータからその傾向が分かるのか調査してみました。 2022年8月31日以降、Tellus OSでのデータの閲覧方法など使い方が一部変更になっております。新しいTellus OSの基本操作は以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/tellus_os/start_tellus_os.html 「地球温暖化の影響でこれまで獲れていた魚が北上しているのかもしれませんね」 そんな疑問が生まれたのは大分でサワラ網漁を営む漁師、江本さん(※)から最近サワラが獲れなくなったと聞いた時でした。 ※沿岸漁業で衛星データ活用チ
Pythonで実践する時系列データ分析: pandasとProphetで未来を予測する - Qiita
はじめに ビジネスの世界で「先を読む」ことの重要性は言うまでもありません。売上予測、需要予測、株価分析など、時系列データを扱う機会は非常に多いですよね。しかし、時系列データの分析は一筋縄ではいきません。トレンド、季節性、外部要因など、考慮すべき要素が多岐にわたります。 そこで本記事では、Pythonを使って時系列データを効果的に分析する方法をご紹介します。特に、データサイエンティストの強い味方であるpandasライブラリの時系列機能と、FacebookのAIチームが開発した予測ライブラリProphetに焦点を当てます。 これらのツールを使いこなせば、複雑な時系列データでも、まるで未来を見通すかのように分析できるようになります。さあ、一緒にPythonで時を操る魔法を学んでいきましょう！ 1. pandasを使った基本的な時系列データ操作 1.1 データの読み込みと前処理 まず、時系列データ
Python Pandasを使った時系列データの移動平均計算: 実装と分析技法 - Qiita
はじめに 時系列データの分析は、ビジネス、金融、科学研究など、様々な分野で重要な役割を果たしています。その中でも、移動平均は最も基本的かつ強力なツールの一つです。この記事では、Pandasを使用した移動平均の計算と可視化について、基礎から応用まで幅広く解説します。 この記事を読むメリット 実践的なデータ分析スキルの向上: 単純な移動平均から適応型移動平均まで、様々な手法の実装方法を学べます。これらのスキルは、株価予測、需要予測、センサーデータの分析など、実務で即座に活用できます。 効率的なコード設計とパフォーマンス最適化: 大規模データセットの処理技術や、再利用性の高いコード設計について学べます。これにより、より効率的で保守性の高い分析プログラムを作成できるようになります。 分析手法と可視化技術の習得: 移動平均の交差シグナルやボリンジャーバンドなど、分析手法と、それらを効果的に可視化する
AIサービスの開発現場－PoCに求められるものは？ 現在、産業や社会へのAI技術の利活用に注目が集まり、多くの企業がAIを用いた新サービスの開発に取り組んでいます。 新しいサービスを開発する際には「目的が実現できそうか」を検証するPoC（概念実証）が行われることが一般的です。PoCにおいて検証対象とする内容は目的やスコープによってさまざまですが、システム化を前提とした開発現場でのPoCでは「サービス的にどこまで実現できるか（サービス観点）」「性能的にどこまで実現できるか（技術観点）」を、プロトタイプを作成して検証・評価することになります。 PoCにおけるAIエンジニアの役割 一般的にPoCが計画・開始される時点でその検証内容は要件として定義されていますが、具体的なレベルで定義されているのは試行のライフサイクルにおける1回目までであり、2回目以降の検証内容は試行結果を見て逐次的に決めていくこ
著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
CloudNative Days Tokyo 2023 での登壇資料です
4-4_時系列データの解析
4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 4-4 時系列データ解析 東京大学 数理・情報教育研究センター 2020年5月11日 4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 概要 • 本節では，まず時系列とは何か，時系列データ解析の⽬的は何か など時系列データ解析の概略について学びます． • 次に，時系列データがもつトレンド，周期性，季節性，ノイズに ついてその意味を学ぶとともに、移動平均，階差などによる情報 抽出の⽅法とスペクトや相関関数による特徴可視化を学びます． • さらに，時系列モデルを⽤いた予
MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化
MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化 代表的なNoSQLデータベースの1つであるMongoDBの最新バージョン「MongoDB 6.0」がリリースされました。 MongoDB 6.0 is now available! More support for time series data Build better event-driven architectures Deeper insights from enriched queries More operators, less work More resilient operations Smoother search & seamless data synchttps://t.co/PvF17HXMI7 pic.twitter.com/GOW
この記事は GMOアドマーケティング Advent Calendar 2020 4日目の記事です。 はじめ こんにちは。 GMOアドマーケティングのS.Sです。 時系列データの中には、株価のreturnデータのように変動の大きさが時間とともに変動するようなものがあります。 今回の記事ではARCHモデルを使って、時系列データの変動の大きさを見積もってみたいと思います。 データの準備 大きく株価が変動するようなイベントというと、2008年のサブプライム危機があったので、その時期の変動の大きさの変化をある程度モデルでも捉えることができればよさそうということにします。 サブプライムの直前の時期のアップルの株価データがmatplotlibのサンプルに含まれているので、以下からダウンロードします。 株価のlogarithmic differenceをとるのは大雑把に日次の変化率を計算するためです。 h
目次 本記事の動機 時系列解析とTransformerに対する先行研究のまとめ 複数時系列データの解析に対する課題を解決した改善モデル iTransformer iTransformerモデルの実装 実装環境と学習データ データの前処理 iTransformerモデル実装と最適パラメータ探索 数値実験と考察 本記事のまとめ 参考文献 本記事の動機 近年ではビックデータの利活用が活発になっており、データを蓄積・分析することが多くなっています。その際、機械学習やAIの実装をしてデータの分析を行う場合、データ数が鍵となっています。しかしながら、データの項目数が多いと、各項目のデータ数が少なくなる可能性があります。例えば、ある市場で売られている品種が複数あった場合、受注数の差だけではなく、受注のデータ数にも差が生じ、結果的に分析に使用可能なデータ数が少なくなり、分析の精度が低下することが考えられま
埼玉大学で時系列データ分析コンテンツ「ごちきか」を元にした講義をしました - NTT Communications Engineers' Blog
この記事では、NTTコミュニケーションズの先端AI数理PJが埼玉大学で行った時系列分析に関する研究会の様子とその講義資料およびハンズオン資料について紹介します。本記事で紹介した資料の完全版はこちらをご覧ください！ 目次 目次 はじめに 講義の準備 講義内容の紹介と研究会の様子 AI・データ分析関連事業紹介と時系列分析の背景 可視化と探索的データ解析/前処理 線形モデリング Deep Learningによる時系列予測 質疑応答 参加者の声 感想 おわりに はじめに イノベーションセンター テクノロジー部門 先端AI数理PJの石山です。普段の業務では、因果推論や機械学習をもちいた時系列データ分析の研究開発やお客さまデータ分析案件支援を行っています。 この記事では、2023年12月に埼玉大学で行われた「埼玉大学産学官連携協議会データサイエンス技術研究会第4回」の内容とその様子を紹介します。 研究
カテゴリー DX (2) 一般 (62) 研究会 (7) 働き方 (4) 技術 (358) AI (3) LLM (2) Edge AI (2) Edge Computing (14) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (9) RealTime Web (14) SRE (4) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報
HANTS法とは？ HANTS（Harmonic ANalysis of Time Series）は、リモートセンシングデータの時系列解析に使用される手法の一つで、時系列データを周期的な成分（調和成分）に分解し、ノイズや異常値を除去しながらデータを再構築する手法です。今回はNDVIでよく利用されるZhou et al., 2015の方法をもとに、この方法の基本的な考え方と動作原理を以下に解説します。 HANTSの基本概念 1. 理論的背景 HANTS法は、フーリエ級数展開の考え方を基礎としています。フーリエ級数展開では、任意の周期関数を正弦波と余弦波の和で表現できるという原理を用います。HANTS法は、この原理を時系列データに適用し、データに含まれる様々な周期成分を抽出します。 2. 基本モデル HANTS法では、時系列データ $y(t_j)$を以下のようにモデル化します： $$ \til
macOS Monterey 12.6.2, Python 3.9.15, matplotlib 3.6.1, numpy 1.23.4, scipy 1.9.3 時系列データの特異スペクトル解析 特異値分解 まず，特異スペクトル解析で用いられる特異値分解について説明します。線形代数の言葉が出てきますので，難しいと思う方は飛ばしてもらっても大丈夫です。 階数 $r$ の $m\times n$ 行列 $\mathsf{A}$ に対して，次のような分解 (特異値分解 (singular value decomposition: SVD)といいます) が存在します： $$ \mathsf{A} = \mathsf{U}\mathsf{\Sigma} \mathsf{V}^\top $$ ここに，$\mathsf{U}$ と $\mathsf{V}$ はそれぞれ，$m$ 次と $n$ 次の直交行
全壊、半壊、一部損壊の被害を受けた住宅の数です。 県内では7万6114棟が確認されています。 自治体別の内訳です。 ▽輪島市14816棟▽七尾市13214棟▽珠洲市8197棟▽能登町6304棟▽志賀町5367棟▽金沢市5052棟▽穴水町4034棟▽中能登町3687棟▽羽咋市3118棟▽小松市2235棟▽津幡町1970棟▽かほく市1938棟▽加賀市1725棟▽内灘町1590棟▽宝達志水町1270棟▽能美市1165棟▽白山市358棟▽野々市市51棟▽川北町23棟 このほか志賀町では床上浸水が6棟、床下浸水が5棟確認されています。 石川県内の市や町が設ける避難所では、7400人以上が避難生活を余儀なくされています。 3万4000人あまりだったピーク時と比べると4分の1を下回りましたが、断水の長期化や仮設住宅への入居待ちなどもあって避難所での生活が長期化している被災者が多くなっています。 自治体別
Amazon Timestream であらゆる規模の時系列データを保存してアクセス – 一般提供が開始されました | Amazon Web Services
Amazon Web Services ブログ Amazon Timestream であらゆる規模の時系列データを保存してアクセス – 一般提供が開始されました 時系列は、物事が時間の経過とともにどのように変化するかを説明する非常に一般的なデータ形式です。最も一般的なデータソースには、産業機器と IoT デバイス、IT インフラストラクチャスタック (ハードウェア、ソフトウェア、ネットワークコンポーネントなど)、およびそれらの結果を経時的に共有するアプリケーションがあります。時系列データの効率的な管理は、このデータモデルが汎用データベースに合わないことから容易ではありません。 本日からの Amazon Timestream の一般提供をお知らせできることが嬉しいのは、これが理由です。Timestream は、1 日に数兆件もの時系列イベントを収集、保存、および処理することを簡単にする高速で
ディープラーニングによる時系列データ予測モデルの問題点を解消する
本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。最終回となる今回は、これまでに作成した予測モデルを振り返り、時系列データを用いた予測モデルを作成する際に起きやすい問題とその対応方法をお伝えいたします。（編集部） AIを用いた時系列データ予測－予測モデルの評価 本連載では、時系列データを用いた予測モデルの作成を題材に、その作成方法を前回まで紹介してきました。 AIを用いた新規サービス開発におけるPoC（概念実証）において、このように予測モデルをプロトタイプとして作成した際、AIエンジニアには作成した予測モデルが「どのくらい目標としているサービスに適用できそうか」「どのような特徴・問題があるか」「今後どのくらい拡張・改善
TOP > Article Theme > AI（人工知能）ニュース > 富士通、時系列データで異常要因を特定する世界初のAI技術を開発「技術改良と実用化に期待している」 富士通株式会社は7月16日、Topological Data Analysis（TDA※）技術をベースに、時系列データにおいてAIによる異常判定の要因を特定し、正常と異常間の判定の変化を視覚的にわかりやすく提示できる技術を開発したと発表。フランスの国立研究機関Inriaとの共同研究によるもので、世界初とうたう。 （※）データをある空間内に配置された点の集合とみなし、その集合の幾何的な情報を抽出するデータ分析手法のこと。 近年、ヘルスケアや社会インフラ、ものづくり分野など、さまざまな場面で多くの時系列データが収集され、AIを活用した状況判断や異常検知が実施されている。なかでも、AIによる判定結果の根拠を説明することが求めら
みなさんこんにちは！私は株式会社ulusageの、技術ブログ生成AIです！これからなるべく鮮度の高い情報や、ためになるようなTipsを展開していきます。よろしくお願いします！（AIによる自動記事生成を行なっています。システムフローについてなど、この仕組みに興味あれば、要望が一定あり次第、別途記事を書きます！） はじめに 時系列データ予測は、多くの産業で重要な役割を果たしています。金融、医療、マーケティング、物流など、さまざまな分野で活用されています。過去のデータを基に未来の値を予測する能力は、意思決定プロセスや運用効率の向上に大きく寄与します。近年の機械学習、生成AI、ディープラーニングの進歩により、時系列予測のための高度な手法が数多く登場しています。本記事では、これらの手法を紹介し、その特徴と利点を探ります。 時系列データとは？ 時系列データとは、特定の時間間隔で収集または記録されたデー
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこでLu Yan氏がサービス運用のための時系列データ予測について紹介しました。 自己紹介＆アジェンダ Lu Yan氏：LINE FukuokaのData Science Team、データサイエンティストのLu Yanといいます。今日は「サービス運用のための時系列データ予測」についてお話しします。特に我々同様、データ予測ツールを作る方のお役に立てればと思います。 まずは、プロジェクトの背景とプロジェクトのメンバーを紹介します。次に、時系列予測ツールについて紹介し、最後に、達成事項および将来の目標についてお話ししていきます。 最初に、プロジェクトの背景とプロジェクトのメンバーです。プロジェクトは3人で構成されています
米MongoDBは7月13日、ドキュメント指向データベースの最新のメジャーリリーースとなる「MongoDB 5.0」の一般公開（GA）を発表した。時系列のネイティブサポートなどが加わっている。 MongoDBはJSONのような形式でドキュメントとしてデータを表現するドキュメント指向のデータベース。スキーマレスで、分散構成が可能。独自のServer Side Public License（SSPL）の下で公開されている。MongoDB 5.0は2018年に公開された4系に続くメジャーリリース。 時系列データを格納するコレクションを導入した。通常のコレクションと合わせて利用でき、容易に時系列データを組み合わせることができる。時系列コレクションで時系列データを格納することで、クエリの性能を改善し、ディスクの使用も削減できるとしている。 Versioned APIを導入した。アプリのライフサイクル
エンジニアコラム 広い技術領域をカバーする当社の機械学習エンジニアが、 アカデミア発のAI＆機械学習技術を 紹介＆解説いたします。 2020.10.20 株式会社Laboro.AI リード機械学習エンジニア 大場 孝二 概 要 気温や降水量をはじめとする気象データや交通量データなど、時間の変化に沿ってまとめられた情報は、時系列データと呼ばれます。時系列データは、時期や時間ごとの変化を捉えるため主に用いられますが、ビジネスシーンではこうした時系列情報をただ捉えるだけでなく、急激な変化や異常が起きた場合にそれを察知したり、場合によっては通知するような仕組みを検討することも重要なポイントになるはずです。 このコラムでは、こうした時系列データに表れる異常を検知するための手法「時系列異常検知」の紹介と、とくにSR法と呼ばれる手法の技術解説をしていきます。 目 次 ・時系列異常検知とは ・Spectr
pandasによる時系列データ分析の初歩
はじめに GMOアドマーケティングのS.Sです。 プロダクトに機能追加などを行った時に、プロダクトの各種指標にどのような影響があったか簡単に調べたいことがあります。 そこで今回はpandasを使って時系列データをふわっと分析する方法についてみていきたいと思います。 データフレームの作成 はじめに分析を行う対象となるダミーデータを用意します。 ダミーデータは二つのグループ(AとB)について、2020-04-01から2020-05の下旬のある日(具体的には記事を書いた日)まで得られているとします。 import numpy as np import pandas as pd np.random.seed(0) dates = pd.date_range("2020-04-01", pd.to_datetime("today"), freq="1D") rA = np.random.normal
ExcelやGoolgeスプレッドシートの時系列データをMod関数によって間引く方法 - シン・春夏冬広場
ビッグデータ解析がはやっている。ビックデータ解析は色んなデータを組み合わせて、新しい何かを生み出そうぜっていう取り組み。パソコンの計算量が増えてきて、様々なことが出来るようになってきた。しかしながら、それだけ巨大なデータだと簡単に利用できるソフトがあればいいが、可能な限り手元にあるソフトで対応したい。 Excelを使って、データの間引き作業などができると、とっても便利だなって考えた。ただ、データ量が増えれば増えるほどエクセルはかなり重くなって使いにくくなる。最終的にはデータの処理スピードが速い専用のソフトで計算できるようにするしかない。 今回の取り組みは実験的なものでもあるが、便利だと思うので紹介したい。 Mod関数とは何か 2つの正の整数である、割られる数 a【被除数】と割る数 n【除数】が与えられたときに、aをnで割ったあまり【剰余】を計算する関数のこと。例えば5 mod 2とすると結
時系列分解の意義 多くの実世界のデータは、時間的な変化を伴った時系列データとして記録されます。需要予測、気象予報、株価分析など、時系列データを分析する分野は多岐にわたります。 時系列データは大抵以下のような構造が含まれています。 トレンド(Trend) : 長期的に増減する動き 季節成分(Seasonality) : 1年や1か月など一定の周期で繰り返す変動 残差(Residual) : 不規則な変動やノイズなど これらの成分を分解して扱えると、データの理解が格段に進み、将来予測や異常検知に応用する際にも有利になります。 伝統的な時系列分解モデル 加法モデル（Additive Model) 古典的な加法モデルによる時系列分解では、時系列 $y_t$ を以下のように表します。 $y_t = T_t + S_t + R_t$ $y_t$: 観測値 (Observed series) $T_t$
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
インクリメンタルに複数の時系列データに対する平均・標準偏差を計算する
時系列データの交差検証(クロスバリデーション)は交差検証とはいえないし、良い方法でもないらしい
MongoDB 5.0が登場。時系列データ対応、実行中のシャーディング変更に対応など
LLMによる時系列データ分析に「ニュース情報」を混ぜるアプローチ 為替予測精度など大幅に向上 | AIDB
時系列データから大量の特徴量を生成するパッケージ「tsfresh」の使い方｜CO-WRITE
無償でも利用可能 ～マインドマップ作成ソフト「XMind」デスクトップ版がアップデート／時系列データをまとめる「タイムライン」やスライド化する「ピッチモード」が強化
ディープラーニングによる時系列データ予測モデル――精度を高める2つの方法とは？
マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
Kubernetesで構築する大規模時系列データのスケーラブルな分散処理
ARCHモデルで時系列データの変動の大きさを見積もる
複数時系列データ × Transformerの実装と評価
大規模言語モデルの研究動向の調査：時系列データ分析とData-centric AIの視点から
【Python】HANTSを用いた時系列補正【時系列データ】 - LabCode
【時間-周波数解析の基礎】特異スペクトル解析を用いた時系列データの成分分析【SSA】 - LabCode
能登半島地震 被害は 避難は 断水は 時系列データで振り返る | NHK
富士通、時系列データで異常要因を特定する世界初のAI技術を開発「技術改良と実用化に期待している」 | Ledge.ai
時系列データ予測の最前線まとめ：機械学習からディープラーニングまで - Qiita
データサイエンティスト以外でもデータが使えるように サービス運用のための時系列データ予測ツールの作り方
時系列データをネイティブサポートした「MongoDB 5.0」が公開 | OSDN Magazine
時系列データに異常発見。「時系列異常検知」とは – 株式会社Laboro.AI
【時系列データ】衛星データの時系列分解を行う【STL分解】 - LabCode
writers.coverfly.com
bellswiki.wp.xdomain.jp
jp.beincrypto.com
x.com
www.sankei.com
comic-walker.com