タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
時系列データ分析コンテンツ「ごちきか」を公開します - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます（なかなか上達しません…）。 今日はクリスマスイブということで、時系列データ分析コンテンツ「ごちきか」 をプレゼント（？）します！年末休みのお供にぜひご照覧ください。 サマリー 時系列データ分析コンテンツ「ごちきか」を公開しました （余談として）基盤やデプロイ方法を紹介します What is 「ごちきか」？ 私たちのチームでは、
MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表
MongoDBが時系列データ対応、サーバレス対応、HTTPS経由でのAPI操作対応など機能強化を相次いで発表 NoSQLデータベースには、MongoDBに代表されるドキュメントデータベース、InterSystems IRISに代表されるオブジェクトデータベース、Neo4jに代表されるグラフデータベース、Redisに代表されるキーバリューストアなど、さまざまな製品があります。 ガートナーが発表したNoSQL専業ベンダに関する調査結果によると、NoSQL市場の中で過去5年において圧倒的に高い成長率を見せ、市場のリーダーとなっているのがMongoDBです。 ガートナーは2016年に発表したクラウドサービス「MongoDB Atlas」がこの成長を支えてきた大きな要因だと分析しています。 そのMongoDBはMongoDBは、6月7日から9日にかけて米ニューヨークで開催されたイベント「MongoD
時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
各本の立ち位置について どんな軸で立ち位置を説明しようか悩みますが、今回は「対象読者レベル」と「時系列との関係」についての二軸で「独断と偏見」で位置づけしてみました。 はじめに 仕事でデータ分析に関して種々のデータに色々な手法を使ったりするのですが、分析していると時系列のデータが意外と多い。 数値予測や異常検知などは時刻と共に記録されていることが多いです。 この時系列データに関する知識を付けるために網羅的に本を読んで、知識を付けようと思いました。 今回はその中で、「どの本にどんな事が書いてあって、他の本との関係性は？」を書評にすることで、皆さんの本の購入の手助けになればと思っています。 「この本の立ち位置も調べて」 「時系列本ならこの本入れなアカン」 などあれば教えてください。 時系列分析のためのブックガイドと同じようなコンセプトの記事です。 時系列データに対する「python,Rどっちが
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
時系列データの保存先をDynamoDBからTimestreamへ移行すべきか検討してみる | DevelopersIO
計測対象が増えた場合にカラムやアトリビュートが横に増えていくのか、レコードが縦に増えていくのかという違いがあります。 ストレージ Timestreamはメモリストアとマグネティックストアという2種類のストレージを持ちます。それぞれ以下のような役割を持ちます。 メモリストア 新しいデータを保存するためのストレージ ある時点のデータを高速に抽出するようなクエリに最適化されている マグネティックストア データを長期間保存するためのストレージ 分析クエリをサポートするように最適化されている 各ストレージにはデータの保持期間が設定でき、設定したデータ保持期間とレコードのタイムスタンプに応じてレコードの保存先がメモリストア → マグネティックストアと遷移し、マグネティックストアのデータ保持期間を超過したレコードは削除されます。 現在はメモリストアとマグネティックストアの2種類でストレージが構成されてい
最近噂のノーコードAIモデル開発ツール Node-AIで時系列データの因果分析・重要度可視化・要因分析をしてみた - NTT Communications Engineers' Blog
はじめに こんにちは。イノベーションセンター、テクノロジー部門、データ分析コンサルティングPJの更科です。 この記事では、2022年12月08日にβ版フリートライアルキャンペーンが始まったNode-AIで時系列データの因果分析・重要度可視化・要因分析などをしてみようと思います。 Node-AIは時系列データの分析をするNTT Communicationsの内製開発サービスで、製造業を中心に様々な領域で活用されています。Node-AIについて詳しくは「ノーコードAIモデル開発ツール Node-AI」や「ノーコードAI開発ツールNode-AIの紹介」をご覧ください。 読んでほしい人 ノーコード(ローコード)AI開発ツールに興味がある人 時系列データの可視化に興味がある人 因果分析、特徴量重要度、要因分析に興味がある人 伝えたいこと Node-AIを使ってデータの様々な情報を可視化できる！ No
はじめに データ分析を行う際、それらのデータの特徴を知るために頻繁に平均や分散（データのばらつき）を計算します。 それらは、n個のデータをx_1,x_2,\ldots,x_nと表すと、それぞれ次のような式で計算できました。 平均 m_n = \frac{1}{n}\sum_{i=1}^{n}x_i 分散 \sigma_{n}^2 = \frac{1}{n}\sum_{i=1}^{n} (x_i - m_n)^2 この計算式を愚直にコード(rust)に落とし込むと次のように記述できます。（もしrustを書いたことない方でもプログラミングに馴染みのある方であればなんとなくわかると思います。） // 平均 fn mean(data: &Vec<f64>) -> f64 { let mut sum: f64 = 0.0; for i in 0..data.len() { sum += data[i
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
Python: 時系列データの交差検証と TimeSeriesSplit の改良について - CUBE SUGAR CONTAINER
一般的に、時系列データを扱うタスクでは過去のデータを使って未来のデータを予測することになる。 そのため、交差検証するときも過去のデータを使ってモデルを学習させた上で未来のデータを使って検証しなければいけない。 もし、未来のデータがモデルの学習データに混入すると、本来は利用できないデータにもとづいた楽観的な予測が得られてしまう。 今回は、そんな時系列データの交差検証と scikit-learn の TimeSeriesSplit の改良について書いてみる。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G3020 $ python -V Python 3.8.1 下準備 あらかじめ、必要なパッケージをインストールしておく。 $ pip install scikit-le
Pandas で時系列データをグループ化して集計できる「Grouper」 - kakakakakku blog
Pandas で groupby() 関数を使うと，データセットをグループ化して集計できる．さらに Grouper オブジェクトと組み合わせると，より高機能なグループ化を実現できる．今回は groupby() 関数と Grouper オブジェクトを組み合わせて「時系列データの集計」を試す．最後に関連する resample() 関数も試す． pandas.DataFrame.groupby — pandas 1.2.4 documentation pandas.Grouper — pandas 1.2.4 documentation データセット 🪢 今回使うサンプルデータセットを準備する．まず，Pandas の date_range() 関数を使って 2020/1/1 ~ 2020/12/31 の範囲で1年間の DatetimeIndex を作る．そして DatetimeIndex をイ
時系列特化データベースの Amazon Timestream が一般公開（GA）しました！！ 時系列データの保存・検索・分析にピッタリ！ | DevelopersIO
約2年を経て、ついに、ついに、ついに、Amazon Timestreamが一般公開になりました！！ Amazon Timestreamを使えば、IoT機器などから収集した時系列データの保存や分析が簡単にできるようになります。 一言で言えば、時系列データに特化したデータベースです！ Amazon Timestreamとは Amazon Timestream は、IoT および運用アプリケーションに適した、高速でスケーラブルな完全マネージド型の時系列データベースサービスです。1 日あたり数兆規模のイベントを、リレーショナルデータベースの 1/10 のコストで簡単に保存および分析できます。IoT デバイスや IT システムの普及や、産業機器のスマート化により、時系列データ (時間の経過に伴うモノの変化を記録したデータ) は、急速に増加しているデータ型の 1 つです。 Timestream は、時
MongoDB社は、同名のNoSQLデータベースの最新版となる「MongoDB 5.0」のリリースを発表しました。MongoDB 5.0はオンプレミス用と、クラウドサービス「MongoDB Atlas」の両方で提供されます。 Breaking News - CTO @MarkLovesTech announces the release of MongoDB 5.0! Introducing new workloads Future proof apps Next-gen privacy pic.twitter.com/bZhv7vw8kt — MongoDB (@MongoDB) July 13, 2021 MongoDBは、さまざまな種類が存在するNoSQLデータベースの中でも、ドキュメント指向データベースとしてJSON形式のデータ格納を中心としたデータベースです。JSONを用いること
こんにちは。 現役エンジニアの”はやぶさ”@Cpp_Learningです。仕事でもプライベートでも機械学習で色々やってます。 今回は時系列データの前処理（ラグ特徴量）について勉強したので、備忘録も兼ねて本記事を書きます。 時系列データとは 時系列について、Wikipediaでは以下のように説明しています。 時系列（じけいれつ、英: time series）とは、ある現象の時間的な変化を、連続的に（または一定間隔をおいて不連続に）観測して得られた値の系列（一連の値）のこと。 引用元：Wikipedia より直観的な説明をすると、データを可視化したとき横軸が時間なら、そのデータは時系列データといえます。 上図の縦軸が加速度センサの計測値、横軸が時間です。つまり、これも時系列データです。
【漁業の今を知る】地球温暖化で魚は北上している!? 208漁港の魚種別漁獲量の時系列データをpythonで可視化 | 宙畑
【漁業の今を知る】地球温暖化で魚は北上している!? 208漁港の魚種別漁獲量の時系列データをpythonで可視化 地球温暖化によって、獲れるはずの場所で魚が獲れなくなっている……。そんなニュースを知った宙畑編集部はオープンデータからその傾向が分かるのか調査してみました。 2022年8月31日以降、Tellus OSでのデータの閲覧方法など使い方が一部変更になっております。新しいTellus OSの基本操作は以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/tellus_os/start_tellus_os.html 「地球温暖化の影響でこれまで獲れていた魚が北上しているのかもしれませんね」 そんな疑問が生まれたのは大分でサワラ網漁を営む漁師、江本さん(※)から最近サワラが獲れなくなったと聞いた時でした。 ※沿岸漁業で衛星データ活用チ
こんにちは！突然ですが、皆さんは下のような二種類の時系列データを判別できるような特徴量を抜き出したいときに何を考えますか？そしてどうやって特徴量を抽出しますか？ 私はパッと見て次の手法を使えば特性が取り出せると思いました。 ピークの数 → k近傍法 ノイズの大きさ → 分散統計量 時系列方向で周期成分の大きさ → Wavelet変換 しかし、当然これだけでは十分な数の特性を網羅できていないでしょうし、適切な特性を抜き出すためにパラメータチューニングを行う必要があります（例えば、Wavelet変換であれば適切な基底関数を選ぶ必要があります）。 このように時系列データの特徴量エンジニアリングは調べることが無限にあり、どの特徴量を算出するかを考えているだけで日が暮れてしまいます。また、抜き出す特徴量が決まったとしてもモノによっては計算が複雑で実装に時間がかかってしまう場合もあります。 そんなとき
Pythonで実践する時系列データ分析: pandasとProphetで未来を予測する - Qiita
はじめに ビジネスの世界で「先を読む」ことの重要性は言うまでもありません。売上予測、需要予測、株価分析など、時系列データを扱う機会は非常に多いですよね。しかし、時系列データの分析は一筋縄ではいきません。トレンド、季節性、外部要因など、考慮すべき要素が多岐にわたります。 そこで本記事では、Pythonを使って時系列データを効果的に分析する方法をご紹介します。特に、データサイエンティストの強い味方であるpandasライブラリの時系列機能と、FacebookのAIチームが開発した予測ライブラリProphetに焦点を当てます。 これらのツールを使いこなせば、複雑な時系列データでも、まるで未来を見通すかのように分析できるようになります。さあ、一緒にPythonで時を操る魔法を学んでいきましょう！ 1. pandasを使った基本的な時系列データ操作 1.1 データの読み込みと前処理 まず、時系列データ
Python Pandasを使った時系列データの移動平均計算: 実装と分析技法 - Qiita
はじめに 時系列データの分析は、ビジネス、金融、科学研究など、様々な分野で重要な役割を果たしています。その中でも、移動平均は最も基本的かつ強力なツールの一つです。この記事では、Pandasを使用した移動平均の計算と可視化について、基礎から応用まで幅広く解説します。 この記事を読むメリット 実践的なデータ分析スキルの向上: 単純な移動平均から適応型移動平均まで、様々な手法の実装方法を学べます。これらのスキルは、株価予測、需要予測、センサーデータの分析など、実務で即座に活用できます。 効率的なコード設計とパフォーマンス最適化: 大規模データセットの処理技術や、再利用性の高いコード設計について学べます。これにより、より効率的で保守性の高い分析プログラムを作成できるようになります。 分析手法と可視化技術の習得: 移動平均の交差シグナルやボリンジャーバンドなど、分析手法と、それらを効果的に可視化する
AIサービスの開発現場－PoCに求められるものは？ 現在、産業や社会へのAI技術の利活用に注目が集まり、多くの企業がAIを用いた新サービスの開発に取り組んでいます。 新しいサービスを開発する際には「目的が実現できそうか」を検証するPoC（概念実証）が行われることが一般的です。PoCにおいて検証対象とする内容は目的やスコープによってさまざまですが、システム化を前提とした開発現場でのPoCでは「サービス的にどこまで実現できるか（サービス観点）」「性能的にどこまで実現できるか（技術観点）」を、プロトタイプを作成して検証・評価することになります。 PoCにおけるAIエンジニアの役割 一般的にPoCが計画・開始される時点でその検証内容は要件として定義されていますが、具体的なレベルで定義されているのは試行のライフサイクルにおける1回目までであり、2回目以降の検証内容は試行結果を見て逐次的に決めていくこ
著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
時系列データ可視化のための InfluxDB、Grafana、AWS IoTの連携 | Amazon Web Services
Amazon Web Services ブログ 時系列データ可視化のための InfluxDB、Grafana、AWS IoTの連携 IoTには様々な種類の実装がありますが、多くのアプリケーションでは、大量のテレメトリーデータ収集します。インダストリアルやヘルスケア、コンシュマー製品、ロジスティクスなどにおいて、IoT のテレメトリーデータは非常に時刻に依存しています。 多くの IoT ソリューションでは、データの収集やレポートのタイミングが重要になります。例えば、アノマリー検出や予兆保全のための属性分析においては、異常発生時や発生の予兆が出たときのイベントが、正確に保存され、わかりやすく資料化されることが必要です。 時系列システムは、個々の IoT デバイスレベルで考えるだけでなく、 IoT アプリケーション全体で考えることが重要です。 たとえば、工場のフロアでは、ベルトコンベアの速さと、
CloudNative Days Tokyo 2023 での登壇資料です
4-4_時系列データの解析
4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 4-4 時系列データ解析 東京大学 数理・情報教育研究センター 2020年5月11日 4-4. 時系列データの解析 東京大学 数理・情報教育研究センター 東京大学 数理・情報教育研究センター 北川源四郎 2020 CC BY-NC-SA 東京大学 数理・情報教育研究センター 概要 • 本節では，まず時系列とは何か，時系列データ解析の⽬的は何か など時系列データ解析の概略について学びます． • 次に，時系列データがもつトレンド，周期性，季節性，ノイズに ついてその意味を学ぶとともに、移動平均，階差などによる情報 抽出の⽅法とスペクトや相関関数による特徴可視化を学びます． • さらに，時系列モデルを⽤いた予
MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化
MongoDB 6.0がリリース。時系列データ対応、ポーリング不要でデータ変更によるトリガー処理、スケーラビリティ、暗号化など強化 代表的なNoSQLデータベースの1つであるMongoDBの最新バージョン「MongoDB 6.0」がリリースされました。 MongoDB 6.0 is now available! More support for time series data Build better event-driven architectures Deeper insights from enriched queries More operators, less work More resilient operations Smoother search & seamless data synchttps://t.co/PvF17HXMI7 pic.twitter.com/GOW
この記事は GMOアドマーケティング Advent Calendar 2020 4日目の記事です。 はじめ こんにちは。 GMOアドマーケティングのS.Sです。 時系列データの中には、株価のreturnデータのように変動の大きさが時間とともに変動するようなものがあります。 今回の記事ではARCHモデルを使って、時系列データの変動の大きさを見積もってみたいと思います。 データの準備 大きく株価が変動するようなイベントというと、2008年のサブプライム危機があったので、その時期の変動の大きさの変化をある程度モデルでも捉えることができればよさそうということにします。 サブプライムの直前の時期のアップルの株価データがmatplotlibのサンプルに含まれているので、以下からダウンロードします。 株価のlogarithmic differenceをとるのは大雑把に日次の変化率を計算するためです。 h
ディープラーニングを用いた時系列データの予測モデルの作り方
AI技術の全盛期到来――その現場で働くAIエンジニアに求められるものは？ データを活用したさまざまなサービスや技術をAIと称し、今やAIという言葉をニュースで目にしない日はないのではないでしょうか。AIサービス・技術を支えるAI人材の数は全世界で30万人、実際の需要規模は100万人とも言われています。 一方でサービスや技術を早く世の中に出すというスピード競争とコスト観点から、実際に現場で働くAIエンジニアには、どのようにデータを処理すべきか考えて設計し、コードを実装してデータ処理して結果を出す、という即戦力が求められます。 本記事では、AIサービス開発に参画するAIエンジニアの仕事例として「時系列データの予測モデル作成」を4回の連載で紹介します。現実の時系列データを集めてきてデータ分析をしようとすると、どのような苦労があるか、私の経験からお伝えします。 時系列データをディープラーニングで予
目次 本記事の動機 時系列解析とTransformerに対する先行研究のまとめ 複数時系列データの解析に対する課題を解決した改善モデル iTransformer iTransformerモデルの実装 実装環境と学習データ データの前処理 iTransformerモデル実装と最適パラメータ探索 数値実験と考察 本記事のまとめ 参考文献 本記事の動機 近年ではビックデータの利活用が活発になっており、データを蓄積・分析することが多くなっています。その際、機械学習やAIの実装をしてデータの分析を行う場合、データ数が鍵となっています。しかしながら、データの項目数が多いと、各項目のデータ数が少なくなる可能性があります。例えば、ある市場で売られている品種が複数あった場合、受注数の差だけではなく、受注のデータ数にも差が生じ、結果的に分析に使用可能なデータ数が少なくなり、分析の精度が低下することが考えられま
COVID-19の都道府県別の検査数・陽性者数の時系列データに関する資料です。 ・本資料は各都道府県の公表資料及び報道に基づく数値を手作業で集計したものであり、内容の正確性等を含め一切保証できません。 ・使用にあたり承諾・許可等は一切必要ありません。自己の責任においてご自由にご利用ください。 ・ご不明な点、疑問点等があればけんもねずみ@kenmo_economicsまで気軽にお声掛けください。 【変更履歴】 ・3/17夜よりGoogle data studio の更新時にグラフの元となっているデータをあげることにしました。 ・根拠URLについては、Google data studioの３ページ目にリンクがあるので、適宜参照をお願いいたします。 ・厚労省発表の資料は、魚拓のリンクを３ページ目に貼っています。
カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (353) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (6) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン
時系列データに対する特徴量エンジニアリング手法のまとめ
このデータセットは海外のある航空会社から提供されたもので、1949年から1960年における月別の国際線の乗客数のデータになります。 年月と乗客数の2カラムで構成された、単純な時系列データです。 ではデータを読み込み、可視化してみます。 input: import pandas as pd import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline AirPassengers = pd.read_csv('../input/AirPassengers.csv') AirPassengers.head()output: Month #Passengers 0 1949-01 112 1 1949-02 118 2 1949-03 132 3 1949-04 129 4 1949-05 121次に月次トレンドを
HANTS法とは？ HANTS（Harmonic ANalysis of Time Series）は、リモートセンシングデータの時系列解析に使用される手法の一つで、時系列データを周期的な成分（調和成分）に分解し、ノイズや異常値を除去しながらデータを再構築する手法です。今回はNDVIでよく利用されるZhou et al., 2015の方法をもとに、この方法の基本的な考え方と動作原理を以下に解説します。 HANTSの基本概念 1. 理論的背景 HANTS法は、フーリエ級数展開の考え方を基礎としています。フーリエ級数展開では、任意の周期関数を正弦波と余弦波の和で表現できるという原理を用います。HANTS法は、この原理を時系列データに適用し、データに含まれる様々な周期成分を抽出します。 2. 基本モデル HANTS法では、時系列データ $y(t_j)$を以下のようにモデル化します： $$ \til
matplotlib.datesを使用して横軸に時間をとったグラフを描く際に、 軸目盛(ticks)と目盛ラベル(ticklabels)の設定を行う方法です。 ポイントとコード例使用するライブラリはmatplotlib.datesです。 https://matplotlib.org/api/dates_api.html import matplotlib.dates as mdates という形でimportしておきます。 軸目盛の設定は、LocatorとFormatterの2種類に対して行います。 次のコード例では、1分間隔のデータ4ヶ月分の描画に対し、1週間ごとに目盛を設定しています。 # データフレームの準備 start_datetime = datetime.datetime(2017, 11,1) end_datetime = datetime.datetime(2018, 3,
macOS Monterey 12.6.2, Python 3.9.15, matplotlib 3.6.1, numpy 1.23.4, scipy 1.9.3 時系列データの特異スペクトル解析 特異値分解 まず，特異スペクトル解析で用いられる特異値分解について説明します。線形代数の言葉が出てきますので，難しいと思う方は飛ばしてもらっても大丈夫です。 階数 $r$ の $m\times n$ 行列 $\mathsf{A}$ に対して，次のような分解 (特異値分解 (singular value decomposition: SVD)といいます) が存在します： $$ \mathsf{A} = \mathsf{U}\mathsf{\Sigma} \mathsf{V}^\top $$ ここに，$\mathsf{U}$ と $\mathsf{V}$ はそれぞれ，$m$ 次と $n$ 次の直交行
全壊、半壊、一部損壊の被害を受けた住宅の数です。 県内では7万6114棟が確認されています。 自治体別の内訳です。 ▽輪島市14816棟▽七尾市13214棟▽珠洲市8197棟▽能登町6304棟▽志賀町5367棟▽金沢市5052棟▽穴水町4034棟▽中能登町3687棟▽羽咋市3118棟▽小松市2235棟▽津幡町1970棟▽かほく市1938棟▽加賀市1725棟▽内灘町1590棟▽宝達志水町1270棟▽能美市1165棟▽白山市358棟▽野々市市51棟▽川北町23棟 このほか志賀町では床上浸水が6棟、床下浸水が5棟確認されています。 石川県内の市や町が設ける避難所では、7400人以上が避難生活を余儀なくされています。 3万4000人あまりだったピーク時と比べると4分の1を下回りましたが、断水の長期化や仮設住宅への入居待ちなどもあって避難所での生活が長期化している被災者が多くなっています。 自治体別
Amazon Timestream であらゆる規模の時系列データを保存してアクセス – 一般提供が開始されました | Amazon Web Services
Amazon Web Services ブログ Amazon Timestream であらゆる規模の時系列データを保存してアクセス – 一般提供が開始されました 時系列は、物事が時間の経過とともにどのように変化するかを説明する非常に一般的なデータ形式です。最も一般的なデータソースには、産業機器と IoT デバイス、IT インフラストラクチャスタック (ハードウェア、ソフトウェア、ネットワークコンポーネントなど)、およびそれらの結果を経時的に共有するアプリケーションがあります。時系列データの効率的な管理は、このデータモデルが汎用データベースに合わないことから容易ではありません。 本日からの Amazon Timestream の一般提供をお知らせできることが嬉しいのは、これが理由です。Timestream は、1 日に数兆件もの時系列イベントを収集、保存、および処理することを簡単にする高速で
ディープラーニングによる時系列データ予測モデルの問題点を解消する
本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。最終回となる今回は、これまでに作成した予測モデルを振り返り、時系列データを用いた予測モデルを作成する際に起きやすい問題とその対応方法をお伝えいたします。（編集部） AIを用いた時系列データ予測－予測モデルの評価 本連載では、時系列データを用いた予測モデルの作成を題材に、その作成方法を前回まで紹介してきました。 AIを用いた新規サービス開発におけるPoC（概念実証）において、このように予測モデルをプロトタイプとして作成した際、AIエンジニアには作成した予測モデルが「どのくらい目標としているサービスに適用できそうか」「どのような特徴・問題があるか」「今後どのくらい拡張・改善
TOP > Article Theme > AI（人工知能）ニュース > 富士通、時系列データで異常要因を特定する世界初のAI技術を開発「技術改良と実用化に期待している」 富士通株式会社は7月16日、Topological Data Analysis（TDA※）技術をベースに、時系列データにおいてAIによる異常判定の要因を特定し、正常と異常間の判定の変化を視覚的にわかりやすく提示できる技術を開発したと発表。フランスの国立研究機関Inriaとの共同研究によるもので、世界初とうたう。 （※）データをある空間内に配置された点の集合とみなし、その集合の幾何的な情報を抽出するデータ分析手法のこと。 近年、ヘルスケアや社会インフラ、ものづくり分野など、さまざまな場面で多くの時系列データが収集され、AIを活用した状況判断や異常検知が実施されている。なかでも、AIによる判定結果の根拠を説明することが求めら
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこでLu Yan氏がサービス運用のための時系列データ予測について紹介しました。 自己紹介＆アジェンダ Lu Yan氏：LINE FukuokaのData Science Team、データサイエンティストのLu Yanといいます。今日は「サービス運用のための時系列データ予測」についてお話しします。特に我々同様、データ予測ツールを作る方のお役に立てればと思います。 まずは、プロジェクトの背景とプロジェクトのメンバーを紹介します。次に、時系列予測ツールについて紹介し、最後に、達成事項および将来の目標についてお話ししていきます。 最初に、プロジェクトの背景とプロジェクトのメンバーです。プロジェクトは3人で構成されています
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列データ関連の本10冊読んだので書評書く。+4冊更新 2021年11月 - Qiita
時系列データを前処理する際のPython逆引きメモ - EurekaMoments
インクリメンタルに複数の時系列データに対する平均・標準偏差を計算する
MongoDB 5.0が登場。時系列データ対応、実行中のシャーディング変更に対応など
【機械学習】時系列データの前処理 -ラグ特徴量作成-｜はやぶさの技術ノート
時系列データから大量の特徴量を生成するパッケージ「tsfresh」の使い方｜CO-WRITE
無償でも利用可能 ～マインドマップ作成ソフト「XMind」デスクトップ版がアップデート／時系列データをまとめる「タイムライン」やスライド化する「ピッチモード」が強化
ディープラーニングによる時系列データ予測モデル――精度を高める2つの方法とは？
マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
Kubernetesで構築する大規模時系列データのスケーラブルな分散処理
AWSがAI/機械学習関連サービスを紹介、時系列データから将来を予測する「Amazon Forecast」など
ARCHモデルで時系列データの変動の大きさを見積もる
複数時系列データ × Transformerの実装と評価
都道府県別の検査数・陽性者数の時系列データ | uploader.jp
大規模言語モデルの研究動向の調査：時系列データ分析とData-centric AIの視点から
【Python】HANTSを用いた時系列補正【時系列データ】 - LabCode
matplotlib.datesで時系列データのグラフの軸目盛の設定をする
【時間-周波数解析の基礎】特異スペクトル解析を用いた時系列データの成分分析【SSA】 - LabCode
能登半島地震 被害は 避難は 断水は 時系列データで振り返る | NHK
富士通、時系列データで異常要因を特定する世界初のAI技術を開発「技術改良と実用化に期待している」 | Ledge.ai
データサイエンティスト以外でもデータが使えるように サービス運用のための時系列データ予測ツールの作り方
info.cocolog-nifty.com
apricotlapin.com
automotive-quantum.jp
liverpool.tokyo%26timg_type%3DJPEG)
www.upld.net
mouritarou27.hatenablog.com&timg_type=JPEG){kind=link}