時系列データを前処理する際のPython逆引きメモ - EurekaMoments
機械学習のための「前処理」入門 作者:足立悠リックテレコムAmazon 目的 データ分析の仕事をする中で最も扱う機会が多いのが 時系列データだと思います。その中で欠損値を扱ったり、 統計を取ったり、特徴量を作り出したりするのですが、 毎回やり方を忘れてググっているので、上記の書籍を読んで こういった前処理の方法をいつでも確認できるように メモしておこうと思います。 目次 目的 目次 日時のデータをdatetime型に変換する 最初の日時からの経過時間を計算する 各データの統計量を計算する 欠損値の確認と補完 経過時間の単位を変換する データフレーム結合する 基準日時からの経過時間を計算する 重複した行を削除する 特定のデータ列をインデックスにする 部分的時系列を抽出して統計量を計算する データフレームの各列をリストにして結合する 不均衡データから教師データを作成する データの読み込みと可視
SQLiteで日付時刻を扱う際のポイント - Qiita
#要点 SQLiteでは日付時刻は文字列として格納されるが、日付時刻型があると思って扱った方が楽。 SQLiteは日付時刻をUTCとして保持する。 SQLiteに日付時刻を渡す・取り出す際には関数を使用する。 SQLiteに日付時刻を渡す・取り出す際には時差により補正することができる。 SQLiteでは日付・時刻・日付時刻は単なる文字列として扱われる。SQLiteで格納される日付時刻にはタイムゾーンの概念はなく、すべての日付時刻をUTCとして保持する1。ただし、記録してある日付・時刻・日付時刻を取得する際に、欲しいフォーマットに変換したり時差を考慮したりすることができる。 SQLiteでは日付等は文字列として扱われるが、便宜上「日付時刻型がある」と考えた方が都合がいい2。データベースには日付時刻型として格納し、取り出す際に文字列に変換する。 #背景 さくらのレンタルサーバーライトでデータベ
「2038年問題」を華麗に解決！～エンジニアの仕事～｜Zenken株式会社 公式ブログ
皆さんこんにちは。R&D事業部 チャンウクです。 今日付け、すなわちこの投稿でブロガーデビューさせていただきます。 私の投稿では主にシステム開発時のエピソードや勉強内容についてお話したいと思います。 さて、皆さん、「2038年問題」はご存知でしょうか。 初耳の方もいらっしゃると思いますが、 今回は世間に2038年問題として知られているバグを処理、解決した事例を紹介します。 ■ 概要 今、R&Dでは社内で使う 【業務支援ツール】を開発しております。 全社員の日々の業務を扱うため、カレンダーを使ったページが多いです。 ■ 問題発見 実装したカレンダーの単体テストを行っている際、こんな表示がでました。 !?!? 2038年1月の次は、1970年1月!? 一体どうしたものでしょうか。 分析してみましょう！ ■ 原因分析 業務支援ツール開発では、日付の調整をするためにPHP（Web開発でよく使用され
雑記 : コマンドプロンプトで ISO 8601 形式の日時を得る方法(例) | Endowsの日記 | スラド
>echo %DATE:/=-%T%TIME: =0%+09:00 2010-02-10T19:25:32.15+09:00 > 1秒未満がくっついているとか、小数点に "," (推奨) でなく "." を使っているとか、タイムゾーンがベタで書いてあるとかあるけど気にしない方針で。 これだと拡張表記なので、基本表記にする場合はもうひと工夫必要。 Windows 標準のコマンドでなんとか出来れば良いのだけど、私は諦めて GnuWin32 の sed を使っています。 >echo %DATE:/=-%T%TIME: =0%+09:00|"%ProgramFiles%\GnuWin32\bin\sed.exe" "s/[-:]//g" 20100210T193644.99+0900 >
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
