はてなブックマーク

Python その2 Advent Calendar 2018 10日目の記事です。 はじめに インストール 使い方 基本 ログレベルの設定 ファイルに出力 ログローテーション フォーマット変更 まとめて設定 おわりに はじめに Pythonでログ出力する際に何を使っていますか、printでしょうか。それともloggingでしょうか。ロギングは奥が深いようで、以下の記事ではloggingの使い方を詳説されています。 ログ出力のための print と import logging はやめてほしい - Qiita logging入門 - Qiita 標準ライブラリのloggingでも良いのですが、今回はより簡単にログ出力が可能なlogzeroというライブラリを紹介したいと思います。 インストール インストールは他のライブラリと同じくpipでできます。 $ pip install logzero

統計モデルでの時系列データの分析手法であるSARIMAを使って、PV数の予測分析を行います。 はじめに データの準備 データの確認 PV数 PV / エントリ数 相関関係 コレログラム 成分分解 定常性の確認 時系列データの前処理 差分 季節調整 差分+季節調整 時系列データの予測 SARIMA 学習データとテストデータ モデルの推定 ACFとPACFよりパラメータ候補を選定 予測 RMSEで評価 プロット 残差の確認 Grid Search まとめ 参考 読んだ本 参考になったサイト はじめに 通常、分析で用いるデータは同一の確率分布から得られ、互いに独立である*1ことが前提となっていますが、時系列データは、時間的に互いが関連するデータです。 時系列データはビジネスにおいてもよく見られるデータであり、様々な分析手法があります。そこで、時系列分析手法の一つであるSARIMAを用いて、本サイ

Scikit-Optimizeを使ってベイズ最適化で機械学習のハイパーパラメータの探索を行いました。 はじめに グリッドサーチ 手書き文字での実験 ベイズ最適化 参考 Pythonでベイズ最適化 探索範囲 ブラックボックス関数 ガウス過程での最適化 結果 まとめ はじめに 機械学習において、ハイパーパラメータのチューニングは大きな課題の1つです。ハイパーパラメータはSVMでのコストパラメータやRBFカーネルののことで、人が調整するパラメータのことです。DeepLearningでは、バッチサイズや学習率、層の数、ドロップ率など多岐にわたります。 グリッドサーチ どのパラメータが良いか探索する方法はいくつかありますが、シンプルな手法の1つにグリッドサーチというものがあります。 グリッドサーチは、用意したパラメータの候補の組み合わせをすべての試す方法です。パラメータが2つあり、それぞれ候補が10

はじめに 標準入力 input と sys.stdin.readline ソート sort と sorted ソートの key ループ for と while リスト リストの初期化 二次元配列の場合 リストの値参照 リストへの値追加 それぞれの処理速度 まとめ はじめに 最近、PythonでAtCoderなどの競技プログラミングに挑戦しています。これまであまりに気にしなかったけど、ちょっとした書き方で処理速度が変わってくることに気づいたので、これを気に少し調べてみました。 目次にあるように、標準入力、ソート、ループ、リストについて、計8個の処理の速度比較を行いました。処理速度の計測方法は、Mac Book Pro*1を使い、timeitでそれぞれ100回計測*2し、平均と標準偏差を求めています。 結果だけ知りたい方は、まとめへどうぞ。 計測に用いたコードは以下にあります。 github.

ImageNetは大規模な画像データベースで、現在2万クラス1,400万枚を超える画像があります。クラスにはWordNetの単語を用いています。CNNがブレークしたILSVRCというコンペで用いられたりと、ベンチマークとして有名なデータセットです。 画像のダウンロードは、非営利で研究/教育目的に限られるので、それ以外の人は、画像のURLリストを使って自分でダウンロードしなければなりません。 URLリスト作成のための事前準備 すべての画像のURLリスト 1,000クラスのリスト WordNet IDとクラス名の紐付けリスト ダウンロードする画像のURLリストをつくる 1,000クラスからWordNet IDを算出 1,000クラスのWordNet IDに含まれるものを抽出 URLリストをつかって画像をダウンロード URLリスト作成のための事前準備 今回は、ILSVRC2012で指定された1,

Chainerでデータセットを作る方法についていくつか紹介したいと思います。なお、執筆時点のversionは3.0.0です。 シンプルなデータセット 画像を扱うデータセット ImageDataset LabeledImageDataset データセットに処理を加える 独自のデータセット データセットの分割 データセットへのアクセス シンプルなデータセット 基本的には、len()で要素数を取得できたり、[1:2]のようにスライスで要素を取得できれば、データセットとして扱うことができます。 ということで、最もシンプルなデータセットはNumpyの配列です。 dataset = numpy.array([1, 2, 3], dtype=numpy.float32) また、TupleやDictを扱うTupleDataset()やDictDataset()が用意されています。 ただ、メモリに収まらない

PythonからSheets APIを使ってGoogleスプレッドシートを操作してみました。Pythonのクイックスタートの内容を中心に紹介します。 Google Sheets API を使うための準備 Google API コンソールでSheets APIを有効化 認証情報を作成 Pythonパッケージのインストール APIを使ったGoogleスプレッドシートの読み書き OAuth認証 スプレッドシートからデータを読む スプレッドシートにデータを書き込む さいごに Google Sheets API を使うための準備 まずはじめにAPIを使うためにいくつかの準備を行います。 Google API コンソールでSheets APIを有効化 Google API コンソールでSheets APIを有効化します。こちらのページにアクセスして、任意のプロジェクトを選択するとSheets APIを

ちょくちょくResNetを用いることがあるのですが、論文を読んだことがなかったので、読んでみました。 [1512.03385] Deep Residual Learning for Image Recognition 概要 ResNetが解決する問題 Residual Learning ResNetブロック ネットワークアーキテクチャ 性能評価 Identity vs. Projection Shortcuts Deeper Bottleneck Architectures 概要 Residual Network(ResNet)はその名のとおり、残差を用いたネットワークです。ネットワークを深くすると、精度が悪くなるため、それを解決するため、ネットワークを残差関数を学習するよう再構成します。 ImageNetの分類問題のコンペ（ILSVRC 2015）でエラー率3.57%となり、1位を獲得し

GANの一種であるDCGANとConditional GANを使って画像を生成してみます。 GANは、Generative Adversarial Networks(敵性的生成ネットワーク)の略で、Generator(生成器)とDiscriminator(判別器)の2つネットワークの学習によって、ノイズから画像を生成するアルゴリズムです。 生成器Gは、判別器Dに本物と誤認識させるような画像を生成し、判別器Dは、本物か偽物かを見分ける役割があります。 GAN GANの仕組みについては、こちらの記事がとても参考になります。 また、GANは2014年にIan Goodfellow氏に提案してから多数の関連論文が発表されています。 出典：GitHub - hindupuravinash/the-gan-zoo: A list of all named GANs! DCGAN GANの学習は難しいの

GANの一種であり、動画を生成するVideoGANの論文を読みました。 [1609.02612] Generating Videos with Scene Dynamics 概要 動画生成モデル Generator Network Foreground Stream Background Stream ForegroundとBackgroundの結合 Discriminator Network 学習と実装 条件付きGANへの拡張 概要 VideoGANはNIPS2016でMITが発表した論文です。これはGAN*1を使った動画生成モデルで、25fpsで1秒程度の短い動画を生成することができます。静止画像の未来を予測するのに有用とのことです。 動画の生成には、ForegroundとBackgroundの2つのネットワークを用います。画像では2次元の畳込みネットワークを使いますが、動画は時間軸が

WebアプリやiOS/Androidアプリで機械学習の学習状況を見ることができるHyperdashの使い方をまとめてみます。 インストールとユーザ登録 ログの表示 パラメータやスコアをトラッキング Chainer Keras XGBoost まとめ インストールとユーザ登録 はじめにインストールとユーザ登録を行います。 インストールは、pipで簡単に行えます。 $ pip install hyperdash ユーザ登録は、メールアドレスでの登録とGithubアカウントでの認証の2種類があります。 $ hyperdash signup --email $ hyperdash signup --github Githubアカウントで認証の場合、ブラウザでGithubの認証ページが開かれるので、そこで承認します。 また、pipでインストールすると、hyperdashというコマンドの他にhdがエイ

Python Advent Calendar 2017 の 18日目 の記事です。 画像のData Augmentationの手法をNumpy(とSciPy)で実装し、まとめてみました。 使うデータ Data Augmentation Horizontal Flip Vertical Flip Random Crop Scale Augmentation Random Rotation Cutout Random Erasing さいごに DeepLearningで画像分類など画像系の問題に取り組むとき、画像の枚数が精度に大きく影響を与えます。そこで、画像を数を増やすために、画像をちょっと傾けたり、反転させたりと画像を加工したりします。加工して数を増やすことを一般にData Augmentationと呼びます。 Data Augmentationは前処理で使うだけでなく、推論時にも使うこと