2018.03.26 スキル 「この本ではPythonについて扱っていますが、決してPythonだけを学ぶ本ではありません」 そう語るのは、2018年2月に出版された『独学プログラマー Python言語の基本から仕事のやり方まで』（日経BP社）（以下、『独学プログラマー』）の監訳を務めた清水川貴之氏だ。清水川氏は、Pythonの専門家集団として名高いビープラウドのIT Architectであり、公私にわたってPythonの普及拡大に尽力している人物でもある。今回、同著の内容と清水川氏自身の経験を交えながら、本のタイトルにもある「独学」に臨むエンジニアが心に留めておくべきポイントを聞いた。 株式会社ビープラウド　IT Architect　一般社団法人PyCon JP 会計理事 清水川貴之氏(@shimizukawa) 電気通信大学情報工学科卒業後、大手通信キャリア、ソフトウェア開発会社などを

「Jupyter notebook」というツールは、Pythonのコードを部分ごとに実行できてその場で結果を確認できるため、試行錯誤を積み重ねる必要があるデータ分析や機械学習によく用いられてきました。「Colaboratory」はそのJupyter notebookを元に「ブラウザで実行」「ファイルはGoogleドライブに保存」「共同編集」などの機能を加えて作成されたツールです。 Google Colab https://colab.research.google.com/ Google Colaboratoryのサイトにアクセスすると「最近のノートブック」という画面に。ひとまず右下から「ノートブックを新規作成」してみます。 実行するPythonのバージョンを選択できます。今回は「PYTHON 3」を選択。 ノートブックには「セル」が存在し、左側の実行ボタンを押すとセル内のコードを実行して

2017-9-13にProphetがv0.2へアップグレードされたときに機能がいくつも追加されました。 その追加の中で使えそうな機能の一つとして 『外部説明変数(additional regressor)を追加できるようになった』 があります。これについて使い方の紹介とデモをやってみます。 【予測モデル】 従来のProphetの予測モデルは下記の数式で表されるモデルでした。 ただしそれぞれ : 時刻における予測対象の値 : 時刻におけるトレンド成分の値 : 時刻における季節成分の値 : 時刻における祝日成分の値 : 誤差項 です。 Prophetは過去に起こった値の変化を学習して、学習結果を未来に向かって延長するという予測モデルです。 我々の予測問題は既に持っている過去のについてのを使って、未来のについてのを推定することです。 しかし予測したい数字が、ある時間変化する要因に影響を受けること

FIT 2016 Tutorial 資料 スライド: http://goo.gl/MeMZyO Part2 資料: http://goo.gl/y6ZmKr Part3 資料: http://goo.gl/ATC9yv

English version available on dev.to はじめに matplotlibで作ったグラフの細かい調整は大変です。何をどういじったらいいのかを調べるのにアホみたいに時間がかかることがあります1。「何を」の部分の名前さえわからないこともあります。解決の糸口を掴んだ後も希望通りの見た目を実現するまでの最後のアレンジに苦労することが多いです2。これらの問題は__matplotlibのグラフがどういう要素で構成されていて、それらに対してどういうことができるかを知る__ことでいくらか改善されます。私はひたすらStack Overflowの回答を読むことでいろんなつまづきを時間をかけて乗り越えてきましたが、最近になってようやく公式チュートリアルにこの苦労を回避できたはずのヒントが書いてあることに気づきました。初期にざっと目を通したのですが「なるほど、よくわからん」と判断して読

Commandeur & Koopman「状態空間時系列分析入門」をRで再現する 仕事の都合で仕方なく状態空間モデルについて勉強していたのだけれど(なぜ私がこんな目に)、仕事で使うためには自分で計算できるようにならなければならない。 参考にしているCommandeur & Koopman 「状態空間時系列分析入門」（以下「CK本」）の著者らは、すべての事例についてデータとプログラムを公開している。ありがたいことであります。しかし、ssfpackという耳慣れないソフトを使わなければならない。わざわざ新しいソフトの使い方を覚えるのは大変に面倒だ。できれば普段使っているソフトで済ませたい。 というわけで、勉強かたがた、CK本に出てくる計算例を片っ端から R で再現してみた。汗と涙の甲斐あって、すべての章についていちおう再現できたので、ここに載せておくことにする。 もくじ: Rプログラム紹介 全体

2. データサイエンティスト 2 今世紀でもっともセクシーな職業 ハーバード・ビジネス・レビュー 2013年年2⽉月号 2018年年までに⽶米国で14〜～19万⼈人不不⾜足 マッキンゼー 2011年年5⽉月 求められるスキル ビジネススキル，機械学習／ビッグデータ， 数学／OR，プログラミング，統計 Analyzing the Analyzers, O’reilly 2013 4. 本⽇日お話すること 4 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス 教師あり学習(後述)寄りの内容が多いです

【2021/1/11】2021年版を公開しました 【2020/1/9】2020年版もあります, こちらもよろしくおねがいします！ 【2019/8/12】一部書籍のリンクを最新版に更新しました 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 機械学習にWebアプリ,そしてFintechと,今年（2017年）は昨年（2016年）以上にPython界隈が賑やかな一年でした. Pythonでお仕事と野球データ分析を生業としている@shinyorke（野球の人）ですこんにちは. このエントリーでは,そんなPythonの学び方・本が充実した今年から来年（2018年）に移るにあたり, 最短距離でPythonレベルを上げるための学び方・読むべき本の選び方〜2018 をまとめてみました.

データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができますが、時系列データはそういうわけにはいきません。なので、なかなか難しいのです。 今日は時系列のさわりをまとめて、また、時系列予測のチュートリアルをしていきます。 参考にできるサイト メタ的な記事 pythonの実装も含めて ディープラーニング系 本 読みたい論文(積読) Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data WAVENET: A GENERATIVE MODEL FOR RAW AUDIO 基礎チュートリアル データの用意 定常性のチ

データ分析ガチ勉強アドベントカレンダー 13日目。 仮想通貨がはやり始めて、チャートを見るようになった人も多いのではないでしょうか？ チャートから予測をしたい という思いを持ちつつも、結構ハードルの高いのが時系列予測。 それをできるだけ簡単にできるツールがProphet。 自分の持っているドメイン知識を導入しながら、簡単に時系列データ予測を行うことができます。 prophetとは 資料 ビジネス予測のための課題 設計思想 Prophetでできないこと 根底のアルゴリズム インストール Prophet tutorial 型の変換 将来の予測 Components 特別なイベントなど help まとめ prophetとは 資料 公式記事 github わかりやすい資料(slideshare)*1 ビジネス予測のための課題 Completely automatic forecasting tec

この投稿は 「Jupyter Advent Calendar 2017 - Qiita」 の 22日目の記事です。 こんにちは、パンダ好きの akiyoko です。 上野動物園の赤ちゃんパンダ、シャンシャン可愛いですよね〜。 Ueno Panda Live.jp というサイトで、開園日なら毎日（ただし開園時間のみ）パンダのライブ映像が見れる（オススメは３カメ！）のは皆さんもうご存知ですよね。しかしながら、たまに小一時間ほどパンタ達がじーーーっと動かないことがあるんですね。ただ寝てるだけという。こっちはあのモフモフが愛くるしく動く姿が見たいのに！！ 見たいだけなのにぃ！！！！ （親子水入らずで全く動かない様子。キャプチャ元：Ueno Panda Live.jp） ハァハァ。少々取り乱してしまいましたが、ところで、あなたのパンダ（pandas）も止まってしまっていませんか？ というのが今回のテ

この記事は移転しました。約2秒後に新記事へ移動します。移動しない場合はココをクリックしてください。 こんなことをしてみたい ↑これがしたい pythonによる機械学習の勉強をしたので、実践ということで、人気アイドル「乃木坂46」の個人的に好きな5人のメンバーを区別して見ました。大きな流れはこんな感じです。 web上から五人の画像を100枚ずつ取ってくる 画像から顔部分を取り出して保存、テストデータの取り出し 画像の水増し モデルを定義して、学習 テスト(顔を四角く囲って、その人の名前を出力) 説明はこんなもんにして、彼女らの可愛さについて語りたいところですが、そういうブログではないので、少し技術的なことを書きます。 今回はjupyterを使って作業を進めました。notebook形式なので結果が見やすく初心者にはいい環境でした。環境は以下。 macOS:10.13.1 python:3.6.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよっていうのあれば教えてくださいな ※随時更新します Pythonライブラリ 深いアレたち 機械学習のお勉強 論文 arXiv カンファ e-learning 本 twitter データを集める チートシート類 終わりに Pythonライブラリ こんなの勉強しておけば良さそうリスト。抜け漏れご容赦。 ★★★ : 必須。空で使えるようになりたいトコロ。 ★★　 : 周辺ツール、知っていればより便利になるよという感じ ★　　 : あるアルゴリズムに特化しているようなもの。一歩先 ライブラリ 必須度 用途 numpy ★★★ 数値計算用のライブラリ。いろいろし

Python標準にも random というモジュールがあるが、ベクトル演算の可能な numpy のほうが「大量に乱数を生成してなんかの処理をする」という場合に高速に動く。あと分布関数が山ほど用意されている。 一様乱数 numpy.random.rand() で 0〜1 の一様乱数を生成する。引数を指定すれば複数の乱数を生成できる。乱数の範囲を変えたい場合は後からベクトル演算をすれば良い。 from numpy.random import * rand() # 0〜1の乱数を1個生成 rand(100) # 0〜1の乱数を100個生成 rand(10,10) # 0〜1の乱数で 10x10 の行列を生成 rand(100) * 40 + 30 # 30〜70の乱数を100個生成 from numpy.random import * """ 標準正規分布。いわゆるガウシアン。標準正規分布ならば

時は戦国 Python には作図ライブラリがたくさんあります。 最もデファクトスタンダードに近く歴史も古い作図ライブラリは matplotlib で間違いないでしょうが、それでも R における ggplot2 ほどの地位は確立していないように思います。 特に、Jupyter-notebook 上ではインタラクティブなグラフを表示するニーズがあり、そこでは静的なグラフよりもさらにライブラリが割拠している印象があります。何がどう違うのかよくわかりません。 そこで今回は代表的な作図ライブラリの Jupyter-notebook 上での 違いについて簡単にまとめます。 注意 各ライブラリはいずれも細かくグラフのスタイルを設定可能で、やろうと思えば同じような見た目のグラフを生成することも可能ですが、今回はできるだけ何も設定せずにプロットした時のグラフを使います。 今回試すライブラリたち matplo

データビジュアライゼーションのデザインパターン20 - 混沌から意味を見つける可視化の理論と導入 -posted with カエレバ鈴木雅彦,鈴村嘉右 技術評論社 2015-05-08 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 PythonライブラリのSeabornとは? Seabornのインストール Seabornの特徴 スタイルの変更方法 matplotlibのグラフをSeabornのデフォルトスタイルに変更する Seabornのスタイルを変更する whitegrid dark white ticks 右と上のグラフの枠線を無くす グラフ描画機能 折れ線グラフ 棒グラフ 一次元分布データの描画(ヒストグラムや確率密度関数) ヒストグラム表示 二次元の分布データの描画 散布図のプロット データセットの相関分析 ヒートマップ Mac

このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。