はてなブックマーク

ENV["LINES"] = 100 @time using Random: seed! @time using LinearAlgebra @time using StatsBase @time using QuadGK @time using StatsFuns logmeanexp(x) = logsumexp(x) - log(length(x)) @time using StatsPlots @time pyplot() relax(t=0.2) = (backend() == Plots.PyPlotBackend() && PyPlot.clf(); sleep(t)) rd(x, d=3) = round(x; digits=d) mrd(t, d=3) = map(x->rd(x, d), t) @time using Turing #turnprogress(false

Julia v1.1.0 の Windows 8.1 へのインストール¶ Author: 黒木 玄 Date: 2019-03-18～2019-04-05 Repository: https://github.com/genkuroki/msfd28 このファイルは次の研究集会での講演後に追加の資料として作成された: 数学ソフトウェアとフリードキュメント XXVIII 2019年3月16日(土) 13:00–18:00 東京工業大学 大岡山キャンパス 本館1階H116講義室 このファイルはnbviewerで読める. Julia+Jupyterを最も楽に使う方法は JuliaBox を使うことである. ブラウザを使える環境ならどこでも使える. JuliaBox内にJulia言語のチュートリアルがある. しかし, 自分のパソコン内でJulia+Jupyterの環境が構築されていると非常に便利で

Free Wolfram EngineをJupyterで使う方法¶ 黒木 玄 2019-05-25～2019-06-05 Wolfram Engine とそのJupyterクライアントのインストールの仕方については https://twitter.com/genkuroki/status/1132064876174536704 で解説した. このノートブックにおける解説はそこでした解説とほぼ同じである. Jupyterを最も簡単に使えるようにする方法はおそらくAnacondaを入れることである. Julia言語からJupyterを使える環境を整備する方法については https://nbviewer.jupyter.org/github/genkuroki/msfd28/blob/master/install.ipynb を参照せよ. Juliaは最新の優れたプログラミング言語なので使えるよ

今日話すこと¶マイクロサービス化されたアプリケーションでは、パフォーマンス測定の一つとして分散トレーシングが挙げられます。 Akka HTTPをAPIサーバの一つとして構築した際に、他のサービスとのやり取りを含め全体のパフォーマンスを可視化するには、分散トレーシングの仕組みに載せる必要が出てきます。 そこで、数ある分散トレーシングの実装の中から、MetricsとTracingの実装の一つであるOpenCensusと、 OpenCensusが利用できる分散トレーシングのバックエンドの一つであるJaegerを用いて、 Akka HTTPのAPIサーバでの分散トレーシングの可視化を紹介します。 お前、誰よ¶よしだ twitter: @grimrose github: grimrose とある人材紹介会社 マーケティング部門のデータエンジニア(自称) 好きなIDE: IntelliJ IDEA S

%%HTML <link rel="stylesheet" type="text/css" href="./static/css/custom.css"> <link rel="stylesheet" type="text/css" href="./static/css/highlight.css"> %matplotlib inline %load_ext tsumiki import datetime import this import time from io import StringIO import matplotlib.pyplot as plt import numpy as np import pandas as pd from IPython import display from ipywidgets import FloatSlider, IntSlider, i

機械学習でツイート主を推測する¶こんにちは。ライブラリのAPI叩くマンの DSひとり@factorydatamngです。 ところで、私はツイッターで@nardtreeさんと南極にゃんこ@NekoAntarcticaさんをフォローしているのですが、このお二人はキャラがやや被っているうえ、どちらもアニメアイコンで、しかもアイコン変更の頻度が多いという共通点があります。 フォローして間もない頃はこれはどっちのツイートだ？と迷う事がよくありました。 今ではキャラの違いも分かってきて混同する事も無くなったのですが、ふと、これ機械学習で分類できるんじゃね？ と思いたちました。 以下、勢いでやってみましたが、自然言語処理は素人なのでおかしな点があればコメント頂けるとありがたいです。（あと、お二方ネタにしてすみません😅） おおまかな方針¶ ツイートを取得 ツイートを形態素解析して分割 ツイート毎のベクト

WindowsへのJulia言語のインストール¶黒木玄 2017-06-20～2018-09-06 Copyright 2018 Gen Kuroki Lisence: MIT このファイルは以下の場所で最新版を読める: http://nbviewer.jupyter.org/gist/genkuroki/81de23edcae631a995e19a2ecf946a4f Anaconda3とJulia v1.0の組み合わせ (2018-09-05に追加)¶私が使っているWindows機は64ビット機なのでそれに合わせてバイナリをダウンロードした. (1) Anaconda Downloads から Windows 用のAnaconda Python 3.6 version (以下 Anaconda3 と呼ぶ)のインストーラーをダウンロードし, Anaconda3 を C:\Anaconda

Advanced Numpy Techniques¶ General, user-friendly documentation with lots of examples. Technical, "hard" reference. Basic Python knowledge assumed. CPython ~3.6, NumPy ~1.12 If you like content like this, you might be interested in my blog What is it?¶NumPy is an open-source package that's part of the SciPy ecosystem. Its main feature is an array object of arbitrary dimension, but this fundamental

Advanced Numpy Techniques¶ General, user-friendly documentation with lots of examples. Technical, "hard" reference. Basic Python knowledge assumed. CPython ~3.6, NumPy ~1.12 If you like content like this, you might be interested in my blog What is it?¶NumPy is an open-source package that's part of the SciPy ecosystem. Its main feature is an array object of arbitrary dimension, but this fundamental

混合正規分布モデルと正規分布モデルの各種情報量規準の比較¶黒木玄 2017-11-16～2018-01-13 正規分布の確率密度函数を次のように書くことにする: $$\displaystyle N(\mu,\sigma) = \frac{\exp(-(x-\mu)^2/(2\sigma^2))}{\sqrt{2\pi\sigma^2}}. $$標準正規分布 $N(0,1)$ で生成したサンプルについて, 分散を1に固定した山が2つの混合正規分布モデル mixnormal $$\displaystyle y \sim (1-a)N(b,1) + a N(c,1) $$と分散を1に固定した正規分布モデル normal1 $$\displaystyle y \sim N(\mu,1) $$と分散も動かすパラメーター数2の正規分布モデル normal $$\displaystyle y \sim

Fine-Tuning VGGNet with keras¶This notebook demonstrates how to create a single pipeline to resize, preprocess, and augment images in real time during training with keras. This eliminates the need to preprocess images and write them back to disk before doing fine-tuning. This is accomplished by hooking together keras.preprocessing.image.ImageDataGenerator with keras.applications.vgg16.preprocess_i

This is the Jupyter notebook version of the Python Data Science Handbook by Jake VanderPlas; the content is available on GitHub.* The text is released under the CC-BY-NC-ND license, and code is released under the MIT license. If you find this content useful, please consider supporting the work by buying the book!

このチュートリアルはJuliaの機能を最速で学ぶためのものです。 Juliaは科学技術計算を得意とするプログラミング言語で、スクリプト言語のように手軽に書くことができるのにC言語やFortranにも負けない実行速度を誇ります。 文法や機能はPythonなど他のスクリプト言語とかなり共通しているので、別のプログラミング言語の知識があれば基本的な機能はすぐに習得できるでしょう。 他のスクリプト言語と比較した、Juliaの特異な点をいくつか挙げてみると、 コンパイル言語に比肩する実行速度 シンプルな言語機能と豊富な標準ライブラリ 引数の型により実行される関数が決まる動的ディスパッチ Lispのような強力なマクロ機能 というようなものが挙げられます。 それゆえ、今までのようにパフォーマンスが必要な部分をC言語など他の言語で書く必要はなく、すべてJuliaで書けます。 実際、文字列を含むJuliaの

Prerequisites¶To understand¶ Python – you don't need to be an expert python programmer, but you do need to know the basics. If you don't, the official Python tutorial is a good place to start. Scientific Python – We will be using a few popular python libraries, in particular NumPy, matplotlib and pandas. If you are not familiar with these libraries, you should probably start by going through the t

Working... This notebook is taking a long time to render. Please wait, the page will reload in a few seconds. This website does not host notebooks, it only renders notebooks available on other websites.

I am developing IRuby a kernel in Ruby that adheres to the Jupyter/IPython messaging protocol. It integrates nicely with different Rubygems as will be shown later. This gives us a very fancy web notebook interface for Ruby. It's a very good tool for programming presentations. It's basically an in-browser REPL loop, with some extra goodies.

Pythonでシストレのバックテスト¶移動平均交差システムを、以下の日足データを使ってバックテストしてみます。 %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyplot as plt # dfのデータからtfで指定するタイムフレームの4本足データを作成する関数 def TF_ohlc(df, tf): x = df.resample(tf).ohlc() ret = pd.DataFrame({'Open': x['Open']['open'], 'High': x['High']['high'], 'Low': x['Low']['low'], 'Close': x['Close']['close']}, columns=['Open','High','Low','Close'])

Python によるデータ分析コンテスト実践 (Part 3)¶本ドキュメントは FIT 2016 チュートリアル資料です． 各種データに対する Python によるデータ処理について，パッケージの利用例を紹介する． 目次¶ 大規模データ処理 (Redshift) Redshift にデータをロードする Redshift による特徴量作成 Redshift でのクラスタサイズごとの実行時間の比較 大規模データ処理 (BigQuery) BigQuery にデータをロードする BigQuery による特徴量作成 BigQuery における実行時間 画像データ (OpenCV) BRISK 特徴点の作成 時系列データ (今回は扱わない) ARIMA モデルを使った季節性のある時系列データのモデル 自然言語データ (今回は扱わない) NTLK による自然言語データの前処理 自然言語データのスコア

Python によるデータ分析コンテスト実践 (2)¶本ドキュメントは FIT 2016 チュートリアル資料です．Walmart Recruiting: Trip Type Classification コンテストを題材として、Python のデータ分析関連パッケージの利用例を紹介する。 目次¶ 補足：実行環境について Walmart Recruiting: Trip Type Classification について タスク設定 データのダウンロード データの確認 下準備 予測モデルの交差確認 データセットの特徴を調べる 特徴量を作成する 特徴量の作成 中間ファイルへの保存 機械学習アルゴリズムを利用する ロジスティック回帰モデルによる予測 Gradient Boosting モデルによる予測 予測結果を Kaggle への投稿 予測モデルを改善する 特徴量を増やす パラメータチューニング

Pythonでテクニカル指標を作成する¶今回はテクニカル指標を作ってみます。対象とするFXデータとして、以下のコードで作成した日足データを使ってみます。 %matplotlib inline import numpy as np import pandas as pd import matplotlib.pyplot as plt import pandas.tseries.offsets as offsets # dfのデータからtfで指定するタイムフレームの4本足データを作成する関数 def TF_ohlc(df, tf): x = df.resample(tf).ohlc() ret = pd.DataFrame({'Open': x['Open']['open'], 'High': x['High']['high'], 'Low': x['Low']['low'], 'Close'

Agenda¶ Gradleとは？ 今日話す内容と「Gradle 徹底入門」 タスクランナーとしてのGradle Gradleを使った自動化例 Pluginの紹介

機械学習の分類の話¶分類(Classification)は、教師あり学習の1つで、予測対象はカテゴリなどの離散的な値を予測します。 具体的には、メールがスパムかどうかや、画像に映っているのがどういった物体か、といったバイナリで表現できる値を予測する場合にモデルを作ります。 基本的に、入力データをベクトル $x$ （例えば [1, 3, 4, 8] ）と考えた時に、予測対象のカテゴリ $y$ ( ham/spam )を出力します。 入力ベクトルは整数や小数のベクトルの場合が多いですが、「晴れ」「雨」などといったカテゴリ情報も適当な数値に変換して扱うことが多いです。 同様に出力されたカテゴリは、-1や1などの整数で表現することが多いです。 このnotebookでは、分類について以下のモデルを紹介します。 パーセプトロン(Perceptron) ロジスティック回帰(Logistic Regres