はじめに データ分析でデータを与えられて最初に行うこととして，概略の内容把握がある．データを表の形にして，特徴量は何か，データのタイプは何かを理解しようとする．これと同時に行う作業が，欠損値についての調査である．データ欠損の有無は，データ操作に影響を及ぼすのでまず有無を確認し，さらに欠損値の頻度をみる．本記事では，この作業について，PythonとRでどのように行うかについて確認していく． （プログラミング環境は，Jupyter Notebook + Python 3.5.2 および Jupyter Notebook + IRkernel (R 3.2.3) になります．） Pythonでのデータ欠損状況確認 データセットとして，Kaggleが提供する"Titanic"を用いることとした．データを見た方も多いと思われるが，これは，乗客の特徴量から「生存した」/「生存できなかった」を分類するも

The TensorFlow for R website has been moved to here.

The Python Tutorial¶ Python is an easy to learn, powerful programming language. It has efficient high-level data structures and a simple but effective approach to object-oriented programming. Python’s elegant syntax and dynamic typing, together with its interpreted nature, make it an ideal language for scripting and rapid application development in many areas on most platforms. The Python interpre

DB設計によく携わっていた頃に多くのプロジェクトで共通で規定されていた規約をまとめてみました。 ここでは オブジェクト として以下のものを対象としています。 （カラムはテーブルの一部ではありますが、別で切りだしています。） テーブル カラム インデックス 制約 1.全般 大文字を利用しない テーブル名、カラム名ともに大文字を利用しない。 （DBにより大文字小文字を区別するもの、しないものなどがあるため小文字で統一を図る） 名前 OK/NG

統計解析向けのプログラミング言語であるRは分析モデリングを簡単な記述で実現できる一方、計算に長い時間がかかる場合があります。本記事ではデータ加工処理高速化の基礎的なテクニックを紹介します。 1. はじめに Rは、統計解析向けのプログラミング言語です。そのため、分析モデリングを簡単な関数の記述で実現できる一方で、汎用的なプログラミング言語と同じように記述しても、計算に長い時間がかかる場合があります。本記事では、まだR言語に慣れていない人向けにデータ加工処理高速化の基礎的なテクニックを紹介します。 2. データコピーの回避 Rでは、大量のデータを扱うことも多く、データの格納方法にも気を使わなければなりません。特に気をつけることは、できるだけ最初に必要なデータの格納場所(メモリ)を確保しておくことです。これは、無駄なデータコピーを減らすためです。 例として、1,000,000個の1～10のベクト

東京都内で、一般派遣のPGとして何年か働いてきました。時給は2600円前後の案件が多かったです。（個人的にはもっと上げたいところですが、なかなか叶っていません） いわゆるWeb系が7割、SIer系が3割です。 SIer系（社内SE含む）は総じてクソだという印象を抱いていますので、バイアスがあるかもしれません。 どんな職種や就業形態であれ、何年かやっていると誰でも、「この条件を満たす就業先はアウトだから、ここで働いてはいけないな」という判断基準が自分の中で確立されてくるものだと思います。 自分のそのような判断基準を整理する意味合いも含めて、「就業先（派遣先）との面談の際、これを聞けば良いな」と思う質問項目を書き出してみようと思います。 typoはご容赦ください。 (1)作業に使うPCのメモリ容量とディスプレイの画素数と枚数を教えてください。 メモリ8GB未満→論外。「我々は、たかだか数千円の

週末の午前中、カフェでアイスコーヒーを飲みながらふとポエムでも書いてみようかと思い立ってしまったので、ちょっと前からよく考えていることを書く。本当に思いつきで書くので乱文になる可能性が高いけどご容赦いただきたい。そもそもブログを書くこと自体が相当久しぶりだ。 僕ももう 30 をすぎて、プログラマの世界ではさすがにもう若手とは呼べなくなり、教育っていうのはおこがましいけど、まあ自分より若い人たちの指導みたいなことをやらないといけない立場になってきたからこそ、「いいプログラマとはどういう人なんだろう。この人たちはどういうことを学べたら幸せだろう。」ということをよく考えるようになった。そういう話をする。 プログラマは手段のスペシャリストである 世の中には目的・手段論みたいな論調が存在する。 「それは手段だよね。目的をはき違えたらダメだよ。」という話はいたるところでよく耳にするんだけど、僕はこれを

はじめに vimdiffが使える場合はこの記事は読む必要がありません。 また、はじめには読み飛ばして下さって構いません。 エンジニアにとって、2つのファイルの比較を行うことはよくあることだと思います。 ですが最近仕事で2つのファイルの差分を誰でもすぐに読み解ける方法を考え出す必要が出てきました。なお、補足をするとそのプロジェクトではgitを導入できる段階ではありませんでした。 全員がvimを使えるならvimdiffで良いと思います。 ここでは主にdiffコマンドに関することでの視覚的なことについてメモしたいと思います。 パッチ等他の形式については Linuxエンジニアらしいパッチのつくりかた がよくまとまっていると思いますので、そちらをご覧ください。 diffコマンド 一般的に差分を取るときは普通はdiffコマンドが思いつきます。diffコマンドの差分の判定についてのオプションについてはこ

みなさんこんにちは お元気ですか。私は元気です。 Jupyter Notebookの次世代版、JupyterLabを紹介したいと思います。 ※7/17 誤字脱字、一部画像を修正 JupyterLab JupyterLabとは JupyterLabのインストール Jupyter Labの凄い点 １．画面分割が可能 ２．タブによる画面切り替え ３．ファイルの操作機能 ４．コマンドの検索機能 ５．csvを綺麗に表示する ６．Widgetが1度のみの表示がされる。 感想 JupyterLab JupyterLabとは JupyterLabはJupyter Notebookをベースに拡張したものである。 所謂IDEと呼ばれるツールと同様である。 現在はAlpha版がリリースされています。 ※Scipy2016のカンファレンスビデオはこちらにあります。 JupyterLab: Building Blo

前回のBUGS/Stan勉強会#1でご要望のあったStanチュートリアルの資料を作成しました。 StanTutorial from Teito Nakagawa

本巻で使用されているソースコードやデータは以下のURLから取得できます。 https://github.com/iwanami-datascience/vol1 【DSオリジナル】の表記のある動画や原稿は岩波DSウェブサイトのオリジナルコンテンツです。

Jupyterのショートカット。意外にまとめたサイトを見なかったので、よく使うものを備忘録的に。 esc を押してコマンドモード Enter:セルの編集 L :行番号表示。再度押すと非表示 M: マークダウンモード Y: コードモード C:セルのコピー V:コピーしたセルのペースト K:上のセルに移動 J:下のセルに移動 A:上のセルの選択 B:下のセルの選択 DD:セルの削除 Space:スクロールダウン Shift + Space: スクロールアップ セルの編集モードの時 Shift+Enter:セルの実行、次のセルへ移動 ctrl +Enter:セルの実行のみ 他にはこちらにも英語の記事がありました。全部のショートカットは試していませんが、上のものは、自分で確認しています（ただし確認はMacでしかしてません）。ゴメンナサイ！ (escを押してコマンドモードに切り替わるというように記載

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

2016/11/20 追記: この記事は内容が一部古くなっています。最新版はこちらを参照して下さい Julia Advent Calendar 2014 1日目の記事です。 まだまだJuliaは一般に知られていない言語ということもありまして、Juliaの基本的な機能を最短で学ぶ記事を初日に書いた次第です。 X<30くらいだと思います。 バージョンはJuliaの最新リリース版であるv0.3系を基にしていますが、特に異なる点は次期バージョンであるv0.4に関しても触れています。 Juliaの公式サイトは The Julia Language で 、Juliaのバイナリは Julia Downloads から入手できます。 文法 百聞は一見にしかず。まずはJuliaのコードをざっと見てみましょう。 function mandel(z) c = z maxiter = 80 for n = 1:m

この記事はJulia Advent Calendar 2014の12日目の記事だったはずのものです(遅れてすいません...)。 Pythonユーザーとしての自分に対して100問100答形式で気になるだろうことを列挙したものになっています。 全体は以下の様なセクションに分かれています。 Julia 環境 データ 技術計算 言語機能 文字列 / 正規表現 ファイル / IO システム プロファイリング / ベンチマーク / テスト ライブラリ Juliaのバージョンはv0.3系を基本としていますが、開発中のv0.4の内容も必要に応じてコメントしています。 Julia Juliaってどういう言語なの? Juliaは高レベルでハイパフォーマンスな技術計算のための動的言語だよ。 構文はPythonユーザーならすぐに理解できるよ。 公式ウェブページはここ: http://julialang.org/

git commitを実行あとでコミットをやり直したり、コミット自体を取り消す方法です。 直前にしたコミットをやり直す（git commit --amend） 直前にしたコミットをやり直す場合、「git commit --amend」を使用します。 例えば、直前のコミットログが以下のような状態だったとします。 実は直前のコミットに含めるべきであった「hoge.txt」が含まれていませんでした。 コミットログ(git commit --amend 実行前) $ git log commit cca638b48b4c8be7ad5432f7882497534b04e2b4 Author: mrgoofy <hogehoge@example.com> Date: Wed Sep 8 23:03:57 2010 +0900 2nd Commit.-> New Add File : bar.txtこ

Mac OS X El Capitan 10.11.3 MacBook Pro (Retina, 13-inch Early 2015) 準備 HomeBrewが必要なので、無ければインストール $ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

emacsキーバインドに慣れ親しんだせいで長らくVim幼稚園のままだった私が来ましたよ。キーバインドを一度に覚えようとすると挫折しやすいので、以下のように少しずつボキャブラリーを増やすのがたぶん吉。 特記しない限りノーマルモードが前提。後、.vimrcでの設定については最小限にしか触れない (emacsでつい設定ファイルをいじってしまいがちだった反省から) ので各自好きにしてください。 Level 1 最小限の使い方だけ覚えて、ぶっつけでサーバーの設定ファイルを更新したりしていた。10年以上この状態。 iでその場でインサートモード aで直後の文字にインサートモード :wqで保存終了 :q!で保存せずに終了 移動はひたすらカーソルキー xでカーソル下の文字を削除 困ったらEscキーを連打 上はもともと、vimの先祖でずっと機能の少ないviの操作なのだけど、viならほぼどんなたいていのUnix