語られている事柄は全て、観察者によって語られている。Alles was gesagt wird, wird von einem Beobachter gesagt. Maturana, H. R. (2013). Erkennen: die Organisation und Verkörperung von Wirklichkeit: ausgewählte Arbeiten zur biologischen Epistemologie. Springer-Verlag., S.34.

最近あんまり触っていなかったので、久々にPythonをやろうと思ったときにいろいろ忘れてたり、新しく知ったりしたこともあったので、Pythonやるときに参考になりそうな情報をまとめました (但し、今回はデータ分析系のライブラリ関連は除いています) Pythonの言語仕様や基本等 概要 — Python 3.5.2 ドキュメントdocs.python.jp qiita.com www.python-izm.com 2系と3系の違い postd.cc qiita.com コーディング規約 はじめに — pep8-ja 1.0 ドキュメント ドキュメント生成 azunobu.hatenablog.com ドックストリング """ 3重ダブルクォートを使用して記載する。 ドックストリングに記述したテキストは関数やクラスオブジェクトの__doc__に保存される def hello(): """Out

機械学習・データマイニング全般 変わりゆく機械学習と変わらない機械学習 [物理学会誌 2019]：機械学習・データマイニングについての専門家以外に向けた解説記事 機械学習・データマイニング分野の概要：分野全体の概要と国際会議動向まとめ資料 ML, DM, and AI Conference Map：人工知能，機械学習，およびデータマイニング関係の国際会議関連マップ データマイニング：4種類の主要分析タスクとデータマイニングによる知識発見プロセスについての学部前半レベルの説明資料 社会における機械学習 機械学習・データマイニングにおける公平性 [人工知能学会誌 2019]：アルゴリズム決定の公平性に関する議論 Fairness-Aware Machine Learning and Data Mining: Tutorial on data analysis considering pot

はじめに データ分析でデータを与えられて最初に行うこととして，概略の内容把握がある．データを表の形にして，特徴量は何か，データのタイプは何かを理解しようとする．これと同時に行う作業が，欠損値についての調査である．データ欠損の有無は，データ操作に影響を及ぼすのでまず有無を確認し，さらに欠損値の頻度をみる．本記事では，この作業について，PythonとRでどのように行うかについて確認していく． （プログラミング環境は，Jupyter Notebook + Python 3.5.2 および Jupyter Notebook + IRkernel (R 3.2.3) になります．） Pythonでのデータ欠損状況確認 データセットとして，Kaggleが提供する"Titanic"を用いることとした．データを見た方も多いと思われるが，これは，乗客の特徴量から「生存した」/「生存できなかった」を分類するも

The Python Tutorial¶ Python is an easy to learn, powerful programming language. It has efficient high-level data structures and a simple but effective approach to object-oriented programming. Python’s elegant syntax and dynamic typing, together with its interpreted nature, make it an ideal language for scripting and rapid application development in many areas on most platforms. The Python interpre

前回（2010/5/2）のハードマージンSVMでは、データに重なりがある場合、下のようにちゃんと分類境界を求められませんでした。今回は、重なりのあるクラス分布に対応できるように拡張してみます。このようなSVMはハードマージンSVMに対してソフトマージンSVMと呼ばれます。別名としてC-SVMとも呼ばれるようです。 PRMLの7.1.1にあるように、データの誤分類を許すようにSVMを修正します。ハードマージンSVMでは、データ点がマージン内（-1 < y < 1）に絶対に入らないことを前提にしていましたが、ソフトマージンSVMでは「入ってしまったものは仕方ない、だがペナルティを与える！」と少し条件を緩めます。 まず、スラック変数ζ（ゼータ）をデータごとに導入します。スラック変数は、データが正しく分類されかつマージン境界上または外側にある場合は0、正しく分類されているがマージン内に侵入してしま

pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 >　3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともないです。 winでは64bitは不具合が多いので32bit推奨 > 古いです。 winでは非公式バイナリからダウンロードしてインストール > お世話になりましたが、最近は使っていません。 2016版 OS毎python環境構築法決定版 Windows: an

(訳注：2016/1/5、いただいた翻訳フィードバックを元に記事を修正いたしました。) よくある主観的で痛烈な意見を題名に付けたクリックベイト（クリック誘導）記事だろうと思われた方、そのとおりです。以前指導してくれた教授から教わったある洞察/処世術は、些細でありながら私の人生を変えるマントラとなったのですが、私がこの記事を書いたのはそれによるものです。「同じタスクを3回以上繰り返す必要があるなら、スクリプトを書いて自動化せよ」 そろそろ、このブログはなんだろうと思い始めているのではないでしょうか。半年振りに記事を書いたのですから。ツイッターで書いた Musings on social network platforms（ソーシャル・ネットワークプラットフォームについてじっくり考える） はさておき、この半年の間書き物をしていないというのはうそです。正確には、400ページの 本 を書きました。

特にプログラマーでもデータサイエンティストでも�ないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説Python機械学習DeepLearningTensorFlow これ書くだけで土日２日間まるまる潰れてしまった。 学んだ内容に沿っているので、順に読み進めるに従ってコードの話になっていきます。 Tensorflow触ってみたい/みたけど、いろいろまだ理解できてない！という方向けに書きました。 ※2018年10月4日追記 大分古い記事なのでリンク切れや公式ドキュメントが大分変更されている可能性が高いです。 この記事のTensorflowは ver0.4~0.7くらいだった気がするので ver2.0~となりそうな現在は文章の大半が何を参考にしているのか分からないかもしれません。 1: Deep Learningってそもそも何してるの? 専門の人からはご指摘入りそうですが、要は回帰

TensorFlow の基本的な使い方やコーディング方法を、線形重回帰やロジスティック回帰、パーセプトロンの実装例を通じて解説しています。（機械学習初心者向け） ※2016/02/27に開催した「GDG京都 機械学習勉強会」で発表した資料です。Read less

データの前処理にはいくつかの工程がある。書籍「データ分析プロセス」には 欠損など 前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。 が、書籍のサンプルは R なので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。 データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見る とはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python には R と比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。 また、方法自体の説明は記載しないので、詳細

はてなブログに移行して最初の記事はやはりPythonネタにしました。 はてなブログいいですね。デザインの編集がやりやすくなったのと、Markdownで書けるのが素晴らしいです。 PyCon 2013の動画を見ていたら、素晴らしい"Transforming Code into Beautiful, Idiomatic Python"という発表を見つけたのでそのまとめです。 今どきのPythonコードのベターな書き方を紹介しています。 Transforming Code into Beautiful, Idiomatic Python ... スライドはこちらにありました 結構長くなってしまったので、知ってる項目は読み飛ばしてもらえばと思います。 ループの基本 整数のループ まずは基本のループ。 Cのfor int i=0; i<6; i++をPythonで単純に書くとこうなります。 for

皆さんこんにちは お元気ですか。私は元気です。 今日はPythonにおける便利記法を書いてみます。 他の言語しか使ったこと無い人もぜひ ※1/25間違いかと思われる箇所の加筆修正を実施 リストに関するイテレーション enumerate（インデックスとオブジェクトのループ） zip（同時に２つのオブジェクトでループ） yield（途中で一旦返す） for-else（forで途中で停止しない場合の条件） リスト内包表記 Collections Counter default dict（辞書のデフォルト値設定） Sort（ソート） sorted if文の書き方 Fileに関する処理（with） in（オブジェクトに存在しているかどうか） 関数について 返り値を複数返す。 関数のオブジェクト化 参考文献 リストに関するイテレーション enumerate（インデックスとオブジェクトのループ） enu

以前、機械学習や統計に関する情報収集についてまとめました。今日はその続きというか補足で、データ分析に役立つ無料で読める Python E-book をまとめました。 ここにある PDF を取り敢えず手持ちのタブレットか PC に突っ込んでいつでも必要なときに参照すると良いでしょう。毎回 Google 検索しても良いですが、確実に理解しておきたい基礎となる知見はやはり書籍で持っていたほうが安心です。 プログラミング言語 まずは Python 3 本体です。 Free Python Books http://www.onlineprogrammingbooks.com/python/ 上記からさまざまな Python の書籍を無料で閲覧することができます。中には少し古い Python 2 の書籍も混じっていますので、どのバージョンの Python を対象にしているか気を付けたほうが良いでしょう

前置き 先日（2015/05/30）、Python東海 第27回勉強会で、「Jupyter + RISE による ライブデモ＆プレゼンテーション」という発表をしてきました。 発表は、資料を Jupyter（IPython Notebook）で大枠を作り、RISE でリアルタイムスライド表示しながらその場で編集し、その場で Gist にアップ → nbviewer に登録 → nbviewer でのスライド表示、という流れで実施1。上記の発表資料は最終的に nbviewer で公開したスライド（後で少しだけ再編集したもの）です。 で、スライド関係は良かったのですが、主にそれ以外の環境設定周りについて、短い発表時間の中でだいぶ端折ったり、発表資料も最低限のことしか書いていないので、自分がやったことを補足しておこうと思います。 なおこの記事は、先日の記事「IPython + IJulia → J

nbviewerでスライド表示ができるようになった！ IPython Notebookや、IRuby、そしてそれらをまとめたものであるJupyterを使っている方は、nbviewerというNotebookの共有サービスをご存知かと思います。このサービスはGithubに公開されているノートブックを自動でHTMLにレンダリングして表示してくれるというもので、これまでも様々なノートブックが共有されてきました。僕も、自分の研究室での発表の際に、発表資料をIPython Notebookで作成し、そのスライドショー機能を使って発表し、レジュメとして、nbviewerのサイト内の自分のURLを共有するなどして活用していました。しかし、nbviewerではスライドとして作成したものではなく、通常のノートの形でしか表示ができませんでした。 しかしながら、最近（正確には調べていないのでわかりませんが）nbv