はてなブックマーク

はじめに 11/27に開催された「データアーキテクト（データ整備人）を”前向きに”考える会」にブログ枠として参加させて頂いたのでイベントの様子をレポートとして書きます。 analytics-and-intelligence.connpass.com 会場: 株式会社オプト 私の現在 ブログで報告するほどのことではなかったのですが、9月に大学院を卒業して10月からとある人材系企業でデータ分析組織の立ち上げに関わっています。 データ分析基盤の構築（データレイク、データウェアハウス）、からデータ分析、データサイエンスの啓蒙活動、（ゆくゆくは事業提案も？）など広く関わっています。 そんなこんなで情報収集も兼ねて今回の勉強会に参加しました。 以下は各発表のサマリーになります。 勉強会趣旨 データエンジニアとアナリストの間には色々仕事があるが評価されないことが多く、つらみが溜まっている つらみの共有で

はじめに Twitter上でこんなやりとりがあって、Lispをちゃんと勉強しようかなと思った次第。これまでEmacsを使って設定ファイルも(汚いけど)それなりに書いてきたので基礎を知ってるくらいなので、ここは一つCommon Lispをちゃんとやっておきたいなというのが主な動機です。 最近、 @igjit さんの影響からからLisp熱が再発してる。もともとEmacs使ってるってのもあるけど。 RおじさんからLisperに進化できるだろうか...— matsumura (@y__mattu) 2019年4月17日 ところで、このブログは「データ解析周りを中心に、プログラミング全般について書く」と明言してるわけですがこれからやるCommon Lispがどのくらい役に立つかは未知数。 Common Lisp の環境設定 PCはMacのMojaveを使ってます。 Roswellで処理系としてはSB

0. 要約 機械学習のハイパーパラメータをベイズ最適化でチューニングするのは既存パッケージの組み合わせで頑張ればできたのですが、頑張らなくても簡単に書けるパッケージを作りました。 github.com これにより、例えば iris データをXGboostの3-foldクロスバリデーション、エラー率評価でフィッティングさせたければ以下のように書くことでハイパーパラメーターである eta, max_depth, nround, subsample, bytree をベイズ最適化でチューニングしてくれます。 res0 <- xgb_cv_opt(data = iris, label = Species, objectfun = "multi:softmax", evalmetric = "merror", classes = 3, n_folds = 3) データセット名、ラベルの列名、XGbo

Pythonでワードクラウドを描く方法は、すでに結構な数の記事があるので、基本はそこを見ればいけます。 なので、今更僕が解説するようなことはしません。 例えば qiita.com ライブラリの入れ方も丁寧に説明してくださってます。 今回もこのページをほぼそのままトレースさせていただいてます。 ただ、上のページはPython2系でやっているので、最新のPython3.5でやったらどうなるのかを試してみます。 今回のスクレイピングの題材は、 モダンな日本語 TeX 環境を整える - Qiita でいきます。理由は特にありません。 環境はMac（OS X）です。 # coding:utf-8 import matplotlib.pyplot as plt from wordcloud import WordCloud from bs4 import BeautifulSoup import re

内容をアップデートしました y-mattu.hatenablog.com はじめに RStudio Server の Docker イメージを作りました。入っているメインコンテンツは、tidyverse なパッケージ群、MeCab および {RMeCab}パッケージ、LaTeX環境 です。また、ggplot2 などでの日本語プロットも文字化けしないようにIPAexフォントを入れています。 RStudio Server の構築手順 Docker をインストール OS によって変わってくるので、各自検索してください。自分は Mac で boot2docker を使っています。この環境の場合、こちらなどが参考になります。以下、Docker がインストールされていて docker コマンドが使えることを前提とします。 Docker イメージの取得 利用する Docker イメージ ymattu/m

この記事は RStudio Advent Calendar 2016 と Emacs Advent Calendar 2016 22 日目の記事です。 はじめに そもそもなぜ RStudio じゃダメなのか 無ければ作る！それが・・・ 環境 準備 Emacs を RStudio っぽく ESS 補完 オブジェクト構造の確認 オブジェクトの中身 ヘルプを引きたい もっと RStudio っぽく R Markdown と R Notebooks 基本設定 R Markdown の HTML 化の正体 チャンク挿入 R Notebooks について 画像のインライン表示 その他 オブジェクトに色付け パイプ演算子の挿入 でもやっぱり RStudio が恋しい! RStudio とは直接関係ないやつ Evil モード electric-operator.el rainbow-deliminator

自然言語処理まわりはずっとRでやっていたのですがそろそろPythonでもやろうと思い環境構築をまとめてみます。 ついでなのでRのほうもまとめてみます。 PythonについてはWindowsとMacで違うので一応そちらも触れたいと思います。Windows10とYosemiteです。 当たり前ですがRもPython3.5も入ってる前提です。 正直WindowsにMeCab入れてPythonでやるのは環境構築で挫折しそうになります。 でも何とかなったので共有。 MeCabを入れる Windows こちらのページからmecab-0.996.exeをダウンロードして解凍 辞書の文字コードを選択しろと言われるので「Shift-JIS」を選択 コマンドプロンプトでMeCabが動くかテスト mecab すもももももももものうち 結果 すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係

Emacsでは日本語入力にSKKを利用しているのですが、どうもデフォルトの辞書では変換がショボいので、GoogleのIMEを使おうと思います。 何がすごいのか 例えば、「さーばー」と入力すると、自分で辞書登録せずとも サーバー、Server、server、SERVER が変換候補として現れたり、 「まほうしょうじょまどかまぎか」のような普通の辞書にはない単語を 魔法少女まどか☆マギカ といい感じに変換してくれたりします。 （古い例ですが漢字ひらがなカタカナ記号のあるいい例が思いつかなかったので...） あるいは、「わたしのなまえは」を 私の名前は のように文節で変換してくれたりします。 環境とか OS X El Capitan Emacs 25.1 ddskk-20160820.1428 google-ime-skk 1.4.0 準備 google-ime-skkという、SKKでGoogl

データ解析の一連のプロセスの中で、前処理の占める割合はたいへん大きいです。 その前処理のなかで、json形式のものを楽に扱えるjqコマンドというものがあります。 json形式はデータベースなんかではよく見る形式で、自分でも個人的に必要になったのでその導入をメモ。 MacとWindows両方でやります。 Mac ターミナルを開いてbrewで一発。 brew install jq Windows Windowsにはchocolateyというのがあって、これはMacでいうところのbrewみたいなものです。 まずはこれを入れます。 コマンドプロンプトで、 @powershell -NoProfile -ExecutionPolicy unrestricted -Command "iex ((new-object net.webclient).DownloadString('https://choc

Webスクレイピングなどで使われるlxmlパッケージですが、WindowsのPython3.5で導入にてこずりました。 pip install lxml でいけるかなあと思ったのですが、普通にエラーになりました。 Searching for lxml Reading https://pypi.python.org/simple/lxml/ Best match: lxml 3.5.0 Downloading https://pypi.python.org/packages/source/l/lxml/lxml-3.5.0.tar.gz#md5=9f0c5f1eb43ff44d5455dab4b4efbe73 Processing lxml-3.5.0.tar.gz Writing C:\Users\YUYA~1.YUY\AppData\Local\Temp\easy_install-v3h

待望の『R言語徹底解説』が届きました。(2/10) R言語徹底解説 作者: Hadley Wickham,石田基広,市川太祐,高柳慎一,福島真太朗出版社/メーカー: 共立出版発売日: 2016/02/10メディア: 単行本この商品を含むブログ (29件) を見る本来は昨年のクリスマスあたりに発売される予定だったので、二か月近く待ったことになります。 僕はかなり早くから予約していたので、まさに「待望」といった感じです。 二週間以上かかってようやく通して読みました。まだ理解できていない部分も多いのでこれから何度も読み直さなければいけないなあという感じですが、やはり感想を書いておかないとということで感想を書いていきます。ちょっと長くなります。 どんな本か 総評・感想 不満 内容 導入 第Ⅰ部　基本編 第Ⅱ部　関数型プログラミング 第Ⅲ部　言語オブジェクトに対する計算 第Ⅳ部　パフォーマンス どん