複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
そうか、RもLLと言ってよかったのか！！ - yasuhisa's blog
LL魂の実況中継 - 北海道苫小牧市出身のPGが書くブログを見ていると、 樋口 千洋さんという方がLL魂で講演をされていたらしい。どうやら筑波ともちょこっと関係ある方らしいw。Python、RUby、Perlとかに混じってRですって、やったね！！（謎 というわけで（？）Rに関してブックマークの数も30越えてきたっぽいので、メモがてらにまとめてみるテスト。 入門編 http://cse.naro.affrc.go.jp/takezawa/r-tips/r.html R on Windows 〜統計モデル 00〜 An Introduction to R R - Åý·×²òÀϤȥ°¥é¥Õ¥£¥Ã¥¯¥¹¤Î´Ä¶ http://phi.med.gunma-u.ac.jp/swtips/R.htmltitle http://phi.med.gunma-u.ac.jp/swtips/R-
RPyで遊んでみる - yasuhisa's blog
一学期の授業にてデータ解析という授業を取っています。統計ソフトRを用いて*1、車市場の線形価格予想モデルのようなものを構築します…というのはとりあえずおいておいてw。 Rを使っていろいろやるわけですが、RをPythonから使えるRPyというライブラリがあるのでつかってみました。 まず、RPyを使うのに必要なNumericというライブラリをインストールします。しなくてもいいのかもしれないけど、Strongly Recommendされているので入れておきます。ここからどうぞ。次に、RPyのインストール。ここからどうぞ。 これで使えるようになってると思うので、使ってみましょう。デモがよくできているので、この付近でいろいろ試してみましょう。 普通はこれでうまく行くと思うんですが、R側にあるデータや、functionを使う時にちょっとつまった点があったので、自己メモ。 R側にあるデータは「r.loa
インタラクティブモードで補完とかヒストリの読み書きとか - yasuhisa's blog
僕は最初に触った言語がJavaでして、主にEclipseを使って書いています。Eclipseは重いのが欠点なんですが、補完が強力でずっと使っていました。というかJavaは補完なしでは書くことができないw。 で、最近は*1Pythonでプログラミングやっています。miyaga50とかと「Pythonで補完できる方法ないかね？」とかという話をしていて、探してみました。すると発見！！ http://python.matrix.jp/modules/ipython.html#id10 /usr/lib/python2.4/site-packages/sitecustomize.pyというファイルに import rlcompleter,readline readline.parse_and_bind("tab: complete") という記述をしたところインタラクティブシェルをやるときにタブで補
Pythonの文字コード【コメント解決篇】 - yasuhisa's blog
昨日の文字コードの件について、コメントを3件いただきました。コメントしたいただいたid:aodagさん、otsukaさん、ocean-cityさんありがとうございました。正直3件もコメントしていただけるとは予想していなかったので、びっくりしていますw。 ディフォルトエンコーディングの設定id:aodagさんのコメントより。Vine Linuxでは/usr/lib/python2.4/site/packagesにsitecustomize.pyというファイルを作り、コメントにあった、 import sys, os sys.setdefaultencoding(”utf-8”) この設定をしたところ、昨日のプログラムで一番気になっていた、 f.write(tagName.find("a").string.encode("utf-8")+"\n") の部分を f.write(tagName.fi
Pythonの文字コード - yasuhisa's blog
プログラム言語ごとにスパイダリングをやってみないと気がすまない症候群（？）の代表ですw。Pythonを使って、自分のはてブのページから、各ブックマークのURLとタイトルをファイルにおとしこむプログラム書きました。 # -*- coding : utf-8 -*- from BeautifulSoup import BeautifulSoup from urllib2 import urlopen b=BeautifulSoup f = urlopen("http://b.hatena.ne.jp/syou6162/python") data=f.read() data=unicode(data,'UTF-8') data=b(data) f=open("./hatebu.txt","w") for tagName in data.findAll('dt'): if(tagName.attr
Pythonでcgiを楽ちんにする方法 - yasuhisa's blog
Pythonずっとやってる人には当り前なのかもしれないですけど、結構便利な気がしたのでエントリにあげとこ。 Pythonの標準モジュールには，ほぼそのままWeb Serverとして使えるモジュールが入っています。これを使うと，簡単にPythonのCGIを試すことができます。 Pythonで超簡単にCGIの動作を確認する方法 | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記 $ python -m CGIHTTPServer とやるとポート8000番にサーバーが走りだします。ドキュメントルートは上のコマンドを打ったところ。そこの直下にcgi-binというディレクトリを作って、http://localhost:8000/cgi-bin/test.pyとやるといけるみたい。ポート番号は8000番も入れないと動かないときがあるので、自明ながらもいれておいたほうがよい（と思
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
