複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog
社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクターやエンジニアにとっては、どのような機械学習の理解段階ならばタスクを任せられるかの判断をするのはなかなか困難です。そこで、このエントリでは機械学習を実タスクでやるまでに乗り越えるべき壁だと私が思っているものについて説明します。 第一の壁: 綺麗なデータで機械学習の問題を解ける 講義で扱われるような綺麗なデータを扱える 行列形式になっていて、欠損値や異常値もない 上記のデータを回帰や分類問題として解くことができる 実際に解く際にはライブラリを使って解いてよい 手法を評価する上で何を行なえばよいか(Preci
Plaintextがやってくれた。。。 - yasuhisa's blog
朝にPlaintextとDropboxを同期していたらDropbox側のファイルが全部消えていて焦った。調べてみると同様の現象が起こっている人がいた。同期しているときにスリープしたりするとやっかいなことになるらしい。。。 [ヅ] PlainTextがDropboxにあるファイルをことごとく削除していった… (2011-07-12) Dropboxはファイル単位ではgitのようにバージョン管理ができるのだが、フォルダ単位でいつのバージョンに戻す、ということができなくてちょっと困った。結局、一回管理しているフォルダを削除してからrestoreすることでどうにかなった。全く。。。 Dropboxの側にもgitのフォルダを作っているけど、もう消してもいいかも(さくらサーバー側から削除するのも忘れないこと => 削除した)。
練習がてらC++でHMMのコードを書いた - yasuhisa's blog
いわゆるお勉強的なコードなので特に新しいところはないです。 HMMをベースにしたモデルを作る必要が(たぶん)出てきそうなんですが、そういえばHMMの前向き後ろ向きアルゴリズムの付近とか実装したことねぇやべぇと思ったので書いてみました*1。系列の長さが100超える付近からまじめにやらないとアンダーフローで死んだりしたので、Scalingの付近はちゃんとやりました。が、i.i.d.な系列が複数あるバージョンでの推定や、テストデータが未知語を含む場合などは(不真面目なので)端折ってます。まあ、それでも遊べるし...。コードはgithubに上げました。 github.com 対数尤度が単調増加してる感じだったので、こんなんでとりあえずいいかーと思ったものの、去年unsupervisedなpos taggingを機能語と内容語を考慮してモデル化する話の論文とか読んでみて、教師なしのpos taggi
JavaとPythonをXML-RPCで結ぶ - yasuhisa's blog
最近、自分の扱うプログラムの数が増えてきました。Java、Python、Jython、Perl、Rubyって感じでしょうか。メインはもっぱらJavaなわけですが。前よりは結構いろいろなことができるようになってきたわけですが、一つの言語でやりたいことが完結するとは限りません。例えば ほげほげしたいライブラリはJavaに、むにゃむにゃ（？）したいライブラリはPerlに 計算部分はJavaで、出力部分はRuby on Railsで*1 などとやりたいときがあるでしょう。素人*2目にもよくないということが分かってしまいます。というか自分が今やってみたいというところです。 前にPerlからJavaプログラムを動かすみたいなことをやってみたことがあるのですが、かっこよくない気がします。なぜならば、以前のやり方だとライブラリを持っている言語から結果をファイルに書いて、そのファイルを使いたい側の言語で読み
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
