複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
2018年の砂場活動振り返り - yasuhisa's blog
インフラやミドルウェアにとにかく苦手意識があるが、仕事的にいつまでもそう言ってられない。そこで、最悪全部ぶっ壊れても大丈夫な砂場を作り、そこを土台に活動をするというのを2018年の目標に設定していた。 結構な時間をかけたこともあり、それなりの砂場と活動ができて、自分としても勉強になってよかった点が多かったので振り返りを書きます。一個一個ちゃんとエントリ書いていたので、振り返りが楽で助かった。 完成系はML Newsだけど、2018年1月時点では そもそもWebアプリですらなくCLIアプリだった データの管理もデータベースではなくテキストファイル という素朴な作りだった。 インフラ編 最初はCLIアプリをWebアプリにする活動をやったが、その後はAWS上にインフラ部分の構築を進めた。 次に一台のEC2をAWSコンソールから立てて、sshでログインしてyumコマンドを打って...という10年前
AWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう - yasuhisa's blog
この記事は、はてなエンジニア Advent Calendar 2017の1日目の記事です。 サービスに関連する言及のみを観測したい こんにちは。Mackerelチームでアプリケーションエンジニアをやっているid:syou6162です。サービスを運営していると、サービスに関するtweetをslackに流して定期的に観測しているといった方は多いと思います。観測するモチベーションは様々ですが サービスの不具合に一早く気が付ける もちろんテストや動作確認はやっているのが前提だと思いますが、それでも気づけないものも出てきます 新しい機能を出した際にユーザーの反応が直に見れるため、開発者としてはモチベーションが上がる 問い合わせまではないが、どういう機能要望などがあるか知ることができる などが挙げられると思います。 問題点 Mackerelチームでもサービスに関するtweetを定期的に観測しています。
Google機械翻訳の仕組み&できるようになったこと/まだ難しいことについて、社内の機械学習勉強会で説明します - yasuhisa's blog
社内の機械学習勉強会で最近話題になった機械学習関連のエントリを取り上げているのですが、ここ一ヶ月ではGoogle Neural Machine Translation(GNMT)がとても話題になっていました。GNMTで使われているEncoder-Decoderやattentionのような仕組みを直近で使う予定は特にはないですが、機械学習を使うエンジニアとして知っておいて損はないし、技術的に何が変わったことにより何ができるようになって、何はまだできないのかを知ろう、というのが目的です。技術的な項目は興味ない人も多そうなので、最後に持っていきました。 Google Neural Machine Translation(GNMT)の最近の進化について できるようになったこと 定量的な評価 まだまだ難しいこと 技術的な詳細 Encoder-decoder Attention based encod
GWなのでホソの会に参加してきた - yasuhisa's blog
なんだかんだでGWはリアルが充実している気が...。id:ujihisaがカナダから帰ってくるとSkypeで聞いていて、ホソの会というのがあるということだったので参加させてもらうことになった。同期にid:ujihisaの知り合いがいたので、その人も誘ってみた。学研北生駒から4回くらい乗り変えたが、関西の電車に慣れてなさすぎてルートを覚えていない。。。四条駅付近からとことこと歩いて会場に到着。すぐは入れないらしく、iPadを持ってきていらっしゃる人がいたのでそれを眺めたり、鴨川付近で等間隔にならずにだべっていたりしました(GWでカップルが少なかったのでなんとか生き延びれた!)。 iPadはNAISTのI期、II期の時に買うと破滅しそうなので、夏休みが終わったくらいに考えてみようと思います。あれは現物を見ると欲しくなりますね。。。で、7:30くらいにお店に突入。 ホソは牛の小腸らしく、脂がかな
さくらインターネットでsinatraを動かそうとしたらはまった - yasuhisa's blog
というのはぐぐればいくらでも出てきそうな感じですが、それでもはまる僕はなんなんですかね。ということで設定とか。基本的にはSinatraをCGIでもThin等のアプリサーバでも使えるようにする書き方 - 思っているよりもずっとずっと人生は短い。と同じなんだけど、ちょこちょこ違うとかなんとか。まあ、自分用メモですね。 1.9系の文字コード関係がいまだによく分かっていないので、そろそろどうにかしないといけない。 dispatch.cgiさくらに用意されているRubyじゃなくて、自分でインストールしたRubyなので、パスを直で書いてる。あとはLOAD_PATHとかGEM_HOMEとかを教えてあげないといけないっぽい。environmentはcgiにしておかないとダメ。Encoding.default_externalのところはインストールしてるRubyが1.9系だからなんかやってます。 #!/ho
はてなインターンの前半戦が終わりました - yasuhisa's blog
インターン期間中にはなかなかBlogが書けないだろうなーと思ってはいましたが、予想以上に書けてないですね。。。 12日に最後の課題が出されて、今日はいままでの課題の再提出にあててよい時間でした。課題は全部で7つあって、全ての点数が6点(10点満点)を越えないとインターン後半に進む権利がもらえません*1。ちなみに僕は3/7しか一発で合格できていません。でも、必死に(いやもう必死に)再提出したので、6点は全部行きましたよ＞＜。後半に進めるかは明日の朝に発表されます。 あとはいつもの通り思ったこととか適当に書いていきますよっと。 とにかく書くのが遅い こういうデータ構造ならうまくいくだろうな こういうパターンをあてはめることができるだろう という感じでタンスの引き出しが少ない、という問題は前々から感じていましたが*2、「はまったときにはまっている時間が長い」というのが特に問題だなということに気づ
はてなインターン全日程終了しました - yasuhisa's blog
8/2に京都に到着、8/3からインターンが開始されたはてなインターンですが無事全日程終了しました。後半に進めるのが決まったのが二週間前だとか信じられません。 というわけで興奮覚めないままの感覚で書いていこうと思います*1。 インターン後半戦 インターンの前半戦は毎日出される課題を倒していくという感じの日々でしたが、後半は実際にプロダクトの作成、改善、追加などを行ないました。チームも前半とは違って再配置となり、僕はid:mi_kattun、id:mroriiと一緒にid:onishiさん、id:antipopさん、id:ninjinkunさんの運用チームでやらせてもらいました。 このチームにて コメントスパム コメント日記 の撲滅を目指してスパムフィルタの作成をしました。以前は結構簡単なルールでフィルタリングしていたのですが、最近とにかく(本当に!本当に本当に!!本当に本当に本当に!!!)ス
よく忘れるgitの操作まとめ - yasuhisa's blog
インターンでgit使いまくりんぐなのですが、まだまだ全然使いこなせてないですね＞＜。 「さっきのcommitちょっと待った!これも追加して＞＜」git addしてから git commit --amend -C HEAD で追加してくれる。 実際のファイルを消さないで、gitのindexから消す git rm --cached <filename> git/git覚書 - TOBY SOFT wiki dumpとかのコード挿入してたけど、挿入とかする前の状態に戻したい結構ある。というかdumpしないと分かりません。 % rm -rf app/models % ls app/models ls: cannot access app/models: No such file or directory % git checkout app/models % ls app/models user.
写真で見てみるRubyKaigi - yasuhisa's blog
とりあえずな感じで。参加されたみなさん、スタッフの皆さんお疲れ様でした!!
ベルマンフォードのアルゴリズムで実行される結果も逐次表示 - yasuhisa's blog
離散最適化理論の課題が出ていたので、ベルマンフォードのアルゴリズムを実装してみることにした。アルゴリズムが実行されていく様子の例もレポートに貼ろうと思ったんだけど、アルゴリズムはもうあるんだから、その様子をruby-graphvizとかで吐けばいいじゃんということでやってみた。 pngファイルをアニメーションgifに変換するのはこんな感じで。この辺を参考に。 convert -geometry 320x500! -delay 150 -loop 0 bellman_ford_example_a_uniq*.png bellman_ford_example_a.gif 俺はRubyで書いたわけだけど、こんなことをやってるid:mickey24に「それRでできるよ!!」と言われそうである。 単一始点最短路問題に対するその他のアルゴリズムベルマンフォードのアルゴリズムは単一始点最短路問題に対する
関西SVC事後ミーティングに参加してきた - yasuhisa's blog
午前中はid:yaottiの家で爆睡していて、午後から関西SVC事後ミーティングに行ってきました。 【告知】関西SVC事後ミーティング - satzz online beta 会場は町家スタジオ。立派なところを貸していただきました。ありがとうございました。 早めに行ったんですが、開始まではgdgdしてて、5:30くらいから会が開始。最初はid:satzzさんとid:hxmasakiさんによる写真を見ながらの鑑賞会というか思い出し会。二人はSVCで写真を取りまくってたので、色んな写真がありました。最終日の夜はなんかいたずらされているということが明らかに(ry。 次にid:ninjinkunさん*1による「なぜ私は日本を選んだのか」というような趣旨の発表。SVC08に行った(09ではなくて)時から今の会社に入るまでの経緯と彼の本音が語られました。中二病注意書かれてましたけど、いいLTだったなー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
