カスタマーサクセスのためのデータ整備人の活動記録というタイトルでオンライン登壇しました - yasuhisa's blog
第3回 データアーキテクト（データ整備人）を”前向きに”考える会という勉強会で、CREとしてデータ基盤を整備する活動についてオンライン登壇しました。 カスタマーサクセスのためのデータ整備人の活動記録 from syou6162 イベント登壇はまあまあやってきたはずなんですが、今回の登壇は初めて要素が満載でした。 CREとして初めての登壇 これまでは研究者 or アプリケーションエンジニアとして登壇 今年の2月にCREになったばかりなので、私がCREについて語ってもいいんかいな...みたいなところはありますよね と言いつつ、偉そうに語ってしまった データ基盤に関する初めての登壇 これまでは機械学習や自然言語処理に関する登壇がメイン 関連: データに関連するいくつかの見方と私 - yasuhisa's blog 初めてのオンライン登壇 意図せず(?)YouTuberデビューを果してしまった..
AWS Batchとそのモニタリング方法について - yasuhisa's blog
最近、仕事や趣味でAWS Batchをよく使っています。仕事と趣味のそれぞれの用途は以下の通りです。 仕事: 機械学習を用いた異常検知システムのパラメータ学習 PyCon mini Osakaで異常検知システム構築の裏側について発表しました - yasuhisa's blog 学習データ取得と混合ガウス分布のパラメータ推定が元気に動いています 趣味: ML Newsという機械学習関連のエントリをまとめてくれる君 元になるエントリをTwitterから取得する部分 機械学習に関連するエントリか判定する分類器の学習 取得してきたエントリの判定 AWS Batchの使い方やモニタリング方法が大分こなれてきたので、エントリにまとめておきます。 AWS Batch is ... AWS Batch is not ... モニタリング方法 Job Queue Statusのモニタリング 成功/失敗したタ
最近の砂場活動その2: ECS/Fargate/AWS Batch編 - yasuhisa's blog
ゴールデンウィークということもあり、前回に引き続き砂場活動をやりました。前回はCloudFormationを使い、ElastiCache/RDSを立てて、EC2の上でWebアプリを動かすところまでをやりました。 今回はECSやFargate、AWS Batchなどコンテナの恩恵をより受けられるようにしてみようと思います。大分モダンになってきた。 コンテナ化 ECSで動かす on EC2 ECSを構成する概念 ECS用のEC2の準備 タスク定義/サービス定義 オートスケール ECSで動かす on Fargate Batch処理 困ったこと まとめ コンテナ化 ECSで動かすことを見越して、Webアプリをコンテナ化しました。といってもDockerfileを書く程度なので、大したことはない。中間ファイルに吐いていたような状態はRDS/ElastiCache/S3などの外部のDBやストレージに持た
家庭内財政会議を開きました(2016年版) - yasuhisa's blog
2016年はとっに終わっているという声は聞こえない…。昨年の様子はこちら。 前提 資産の時系列推移 収支 支出 収入 その他 ふるさと納税 共通口座の残高の監視 清算用botの作成 前提 30歳サラリーマンで京都で夫婦で共働き(子どもなし)です。今のところ財布は別々にしていて、家賃光熱費等の共通出費の用途には別途口座を設けています。お金を貯めるために普段の生活をめっちゃ頑張りたいわけではなく、外食もまあまあ多く、時には散財もしたい(apple watchも買ったし、iPadの一番でかいやつも買ったし、何ならswitchも買った)という感じです。しかし、新卒の最初の2-3年ほどは自分の収入と支出がいったいいくらなのかを全く考えずに過ごしていて、さすがにこれではいかんだろうと思い自分の財政状況を確認し出しました。結婚もしたので年に一度妻と一緒にそれぞれの財政報告会議を開き、将来の計画等について
RedPenで技術文書の誤りを指摘してもらおう - yasuhisa's blog
自然言語の誤りを指摘してくれるRedPenを手元で使えるようにしてみました、という記事です。気が向いたので、色々書いてみました。 エンジニアであっても意外と文書を書いたり見たりする機会が多い 自然言語も機械が勝手に間違いを指摘して欲しい 自然言語もルールで分かることは機械(RedPen)に指摘してもらう 指摘例 EmacsからRedPenを使う まとめ エンジニアであっても意外と文書を書いたり見たりする機会が多い エンジニアとしてはてなに入社後、コードレビューをする機会はもちろん多いですが、意外と自然言語(私の場合は日本語、英語がメイン)のレビューをする機会も多いことに気が付きました。他人の書いた文書に対するレビューに限らず、自分の書いた文書に対するレビューも含みます。 告知文のチェック mackerelでは毎週告知をブログに書くので、エンジニアも内容をレビューする こういうやつ: mkr
実タスクで機械学習を導入するまでの壁とその壁の突破方法 - yasuhisa's blog
社内で機械学習の案件があった際に、機械学習の経験者しか担当できないと後々の引き継ぎで問題が起こりがちです。これを防ぐために、機械学習に興味があり、これまで機械学習を経験したことがないエンジニアにも担当できる体制を整えられることが望ましいです。しかし、機械学習のことに詳しく知らないディレクターやエンジニアにとっては、どのような機械学習の理解段階ならばタスクを任せられるかの判断をするのはなかなか困難です。そこで、このエントリでは機械学習を実タスクでやるまでに乗り越えるべき壁だと私が思っているものについて説明します。 第一の壁: 綺麗なデータで機械学習の問題を解ける 講義で扱われるような綺麗なデータを扱える 行列形式になっていて、欠損値や異常値もない 上記のデータを回帰や分類問題として解くことができる 実際に解く際にはライブラリを使って解いてよい 手法を評価する上で何を行なえばよいか(Preci
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
