この記事はGoogle Cloud Platform その１ Advent Calendar 2018 - 18日目の記事です。 以前こういうブコメをしたのですが、言いっ放しだとダサいので、具体的なやり方を書きます。 "アカウントごと/日付ごとのBigQueryコストを可視化できるダッシュボード" なら Stackdriver + BQ + Datastudio を使うと作業時間10分・ほぼ無料で作れるので、うちはそのやり方を採用していますね。… https://t.co/9yoni22iw7— ゆずたそ (@yuzutas0) August 17, 2018 もくじ もくじ はじめに この記事のゴール 解決したい課題 課題の背景 実行方針 完成イメージ 作業手順 1: BQクエリ実行ログを流す 2: DataStudioでダッシュボードに表示する 応用編 1: 全体コストを可視化する 2

この記事は、真・エンジニアの登壇を応援する会 Advent Calendar 2018 - 14日目の記事です。 カンファレンス登壇を通した学んだことをまとめます。 サマリー アウトプットこそが最も効率的なインプットだ！ とにかく場数を踏んでいこう！ 最初にゴール設定→早い段階で方向性をレビュー→エレベータピッチから始めるアウトライン作成→王道に即したスライド作成→人を巻き込んでリハーサル→当日は心から楽しむ！ 実績 以下2つが代表実績となります。 どちらも国内有数規模のカンファレンスですので、私の言い分に関心を持ってくださる方はいるのではないか、と期待しています。 登壇内容はエンタープライズ寄りですが、このエントリーの内容はギークな方々にも通じるはずです。 ① PyCon JP 2017 ベストトークアワード優秀賞 ② Developer's Summit 2018 Summer アンケ

この記事はRecruit Engineers Advent Calendar 2018 - 8日目の記事です。 注意点 タイトルは煽りです。「新規事業におけるデータエンジニアリングの勘所」の方が正しいかもです。 クオリティというか記事の信頼度は、投稿時間がギリギリになってしまったことから察してもらえるとありがたいです。 本エントリーの内容は個人的な見解であり、所属する組織を代表するものではありません。データの取り扱いは非常にセンシティブなトピックでもあるため気軽に発信すべきではないということは重々承知しております。もし誤りや考慮不足だと感じる点があれば、それは全て私個人の力不足によるものですので、どうぞ私個人当てにご指摘のコメントをいただけると幸いです。 もくじ 注意点 もくじ 背景 前提 体制 システム 開発スコープ 機械学習WebAPIは分離 データ基盤設計 全体の設計ポリシー データ

この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と書いてあるので、約半年前の内容となります。 もくじ もくじ はじめに 「データ基盤の3分類」と「（一般的な）技術要素」 1.データレイク（Data Lake） 2.データウェアハウス（Data Warehouse） 3.データマート（Data Mart） 私が考えるデータ基盤の定義 私が考える「あるべき構成」 技術要素を分けるのはアンチパターン 進化的データモデリングを容易にしよう チームとアーキテクチャを選ぶ まとめ 参考 余談 追記 はじめに データ基盤と世間一般で言われるシステムには分類

データ基盤を改善するSREのアルバイトを募集中です。 春休みにひと稼ぎしたい・腕試しをしたい学生さんなど、お知り合いにいましたらぜひご紹介頂けると有難いです。 <仕事の魅力> こちらのエントリーをご参照ください！ yuzutas0.hatenablog.com <募集概要> 【想定対象】 データ基盤に興味のある学生エンジニア 【テーマ】 課題発見・解決型（SRE） 【仕事の流れ】 データ基盤チームの抱えるシステム課題（Problemチケット）から挑戦したいものを1つ選ぶ（もしくは起案する） 関係者ヒアリングや技術調査を行い、改善案・設計の叩き台を作る ホワイトボードで設計ディスカッション → TODOを洗い出す TODOを捌いてProblemを解決する 成果をまとめて社内勉強会でプレゼンテーションする（可能であれば外部登壇などもご相談） 【技術環境】 開発言語: Python, Node.

データ基盤エンジニアという仕事の魅力について、質問を受ける機会がありました。 何が魅力なのか。どういう面白さがあるのか。どこにモチベーションがあるのか。 せっかくなので自分なりに考えをまとめてみます。 5つの面白さ ざっくりまとめると、データ基盤エンジニア（あるいは：分析基盤エンジニア・データエンジニア）というのは、「主体的に働きやすく」「スキルを(伸ばし/広げ)やすく」「キャリアアップに繋げやすい」仕事だと思います。 1. データ活用担当への第一歩として データ分析や機械学習を仕事としてやりたい。だけど、職務経歴としてはアプリケーション開発やインフラに強みがある。 この立場の人がキャリアをピボットするための踊り場として、データ基盤の担当になることがあります。 持ち前のスキルを活かしてデータ基盤の構築・運用に関わるところから始めます。 データ仕様に詳しくなっていき、徐々に活用側へと染み出し

SPI Japan 2017というカンファレンスで発表をしました。 グロースフェーズの痛みの中で、いかに開発・運用チームを立て直したかという内容になります。 発表スライド 「Rebuild Team - 急成長プロダクトのDev&Opsで生じる悪循環とその解決策」 ここ最近の発表の集大成です。 急成長フェーズを体験した人は多くないはずなので、有用な知見ではないかと自負しています。 参加した感想 運営が非常に丁寧でした。選考通過時にはレビュアーから「こういう点が素晴らしい」とコメントいただき、また当日には司会者からフォローをいただき、非常に話しやすい場作りがなされていました。 一方で内容面については全体的に違和感を覚えました。もやもやです。 内容 思ったこと 補足事項 「改善施策が現場に受け入れられない」という意見が多かった 改善施策は現場の人が現場のために生み出すものではないか。 現場にメ

先日、日曜数学会というイベントに招待いただき、LTをしてきました。趣味で数学をやっているひと（＝日曜数学者）が集まって、お酒を飲みながら研究を共有する会です。 他の参加者のスライド 二次形式と素数で遊ぼう レムニスケートのお話 図形の分割・合成パズルの話 どんな話をしてきたか 「線形代数という概念が存在しない退屈な世界」というタイトルで、前半は線形代数を再学習しようとした経緯を、後半は実際に勉強したときの話をしました。 基本的な内容は「数学を避けてきた社会人プログラマが機械学習の勉強を始める際の最短経路」というQiita記事の劣化版で、ここに書いてあることを実践したら良かったよ！という共有になります。 再学習の経緯 WEBサービスを作っているとレコメンドやラベル分類といった機械学習をやりたくなります。 ちょっとした実装ならライブラリとサンプルコードに乗っかれば簡単にできます。 しかし、がっ

概要 HileSearch（ハイルサーチ）というサービスをリリースしました。 バッチ処理とスクレイピングの練習がてらRailsアプリを作ってみました。 もくじ どんなサービスか どうやって使うのか なぜ作ったのか どうやって作ったのか 思ったこと どんなサービスか 持ち運びたいノートPCを選ぶと、そのPCより大きいバッグを一覧表示します。 名前は「PCが入る（ハイル）バッグを検索（サーチ）する」という語感決めです。 注意点 PCでのWEBブラウザ閲覧を推奨します。スマートフォンだと閲覧しにくい箇所があります。 Amazonの商品画像はアソシエイト用途でのみ利用可能という規約があったので「商品詳細を見るボタン＝Amazonへのアフィリエイトリンク」という体裁を取っています。問題があればご指摘いただけると幸いです。 どうやって使うのか HileSearchにアクセス。 持ち歩きたいPCのブラン

概要 IPAの応用情報技術者試験（平成26年/秋試験）に合格しました。 仕事をしながら3週間で合格できたので、勉強法など知見を共有します。 平成27年度【春期】【秋期】 応用情報技術者 合格教本 (情報処理技術者試験) 作者: 大滝みや子,岡嶋裕史出版社/メーカー: 技術評論社発売日: 2014/12/13メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る どのような資格か IPAのサイトでは、対象像を「高度IT人材となるために必要な応用的知識・技能をもち、高度IT人材としての方向性を確立した者」としています。 難易度としては、「ITパスポート」＜「基本情報技術者」＜「応用情報技術者」＜「高度区分」（システムアーキテクトや情報セキュリティスペシャリストなど）という位置付けです。 要するに情報技術に関する幅広い知識を持っていることを証明するための資格試験ということです。