複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
データエンジニアリングの基礎
データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないままデータシステムの構築を進めると費用と時間を無駄に費やすことになります。本書は「データエンジニアリングライフサイクル」を軸にデータシステムの要件を整理することで、組織の「データ成熟度」に応じたデータシステム構築の指針を与えます。またデータエンジニアの立ち位置を明確にし、組織内でデータエンジニアが果たすべき役割を示します。 まえがき Ⅰ部 データエンジニアリングの基礎と構成要素 1章 データエンジニアリング概説 1.1 データエンジニアリングとは何か 1.1.1 データエンジニアリングの定義 1.1.
「傷のついたHDDの復旧」など業界トップクラスの実績を持つデータ復旧のベテランエンジニアにデータ復旧の裏側や業者の選び方を聞いてみた
HDDやPC、スマートフォン、NASなどの端末において恐ろしいのは、突然データにアクセスできなくなることです。大事なデータを失ったら慌てたり、落ち込んでしまうもの。そんなときに助けになるのが「データ復旧サービス」ですが、普段使いするサービスではないので、国内に100社以上あるという業者の中でどこに頼めばいいのか、判断するのも難しいところです。 そこで、復旧率95.2％という驚異の復旧技術力を持ち、14年連続データ復旧国内売上No.1のデータ復旧サービス「デジタルデータリカバリー」のベテランエンジニアに、具体的にどういった事例を扱ってきたのか、そしていざデータ復旧を依頼するにあたってはどういった点に注目して業者を選べばいいのかといった話を直接聞いてみました。 データ復旧.com【デジタルデータリカバリー】｜復旧率95.2％のデータ復旧・復元サービス https://www.ino-inc.c
データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。 CREチームではカスタマーサクセスを進めるため、最近データ分析により力を入れています(参考1, 参考2)。データ分析を正確に行なうためには、データに関する正確な知識が必要です。今回はより正確なデータ分析を支えるためのメタデータを継続的に管理する仕組みについて書いてみます。 データに対する知識: メタデータ データ分析を正確に行なうためには、データ自身に関する知識(=メタデータ)が必要です。例えば、Mackerelのデータ分析タスクでは以下のような知識が必要とされることが多いです。 このテーブル / カラムは何のためのテーブルなのか 似たようなカラムとの違い 集計条件の違い、など データがどのような値を取り得るか SELECT column, COU
業界トップの技術力を誇るヤバいエンジニアたちからデータ復旧の裏側を探ってきた
データ復旧といえば「スマートフォンのデータ復旧は不可能」や「SSDのデータ復旧は困難」といった話をたびたび耳にしますが、業者によっては「不可能」「困難」とされているメディアのデータ復旧サービスを提供しています。そこで、95.2％という国内屈指のデータ復旧率と、11年連続データ復旧サービスにおける国内売上シェアナンバーワンを誇るデータ復旧サービス・デジタルデータリカバリーを提供するデジタルデータソリューションで、「スマホは本当にデータ復旧可能なのか？」などデータ復旧の裏側を徹底的に調べ尽くすべく、現場で働くエンジニアの方々に直接話を伺ってきました。 デジタルデータソリューション株式会社-DDS Inc｜デジタルデータソリューション株式会社 https://www.digitaldata-solution.co.jp/ というわけで、さっそくデジタルデータソリューションの本社へやってきました。
Oracle Cloudの機械学習でフードロス減少に挑む - ぐるなびをちょっと良くするエンジニアブログ
こんにちは、IT統制セクション データマネジメントグループの宮澤です。 2009年にぐるなびに入社し、データベース管理者（DBA）としてキャリアを重ねてきました。2016年からは、データ管理者（DA）のチームを発足し、関係各部署と協力し、全社的なデータマネジメントの企画・検討と推進を行っております。 ぐるなびにおけるデータマネジメントの取り組みについては「メタデータ管理のすすめ」の中で公開されていますので、ご興味のある方は、合わせてお読み頂ければと思います。 私の所属するIT統制セクションは「データ利活用の促進」もミッションの一つに掲げており、社内データはもちろん、昨今話題になっているオープンデータの社内利用や連携なども検討しておりました。 そんな折、日頃からお世話になっている日本データマネジメント・コンソーシアム（JDMC）の「エンジニアの会」において、あるイベントの出場者を募集していま
シリコンバレーのエンジニア給与相場が想像の倍ぐらい高かった | 射撃しつつ前転
IM飲み会2017で、アメリカの給与相場についての話をした（もはやIMと全く関係ないが、IM開発者の人生に関係があるということで）。会社に雇われてると、こういうトピックを書くには差し障りがあったり、自慢っぽくなったりしてしまうので、タイミングよく無職である今の間に、こちらにも書いておきたい。 内容を一言に要約すると、「シリコンバレーでは、ある程度の経験を積んだソフトウェアエンジニアの年収は3000万円に容易に達しうる」ということになる。 最近、アメリカでは人工知能系のエンジニアの給料は3000万とか4000万とかが当たり前らしい、というような噂をTwitterなどで見かけるが、こういった情報は、間違ってはいないが、完全に正解であるとも言い切れない。このあたりは、日本とアメリカの報酬システムの違いを知らないと、しっかりと理解できない。 USでのエンジニアの報酬システムの概要アメリカのテック系
インターン生がデータ転送基盤を一から設計する、VASILYバックエンドインターンの紹介 - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 先日、VASILYバックエンドチームにインターン生が来てくれました。 この記事では彼がインターンで作ってくれた機能や、インターン中のスケジュールなどを紹介します。 インターンに来たのはこんな学生 インターンに来たのはこの春に大学4年生になったばかりの、柴犬大好き系エンジニアのT君です。 好きな言語はClojureというなかなかギークな学生さんでした。 インターンに来てもらう前に提出してもらった事前課題では、コードの綺麗さが光っていました。 この課題はRuby on Railsで「とあるお題」に従ったWeb APIを作るものなのですが、Rubyでありながら変数の再代入を嫌う傾向はさすが関数型に慣れているだけのことはあるなと感じました。 やってもらったタスク 目標 今回のインターンでT君にやってもらったタスクはMySQLからBigQueryのデー
ディレクターがSQLを覚えて捗った話 | CyberAgent Developers Blog
こんにちは、サイバーエージェントのメディア広告部門、 通称MDHで開発局の局長をやっている小越と申します。 我々の部署は「メディアの為の広告テクノロジー」というミッションで 日々配信サーバーやDMPの開発を通じてメディアの広告収益を 上げる事を仕事にしています。 今回は、我々の部署で導入して、とても捗った話を紹介したいと思います。 ■何をやったのか？(やっているのか？) 簡単に言うと、(1)ディレクターがSQLを覚えて、(2)データ分析に 必要なデータ抽出はディレクターがやるというルールを導入し、 実際に運用しています。 導入前の課題、導入後の効果、 そしてそれから更に何が起こったかを順番に説明していきます。 ■導入前の課題 皆さんの開発組織では、PDCAサイクルはどのように回ってますか？ PDCAとは我々の部署では以下のような行為と定義付ける事ができます。 P:プラン データ分析や戦略策
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今日は8TBのハードディスク2本をカバンに突っ込んで新幹線に乗る事で東京大阪間で半二重12Gbpsでデータを転送するやつをやった
TechCrunch | Startup and Technology News