Delta Lake とは何か - connecting the dots
はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta Lake の特徴 ACIDトランザクションの担保 スケーラブルなメタデータ管理 バッチとストリーミングワークロードの統合 タイムトラベル (バージョン管理) CONSTRAINT句のサポート DML (データ操作言語) のフルサポート UPDATE DELETE MERGE 柔軟なスキーマ管理 1. スキーマ エンフォースメント 2. スキーマ エボリューション ストレ
質の高い技術文書を書く方法 - As a Futurist...
大学や大学院で論文の書き方を鍛え上げた人たちには遠く遠く及ばないが、僕の様なはぐれもの1でも最近は Amazon 社内で文書の質が高いと評価してもらえるまでにはなった。Software Engineer として、コードでのアウトプットはもちろん大事だけど、文書のアウトプット(およびそれによって得られた実際のアウトプット)は同じだけ重要である2。今回は自分が最近どういうところに気をつけて技術文書を書いているのか、ということについて数年後の自分が忘れてないことを確かめられる様にまとめておく。 そもそも文書とは？ 英語だと document。ここで指す(技術)文書とは、人間が読む文体で書かれた技術に関連する情報、といったものだ。具体的に言うと以下の様なものを想定している: 新しいプロジェクトの骨子を説明する資料 会議の叩き台となる 1 枚ペラ 本番環境に変更を加えるにあたっての包括的な情報や具体
自社開発メガベンチャーをわずか半年で鬱退職した雑魚エンジニアの話｜JoanOfArc
はじめに 当記事を開いてくださりありがとうございます。私は表題の通り、私は一般にメガベンチャーと呼ばれる自社開発企業で機械学習エンジニアとして勤務しはじめてからわずか半年で、鬱を発症し退職することになったものです。この会社は待遇も良く、社風としても労働者思いのとても素晴らしい会社であったと私自身振り返って思います。 そんな会社に運よく入社することができた私ですが、わずか半年で「鬱状態」と心療内科から診断を受け休職し、会社制度により退職することになりました。「え？そんなに素晴らしい環境なのにメンタル弱すぎでは？」と思われる方もいらっしゃることでしょう。返す言葉が全くありません。おっしゃる通りです。 しかし同時に、「何故鬱になったの？」と思われる方もいらっしゃるのではないでしょうか。本記事ではこの点について鬱を発症した本人の目線から「どうしてそんなことが起きてしまったのか」という点について考察
記者に「プログラミングのスキル」って必要なの？ちなみにNHKニュースの画像生成も記者がコードを書いてます｜NHK取材ノート
記者に「プログラミングのスキル」って必要なの？ちなみにNHKニュースの画像生成も記者がコードを書いてます 新型コロナウイルスの新規感染者の数を示す日本地図に、毎日厳しい視線を送る男がいる。 コロナの感染拡大の今後が懸念されるが、地図がきちんと描画されているかも気になってしまう。 それはこの「新型コロナ感染者数マップ作画システム」をプログラミングしたのが彼だから。 ちなみに彼は技術部局のエンジニアではなく、いつもはテレビで解説している記者だったりする。 このシステム、記者が作りましたこんにちは、NHK解説委員の三輪誠司といいます。専門はITやサイバーセキュリティで、主に「シブ5時」や「くらし解説」などでニュースの解説を担当しています。 新型コロナウイルスの「感染者数マップ作画システム」は、1週間で作成しました。 言語はJava、地図はSVGで、ブラウザの画面をそのまま放送で使っています。SV
イーロン・マスクのロケット製造５つのステップがサイコーだった
イーロン・マスクが YouTube チャネルでスペース X のテキサス工場スターベースの中を歩き回りながらロケット製造や電気自動車について説明しているのを観た。ツイートしたこの件。 これがめちゃくちゃに示唆に富んでいて面白かった。この日のイーロン・マスクは饒舌で楽しそうなので、かなり魅入ってしまった。きっと彼はカンファレンスや会議室の中でインタビューを受けるよりも、工場でみんながロケット作ったり作業している場で語った方が情熱を込めていろいろ説明してくれるんだと思う。 この中で製造工程の話があって、これはロケット製造などの特定分野だけでなく、IT やその他の分野にでも当てはまる普遍的な知見だと思ったので意訳してみた。ざっとビデオを観て印象に残った部分だけを意訳した。あくまで大枠で言ってることをまとめただけなので、もし詳細に興味があればぜひビデオを観てイーロン・マスクの話を直接聞いて確認してく
プログラマーがドキュメントを書かない理由
この記事は、著者の許可を得て配信しています。 Why programmers don’t write documentation 最近ではずっとコードのドキュメンテーションに関連した記事を書いていたので、当然、私のMediumのおすすめ記事には「開発者がドキュメントを書かない本当の理由」という記事が表示されるようになりました。この記事では、ドキュメントを書くための優れたツールがないことが、ソフトウェアエンジニアが自分の作業や判断をドキュメンテーションする意欲を失わせる最大の原因について書いています。 私は普段、特定の記事を批判したりはしませんが、この記事には怒りを覚えました。このライターは図解ツールについていくつかメリットに関して述べてはいますが、全体的に誤解を招くような内容になっており、この重要な問題をより分かりにくくさせています。2つの図解ツールを比較して、どちらも不十分なツールである
個人開発者とCovid-19 Radarプロジェクト - laiso
Endless road | During our roadtrip we turned off the highway… https://www.flickr.com/photos/98063470@N00/326044514 GitHubリポジトリ Covid19Radar に対して起ったことがかなり特殊な状況だったため、開発を追い掛けていた視線からレポートをします。 この記事の著者について 代表作のない個人アプリ開発者(かなしい) Covid-19 Radar Japan の人ではない GAFAMやCode for Japan の人でもない 4/8 Covid-19 Radarを発見する Covid-19 Radarとは、この時点ではシンガポールのTraceTogetherの日本版を目指した個人開発者 廣瀬一海さんのアプリのリポジトリ 4月にContact Tracing技術について
Googleが従業員に対して実践している「カオスエンジニアリング」とは？
By BrianAJackson サービスやシステムに意図的にトラブルを発生させることで、実際にトラブルが発生した際に的確な対処ができるような訓練を行うことを「カオスエンジニアリング」といいます。Googleが従業員に対して行っている4つのカオスエンジニアリングについて、Googleのエンジニアリングディレクターであるデイブ・レンジン氏が語っています。 Chaos Engineering For People Systems w/ Dave Rensin of Google - YouTube ◆チームメンバーをランダムで不在にさせる 週に1度、各チームからランダムにピックアップされたメンバーを自宅勤務とします。選ばれたメンバーは自身の仕事を遂行することはできますが、他のメンバーからの質問には一切答えてはならないというルールで自宅勤務を行います。これを行うことで、突然誰かが欠勤しても円滑に
(翻訳) データエンジニアリングの未来 - satoshihirose.log
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
趣味で作ったソフトウェアが海外企業に買われるまでの話 - knqyf263's blog
今回はソフトウェアエンジニアじゃない人や学生にも、ソフトウェアエンジニアという職業には夢があるかもしれないと思ってもらうために書いています。そのため既に詳しい方からすると回りくどい説明も多いと思いますがご容赦下さい。 基本的に記事とかには技術的なことしか書かないスタンスでやってきましたが、今回の件はさすがに誰かに伝えておくべきだろうということで長々と垂れ流しました。 概要 GW中に趣味で開発したソフトウェアを無料で公開したところAqua Securityという海外企業（アメリカとイスラエルが本社）から買収の申し出を受け、最終的に譲渡したという話です。さらに譲渡するだけでなく、Aqua Securityの社員として雇われて自分のソフトウェア開発を続けることになっています。つまり趣味でやっていたことを仕事として続けるということになります。 少なくとも自分の知る限り一個人で開発していたソフトウェ
プロは試作品をたくさんつくる。はじめて作る人ほど、最初から完成品を作ろうとする。｜米光一成
「グラフィックを詰めずにゲームのプロトタイプを量産する方法は現代でも通用するのか」というテキストを読んだ。 「現代においてグラフィックの伴わないプロトタイプに意味はあるのか？」という問いが書かれている。興味深い。 面白いゲームがネット上にたくさんあるのに、グラフィックがしょぼいゲームなんて誰もダウンロードしないから、“ゲームの核だけを煮詰めたプロトタイプは誰にも見向きされないまま電子の海に沈んでいきます。これではプロトタイピングの意味がありません。”と。 さらに“もはやグラフィック無しではゲームは評価の舞台にすら登れない”と述べて、先輩の意見は間違ってると解く。 ううむ。 っていう記事を過去に書いたりしてるので、応答してみる。 「グラフィックを詰めずにゲームのプロトタイプを量産する方法は現代でも通用するのか」という問いは、問いそのものが矛盾している。 システムだろうがグラフィックだろうが「
もしも童話「おおきなカブ」がITのデスマプロジェクトだったら
渋谷の雑居ビル。 ホワイトボード前に置かれたパイプ椅子にイヌ、ネコ、ネズミが一触即発の雰囲気で座っている。 扉が開き、慌てた様子の青年が入ってくる。 孫「お疲れ様です、すいませ――」 ネズミ「遅えよッ！！」 ネコ「！！」 イヌ「……ネズミさん、怒鳴るのはやめましょうって……」 ネズミ「……チッ」 孫「あの、本当、すいません。11時からって、皆さんにお約束してたのに……」 イヌ「ま、まぁ。とりあえず、ミーティングの報告をお願いします。もう２時間も押してるんで」 孫「は、はい！ すいません、ではこちらの資料を…… あっ」 イヌ「どうかしましたか？」 孫「印刷した資料が１部たりなくて。……じゃあ、はい！ 僕のは大丈夫なんで、業務委託の皆さんで、どうぞ！」 ネズミ「ッ……！」 イヌ・ネコ「……」 孫「はい、では皆さんお手元に資料ありますかね、お疲れ様です！」 ネズミ「……」 イヌ・ネコ「……お疲れ
実践 Engineering Manager / practice engineering manager
Developers Summit 2019 Summer での発表資料です。
ソフトウェアと
2013: はじめに 約5年前にソフトウェアエンジニアになりたくて前の会社を辞めた。当時3人の会社の4人目として入社。Web系のソフトウェアエンジニアの親しい友人はいない。その時からソフトウェアエンジニアコミュニティというものが存在していることは知ってたんだけど、どうしても好きになれくてその中に積極的に入っていこうという思いもあまりない。いわゆるスタートアップと呼ばれる会社だったけど、当時スタートアップ野郎には全く良い印象がなく、身内ノリがキモすぎてあまり関わりたくなかったので距離を取っていた。 会社で一日中設計してコードを書いて家に帰ってDjangoやfluent-agent-hydraやpaho-mqtt、気になったソフトウェアを写経して土日は自分が感じる不便を解決するOSSを書く。写経は脳を大きく動かさなくてもとにかく開始できるという一点において便利な練習で、その頃はよくやっていた。
Netflixだって失敗から学ぶ。世界のPM達が注目した10個の教訓 - Quest PM
シリコンバレーのプロダクトマネージャー(PM)界隈で、大御所の一人として有名なGibbson Biddleさん。元はNetflixのVP of productで現在のNetflixの成長の原動力を作った人です。彼のブログは勉強になることが多く、世界のPM達からも一目おかれています。 昨年暮れに投稿された記事は今では2000以上のLikeがつき、日本のPMの皆さんにもぜひ読んでもらいたいと思いました。ツイッター上でGibbsonさんに翻訳していいかと聞いたらあっさり「いいよ」と答えてくれたので、今日はそれについて書きます。 読了目安: 8分 5000字につき長文注意 Gibbson Biddleさん 私はNetflixを例に多くのプロダクト開発戦略について、これまでいろいろなところで書いてきました。他の会社にNetflixの成功と失敗を学んでほしいからです。よく私がお伝えするのは、Netf
テックリードという役割
なぜこの文章を書くか?自身が数ヶ月テックリードの役割で経験した内容を基に、テックリードがどういう役割で、毎日の仕事の中でどのような仕事をするのかについて書いていく。 テックリードはサンフランシスコのWeb系企業では一般的なようだが、日本ではまだそれほど広まっているとはいいづらいと思う。 テックリードに求められるのは一言で言えば”技術でエンジニアチームをリードすること”である。Webエンジニアのキャリアパスでたびたび二元論的に語られる、”技術一本で生きていく”職人的なトラックとも”人やプロジェクトのマネジメントをする”マネジメント系のトラックともニュアンスが異なる。 自身の技術力、そしてリーダーシップをもってエンジニアチームのアウトプットを最大化させていくのがテックリードの役割である。 多くの人にその役割を知ってもらい、エンジニアとしてのキャリア形成の助けになればと思っている。 なお、このポ
onlyinterview#%E3%83%91%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%B3%E3%82%B9%E3%81%8C%E4%BD%8E%E3%81%84%E3%81%AE%E3%81%AB%E9%9D%A2%E6%8E%A5%E3%81%A0%E3%81%91%E3%81%86%E3%81%BE%E3%81%84%E4%BA%BA%E3%81%AA%E3%82%93%E3%81%A6
※マイナビ、リクルートなど各社のプロモーションを含みます。 ※この記事は有料職業紹介(許可番号:13-ユ-314522)の厚生労働大臣許可を受けている株式会社コレックが制作しています。 入社後のパフォーマンスが良くないが転職時の面接だけは、やたらとうまい人がいる。 転職の面接を突破するだけのテクニックを教えるのはあまり本質的ではないが、面接だけ得意な人の技術は参考になるので今回は転職面接だけうまい人について話す。 今回記事作成にあたり、転職面接だけうまい人に悲惨な目にあわされ続けてきた方から多くのアドバイスをいただいた。意外と多くの企業が同じ被害にあっているようだ。 あとで詳しく述べるが読者の中で転職活動を進めている人があればまず ビズリーチに登録しよう。 本記事で取り上げるような面接のテクニックも含めて、各業界に詳しいエージェントがサポートしてくれるのとスカウトメールを受け取ることができ
リクルートテクノロジーズ 新人研修特別編を公開します
こんにちは。アプリエンジニアの五味です。 2017年4月にリクルートホールディングスの新卒Web採用枠で入社した新卒社員のうち、21名がリクルートテクノロジーズに配属となりました。（いらっしゃい！） リクルートテクノロジーズでは「ブートキャンプ」と呼ばれる新卒社員向けの技術研修を3か月間実施しています。 もともと高い能力を持つ彼・彼女らですが、「これからのリクルートをリードしていく存在」になって欲しいという期待を込め、プロとしての重要な立ち上がり期を支援しています。 今年からは社外講師の既存プログラムに加え、より実践的な内容を求める経験者をターゲットに、総勢12名の現場エンジニアが担当する特別講座を開催しました。 各分野のスペシャリストがこれまで現場で培ってきた「本当に必要な生きた知識・技術」のインプットは、彼・彼女らの成長を加速させ、これからのエンジニア人生の礎になってくれるものと僕らは
「ジンジニア」の成り立ち等に関するポエム - ジンジニアニッキ！
勉強会とかでちらっとLTしたこととかあった気がするけど、あまりまとめたことなかったので書いてみようという魂胆のポエムです。 このブログの最初のエントリーがこれ。 自分のことを「ジンジニア」って名乗りだしたのもだいたい同じくらいな時期だと思う。 「ジンジニアとは、人事としてもエンジニアとしても中途半端な立ち位置のことである」というお話。 - ジンジニアニッキ！ このエントリーに書いてある通りで、当時は採用担当しながら会社サイトのデプロイ権限を持ち、gitをコマンドで操作してました。 当初は「非エンジニアの人が同じような状況になった時に参考になれば…」と真剣に思ってblogを始めたんだけど、今から考えると同じような状況になるってこと、なかなかないよね…。 名前の由来というかそういう感じのこと そもそも、「ジンジニア」という言葉はあまりポジティヴな状況から生まれたものではなかったです。 エージェ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
中国に抜かされた？！日常に普及している科学技術でその差は歴然。空港の「スマートカート」、「シェアバッテリー」などが羨ましい…「日本は過去の栄光にしがみついてないでやり返せ」
