Apache Spark Shuffle Service — there are more than one options!!
The purpose of this blog is to provide a list of Shuffle Service Implementations in Apache Spark and motivation for their design choices. This blog will also cover the high level understanding of Spark Shuffle service. Credit Note: All Credit goes to actual blogs and you tube videos published already for each Shuffle service implementation and the relevant links have been added in each section of
BigQuery ScriptingがBetaリリースされたので軽くウォークスルーしてみる
2019/10/3にBigQuery ScriptingがBetaになったとリリースノートに上がりました。 これによって、BigQueryで変数宣言やループ処理といった複雑な処理などができるようになりました。個人的には待ちに待った機能です。 テンションが上がったのでドキュメントをざっとウォークスルーしてみることにしました。 ドキュメントはこちらです。 First BigQuery Script最初にこちらのクエリを実行してみます。使っているテーブルがBigQueryのPublicテーブルなのでそのまま実行できます。 -- Declare a variable to hold names as an array. DECLARE top_names ARRAY<STRING>; -- Build an array of the top 100 names from the year 2017
ドワンゴを退職します
TL;DRタイトルの通りです。給料上がんねーから 2019/1/31 付でドワンゴ辞めます 本文入社に至った経緯ドワンゴには2016新卒で入社して2年10ヶ月在籍していたことになります。入社を決めた経緯としては 就職活動の時期に暇だったので Erlang を触り始めていたデブサミでちょうどドワンゴの中の人が配信基盤を Erlang で書き直してることを話してた研究室の先輩が何人か居た上記のような理由で仕事で Erlangを書くのはけっこう楽しそうだと思ったので入社することを決めました。実際にエントリーシートの志望動機には「Erlang で仕事したい」とだけ書いた記憶があります 入社後は新卒研修を終えてから無事希望していた DMC チームに配属されました。転部等もなく退職まで DMC チームに所属して多少飽きが来る程度には Erlang を書くことができたので入社した目的は達成されたと思いま
【翻訳】マリエ・コンドウの優秀な通訳者は、こんまり現象の影の立役者
Marie Kondo’s brilliant interpreter is the unsung hero of the KonMari phenomenon By Anne Quito, qz.com January 19, 2019 マリエ・コンドウが好きだということは、彼女の通訳者を好きなのと同じことだ。その通訳者は、偶然にも同じマリエという名前である。 過去3年間、35歳の作家マリエ・イイダは、あの魅力的な片づけの達人がマインドフルな片づけ哲学を世界の英語話者に説明するのを、背後から助けてきた。コンドウより一歳年上のイイダは、直接会っても、スクリーン上でも、温かい人柄とプロフェッショナル精神にあふれている。Netflixの「人生がときめく片づけの魔法」シリーズに、コンドウの意を汲んだ目立たない伴走者として登場する彼女は、多くのファンの心をつかみつつある。 あるツイート「ところでマ
株式会社メルカリに新卒入社しました
2018年4月に株式会社メルカリに新卒入社しました．職種はソフトウェアエンジニアで，Goでマイクロサービスを開発しています．ちなみに，入社したのはメルカリですが，メルペイに出向となったので現在は株式会社メルペイにいます．なんで4月じゃなくて，今書いているのかという話ですが，試用期間中だったので(入社エントリ書いて即解雇されたら辛いので...)書きませんでした．今日出社したら席がちゃんとあり，なんとかまだ在籍できているみたいなので，入社エントリを書きました． 入社するまでの経緯@b4b4r07さんのこのエントリがきっかけでした． このエントリ中で， 16 新卒は 6 人いて、今は 17⁄18 卒の新卒採用に向けて動いています。 採用会食など、まずは話から聞いてみたいなという方がいましたら、僕経由で繋ぐことができるかもしれませんので興味があれば Twitter DM でもいいですし、コンタクト
退職します
現在の自分の肩書である「セールスエンジニア」という仕事がどのようなものか知らない方も多く、毎回説明するのが大変なのでブログ記事にしました。セールスエンジニアという仕事はなかなか馴染みがありませんが、20代後半から30代のITエンジニアの… ただ、Clouderaのセールスエンジニアのロールは継続的に使っていただくために割となんでもするという感じで裁量も大きく、Field Data Scientistという風に名乗らせていただいて、Spark周りのBig Dataの話とデータ活用の話、それから機械学習の話を幅広くさせていただきました。 おかげさまで、国内外での発表も色々とさせていただきましたが、USのエンジニアブログにも5本ほど執筆させてもらい、Strata Data Conference Singapore 2017での発表や、自社の全エンジニアが集まる社内テックサミットでの発表などかなり
Rails Developers Meetup 2018 に参加して考えたこと。AMA のよさ。 #railsdm
AMA でスピーカーの Ryopeko 氏が質問に回答している様子O’Reilly 社の主催する Velocity Conference などでも、トーク紹介のページにスピーカーへの質問コーナーがあるが、特にセッション内で言及されたりしないし、1:1 のコミュニケーションになっているけど、1:N で質問やフィードバックできる仕組みはよい。 ちょうど社内で、全社だったり部署向けだったり、ちょっと大きめの聴衆で発信スキル高めたり、そこでの情報共有の効率を高められる仕組みというのを考えていたので、参考にしてみたいと思う。 セッションObservability, Service Meshes and Microservicesクックパッド社における Service Mesh の事例の話。最近はこの手の話をあまり追いかけてないのだけど、2 年くらい前に前職で SRE やっていた時は Nginx と
イギリスで働く
日本からイギリスのオフィスへ出向になり早一年が経った。 日本人エンジニアが海外で働くことも珍しくなくなってきた今日、海外生活について綴ったブログ記事をよく見かけるが、だいたいほとんどがUS、それもシリコンバレーの話。せっかくイギリスにいるんだしイギリスの話も書いてみるか、と思いキーを叩いている。 なぜ移住したかというと、御託はいくらでも並べられるが、一言で言うと退屈だった。20代後半が退屈だったら、あと3–40年何をするんだと。とりあえず、一旦無力になれば見えるものもあるかもしれない。コンフォートゾーンとかミドルライフクライシスがどうとか、さしずめそういう話だと思う。 自分はBristolという南西部の都市に住んでいる。人口で言うと、イギリスで10番以内には入るかな、というくらい。これがLondonやManchesterのような大都市だと話は変わってくると思うので、「こういうのもあるよ」く
Building The Analytics Team At Wish
Wish — reaching the Android top 10 (source)Very few people believed that a large business could be built from selling low priced products. Using data, Wish has been able to test and challenge these assumptions. Being data driven was in the company DNA. But from the company’s massive growth were huge growing pains on the analytics side. Every team needed urgent data support and had a lack of visibi
個人で運用している Web サービスをどう管理しているか 2018年版 - r7kamura - Medium
個人で運用している幾つかの Web サービスについて、自分がどう管理しているかを振り返る。 実験には Heroku を利用習作につくったアプリやβ版段階のアプリは、Heroku で動かしている。Heroku を使う場合のより具体的な条件としては、データベースが明らかに無料枠に収まりそうで、24時間動いていなくてもまあ誰にも怒られそうないような場合。Slack 用の Bot や、nippo という日報専用サービスのクローズドβ版などを主に置いている。 メリットに感じている部分は、無料で使えること。デメリットに感じている部分は、サーバが US に配置されることと、データベース系の Add-On が高くつくこと。例えば日本語圏向けのサービスだと、通信時間がそこそこ長くなり、結果的にサービスの体験が悪くなる（昨今の平均的な Web サイトの速度はまだまだ遅いので、それと比較すると悪くなるというほど
日本マイクロソフトを退職します
日本マイクロソフトを退職します新卒で入社した日本マイクロソフトを 1 月 17 日に退職します。 学部生の頃、就職できるはずのない雲の上の企業でした。 就職活動していた際にも視野に入れていませんでした。 なぜそんな大企業に就職したのに退職するの？ こんな記事も書いてもらったのに退職するの？ という質問をよくされるので、いわゆる退職エントリを残しておきます。 なぜ退職するのか最初に、日本マイクロソフトは素晴らしい会社です。 私自身、技術力以外にコミュニケーション能力や電話応対能力、メール文章作成能力が格段に成長しました。 しかし、技術職であるにも関わらずコードを書いてチームで開発をする機会は全くない部署でした。 そこでふと、「このまま今のカスタマー サポートを続けていて自分は何年後かに後悔しないだろうか。」と思いました。 そして、試しに転職活動をしてみると同じ外資系のカスタマー サポート職の
スタートアップを知るために読みたい本 – Taro L. Saito – Medium
先日、社内でスタートアップ（ベンチャー企業）に良い人材を引き入れるにはどうしたら良いかという会話がありました。Uber, Airbnb, Mercariなど、急速に成長していて、アプリなどを通して既に親しみがあるスタートアップ企業を選択するのはそれほど難しくはないでしょう。一方、Treasure DataのようにB2Bのサービスを展開している場合、一般ユーザーへの接点が無いため、会社の外側からはどのような仕事をしているかあまり見えません。また、日本ではまだまだスタートアップ文化へのなじみが薄いため、大学卒業後、または次のキャリアの選択肢として上がりにくいのも事実です。 思い切ってアカデミアを離れ、スタートアップに参加してそろそろ4年になりますが、実際に入ってみるまでスタートアップについてわからなかったことが多くありました。しかし、当事者になってみると書籍レベルでも関連する情報を多く見つける
コードレビューにおけるレビュアー側のアンチパターン
tl;drコードレビューが上手く回って無くてチームが疲弊して辛かったよレビュアーの言い方を変えるだけで大体解決するよ立場とかで例外を許さず、みんながレビューしてレビューされると良いよはじめにあるプロジェクトでGitHubのPRベースでのコードレビューを導入をしました。いかんせんチーム開発が初めてレベルの新人さんが多く、何かと苦労しました。特にレビュイーに対して不効率な指摘はそのまま指示の不明確さに繋がり、チーム全体の開発生産性を下げるので、レビュアーはレビュイー以上に気を使う必要があると感じました。下手をすると、レビュイーのメンタルが弱って闇堕ちするので、チームメンバーの最も大人な人がメンタルケアしたりします。大人な人は大体がリーダー格なので、その人の時間が奪われると何かと開発現場が疲弊しちゃいますね。コードレビューってそんなに難しいものだっけと思ったりもしますが、反省の意味も込めて実際に
なんで駐在員は大変なのか (英語編)
(この記事のその後の経緯をこちらに書きました) 今は日本で働いているけど、いつか一度は海外で働いてみたいという人もきっと多いだろう。 海外で働く一般的な手段は駐在員かと思うが、日本企業の駐在員というのは様々なパターンがある。任期付きの研修風な扱いか、採用目的のただの福利厚生的な位置づけか、社内の「期待の星」を育成するポストみたいになっているか、いっちょ若いやつに任せてみるか的なノープランポストか、そんな感じのイメージかもしれない。 メーカーさんや商社さんなどは、既に現地の市場か生産拠点があり、現地マネジメント、現地オペレーションという意味合いが強いかもしれない。バリューチェーンの中で欠かせないピースとして、海外子会社が存在する。 一方、インターネットの場合はちょっと様相が違うようだ。大半が、買収した海外の会社に行くか、もしくは全くの別事業を展開しているところに行く感じになる。こういった事業
成長期のベンチャーにおける採用の失敗 – Isoparametric – Medium
成長期のベンチャーにおける採用の失敗2011年2月「任侠道」などのゲームがヒットし、売上が伴ってきたとき、それは終わらないマラソンが始まったことを意味していた。 そして、以後横展開した「道」シリーズがヒットを飛ばしていくために、様々な問題が噴出し始める時期である。 プロジェクトを広げようにも、どのプロジェクトも人が足らない。 加えてエンジニアだけではない「初期の頃のメンバー」が退職を重ねていく時期でもあった。 バックオフィスも開発も、見よう見まねでやっていたところに経験者が入ってきて、ポジションが入れ替わるようなことが頻繁に起きていた。 「自分の好きだったgumiは死んだ」というような事を言って辞めていく人たちもいた。 開発現場でも、のんびりと仲良く売れないゲームを運営していれば良い時代は終わってしまったのである。 「任侠道」が明確なヒットを飛ばしている傍らで、のびのび結果のでないプロジェ
崖っぷちからの生還 – Isoparametric – Medium
崖っぷちからの生還気がつけば会社は売上がない状況なのにもかかわらず社員は100人を超えようとしていた。 計算すればわかることだが、100人の給与を払うことを考えるといかに安い給料だとしても100人×60万（保険、税金や間接費含む人件費）として、月に6,000万かかる計算である。 100人の組織を毎月維持することはメチャクチャ大変なのである。 安定的に月に6,000万の利益を出せるサービスを作ることは並大抵の話ではない。 会社は2009年に複数社から7,000万を調達していたわけだが、それが１ヶ月ちょっとで溶けてしまうレベルだ。（だから、普通は売上が立つまで組織を拡大しない） が、國光さんはそういう意味では凡人ではなかったといえる。 そして、その頃に丁度ホットだったのが、Mobage、GREE問題である。 どの会社もどちらのプラットフォームにゲームをリリースするかを考えていた時代だ。 （個人
知らないうちにどんどん人が増えていく会社 – Isoparametric – Medium
知らないうちにどんどん人が増えていく会社gumiに入って一ヶ月か二ヶ月が過ぎたころ、チームに所属して様子を見てみると、gumiには一ヶ月の間にかなりの多くの人（5人とか10人とか）が入ってくるのに気がつかされた。 幾つかのチームが組成され、それぞれがゲームを開発、運用しており、解析班などと呼ばれるようなチームもあった。 （そして、それは機能していなかった。売れてないのだから、解析する内容などあるはずもない） そして、入ってきたプログラマは時折適当にプロジェクトにアサインされたりした。 私のチームにも新しいプログラマがやってきたわけだが、そのことを切っ掛けに、うやらプログラムがまともに組めない（仕事を任せられない）人が入ってきていることに気がつかされることになる。 困ったので当時のCTOにどういう基準で人を採っているのか訊いてみた。 特に基準はない、みんな頑張ればできる、とのことだったので、
米国ではなく日本で生活する
少し前に、日本に帰ろうと思った。もう合計で17年程米国に住んでいたことになる。成人してからは三年間東京に住んでいたが、その三年間がとても楽しかった。そして何より、米国にうんざりした。近年顕著になっているのか、私がそういったことに敏感になっているのか分からないが、米国はどうしてもまだまだ白人至上主義が根強い。私は白人ではないので、生き辛い。今回は、日本に帰ろうと思ったきっかけなどを書こうと思う。 米国は自由。米国は人種のるつぼ。米国は成果主義。米国と聞くとこんなことを想像するかもしれない。事実な部分もあるし、実際にそうだなぁと実感することも過去に沢山あった。基本的に何をしていても文句を言われることもないし、学校や職場には色々な人種や文化の人たちがいるし、仕事ができる人はどんどん出世する。しかし、これらは必ずしも肯定的な事柄だとは限らない。全ての事柄に背景があるように、これらの事柄にも背景があ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Enabling Auto Completion in AI Platform Notebook
How to get Spark Metrics as JSON using Spark REST API in YARN Cluster mode