Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用(PoCではなく本番運用)した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
tl;drコードレビューが上手く回って無くてチームが疲弊して辛かったよレビュアーの言い方を変えるだけで大体解決するよ立場とかで例外を許さず、みんながレビューしてレビューされると良いよはじめにあるプロジェクトでGitHubのPRベースでのコードレビューを導入をしました。いかんせんチーム開発が初めてレベルの新人さんが多く、何かと苦労しました。特にレビュイーに対して不効率な指摘はそのまま指示の不明確さに繋がり、チーム全体の開発生産性を下げるので、レビュアーはレビュイー以上に気を使う必要があると感じました。下手をすると、レビュイーのメンタルが弱って闇堕ちするので、チームメンバーの最も大人な人がメンタルケアしたりします。大人な人は大体がリーダー格なので、その人の時間が奪われると何かと開発現場が疲弊しちゃいますね。コードレビューってそんなに難しいものだっけと思ったりもしますが、反省の意味も込めて実際に
"This report is based on proprietary information gathered and analyzed by Hired's data scientist, Dr. Jessica… 最高値 $198K はアメリカです。この結果では、アメリカでソフトウェアエンジニアをなりわいとするのはわるい話ではない、むしろベストである、と言えます。 しかし、伝説的なソフトウェアエンジニアがわりとそこらへんにいるはずの、シリコンバレーが $134K なので、このまま話を続けるのは非常に都合がわるいです(上図ではSF BAY AREA)。メルボルンで $150K 相当の金額をもらうほうが効率いいわけですから。ビザ的にも、オーストラリアの方が楽でしょう。アメリカ、ピンチです。 シリコンバレーでもお金的に問題ない、いや、むしろベストである、と言ってもよくなるような、そんな都
「アメリカ就職に失敗したはなし」で盛り上がっているアメリカ就労ビザ話。学歴がないとダメとか、修士以上がイイとか、いろんな意見が出てますが、ここらではっきりさせときます。 Demystifying U.S. Visa! H-1Bまずは、アメリカ就労ビザの花形「H-1Bビザ」。 ざっくり言うと以下のとおり。 企業にスポンサーになってもらう必要がある条件がある毎年4月から申請開始、10月から働ける申請者が多すぎるので抽選になる転職できるH-1Bの条件ソフトウェアエンジニアとしてH-1Bを申請してもらいましょう。条件を満たしているかどうか、次のフローチャートで確認できます。 見てのとおり、学歴は必須条件ではありません。 実際には、移民弁護士と膝を突き合わせて、成績表を眺めながら、コンピュータ・サイエンスの単位として使えるものをピックアップしていく作業が必要ですが、大雑把な傾向としては次のとおり。
Eric Kim | Pinterest engineer, Visual Search In February we launched Lens to help Pinners find recipes, style inspiration and products using the camera in our app to search. Since then, our team has been working on new ways of integrating Lens into Pinterest to improve discovery in areas Pinners love most–particularly fashion–with visual search. What we’ve learned is some searches are better serve
Must readsGood Product Manager/Bad Product Manager by bhorowitz of a16zThe Innovator’s Dilemma and The Innovator’s Solution by Clayton Christensen (books, but worth it)How to get startup (and feature) ideas, Do things that don’t scale, and Maker’s Schedule, Manager’s Schedule by Paul Graham of YCLeading Cross Functional Teams, How to hire a product manager, and How to work with software engineers
Suman Karumuri | Pinterest technical lead, Visibility & Ruth Grace Wong | Pinterest engineer, Core Site Reliability More than 200 million people discover and do what they love on Pinterest every month. We rely on several hundred Python services and tools to power these experiences. The code for these services lives in 100+ Git repositories (except for our Python frontend monolith). Overtime, we fo
どういう本なの?まえがきのスクリーンショットを貼りましたが、この本は多くの機械学習の本とは異なり、機械学習の実務で使えるようになるために知りたい、機械学習を含めたシステムのアーキテクチャや機械学習プロジェクトの進め方、効果検証をどうするのかということをまとめました。 めざすところのイメージ既に多く刊行されているTensorFlowやChainerでディープラーニングをしてみようというものでもなければ、機械学習の理論をわかりやすく解説するといった類のものでもありません。ゼロから作るDeep LearningやCourseraのMachine Learningで学んだけど、実際の仕事に活かすにはどうしたら良いだろう?という疑問に答えているつもりです。また、大学の講義などで機械学習は学んだけど、実際仕事で機械学習のプロジェクトを進めるときはどうすればいいんだろう?という人にも得るものがあると思い
Folks have been discussing BigQuery quite a bit these days, which is fantastic. But there’s a lot of STUFF to BigQuery — it’s a sophisticated, mature service with many moving pieces, and it’s easy to get lost! In order to aid in understanding what exactly IS the BigQuery service, here is a quick rundown of what I’d consider the major user-facing components: Serverless Service ModelOpinionated Stor
Elastic Cloud で Kibana を運用しています。Elastic Cloud では、X-Pack が使用できるので、付属の Shield を使って Kibana のログインを管理できます。ただ、これでまた個人で管理するアカウントが増えてしまうんですよね。昨今色々なサービスを利用することが多いので、個人のアカウントだけでもかなりの数を管理しているかと思います。アカウントを1つ作成して共有するにしても、アカウントが増えることには変わりありません。。 できれば、個人で管理するアカウント増やしたくない! ということで、今回紹介するのは、会社の Google アカウントで Kibana にログインする方法について紹介したいと思います。 (正しくはGoogle アカウントで許可されたユーザーだけ Kibana へアクセスする方法です。) システム構成 ユーザーの認証を担うシステムは、Go
機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python に… 私の立ち位置もともとは、数年前まで 年に一回Python3でNLTKやらscikit-learnやら機械学習や自然言語処理の環境を作ろうと試みては失敗してPython使うものかと思っていた人でした。それが、Anacondaで環境導入すると、面倒なことは何も考えずに済むということを知り、CookpadではAnacondaを前提に環境構築を勧めていました。 今は、ymotongpooに「郷に入っては郷に従え」と言われたため、pip+virtualenv/venvで全てをこなしていますが、これで困ったことは特にありません。macOS, Windows, Linuxそ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く