Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
"Designing Data-Intensive Applications"は濃密すぎる一冊だったので2018年の自分にも読んでもらいたい
"Designing Data-Intensive Applications"は濃密すぎる一冊だったので2018年の自分にも読んでもらいたい 分散システムに関する理解を整理するための一冊として素晴らしい、という声があり気になっていた "Designing Data-Intensive Applications" を一通り読んだ： https://twitter.com/frsyuki/status/846431130437890049 僕のような「用語としては知っている」程度の新人に「なぜそれが大切なのか」「なにが難しいのか」といったポイントを丁寧に説明してくれる、学びの多い充実の一冊だった。 冒頭では『早すぎる最適化（不要不急のスケーラブルなシステムの構築）は制約が増えてシステム設計が不自由になるだけなので無駄』という事実に触れ、適切なツールを選択することの重要性を説いている。本書が50
実はゲームをプレイする需要より、ゲームを「観るだけ」の需要が多いのでは? - teruyastarはかく語りき
という仮説。 cardtrade1.hatenablog.com 100人のゲーマーがいるとする。 (1) 1人がゲームをプレーし、99人がその配信を見ている。 (2) 100人がゲームをプレーし、中には配信している人もいるが、視聴者は0人。 2つの状況のうち、「ゲーマー文化」にとって望ましいのはどっちだろうか。 たとえば、昔なら1人でも延々とゲームをプレーしていたのに、徐々に配信を視聴するだけで満足するようになってプレー時間が減った人はいるだろう。 そこまでいかなくても、配信の上級者や人気者と自分を比べて劣等感を感じたり、自分でゲームをプレーするモチベーションが落ちた経験は、ほぼ全員にあるんじゃないだろうか。 Twitchがゲーマー文化の救世主になる可能性もあるけれど、結果的に死神になってしまう可能性も余裕である。 arcadia11.hatenablog.com うん、私の体感だけど、
機械学習をやる上で知っておきたい連続最適化 - Qiita
本記事では、機械学習のタスクを解く上で非常によく登場する最適化問題(optimization problem)の基礎を解説していきます。 機械学習で用いる最適化といえば、SGDやMomentum、Adamなどが有名ですね。はじめ、それらに関しての解説を書こうかとも考えましたが、既に優れた記事が多々あるので、ここではほとんど触れません。 一方、最適化問題とは何か、アルゴリズムが"優れている"とはどう評価するか、などの最適化の基礎に関わる部分の情報が少なかったので、本記事ではそれらについて解説を行なっていきたいと思います。 最適化問題 まず、はじめに最適化問題の定義を与えます。最適化問題とは、与えられた条件のもとで何らかの関数を最小化(もしくは最大化)する問題のことを指します。 関数$f:R^n \rightarrow R$, $g_i:R^n \rightarrow R(i=1,...,m)
技術系専門書（機械学習）の翻訳体験から学んだこと - sotetsuk's tech blog
技術書（訳書）を出版社から初めて刊行したのですが、その過程で経験したことなどを共有することで誰かの役に立てて貰えれば、と言うのがこの記事の趣旨になります。最近では他にも、"CSの定番教科書「Open Data Structures」を日本にも届けたい！"というプロジェクトもあり、こうした草の根の技術書の翻訳活動がもう少し日本にあってもいいのではと個人的に思っています。理系専門書に邦訳が必要なのかどうか（英語で読めばいいでしょ論）は立場が別れるところだとは思いますが、私は基本的に上記プロジェクト内の次の一文と同じ立場です。 そして、母国語でこのような入門書が読める、少なくともその選択肢があるのは望ましいことだと考えています。 なお、この記事も前の記事に引き続き、2017年に書きかけだった記事の供養です（投稿は2018年の年始）。 年末にやりたかったのですが、年始になってしまいました。。。 ど
半年で40kg痩せた！ダイエットでわかるリーンなプロジェクトマネジメント手法 - Qiita
はじめに 最近は年を取ってきたのか、様々な人にマネジメントの考え方やソフトウェアアーキテクチャの設計についてのメンターリングをすることが多いのですが、その時に必要なのはやはり説得力です。僕は基本的には欲望に弱い人間なので、すぐに欲望のままに行動します。それは主に知識欲と食欲です。そのため、２０歳からどんどんと太っていき、才能がないと突破できないとされる１００kgの壁も悠々と突破するような人間ができあがりました。 すると不思議なもので、声が聞こえてくるのです。 「こいつ、マネジメントとかいってるけど、セルフマネジメントできておらんやんけ」 これは全くの幻聴なのですが、そういった幻聴を聴くくらいには心に内臓脂肪が溜まってきていました。 そんなタイミングと「胃痛を空腹と勘違いし回鍋肉を食べた結果、胃痛が加速する」という経験を経て、ちょっくらダイエットでもして見るかと考えるようになりました。 さて
エンジニア組織がない会社でエンジニア組織を立ち上げるためにやった3つのこと - Qiita
LITALICO CTOの岸田崇志(@takish)です。 2017年のアドベントカレンダーもついに最終日となりました。 入社して2年経ち、エンジニアも順調に人数が増え、新卒採用からの育成、そして新規事業ラインへのエンジニアラインがスケールアウトできるようになってきました。 特に前職ではインターネット事業の急激な成長を経験したので、エンジニア育成サイクルの礎を築いて置くことの重要性は身にしみて感じていたので、最初からそれを念頭に組織を組み立てています。 はじめに 筆者はエンジニア組織の立ち上げは3回目なので「デジャヴ？！」と感じる事も多々あり（笑）、既視感ありまくりの2年でした。 一方で既視感があるということは、どこも成長のフェーズにおいて同じ課題に直面するということでもあるという事でもあります。 そのため、そのような経験を基に過去失敗した轍をもう一度踏まないことを心がけました。 成長フェ
“UFOを流行らせた男” 矢追純一81歳「空を見上げてほしかった」 | 文春オンライン
矢追純一。その名は、1970～80年代を生きた日本人に強烈な印象を残している。80年代に幼少期を過ごした私も、日本テレビ『木曜スペシャル』のUFO特番や超能力特番に熱狂した。まだ家と学校の中だけで生きていた時代、矢追さんは世界の不思議への案内役だったのだと思う。だが、大人になってテレビ史を研究する中で、彼は何よりも伝説のテレビマンだったのだと気づかされた。そして、テレビマンとしてのお話を聞いてみたいと思った。 待ち合わせの喫茶店に現れた矢追さんは、赤いダウンジャケットを着込み、81歳とは思えないような若々しさだった。インタビューでは、「テレビの黄金時代」を知る一人のテレビマンとして、黎明期のテレビからドキュメンタリー論、さらには現在のテレビについてまで、熱く語ってもらったーー。 （照れながら）そんな、話すことなんてないよ。 ―― 日本テレビに入社するにあたって、こんな番組を作りたい、といっ
「インターネットは記録性が力」という認識は間違っていたかもしれない - 空中の杜
私は以前「インターネットの真の力は速報性や伝播性ではなく、記録性にある」と思っていました。すなわち、既存のメディアなどよりも情報を世界にすぐに伝え、それがまたたく間に広い範囲に伝わることが出来るのがインターネットの大きな利点と言われていましたが、真価はそうではなく、むしろその情報が残り続けることによる、記録（アーカイブ）性のほうが、本当の力だということ。 これは、その時から速さを求めての不正確な情報が広まることが多くあり、そのような早くて広まるけど、情報の質が低いものより、しっかり蓄積され、ネットに残り続けるような情報の方が、インターネット、ひいては社会にとって価値があるものとなるという気持ちがありましたし、実際にそうやって蓄積された情報が活用されるものもありました。 しかし、実際にここ数年のネットを見ると、速報性や伝播性においてそこまで重要視しないほうがよいという考えはそのままであるにせ
「なぜ書くのか」についての備忘録｜あかしゆか
もともと、自分のことは「書くタイプ」ではないよなあ、と思っていた。 私が「書くタイプ」と聞いて思い浮かべるのは、小学生の頃に作文コンクールで賞を取りまくっていたような、まるで書くために生まれてきたかのように天性的天才的文才を持つ人だとか、映画や音楽のレビューを書かせたらピカイチで、ある特定の分野においては誰にも負けないような熱い情熱を持っている人だとか、世の中に対して何かれっきとした課題意識があって「伝えたいこと」を持っている人だとか、そういう人たちのことだ。 一方私はというと、読書感想文や作文は得意ではなかったし、自分の中に「どうしても伝えたい思い」や「情熱を注いでいるもの」があるわけでもなかった。 だからきっとなんとなく漠然と、自分は「書くタイプ」ではないんだろうな、と思っていた。 ずっと文章を「読む」ことは好きだった。大学時代に本屋でアルバイトをしたことをきっかけに、人の言葉や文章に
エンジニア新人研修で障害対応演習を行いました - Hatena Developer Blog
はてなチーフエンジニアの id:wtatsuru です。この記事では、2016年からエンジニア新人研修に取り入れている障害対応演習について紹介します。 ねらい はてなの新卒エンジニア向け新人研修は、もともとはてなサマーインターンの講義資料をベースに行ってきたのですが、2016年からはよりアドバンストな、実務に近い研修を行っています。 研修全体のねらいやカリキュラムは、下記の記事で紹介しています。 2016年度はてな新人エンジニア研修を行いました - Hatena Developer Blog サービスを運用していると、サービス提供に影響のある障害が起きてしまうことがあります。エンジニア社員は研修後にチームに配属されますが、サービス運用経験のない場合に、緊急時に何をしていいのかわからなかったり、本番サーバでの操作をする心理的障壁を感じる、という問題がありました。 障害対応演習では、障害対応の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ガチャサイクルと海外課金