分散システムについて語らせてくれ
3. Copyright©2016 NTT Corp. All Rights Reserved. 3 • よくわかってない人でもCloudera Managerをダウンロードして1時間後 には巨大なHadoopクラスタを立ち上げてYARN, HDFS, Spark, HBase などで遊ぶ事ができる。 • 世の中では分散システムが必要以上に喧伝されている • 「コンピュータ1台よりも2台の方が高速」という直感に対して反論するの は意外と難しい • あなたのそのシステム、本当に分散システムじゃないとダメ？ 分散自体を目的にしない事 4. Copyright©2016 NTT Corp. All Rights Reserved. 4 L1 キャッシュ参照 分岐予測ミス L2 キャッシュ参照 Mutexのlock/unlock メモリ参照 1KBをZIP圧縮 1Gbpsで2KB送る メモリから1
Node.jsを理解する (libuv)
はじめに 最近Node.jsデザインパターンという本を購入して読み理解した内容について社内LTで発表したのでその内容を軽く纏めようと思い、この記事を書きます。 内容としては一章の内容をまとめ、さらに深ぼったといった感じです。 前提 少し不確定な部分があり、誤っている可能性がある箇所はコメントを書いています。 ご存じの方いましたらご教授いただきたいです。 Nodeがなぜこのような思想なのかの話はしません、具体的にはLAMPやc10k問題の話はしません。 他の参照した記事ではイベントループと紐づいているイベントキューにおけるlibuvが提供している部分をマクロタスク、Node.jsが提供している部分をマイクロタスクと書いている記事もありますが、 この記事では hiroppyさんの記事 と同じようにlibuvが提供している部分をフェーズと書いています。 Node.js とは 公式より Node.
OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する - oinume journal
はじめに みなさんこんにちは。これはGo5 Advent Calendar 2019の19日目の記事です。この記事はOpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストの内部的なlatencyを可視化する話です。「内部的なlatency」というのは、HTTPリクエストの中で名前解決にどのぐらいかかったとか、コネクションを張るのにどのぐらいかかったなどです。 なお、この記事に記載しているコードは全てGitHub repositoryに上げてあります。 やりたいこと とあるアプリケーションでHTTP Clientを使ってHTTPリクエストを大量に送る処理がありました。そのサーバーはUS Regionで動いていて、そこからHTTPリクエストを日本にあるサーバーに送るというもので、この処理のlatencyが非常に気になっていました。そのため、HTTPリクエスト
[Apache Kafka] Kafka StreamsでStream処理をしてみる [node.js] | DevelopersIO
Apache Kafkaとは Apache Kafkaとは、Linkedinが開発した分散メッセージキューで、 データストリーミング用のプラットフォームです。 メッセージキューとは、システム間でデータのハブととして機能し、 対象データを一時的に保持してくコンポーネントです。 キューをはさむことでシステム間を疎結合にし、通信を非同期化することができます。 AWSでいえば、sqsやkinesisが同様のサービスにあたります。 Apache Kafkaはスケーラビリティや大量データの扱いに長けており、耐障害性もあるスグレモノです。 本稿ではApache Kakfaとnode.js用モジュールのkafka-nodeとkafka-streamsをつかって node.jsからkafkaへアクセスしてみます。 Amazon Kinesisとの比較 以前はAWSフルマネージド(kinesis)かどうか、と
![[Apache Kafka] Kafka StreamsでStream処理をしてみる [node.js] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b07b7c6bbbd77094a43e44f45030ff3684657c12/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F07%2Fapache-kafka.png)
分散システムについて語らせてくれ。顛末と反省。 - Software Transactional Memo
8/10のNTT Tech Conference #2 にて発表の時間をもらってこのタイトルで喋ってきた ntt-developers.github.io 発表が決まるまで これはNTTグループ内のソフトウェア・ネットワーク系技術者が集まるコミュニティで、誰が発表者になれるかは投稿されたProposalに対するコミュニティ内での投票によって選考される。 何を話したいか自分の中でも固まりきっていなかった上に、主催者の話をロクに聞いていなかった自分は小さい部屋で僕のことを知る人しか集まらない不人気セッションを勝手に想像しており、abstractを書く欄に「実世界で使われている分散システムを構成する際に理解してほしい議論についてkumagiが一人で滔々と語る。」という漠然とした説明を書いた。初心者にこそ聴いて欲しいという身勝手な理由でレベル設定をBeginnerにし、自己紹介欄に至っては本当は経
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
