Kafkaのパーティンション数を決める時に考慮すること - The Dabsong Conshirtoe
kafkaのパーティション数を選択する際に考慮する点について、kafka作者のブログにまとめられていました。 blog.confluent.io 自身の理解のために、ちょっとまとめてみようと思います。 ※この記事はあくまでも個人的なまとめですので、作者の原文に一度目を通すことをオススメします。 概要 考慮する点は、ざっくりまとめると以下があります。 必要とされるスループット 将来的に必要となりそうなパーティション数 ファイルディスクリプタの数 ノード障害からの復旧時間 レプリケーションに伴う負荷 Producerのバッファメモリ 必要とされるスループット パーティションを追加することは、メッセージのproducerとconsumerの並列化につながるのでスループット向上が期待できます。 1パーティションあたりのproducerのスループットがp 1パーティションあたりのconsumerのス
人工知能に仕事を奪われてもいいじゃないか
2025～2035年ごろに、日本の労働人口の49％を人工知能（AI）やロボットで代替できる──。野村総合研究所（NRI）は2015年12月、英オックスフォード大学のマイケル・オズボーン准教授らとの共同研究による、こうした推定結果を発表した（NRIのニュースリリース）。 同研究は、AIなどで代替できる可能性が高い職業には「必ずしも特別の知識・スキルが求められない」「データの分析や秩序的・体系的操作が求められる」といった傾向があるとして、CADオペレーターやデータ入力係、電子計算機保守員（IT保守員）などを挙げる。 これに対し、「抽象的な概念を整理・創出するための知識が要求される」「他者の理解、説得、ネゴシエーション、サービス志向性が求められる」職業は、AIなどで代替できる可能性が低いとする。経営コンサルタントやマーケティング・リサーチャーなどがその例だ。 自分たちにしかできない仕事とは何か
レッドハット、コンテナPaaS「OpenShift Dedicated」をAWS東京リージョンで開始
レッドハットは2016年1月25日、「OpenShift Dedicated」をAWS（アマゾン ウェブ サービス）の東京リージョンで提供開始すると発表した。Dockerコンテナやオーケストレーションツール「Kubernetes」をベースにしたPaaS基盤「OpenShift Enterprise 3.1」を、レッドハットがAWS上にセットアップ。マネージドサービスとして顧客に提供する（写真1）。 「ハードウエアを調達しOpenshiftを設定するという手間なく、コンテナを活用した継続的なアプリ開発をスタートできる」。レッドハット プロダクト・ソリューション事業統括本部 ミドルウエア事業部長の岡下浩明氏は、OpenShift Dedicatedのメリットをこう話す。価格は748万8000円（1年間のPremiumサポート付き）。 OpenShift Dedicatedは、AWSの仮想サーバ
Docker 1.8 の Fluentd logging driver でコンテナログをフォワードする - Qiita
Docker は 1.6 から Logging Drivers というのが追加され、コンテナからのログというものをどのように扱うかをドライバとして差し替えできるようになったとのこと。 そして Docker 1.8 からは Fluentd logging driver が追加され、ログ自体を fluentd を通した状態で扱えるようになりました。ログに fluentd の tag が付与された状態になるので、fluentd 集約サーバへ転送することであとは自由に操作することができそうです。 Fluentd 集約サーバ Docker の Fluend logging driver によって転送される先となる Fluentd 集約サーバを用意します。今回はこの Fluentd サーバも Docker コンテナとして動作させることにします。 Docker Hub に Fluent コミュニティから
開発じゃない、問題は運用だ、特にクラウドでは
前回のコラム（関連記事：「東洋一のデータセンター」が時代遅れになった理由 ）で野村総合研究所（NRI）の日吉データセンターのクローズを話題にしました。その続きと言っては語弊がありますが、少し1990年代の昔話をさせてください。テーマはシステムの運用。運用を我々がどう作ってきたか、若い人はあまりご存じないかもしれません。 日吉センターはメインフレーム全盛時代のオープンでしたが、続く90年代はシステムのオープン化とインターネットがスタートした時代です。多くの企業がメインフレームで稼働していた既存の業務システムをクライアント・サーバー型のシステムに移行させました。NRIでも例に漏れず、各種の業務システムを次々と移行させました。 当時、UNIXサーバーなどのオープンシステムで業務システムを作るのは大変チャレンジングな仕事でした。しかし予想を遙かに超えていたのはその後始まった運用の苛烈さでした。クラ
［データは語る］国内のビッグデータ／IoTソリュ―ション市場は2019年度に6400億円に―富士キメラ
シンクタンクの富士キメラ総研は2016年1月22日、ビッグデータ／IoTソリューション市場に関する調査結果を発表した。それによると、2019年度の市場規模は2014年度比約3倍の6400億円に達し、そのうちIoT市場が同10.3倍の3700億円に拡大すると予測した。 同社では、IoT市場の急拡大の背景に、センサーの低価格化や高性能化、MEMS化などによって、これまで収集できなかったデータを低コストで効率的に収集することが可能となったことがあるとしている。それにともない、モノだけでなく人のセンシングをともなうソリューションへのニーズが高まっているという。 同社は、ビッグデータ／IoTソリューション市場の動向について、無線通信の高速化や低価格化、センシングデータをリアルタイムで処理する技術の向上、データを活用する機械学習技術の普及、IaaS／PaaSなどITプラットフォームの誕生などにより、市
IoTで登場、電話をかけてはいけない電話番号のヒミツ
電話番号と聞けば電話をかけるためのもの。こんな当たり前の常識が通じない時代が訪れようとしている。総務省は2015年12月、電話をかけるのには使ってはいけない電話番号、を新たに取り決める方針を固めた。 電話番号なのに電話に使ってはいけない、というのはまるで、なぞなぞである。断っておくがこれは決して怖い話ではない。しかし現実に起ころうとしている。順を追って説明しよう。 本当の名前は"電気通信番号” 総務省が割り当てるのは「020」で始まる11桁の番号。その数は合計で8880万番号だ。2017年度にはこれら全てを、IoT（Internet of Things）やM2M（Machine to Machine）サービスの利用に限定して割り当てる。電話をかけるのには使ってはいけないことも取り決めるのだ。 IoTやM2Mのサービスなのに、なぜ電話番号が必要なのか。こう疑問に思う読者も多いだろう。そこでま
【画像】こういう「仕組み」がわかるGIFとか画像あげてけ | 不思議.net - 5ch(2ch)まとめサイト
不思議ネット とは 不思議.netでは５ちゃんねるで話題になっているスレを厳選してお届けするサイトです。普段５chを見ない人でも気軽にワクワクできる情報サイトをころがけて毎日絶賛更新中！
自治体Gisの勘違い(1)
AWS Japan YouTube 公式チャンネルでライブ配信された 2022年4月26日の AWS Developer Live Show 「Infrastructure as Code 談議 2022」 の資料となります。 当日の配信はこちら からご確認いただけます。 https://youtu.be/ed35fEbpyIE The document discusses Shizuoka City's efforts to provide dynamic open data through APIs and the challenges faced. It details how Shizuoka City implemented a real-time open data project providing road restriction and disaster informat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Confluent Inc.
Confluent | Apache Kafka® Reinvented for the Cloud
子どものウソは認知向上のしるし