はてなブックマーク

非同期プログラミングが熱い pythonで並列処理を実現するにはすごくざっくりいって３つの選択肢がある。 マルチスレッド方式 (モジュール名: concurrent.futures, threading) マルチプロセス方式 (モジュール名: concurrent.futures, multiprocessing, subprocess) 非同期I/O方式 (モジュール名: asyncio) マルチスレッド方式はスレッドセーフにプログラム作るのが本当に（本当に！）難しいし、マルチプロセス方式はデータの共有が煩雑。これに比べて非同期I/O方式はめちゃくちゃ簡単に並列処理が書けるので CPU処理が主体でないような処理では、非同期I/O方式による実装が人気を集めている( 非同期I/O方式では1CPU しか使えないのは注意)。非同期I/O方式の興隆は python に限ったことではなく、Javas

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 時系列DBの概略 歴史的経緯 約10年くらい？前から devopsという考え方がでてきた。そのアクティビティの一つに、可視化、特にアプリケーションメトリクス（例：サイトの現在の閲覧者数）や、インフラのメトリクス（CPU使用率等）を収集し、ほぼリアルタイムな可視化をすること、が盛り上がりを見せていた。 当時それを提唱・実行に移していたのが Etsy というECサイトのメンバで graphite と呼ばれる一連のツール(収集：carbon,格納:whisper,可視化:graphiteweb)や、それを効率よく集めるためのツールstatsd

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけで