並列処理がとても苦手なPythonはプロセスを分けよう コードを書く時に意識したい2つのTipsと2つの落とし穴
Go、Python、Kotlin、Rust、TypeScript の5つの言語について「並列処理、並行処理の手法」というテーマに絞り解説する「並列処理をGo/Rust/Kotlin/Python/JSで解説！思想の違いを体感しよう」。Python編では橘氏が登壇。Pythonで並列処理を行う際の設計方針と、実装上の癖について話します。 西川氏の自己紹介 西川大亮氏（以下、西川）：ここからはPython編の「ちょっとしたデータ分析の並列化」というタイトルで、西川から話します。 GOに勤める西川です。今やっているのは、タクシーやハイヤーの営業支援。「お客さんを乗っけていない時間、どこを走ったらいいの？」とか「どういうところで待っていたら注文来やすいの？」というところのナビをする、「お客様探索ナビ」というサービスのいろいろなことをしています。小さなサービスなのでいろいろやっている感じですね。 P
ファイルを掴んでいるプログラムを特定する方法 - misc.log
ファイルやフォルダーの利用者をリソースモニターで検索する プロセスが掴んでいるファイルを調べる 補足：コマンドで同じようなことをやる 補足：その他諸々 某所で書いたら意外に皆さん知らなかったようなので書いておきます。Windowsでファイルを削除したり名称変更しようとすると、別のプログラムが使っているので変更できない、といったエラーが出る事があります。こういう場合、後述の方法で「誰がファイルを掴んでいるのか」を調べられるかもしれません。 （あくまでローカル環境での話ですので、ネットワーク越しに掴まれているものや、インフラの運用で役立つ情報というわけではありません。ご了承ください） ファイルやフォルダーの利用者をリソースモニターで検索する リソースモニターという、タスクマネージャーの高機能版のようなツールがWindowsには標準搭載されています。これで、CPUタブにある「関連付けられたハンド
Stray Penguin - Linux Memo (Xen)
1台のマシン上で Linux や別の OS を複数稼働させることのできる仮想化技術。最近は VMWare もかなりパフォーマンスが改善されたが (※)、Xen は OS上のOS だということをほとんど意識させないオーバーヘッドの少なさが売りだ。また、ひとつの基幹サービス (たとえば Webサービス) を OSごと根こそぎ分離するという用途においては、Xen は chroot の究極のカタチであるとも言える。Xen では、ゲストOS (子供) とホストOS (親) はカーネルもライブラリもそれぞれで持ち、ゲストは他のゲストやホストのリソースにほとんど影響を与えられないようにできているからだ。 また、例えば Apache HTTPSサービスと NFSサービスを提供したい時、ゲストOS 1 は Apache 専用にして CPU を 2個割り当ててメモリ割り当ても多めに、ゲストOS 2 は NFS
topコマンドでマルチコアなCPUの状況を確認する - RX-7乗りの適当な日々
ということがしたくて、よく"man top"している気がするのと、意外と知られていないと思いまして。 # その前に需要がないという説もあるし、システム管理者向けかも。 top - 20:53:14 up 7:49, 2 users, load average: 0.00, 0.00, 0.00 Tasks: 150 total, 2 running, 148 sleeping, 0 stopped, 0 zombie Cpu(s): 0.8%us, 1.3%sy, 0.0%ni, 97.7%id, 0.2%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 3064832k total, 1412824k used, 1652008k free, 135808k buffers Swap: 1895416k total, 0k used, 1895416k free, 6015
マルチコア時代のロードアベレージの見方 - naoyaのはてなダイアリー
ちょっと煽り気味のタイトルですが、CPU がマルチコアになり 2個、4個と増えていく中 Linux の負荷の指針になるロードアベレージをどう読むべきか、という話です。気になったところを少し調べたのでそのまとめを。 http://d.hatena.ne.jp/naoya/20070222/1172116665 でも書いたとおり、Linux のロードアベレージは「ロードアベレージは過去1分、5分、15分の間の実行待ちプロセス数の平均数 = 実行したくても他のプロセスが実行中で実行できないプロセスが平均で何個ぐらい存在してるか」を示す値です。ボトルネックが CPU、メモリ、ディスク等々どこにあるかは関係なく、仕事の実行までにどれぐらい待たされているかを示す値なので、システムのスループットを計測する指標の入り口になる値です。 このロードアベレージですが、実装を見るとランキュー(待ち行列)に溜まった
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
