Valgrind | DRD: a thread error detector
To model concurrent activities. Assigning one thread to each activity can be a great simplification compared to multiplexing the states of multiple activities in a single thread. This is why most server software and embedded software is multithreaded. To use multiple CPU cores simultaneously for speeding up computations. This is why many High Performance Computing (HPC) applications are multithrea
DotCloud [1] is built from the ground up around distributed services. We use a c... | Hacker News
DotCloud [1] is built from the ground up around distributed services. We use a custom rpc mechanism called ZeroRPC. It uses ZeroMQ [2] for transport, msgpack [3] for serialization, and some extra glue for RPC mechanics, discovery, event dispatching, etc.Among other neat tricks, it allows us to handle synchronous RPC calls and asynchronous message passing in a unified way. It also maps transparentl
Big Sky :: 他人が作ったVimScriptを一切触らず拡張する
普段twitterするときはtwitvimというvimscriptを使ってvimからやってるのだけど、たいがいこういうのって自分の思う機能が実装されていなかったり、違う実装になっていたりする。 TwitVim - Twitter client for Vim : vim online TwitVim is a Vim plugin that allows you to post to Twitter and view Twitter timelines. http://www.vim.org/scripts/script.php?script_id=2204 twitvim - Twitter Client for Vim - Google Project Hosting A Twitter client written in Vim script. See http://vim.sour
1
平 成 15 年 6 年 3 日 警察庁技術対策課 Dos/DDoS 対策について 1 はじめに DDoS(Distributed Denial of Service)という言葉が一般的に認知されたのは、 1999 年 後半であり、その後、2000 年 2 月頃に Yahoo, eBay, CNN, E*Trade, ZDNet 等の有名 サイトが次々とサービス不能に陥れられたことにより、 DDoS の脅威が周知の事実となっ た。 最近では、イラク戦争中にカタールの衛星テレビ局アルジャジーラの WEB サイトや、 英国のブレア首相の WEB サイトが DDoS 攻撃の標的となったとされている。 日本では、2001 年に、歴史教科書検定や小泉首相靖国神社参拝の問題により、関係機 関の WEB サーバが DDoS 攻撃を利用した抗議デモを受けた。 このとき、各関係機関がとった対策は、ICM
平 成 16 年 3 年 24 日 警察庁技術対策課 DoS/DDoS 対策について（検証） 1. はじめに 2.1.1 syncookies機能の有効性の検証 (1) 概要 1 syncookies( 注 )は、 TCP コネクションの 管理領域がなくても ACK パ��
平 成 16 年 3 年 24 日 警察庁技術対策課 DoS/DDoS 対策について（検証） 1. はじめに 2.1.1 syncookies機能の有効性の検証 (1) 概要 1 syncookies( 注 )は、 TCP コネクションの 管理領域がなくても ACK パケットを受 理でき 、 正常な接続要求に対してはコネク ションを確立できるようにする機能であ る。 Linux 等で広く実装されている本機 能の有効性を確認した。 (2) 環境 構成図を図 2.1 に示す。攻撃側は同一 仕様・設定のホスト 6 台を利用し、これ らに SYNFlood 攻 撃用ツールをインスト ールした。被攻撃ホストでは Web サーバ を動作させ、その Web サーバの動作状態 を確認するために確認用ホストを接続し た。 (3) 条件 2 (a) 攻撃ホスト [PC-H(注 )] 3 ・一台あたり 50
"Possible SYN flooding" in log despite low number of SYN_RECV connections
Recently we had an apache server which was responding very slowly due to SYN flooding. The workaround for this was to enable tcp_syncookies (net.ipv4.tcp_syncookies=1 in /etc/sysctl.conf). I posted a question about this here if you want more background. After enabling syncookies we started seeing the following message in /var/log/messages approximately every 60 seconds: [84440.731929] possible SYN
iptablesによる負荷分散とDoS対策
・外部からの接続パケットは基本的にすべて破棄 ・内部からの接続パケットは基本的にすべて破棄 ・ループバックアドレスに関してはすべて許可 ・メンテナンスホストからのping、メンテナンスホストへのpingを許可 ・メンテナンスホストからのssh（TCP 22）を許可 ・サーバからメンテナンスホストへのsshは許可しない ・SYNクッキーを有効化 ・ブロードキャストpingに応答しない ・通常pingに1分間に10回までしか応答しない DoS（Denial of Service attacks）攻撃は、さまざまな手法でターゲットにしたホストのサービスを利用不能に陥れます。最近では、攻撃元が分散化されたDDoS（Distributed Denial of Service attacks）が使用されるなど、手口も巧妙化しています。ここでは、知られている攻撃手法とそれに対する防御法をいくつか紹介しま
ログ監視ツールをswatchからlogmonに切り替えた | Glide Note - グライドノート
プロのための Linuxシステム構築・運用技術にlogmonというログ監視ツールが載っていたので、導入してみました。 IBMサーバの管理ツールIBM Systems Directorが出力するログを監視する用途で公開されている(?)ようですが、通常のlinuxサーバのログ監視にも普通に利用出来ます。同じくログ監視ツールであるswatchと比較して、導入と設定が簡単な印象を受けました。利用できるのはRed Had系OSだけのようです。 導入した環境はCentOS5.5で、導入手順は下記のようになります。 ファイルのインストール logmonは下記のページで公開されています。 IBM Linux at IBM | IBM Systems Director で利用できるログファイル監視用スクリプト wgetやcurlだとダウンロード出来なかったので、上記ページの一番下に公開されいている20
FurlX::Coro を使ってみたかった - はちゅにっき
節電対応で休日が日・月になった hatyuki です。ということで、明日がおやすみ！ 「DB から引っ張ってきた 5,000 件くらいの URL が、全部 HTTP Status Code 200 を返してくるか調べたいんだけど。」 という、なさそうでやっぱない依頼をうけたのでささっと書いてみることに。 ぱっと思いついたのはこんな感じ。 use strict; use warnings; use Furl; use My::Util qw/ db /; use Test::More; my $furl = Furl->new; my $itr = db->search('tables'); while (my $row = $itr->next) { my $res = $furl->head($row->url); is $res->code, 200, $row->url; } don
Migrating Netflix from Datacenter Oracle to Global Cassandra
Netflix is migrating its datacenter infrastructure from Oracle databases to a globally distributed Apache Cassandra database on AWS. This will allow Netflix to scale more easily and deploy new features faster without being limited by the capacity of its own datacenters. The migration involves transitionally replicating data between Oracle and AWS services like SimpleDB while new services are deplo
How to stress test your app using Funkload — part 2
Technical blog on the Python programming language, in a pure Frenglish style. Main topics are Python and Mozilla – This blog does not engage my employer The first part of this blog post is here. I’ve initially split it in two parts because I’ve encountered a few problems with the distributed feature, so I thought it was going to take Ben a few days to fix them. But he did fix them within the hour…
Cassandra Data Modeling
The document summarizes a workshop on Cassandra data modeling. It discusses four use cases: (1) modeling clickstream data by storing sessions and clicks in separate column families, (2) modeling a rolling time window of data points by storing each point in a column with a TTL, (3) modeling rolling counters by storing counts in columns indexed by time bucket, and (4) using transaction logs to achie
Scalability Layer Hits the Internet Stack - 250bpm
Abstract This article argues that aside of TCP/IP (interlinked network hosts) and world-wide web (interlinked documents) we need a simple general-purpose decentralised infrastructure to interlink services. We will argue that the technical difficulty of connecting service providers and service consumers in a distributed fashion can be solved, and we will explain how we propose to solve it. We will
ZeroMQとfork(2)ではまった - fjnlの生存記録のような何か
僕はかなりはまったのですが、ZeroMQのcontextはfork(2)で複製できません。以下のようなコードを書くと死にます。forkする前にcontextを破棄するか、preforkしておく必要があります。 URLを忘れたのですが、MLでもpreforkしておいてよみたいな流れだったので、バグとかではなく、こういうものなのだと思います。 #include <iostream> #include <stdexcept> #include <zmq.hpp> #include <unistd.h> bool xfork() { pid_t const pid = fork(); if (pid == -1) { throw std::runtime_error("fork"); } return pid == 0; } int main() { zmq::context_t ctx(1);
Load balancing work between Java threads using ZeroMQ
If you ever wrote production multi-threaded server in Java you know how it is difficult to implement load balancing between worker threads. You need to fight many issues to have good load balancer: You need to limit somehow the number of worker threads, because with unlimited thread pool you can have memory exhausted. You need to implement sophisticated procedure for clean worker shutdown. If you
ØMQ - The Guide # High-Water Marks
The Guide is copyright (c) 2010-2012 Pieter Hintjens. It is licensed under the Creative Commons Attribution-Non-Commercial-Share Alike 3.0 License. The examples are copyright their respective authors and licensed under MIT/X11 as follows:) Copyright (c) 2010-2012 iMatix Corporation and Contributors Permission is hereby granted, free of charge, to any person obtaining a copy of this software and as
zeromqその２ - 中年engineerの独り言 - crumbjp
前回のつづき WORKER側の冗長化 WORKERを直接CLIENTに繋げるのでは無く一段ゲートウェイを噛ませるだけです。 構成のイメージ |= [WORKER1_GW] <= [WORKER1] | <= [WORKER1] [CLIENT] <= <= [WORKER1] | : |= [WORKER2_GW] <= [WORKER2] <= [WORKER2] <= [WORKER2] : WORKER1をちょっと変更 == worker1.php == <?php $context = new ZMQContext(); $worker = $context->getSocket(ZMQ::SOCKET_XREP); // 名乗るのを止めます(ゲートウェイに名乗って貰うので) // $worker->setSockOpt(ZMQ::SOCKOPT_IDENTITY,"WORKER1
Remote Direct Memory Access - Wikipedia
Remote Direct Memory Access（RDMA、リモートDMA）とは、ローカルのコンピュータのメモリから、異なるリモートのコンピュータのメモリへデータのDMA転送を行うことである。RDMAでは、両コンピュータのオペレーティングシステムを経由せずにデータの転送が行われる。これにより、高スループット、低レイテンシの通信を行うことができる。特に、大規模並列のコンピュータ・クラスターにおいて有用である。 概要[編集] RDMAでは、ホストバスアダプタを通じてアプリケーションメモリ（ユーザーメモリ空間）のデータが直接転送される。これによりゼロコピー（英語版）ネットワーキングが可能になる。通常行われるメモリとOSのデータバッファ間でのデータ転送が起きないので、CPUやキャッシュを用いることなく、あるいはコンテキストスイッチを行うこともなく、他の処理と並列にデータが転送できる。リード/
Modeling Master/Worker applications for automatic performance tuning
Parallel application development is a very difficult task for non-expert programmers, and therefore support tools are needed for all phases of this kind of application development cycle. This means that developing applications using predefined programming structures (frameworks/skeletons) should be easier than doing it from scratch. We propose to take advantage of the intrinsic knowledge that thes
[rk10][28M07-09] parse.yの歩き方 -ワシのRubyは4式まであるぞ-
Ando Yasushi (Seesaa Inc.)
![[rk10][28M07-09] parse.yの歩き方 -ワシのRubyは4式まであるぞ-](https://cdn-ak-scissors.b.st-hatena.com/image/square/a59d3c0a91fa2ecd7a92591ab2e43faaad92821c/height=288;version=1;width=512/http%3A%2F%2Fnicovideo.cdn.nimg.jp%2Fthumbnails%2F11918830%2F11918830)
Commands using tcpdump sorted by votes
This gives you lots of nifty Cisco network information like VLAN tag, port and switch information. Show Sample Output 14:42:57.087609 CDPv2, ttl: 180s, checksum: 692 (unverified), length 358 Device-ID (0x01), length: 11 bytes: 'Public_DMZ' Address (0x02), length: 13 bytes: IPv4 (1) XXX.XXX.XX.X Port-ID (0x03), length: 16 bytes: 'FastEthernet0/21' Capability (0x04), length: 4 bytes: (0x00000028): L
A tcpdump Tutorial with Examples
A tcpdump Tutorial with Examples 50 ways to isolate traffic for cybersecurity, network administration, and other technical roles Introduction Overview of tcpdump Basics of traffic isolation Getting Started with tcpdump Viewing traffic on an interface Viewing HTTPS traffic Limiting packets Information Security Examples Capturing credentials Monitoring suspicious domain traffic SMB Traffic Capturing
HIPI - Hadoop Image Processing Interface :: Introduction
HIPI is an image processing library designed to be used with the Apache Hadoop MapReduce parallel programming framework. HIPI facilitates efficient and high-throughput image processing with MapReduce style parallel programs typically executed on a cluster. It provides a solution for how to store a large collection of images on the Hadoop Distributed File System (HDFS) and make them available for e
twiwt.org - このウェブサイトは販売用です！ - twiwt リソースおよび情報
このウェブサイトは販売用です！ twiwt.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、twiwt.orgが全てとなります。あなたがお探しの内容が見つかることを願っています！
PerlでどこでもREPLする - Kentaro Kuribayashi's blog
ir_b で快適 irb 生活！が面白い感じだったのでPerlでもできないのかなーってんでCPANを見てみたら、Carp::REPLで同じようなことができそうな感じでした。 #!/usr/bin/env perl use strict; use warnings; use Carp::REPL qw(repl); my $foo = 'foo value'; repl(); #=> ここでREPLに入る #=> ↓は、REPLをC-dが:qコマンドで抜けた後に実行される my $baz = 'baz value'; print "$baz\n"; 上記を実行してみると、以下のような感じ。いろいろコマンドがあるので、そのあたりはCarp::REPLのドキュメントを参照のこと。 $ perl unko.pl Trace begun at unko.pl line 7 $ $foo foo va
Welcome | Flask (A Python Microframework)
Welcome to Flask¶ Welcome to Flask’s documentation. Get started with Installation and then get an overview with the Quickstart. There is also a more detailed Tutorial that shows how to create a small but complete application with Flask. Common patterns are described in the Patterns for Flask section. The rest of the docs describe each component of Flask in detail, with a full reference in the API
JDK7正式版の新機能一覧(Java言語仕様に関して) - R42日記
2011-08-02追記 JDK7に致命的なバグ 重要なので先頭に追記しておきますが、JDK7のホットスポットコンパイラに致命的なバグが存在するそうです。 詳しくはコチラ。 http://d.hatena.ne.jp/takahashikzn/20110802 JDK7を使用する際はご注意下さい。 (Javadocのスタイルもガラっと変わりました!!) http://www.oracle.com/technetwork/java/javase/jdk7-relnotes-418459.html JDK7の正式版がリリースされています。 興味深い機能やAPIなどが追加されているわけですが、 その中でもみんな一番気になるところである、Java言語仕様の変更についてご紹介。 あとは、個人的にjava.lang.invokeなんてアヤシゲなパッケージが気になっているのですが… APIを見る限り、動
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新着記事
特別企画 パケッ トデザインによる ハッキング技術の検証 TCP/IPを構成するパケットデザインを考える 飛び 交うパケッ を表示して ト 動きを知る 安藤類央 text by ANDOH, 慶應義塾大学 政策�
404 : Page Not Found
https://www.akkadia.org/drepper/summit09-stream.pdf
https://www.akkadia.org/drepper/cpucache-slides.pdf
https://www.akkadia.org/drepper/parallelprog.pdf
Trial, error and the God complex
LDAP認証失敗時にローカル認証を有効にする方法
https://www.akkadia.org/drepper/fastneasy.pdf
https://www.akkadia.org/drepper/summit2010-parallel.pdf
https://www.akkadia.org/drepper/summit08-memperf.pdf
https://www.cs.utexas.edu/~dsb/Inspiration/naughtonicde.pdf
サーバ運用管理: Express5800シリーズポータル | NEC
https://www.akkadia.org/drepper/lt2009.pdf
Multiple socket reader in C++ - ØMQ - The Guide
zguide/examples at master · booksbyus/zguide
Zero-copy and Multi-part Messages - zeromq
http://zguide.wdfiles.com/local--files/main%3A_start/zguide-c.pdf
zmq_cpp(7) - 0MQ Api
Cisco
HPC InfiniBand IPC Networking
InfiniBand Architeture
Intel 320 SSD read performance