タグ

ブックマーク / kzk9.net (8)

  • Multi-Threaded HTTP Server using evhttp | kzk's blog

    Few months ago, I need to write the multi-threaded http server which can be embedded into the C++ server. At that time, the performance and the stability was the most important point. I found the evhttp library, which is included in the libevent. evhttp is HTTP server/client library built on top of the libevent event loop. Single-Threaded Server The following code is a simple evhttp server. But th

  • Cloudera Distribution for Hadoopのインストール方法 - moratorium

    Cloudera Distribution for Hadoopのインストール方法 2009-11-03 (Tue) 1:08 Hadoop 昔色々と記事を書きましたが、1年半経って、もはや内容が古くなって来ました。 Hadoopのインストールは、最近はCloudera Distribution for Hadoopを使用するのが一般的なようなので、こちらでのインストール方法を紹介します。 まずはEC2で2インスタンス立ち上げます。一つがNameNode/JobTracker用、もう一つがDataNode/TaskTracker用です。仮に、ホスト名をmaster, slaveとしておきます。OSはCentOSが推奨されています。 次にCloudera Configuratorにアクセスし、使用するクラスタの構成などを入力します。それらの情報(例:ノードのコア数・メモリ容量・台数など)から

    pcod
    pcod 2009/11/16
  • Hadoop World NYC 参加記 - moratorium

    Hadoop World NYC 参加記 2009-10-07 (Wed) 10:03 Hadoop と言う訳でHadoop World NYC, 2009の参加記を書きます。 1日目はSystem Administrator用のトレーニングコースを受け、2日目がカンファレンス番でした。トレーニングコースはDeveloper向け(3日間)とManager向けのビジネス寄りのコースが有り、合計で100人ぐらいは参加していたと思います。カンファレンスの番自体は400~500人の参加でした。 まずSystem Adminコースですが、大体以下のような内容でした。 MapReduceの基概念 ハードウェア/ネットワーク機器の選定ポイント OSやJavaなど、ソフトウェアでの注意点 Hadoop(Cloudera Distribution)のインストール方法 パラメーター/パフォーマンスチュー

    pcod
    pcod 2009/10/18
  • Amazon CloudWatch を使ってみた - moratorium

    Amazon CloudWatch を使ってみた 2009-05-19 (Tue) 5:01 Amazon EC2 Amazon EC2で、Amazon CloudWatch(インスタンス監視サービス)、Amazon Elastic Loadbalancer(ロードバランサー), Amazon AutoScaling(自動スケールアウト機構)がリリースされました。 New Features for Amazon EC2: Elastic Load Balancing, Auto Scaling, and Amazon CloudWatch by Jeff Barr Automating the management of Amazon EC2 using Amazon CloudWatch, Auto Scaling and Elastic Load Balancing by Werner

  • Amazon Elastic MapReduceを使ってみた - moratorium

    Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以

  • moratorium | だってプログラマになりたいんだもーん

    だってプログラマになりたいんだもーん 釣られたら負けかなーと思ったけど、嘘は訂正しておこう。プログラマなりたいし。 東大卒がプログラマになんてならない理由 別にプログラマにならなくていーじゃん ■anondさんへ。 まずタイトル。理学部情報科学科を卒業して就職する人で、プログラマ(=コード書く人)にならない人はほとんどいないと思います。研究職もまぁコードは絶対書かれると思うのでプログラマに入ると思います。 (1)"ゼロから"CPUの設計 昔はやってたみたいですが、今は論理回路は組みません。これはたぶん時代の流れのせいで、近代的なアーキテクチャに近いものを作るためにVHDLを使ってるんだと思います。100MHz 5段パイプラインぐらいのを作る人もいます。Early Restart Cache作っちゃう人もいます。 (2)"ゼロから"プログラミング言語を設計 言語の設計はしません。 (3)"ゼ

  • MEによる日本語係り受け解析 - dependency-analysis.pdf (application/pdf オブジェクト)

    MEによる日語係り受け解析 太田一樹 東京大学理学部情報科学科 4 年 kzk@is.s.u-tokyo.ac.jp 2007/06/07 概 要 日語の構文解析において、係り受け解析は自然言語処理の基技術の一つとして認識され ている。近年では構文情報が付加された大規模コーパスが利用になったことや、使用できるコ ンピューターの性能が伸びてきたことから、機械学習の手法を用いた係り受け解析手法が数多 く提案されている。 今回は特に最大エントロピー法 (ME 法) を用いた日語係り受け解析手法について調査・実 装を行った。ある文節間の係りやすさの確率は、ME によって学習した係り受け確率モデルか ら計算する事ができる。この確率モデルは、学習データから得られる品詞情報などを元に、2 つ の文節が係るか係らないかを予測するのに有効な素性を学習することで得られる。 稿では、ME 法の概要・

    pcod
    pcod 2007/06/16
  • C言語で実行時バックトレース - moratorium

    C言語で実行時バックトレース 2006-07-30 (Sun) 2:43 Unix glibcにはbacktrace()という便利な関数が有るらしいのですが、あえてその中身を自分で実装してしまおうという暇潰しをしてみました。 x86に限ると以下の様な感じでスタックフレームにアクセス出来てしまいます。 int get_stack_trace(void **result) { void **sp = (void**)&result - 2; // sp[0] : pointer to previous frame // sp[1] : caller address // sp[2] : first argument int n = 0; while (sp && n < 100) { result[n++] = *(sp + 1); void **new_sp = (void**)(*sp);

    pcod
    pcod 2006/08/08
  • 1