言語対決：JavaScript 対 Objective-C
ここのところ、サーバー側（Google App Engine）のコードはPythonで書き、クライアント側のコードはiPhone/iPad 向けはObjective-Cで、ブラウザー向けはJavaScriptで書く、という毎日が続いている私である。 それぞれの言語は難しくないのだが、さすがにこの３つを頻繁に行き来していると、pythonのコードに間違ってセミコロンを付けてしまったり、PythonとJavaScriptのどっちがTrueでどっちがtrueだか混乱したりする。 ちょうど昨日は、以前JavaScriptで書いたコード（写真をアップロードするコード）をObjective-Cに移植する機会があったのだが、とても分かりやすい結果が出たので、ここで比較してみる。 まずは元の JavaScript のコード。 SNBinder.get("/blob/create_upload", {},
Solr-1.4.1でcmecab-javaを使ってみる - use No::Name;
久しぶりにjava関連の内容。 前提条件 今回の作業を行った環境は以下のとおり。 OSバージョン : MacOSX 10.6.4 Snow Leopard パッケージツール: MacPorts 1.9.1 Java 今回利用するバージョンは 1.6.0_20 javaはOSにインストールされているものをそのまま利用する。但し、一点だけ注意が必要。id:from_kyushu:20090713 に記載のある通り、JDK6を利用すると標準出力の際の文字コードがSJISになってしまう。 今回、MeCabで利用する辞書はUTF-8を前提としているほか、MacOSのTerminal.appは文字コードが標準でUTF-8に設定されていることもあり何かと不都合があるので、以下のように設定を行う。 alias javac='javac -encoding UTF-8' alias java='java -
Real World Instrumentation with Python
Read it now on the O’Reilly learning platform with a 10-day free trial. O’Reilly members get unlimited access to books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers. Learn how to develop your own applications to monitor or control instrumentation hardware. Whether you need to acquire data from a device or automate its functions, this practical book
Hadoop Best Practices and Anti-Patterns
An extensive post about Hadoop best practices and anti-patterns from Yahoo!: This blog post represents compendium of best practices for applications running on Apache Hadoop. In fact, we introduce the notion of aGrid Pattern which, similar to a Design Pattern, represents a general reusable solution for applications running on the Grid. This blog post enumerates characteristics of well behaved appl
研究メモ - Ganglia
クラスタの全ノードにganglia-monitorを，Webサーバ（マスタノード）にgmetadをインストールする．ganglia-monitorはノードの情報を取得し，XML形式でネットワーク内にブロードキャストする．そして，マスタノードで動作しているgmetadによってその情報が集められる．そのデータをPHP，rrdtoolを使い，視覚化する．rrdtoolはデータをグラフ化するツールである． マスタノードの設定 マスタノードの/etc/hostsに，自分と監視したいノードの情報を記述する．下記のような情報を追記する． 192.168.1.1 master 192.168.1.2 slave1 192.168.1.3 slave2 次に、Webサーバに必要なパッケージのインストール、および設定を行う．モニタリングするWebサーバには，gmetad, apache, php4, liba
インフラエンジニアのためのHadoop情報 Gangliaその１：So-net Developer Blog：So-netブログ
これまではHadoopの死活監視が目的のNagios設定を見てきましたが、HadoopはJMX を通してメモリ使用状況、ジョブ（MapReduce)の進行状況を詳細に見ることができます。 このJMXの値を、Gangliaというグラフ表示の監視ツールを使って可視化しましょう。 ジョブの投入状況に合わせて、メモリやCPUの利用率が各ノード毎にグラフ化されて 見えるので、ボトルネックの発見に役立つはずです。 Gangliaのインストールは終わっているものとして・・・としたいところですが Nagiosと違って、Hadoopの各ノード側全てにインストールしなければいけないので ちょっと面倒。 rpmパッケージを作って、各ノードに配布しちゃいましょう。 まずは、Ganglia監視サーバ側を作成。 rpm化にはcheckinstallを使います。あらかじめインストールしておきます。 ビルドに必要なものを
double-hash-spaceの挙動 - sdyuki-devel
s1 s2 s3 s4 rhs whs 再配置方法 rhs whs 再配置方法 rhs whs 再配置方法 rhs whs 再配置方法 1.初期状態 1,2,3,4 1,2,3,4 1,2,3,4 1,2,3,4 1,2,3,4 1,2,3,4 1,2,3,4 1,2,3,4 2.s4ダウン 1,2,3 1,2,3 1,2,3 1,2,3 1,2,3 1,2,3 x x 3.再配置開始 -> 1,2,3,4 1,2,3->1,2,3,4 -> 1,2,3,4 1,2,3->1,2,3,4 -> 1,2,3,4 1,2,3->1,2,3,4 -> 1,2,3,4 ->1,2,3,4 4.s3ダウン 1,2 1,2,4 1,2 1,2,4 x x 1,2,4 5.再配置開始 -> 1,2,3,4 1,2 ->1,2,3,4 -> 1,2,3,4 1,2 ->1,2,3,4 -> 1,2,3,4
kumofs kumo fast storage 古橋 貞之 自己紹介 • 古橋 貞之（ふるはし さだゆき） • 筑波大学 情報学類3年 • id:viver • frsyuki@twitter 自己紹介 ディスクレスブートシステム ペアプログラミング ��
kumofs kumo fast storage 古橋 貞之 自己紹介 • 古橋 貞之（ふるはし さだゆき） • 筑波大学 情報学類3年 • id:viver • frsyuki@twitter 自己紹介 ディスクレスブートシステム ペアプログラミング 支援システム 多人数音声チャットシステム kumofs • 背景 • kumo fast storage概要 • 保証範囲 • 性能（目安） • ノード追加中の動作 • MessagePack-RPC 背景 • えとらぼ株式会社のプロジェクトで： • 小さいkey-valueを大量に保存 • 落ちないストレージ • キャッシュではなくて永続化したい • サーバーを足すと読み・書き性能が向上 • 導入・運用が楽 kumo fast storage • key-valueストレージ • Consistent Hashingで分散 • レプ
分散ストレージの収束する方向 - sdyuki-devel
サーバーサイドの分散ストレージについて。広域P2Pとかデータセンター間で同期するとかCDN云々は知らない。 kumofsのアプリケーション-Gateway間のインタフェースは Get(key) だが、Gateway-Server間のインタフェースは実は GetByHash(key, partitioning-id)（とGetByHashIfModified(key, partitioning-id, time)）だったりする。（実際の名前は違うけど意味は同じ） 現状ではpartition-idはkeyにハッシュ関数を掛けて自動生成するが、実際には任意の値を指定できる。 つまり関連するkeyには同じpartitioning-idを指定して同じノードに保存されるようにして、partitioning-idが同じkey同士ならトランザクションできるようにすることも、案外に容易にできる。 Consi
Lexemetech
MapReduce is a programming model for processing vast amounts of data. One of the reasons that it works so well is because it exploits a sweet spot of modern disk drive technology trends. In essence MapReduce works by repeatedly sorting and merging data that is streamed to and from disk at the transfer rate of the disk. Contrast this to accessing data from a relational database that operates at the
P2P分散ストレージ「Cagra」 - Blog by Sadayuki Furuhashi
id:nyaxt氏との共同開発の分散ストレージ「Cagra」（かぐら）のアルファ版をリリースしました。 cagra α3リリース cagra テクニカルデモ α２リリース 分散ストレージエンジンテクニカルデモ α版リリース cagraのα版試してみたよ - takumalog Cagraは以下のような特徴を持った（目指した）P2P分散ストレージです。 Zeroconf マルチマスタでレプリケーションするWrite 高速な分散Read オプションで高速な非同期Write インターネットレベルよりもLANレベルのマシン台数に特化 巨大データサポート 高速イベント駆動システムコール＋軽量スレッド 超アジャ〜イルな開発体制 まだα版で全部が実装されているわけではないですが、とりあえず動きます。 Zeroconf UDPマルチキャストでノードを自動的に発見するので、一切設定ファイルを書かずに動作せる
債務整理の評判が良い法律事務所おすすめランキング
金融業者が恐れている司法書士法人事務所! 司法書士法人杉山事務所では金融業者が恐れている司法書士が過払い金の返還請求をおこなっています。 返還実績の少ない弁護士より、返還実績が豊富なほうが安心感があります。優れた交渉力があるため過払い金の返還額も債務整理による借金減額分も多くなります。 まずは無料で信頼できる専… 債務整理のプロに任せて良かった… 債務整理を検討していましたが、費用面で躊躇していました。司法書士法人杉山事務所が相談料無料だったと知人から聞き、すぐに問い合わせをしました。実績のある弁護士さんに担当してもら… 担当制だったので安心感がありま… 弁護士さんに債務整理を相談するには大金が必要と思っていましたが、司法書士法人杉山事務所は違いました。相談が完全無料だったので気軽に相談出来たのが債務整理の第一歩に繋がりました…
オープンソースなDHT実装まとめ - syuu1228's blog
表にしてまとめてみる。 ライブラリ、シミュレータ、DHT実装を含むアプリの区別はしてない。後で分類しよう。 他にも知ってたら教えてね。 名前 言語 アルゴリズム OverlayWeaver Java Chord, Kademlia, Koorde, Pastry, Tapestry Home · sit/dht Wiki · GitHub C++ Chord Sean's Research Page Java Pastry Open Chord Java Chord PIAX download | SourceForge.net Java Skip Graph Chimera, a Structured Peer-to-Peer Overlay C Tapestry limewire.org - Java Kademlia https://jxta-meteor.dev.java.net/
Overlay Weaver: Overview
Overlay Weaver の概要 [English | Japanese] last-updated: April 17, 2009 Overlay Weaver はオーバレイ構築ツールキットです。 これを用いることで、オーバレイ設計者はたかだか数百ステップで structuredオーバレイのアルゴリズムを実装することができます。 また、計算機 1台の上で繰り返し試験を行って アルゴリズム実装の品質を向上させていくことができます。 どのアルゴリズム実装を使うかを実行時に決めることができ、 エミュレータを用いて数十万ノードの実験を行うことができるので、 設計者は新規、既存アルゴリズム間の比較を大規模かつ公正に行うことができます。 同時に、こうして実装したアルゴリズムはそのまま実ネットワーク上で動作するため、 アルゴリズム研究の成果が直接アプリケーションに結び付きます。 Table of
Overlay Weaver で新しいルーティングアルゴリズムを作る方法(2/3) - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 この記事は、「Overlay Weaver で新しいルーティングアルゴリズムを作る方法(1/3)」のつづきです。 AbstractRoutingAlgorithmの全メソッド解説 前の記事で、AbstractRoutingAlgorithmを継承したMyChordクラスに言及しました。ここでは、MyChordクラスが実装すべきAbstractRoutingAlgorithmクラスのメソッドをすべて解説しますOverlay Weaverに標準で備わっているアルゴリズムを参考にすると分かりやすいかも その前に前提知識 メソッド解説の前に、ちょっとしたOverlayWeaver用語解説を。 IDAddressPair IDAddressPairクラスは、一言で言うと、
[DHT ]カテゴリの記事一覧 - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
タグ Windows / インストール / Linux / 設定 / エラー / Java / Eclipse / AutoHotkey / TeX / C# / VisualStudio2008 / 対策 / Subversion / LaTeX / Vista / 方法 / CentOS / Android / Microsoft / Windows7 / Office / バージョン管理 / プログラミング / eclipse / PowerPoint / SSH / Ubuntu / WindowsVista / コマンド / ショートカット / .NET / Desire / VisualStudio / 便利 / P2P / Unix /
DHTの実装 — ありえるえりあ
* DHTの実装 ** Pastryの実装 前号でDHTの理論と具体的アルゴリズムのひとつであるPastryを説明しました。今回は、 DHTの具体的な実装を見て、サンプルコードを説明します。Pastryアルゴリズムをベースにしたフリーな実装としては、FreePastryと Bambooが知られています(*脚注)。どちらもJavaによる実装です。両者の違いを説明します。FreePastryはPastryアルゴリズムの忠実なフリー実装を提供することが目的です。Pastry本家のWebサイト<http://research.microsoft.com/~antr/Pastry/> からもリンクがあり、両者の補完関係が推測できます。前号で説明したようにDHT自体はキーをベースにした探索という低レベルの機能のみを提供するものです。Pastry研究グループは、Pastry上で動くミドルウェアを研究、提
1 はじめに
DHTシステムの仕組みと性能と課題について 報告者 : 駒井秀一 2008 年 9 月 30 日 株式会社ライブドア ネットワーク事業部 通信環境技術研究室 1 はじめに 当報告書では、インターネットシステム、オーバレイネット ワークの概念を整理し、その基礎技術として分散ハッシュテ ーブルと呼ばれる手法を紹介する。分散ハッシュテーブルを 用いたオーバレイネットワークの具体的な一例として、数値 的に探索空間の分割を行う Chord[1]と、経路表を用いる Pastly[2]について詳細に解説する。また、分散ハッシュテー ブルの応用例として、 Pastry アルゴリズムをベースにしてい る BambooDHT[3]実装方法や、実装時の動作について解説 する。 分散ハッシュテーブルに注目が集まる要因の１つは簡潔さ や効率性の高さによる。 分散システム在り方の利点である、耐障害性、規模拡張性、 可
Objective-Cで正規表現を使う その1 : As Sloth As Possible
ちょっと前に書こうと思ってて忘れてたネタ。iOSアプリ内で正規表現を使ってごにょごにょしようと思ったらRegexKitLiteを導入するのが一番てっとりばやいのだけど、iOS 3.2以降はFoundation Framework内でも地味に正規表現が使えるようになってきてるのでメモがてら記事にしておく。 NSRegularExpressionSearch Cocoaで文字列中に別な文字列が含まれているかどうかを知りたいときは、NSStringの-rangeOfString:というメソッドを使う。RubyのString#indexみたいな感じで、見付かった文字列がどこにあるかの位置を返してくれる。こんな感じ。 NSString *string = @"I love Udon."; NSRange match = [string rangeOfString:@"Udon"]; if (matc
Hadoop本輪読会9章
Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. Hadoop本輪読会9章 - Presentation Transcript 第8回 Hadoop本 輪読会 9章 「Hadoopクラスタの構築」 株式会社サイバーエージェント 新規開発局 安田 征弘 Hadoop本輪読会 9章 Agenda 9.1 クラスタの仕様 9.2 クラスタのセットアップとインストール 9.3 SSHの設定 9.4 Hadoopの設定 9.5 インストールの後処理 9.6 Hadoopクラスタのベンチマーク 9.7 クラウドにおけるHadoop 2 Hadoop本輪読
ganglia
Sendbird's chat, voice, and video APIs power conversations and communities in hundreds of the most innovative apps and products. Sendbird’s feature-rich platform, and pre-fab UI components make developers more productive. We take care of a ton of operational complexity under the hood, so you can power a rich chat service, and life-like voice, and video experiences, and not worry about features, ed
空前のGangliaブーム到来 - スコトプリゴニエフスク通信
id:hirose31氏の「ganglia (gmond) を拡張するモジュールをPythonで書いてみた」というエントリを見て以来なんとなく気になっていて、アルファインフラエンジニアからも薦められていたGangliaだが、いくつかの疑問点があって本格的に触ってみるにはいたらなかった。疑問点とは以下の三つ。 Gangliaのインストールは面倒？アルファインフラエンジニアのこのエントリを見て、なんやかんやPatchをあててインストールしているのは面倒だなーと思っていたが、CentOSならばEPELにも3.0系だけれどもGangliaのRPMがあることが分かって、とりあえず試してみるといったことはすぐにできる。ただし、Pythonサポートを使うには3.1系が必要なので、EPELなり、fedora-developmentからSRPMを拾ってきてビルドしなおさなくてはいけないかも。この点も以前書い
Gangliaはじめました
2. ■自⼰紹介 名前： yuzorock（ユーゾロック） http://twitter.com/yuzorock 仕事： 某インターネットポータルサイトのインフラ（サーバ）エンジニア 今⽇の話： パフォーマンス（リソース）監視とは何かという話と、そのツールでGangliaと いうのがあっておすすめですよという話。 おまけ： 初⼼者にも優しいインフラ勉強会なのでGangliaの細かい話はないです。 細かい話は後ろにつけましたので、質問あればtwitterで@yuzorockして下さい。 できればハッシュタグ#qpstudyつけて。 ⽇本語の情報が少ないので使っている⽅と⾊々と情報交換したいです。 3. ■監視とは インフラエンジニアが⾏う監視には大きく分けて以下の2種類があると思います。 死活監視： サーバやNW機器がpingやsshに正常に応答するかや提供しているサービス（http 等）
GitHub - elecnix/terracotta-ganglia-monitor: Extracts metrics from a Terracotta cluster into Ganglia
Cassandra and Ganglia
I finally got some time to do some house cleaning. One of my nagging low-hanging fruit jobs was to stop using jconsole as my monitor. I created a ganglia script to graph what is above. The image illustrated above I am showing all the Cassandra servers and their total row read stages completed in the last hour as a gauge. In essence I am graphing the delta of the change between ganglia script runs.
Vladimir's Ganglia gmetric repository
Quick Links Apache traffic Stats Apache workers (busy/idle) Stats Memcached Stats NFS server/client stats Local Disk Stats mySQL server stats mySQL binary log growth rate BIND DNS server stats Postfix Queue Size Varnish (HTTP accelerator) Traffic stats This is my collection of metric collection tools to be used with Ganglia. Ganglia is a scalable distributed monitoring system for high-performance
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Generating Client JAVA code for WSDL using SOAP UI | Javalobby
SpringOne 2010: Gradle - A Better Way to Build
『Real-Time MapReduce』へのコメント
Hudson勉強会 - Kirika's diary
An implementation of Virtual Node Router with Consistent Hash algorithm « Shahzad Bhatti
Consistent hashing
https://dl.acm.org/ft_gateway.cfm?id=1480440&type=pdf
http://ubdok.uni-paderborn.de/servlets/DerivateServlet/Derivate-8609/Dissertation.pdf
The Design of a Robust Peer-to-Peer System Rodrigo Rodrigues, Barbara Liskov, Liuba Shrira MIT Laboratory for Computer Science¡ rodrigo, liskov, liuba¢ @lcs.mit.edu Abstract Peer-to-peer (P2P) overlay networks have recently become one of the hottest
main.dvi
https://www.logos.t.u-tokyo.ac.jp/~yokoyama/fi-rinko/cgi-bin/upload/oka.pdf
https://www.cis.upenn.edu/~ahae/papers/carbonite.pdf
http://www.osconvo.com/post/view/2010/9/1/distributed-hashing-algorithms-by-example-consistent-hashing
Microsoft Word - chervenak final sc2002.doc
http://cs.nju.edu.cn/gchen/paper/papers/JSUPERCOMPUTING2007.pdf
フェリカネット、Android向けFeliCaアプリの開発資料を公開
https://mail-archives.apache.org/mod_mbox/hadoop-zookeeper-user/201004.mbox/%3Cn2u4d0bc36e1004141943pd24a0139g73ad706fa124978c@mail.gmail.com%3E
Google Code Archive - Long-term storage for Google Code Project Hosting.
Ganglia::Gmetric::PP
Ganglia::Gmetric
GitHub - ganglia/gmetric: Repository of user-contributed gmetric scripts
Graphing Java JMX Object values with Ganglia, Python, and JPype