MySQL とメモリに関するまとめ - LukeSilvia’s diary
前回のエントリーデータベースを用いたセッションデータ管理についてで、MySQL とメモリの関係について良く分からない部分があると書きました。 実はここに関する理解はかなり曖昧な部分があって、調査して追記します。とくにメモリ利用量について。mysqld のプロセスが利用できるメモリの上限が、32bit OS の場合は3G 程度ということは、innodb_buffer_pool_size もこの制限を受け、これについての警告が、先に紹介したリファレンスマニュアルのものという理解だけどいいのだろうかというのが1つ。 2 つ目は、この理解があっているとすると、4G 以上のクラスのメモリをつんだサーバをDB サーバとして利用する場合、64 bit OS でないとリソースの有効活用ができないか。それとも、先に書いたとおり、OS レベルのキャッシュとして利用できるから、結果としてデータファイルを読み込む
Stackless vs GIL: It's a draw.
After thinking some more about David Beazley's research into the GIL, I realized the gravity of his comment that the GIL provides "Basically a kind of "cooperative" multitasking". I've spent 10 minutes knocking up some code in Stackless that demonstrates something similar to what David describes. I doubt many people knew Stackless has this capability. import stackless #A contrived CPU bound task d
AmazonEC2 - HADOOP2 - Apache Software Foundation
Running Hadoop on Amazon EC2 Amazon EC2 (Elastic Compute Cloud) is a computing service. One allocates a set of hosts, and runs one's application on them, then, when done, de-allocates the hosts. Billing is hourly per host. Thus EC2 permits one to deploy Hadoop on a cluster without having to own and operate that cluster, but rather renting it on an hourly basis. If you run Hadoop on EC2 you might c
日本語の編集 - Pythonのお勉強
メニュー トップ Pythonの紹介 FAQ 質問の仕方 参考図書 参考サイト 翻訳文献 日本語 問題集 よくある誤解 Python可能サーバ Pythonの更新情報 処理系 開発環境 2chテンプレ 過去ログ 練習用ページ 雑談 公式サイト 本家オフィシャル 日本ユーザー会 検索 キーワード AND OR ページ内容も含める 編集用 FrontPage InterWikiName Keyword Menu PluginHelp 更新履歴 2022/11/16 鐃緒申鐃所集 2022/10/11 japaneseCharset 2022/9/24 Implementations 2021/8/26 雑談 2020/12/11 %CC%E4%C2%EA%BD%B8
HDFSへのアクセスユーザ - kikumotoのメモ帳
HDFS Permissions Guide を見ると、HDFS では Linux とかで見られるようなパーミッションが設定されるようになっているらしい。 そしてスーパーユーザは NameNode の実行ユーザになるらしい。 確かに今までは HDFS に対する操作を hadoop ユーザで行ってきたのだけど、たとえば root ユーザなんかでファイルを HDFS に put しようとすると以下のように怒られる。 # ./bin/hadoop fs -put hoge.txt hoge.txt put: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="user":hadoop:supergroup:rwxr-xr-x なので、たとえば r
2009-06-08
libhdfsはC言語からHDFSへアクセスするためのライブラリです。が、ちょっとコンパイルでハマったのでメモしておきます。32bit環境だと問題なくビルドできるかも知れませんが、実験はしていません。また、これは0.18.3(現時点でのstable release)での話で、最新のバージョンでは直っていそうな雰囲気です(http://issues.apache.org/jira/browse/HADOOP-3344)。 libhdfsをビルドするための準備として環境変数JAVA_HOMEをexportしておく必要があります。これは$(HADOOP_HOME)/conf/hadoop-env.shに書かれているJAVA_HOMEと同一のもので大丈夫です。次にHADOOP_HOMEディレクトリで以下のコマンドを実行します。 $ ant compile-libhdfs -Dlibhdfs=1本当
libhdfs: 使用上の注意 - nobu-qの日記
hdfsOpenはディレクトリも書き込みモードで開けます。というか、ファイルを消して、そこに新たにファイルを作ります。なのでcp的なものを作ろうとして、誤ってディレクトリに対してhdfsWriteしてしまうと…／(^o^)＼ 追記 他の関数も調べてみました。 hdfsCopy(file, dir) ---> dir/fileができた hdfsRename(file, dir) ---> 失敗 hdfsCreateDirectory(path_to_dir) ---> 成功(ディレクトリの中身はそのまま) hdfsCreateDirectory(path_to_file) ---> 失敗 うーん。インターフェイスはしっかりしているのに、内部の挙動に統一感がないな…。怖いので、念のため自前でディレクトリかどうかチェックして、処理を分岐させた方が良いかもしれませんね。
javascript - にはクラスはない : 404 Blog Not Found
2009年06月13日22:00 カテゴリLightweight Languages javascript - にはクラスはない かえってわかりにくくなっている感じをかつてさんざん実感したので。 JavaScriptのオブジェクトについて考察してみた - あと味 JavaScriptにおけるほとんど全てのデータはオブジェクトである オブジェクトの定義にもいろいろありますが、ここでは「メソッドを持つ」という狭い意味においても事実だということです。実際に見てみましょう。 p(true.toString()); p("String".toString()); p((1).toString()); p((3.14159265).toString()); p([0,1,2,3].toString()); p({q:"answer to life, the universe, and everythi
便利なフリーソフト教えてくださいな カナ速
2009年06月13日 江口洋介のバイクの運転技術はすごい！白バイ隊員でもこうはいかない。ν速民だったら死んでるレベル
ネットワーク
概要[] 選択肢と特徴 coLinuxでネットワークに接続するには、３つの方法があります。それぞれの特徴は以下の通りです。 1.Slirp 一番手軽ですが、低速です。ICMPメッセージ（pingとか）の送受信はできません。ワイヤレスカードをつかっていても問題が起きにくいです。 2.TAPドライバ ホストOSとの間の転送速度は最も高速ですが、設定には十分なネットワークの知識が必要です。。coLinuxとホストOSの間でプライベートネットワーク接続します。 3.pcap-bridge Slirpと比較すると、設定は必要ですが、速いです。ワイアレスカードと相性が悪いです。 en:StepByStepInXP en:TAP-Win32 driver tapcontrol.exe でコマンドラインよりTapドライバをテストしたり、インストールしたり、アンインストールしたりできます。 設定方法[] c
Profiling Ruby With Google's Perftools - igvita.com
By Ilya Grigorik on June 13, 2009 Benchmarking, profiling and debugging are all areas where better tool support could really benefit the Ruby community. Built in benchmark library and extensions such as ruby-prof provide us with a minimal level of introspection to help identify the common bottlenecks, but they still fall short of the available tools for the JVM, or other dynamic runtimes. If you'r
"matrix.rb"をほぼ全移植したPython向け行列操作ライブラリ"matrix.py" - CanI's diary
完成した。 An implementation of Matrix and Vector classes for Python from Ruby's library "matrix.rb" 何をしたか 今までひたすら書いてきた通り、Pythonで行列操作するのがいささか面倒なので、Rubyの優秀なライブラリ"matrix.rb"を、"matrix.py"としてPythonに移植しました。 使い方 site-packagesかなんかに置いてimportすればいいと思います。 基本的な使い方、機能はRubyと同じです。 こことかにRubyのリファレンスがあります。 Ruby Reference Manual - るりま ライセンスとか ひたすら面倒ですが、Rubyの標準ライブラリをほぼ引用したみたいな感じになってしまってるので。 ライセンス周りはRubyライセンスに従います。 Rubyからの
Numpyが多倍長演算してない件について - CanI’s Diary
Programming, Python行列の冪乗求めてて気づいた。超長いです。タルいです。←先日のこのエントリフィボナッチ数列に関する2つのアルゴリズムの速度比較のRubyとPythonでの比較＠Python, Ruby - CanI’s Diaryで、こんなこと書きました。※fib_log(n)は行列演算で、Matrixクラスとかいう便利クラスはPythonにはないので、numpyとかで計算しようとしました。が、うまくいかなかったので(原因調査中)今回は比較してません。そのうち比較記事あげるつもりです。その原因がわかったので、まとめ。(が、解決はできていない(ぁとりあえず、逐語訳@Pythonのfib_log(n) #!/usr/bin/env python import numpy import time def fib_log(n) : return (numpy.mat([[1,1
フィボナッチ数列に関する2つのアルゴリズムの速度比較のRubyとPythonでの比較＠Python, Ruby - CanI's diary
おもしろそうだったので。 id:qnighyさんの フィボナッチ数列に関する３つのアルゴリズムの速度比較＠Ruby - 簡潔なQ を読んで、おもしろそうなので@Pythonでもやってみようと思っていたのですが、記憶の彼方に忘れ去られていました。 ちょうど、暇な時に思い出したので比較でも。 きっと、多倍長計算の速度とか、関数の再帰的に呼び出したときの処理の差がでると思われます。 ※fib_log(n)は行列演算で、Matrixクラスとかいう便利クラスはPythonにはないので、numpyとかで計算しようとしました。が、うまくいかなかったので(原因調査中)今回は比較してません。そのうち比較記事あげるつもりです。 環境 実行環境 CPU : Intel Core2 Duo T5500 @1.66GHz Mem : 2046MB on Cygwin Ruby : ruby 1.8.7 (2008-
TwitterBot on GAEにReplyさせる（その1） - 星屑日記
前回 http://d.hatena.ne.jp/intheflight/20090611/p1 やっぱりBotらしく、話しかけられたら反応しなくちゃね！というわけでReply機能を追加します。まず必要なのがBot宛にReplyがあるか調べることです。これは定期的にチェックしなければいけません。そしてやはり反応は早いほうがいい。以上のことから、10分間隔でcronを用いてチェックすることにします。前回はデータを送信するという機能でしたが、今回はデータを受け取ってそれを処理しやすいように加工しなければいけません。具体的にはTwitterから送られたXMLデータをパースしてDatastoreに格納します。 最初にデータモデルを定義します。データモデルとは、GAE用のデータベースであるDatastoreに格納するときのデータ構造の定義です。いわゆるRDBのテーブル定義みたいなものです。これはTw
Google App Engineを使ったTwitterBotの作り方 - 星屑日記
のっちフライデーのショックで一気に書き上げました（嘘）。Google App Engine（以下GAEと略）を用いて℃-uteのなっきぃをTwitterに召喚しました。なかさきBotです。 http://twitter.com/_nksk 今回はなかさきBotをどう作ったのかまとめて、チュートリアル的なものを書いてみました。かなり適当に作ってるので、ここ違うよ！とか、こう書けばいいんじゃない？みたいなコメント大歓迎です。GAEの入門編は以下のリンクを読んでください。ほとんどそこと同じことを書いてます。 http://code.google.com/intl/ja/appengine/docs/python/gettingstarted/ 開発環境はWindows XPで、言語はPythonで書いてます。初Pythonでしたけど難しくなかったですよ。準備として、まずPythonのダウンロード
Interopクラウドコン優勝は「えとらぼ」分散key-valueストレージ kumofs - Blog by Sadayuki Furuhashi
InteropTokyo 2009 クラウドコンピューティングコンペティション（通称クラウドコン）は、我等がえとらぼチームが優勝しました！ 実行委員･StarBEDプロジェクト･IBMの皆様を始め関係者の皆様、ありがとうございました。 プレゼンテーションムービーとポスターとパンフレット*1を公開しました。 プレゼンムービー（マウスクリック/矢印キーで進む） PDF版 ポスター パンフレット *2 …どれも相当に気合いが入っているので、ぜひご覧ください^^ Ustream.tvの録画もあります（えとらぼチームはちょっと細切れですが） 途中で行ったデモは、StarBEDの45台の物理サーバーを使ってkumofsを動かして、ランダムで選んだノードを自動的にkill/再起動するスクリプトを走らせたものです。サーバーが落ちてもシステムは全然止まらないし、どのサーバーにも均等に負荷が分散されます。 時
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft – クラウド、コンピューター、アプリ & ゲーム
Google + Python = world domination?
Yahooオークションで、 例えば、 WindowsXPのOSが、 http://search.auctions.yahoo.co.jp/search/auc?…
フィボナッチ数列に関する3つのアルゴリズムの速度比較のRubyとPythonでの比較＠Python, Ruby - CanI's diary
UNIX time bot (修正:02/13 20:42) - CanI’s Diary
CodePlex Archive