共産主義的煮込みをつくろう！！！ - 安全ちゃんオルグ日記
↑香菜が好きすぎるネコ山 「土豆烧牛肉」というジャガイモと牛肉の煮込みは別名「共産主義的煮込み」と呼ばれています。その起源はフルシチョフによる、中国の共産主義には水っぽいスープしかないが、ロシアの共産主義にはビーフシチューがあるという趣旨の発言です。中国は共産主義を実現するための経済的基盤がまだ整っていないという意味なのですが、いったいどうしてこんな嫌味度MAXな言い方に…!? こともあろうか貧困に苦しむ中国人民に美食自慢だなんて…レーニンは「飢えた民は蛇まで食べているのに豪華な食事なんて…！」と激怒&号泣し料理を投げつけ暴れた*1ことさえあるというのに……。 そんな、プロレタリア精神をどこかに置き忘れたとしか思えないフルシチョフの態度に中国側も大激怒。フルシチョフはもはや反マルクス-レーニン主義の修正主義者だ！ ということで、毛沢東も荘子の改変コピペを散りばめた壮絶リリックですかさず応戦
ZooKeeper 3.3.0 のインストール - どぅーちゅいむーにー
HBaseをインストールするためにはZooKeeperというものをインストールする必要があるらしい。 というわけで、ZooKeeper というものをインストール。 っていうか、けっこう書いてたのに左側の「はてなダイアリープラス」のバナーを間違ってクリックしたらすべてが吹っ飛んだ・・・ インストールしたバージョン 今回、試したバージョンは 3.3.0 です。 なお、インストールに関して、Hadoop は不要のようです(たぶん)。 概要とか Hadoop のサブプロジェクトの１つです。 公式：http://hadoop.apache.org/zookeeper/ 日本語の概要：http://oss.infoscience.co.jp/hadoop/zookeeper/index.html 「分散アプリケーションのためのパフォーマンスの高いコーディネーションサービス」ということですが、まだちょっ
Welcome to Apache ZooKeeper!
Welcome to Apache ZooKeeper™ Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination. What is ZooKeeper? ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. All of these kinds of services are used in some form or another b
Google Zeitgeist 2009
Google Zeitgeist の集計方法と見方 2009 年の年間 Zeitgeist を集計するにあたり、Google では、この 1 年に世界中の人々が Google で検索した何十億ものキーワードを集めて分析しました。分析には、Insights for Search や Google トレンド、その他の内部データ ツールなどさまざまなデータが使用されています。また、フィルタを使って迷惑メールや重複した検索を除外することにより、「時代精神」をより正確に反映したリストを作成することができました。なお、分析に使用したキーワードはすべて匿名のもので、個人情報は使用していません。 特に記載がなければ、ここで紹介するキーワードはすべて 2009 年に最も人気の高かったキーワードで、検索回数の多い順に並んでいます。「急上昇」と記載されたキーワードは、2009 年に人気が高かったキーワードを、2
Google Research Publication: MapReduce: Simplified Data Processing on Large Clusters
MapReduce: Simplified Data Processing on Large Clusters Jeffrey Dean and Sanjay Ghemawat Abstract MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associated with t
資料を公開いたしました！（クックパッドの裏側見せます in 大阪＆名古屋） - クックパッド開発者ブログ
こんにちは。クックパッドのすみです。 去る4/2,4/3に大阪と名古屋にて「クックパッドの開発の裏側見せます」と題して講演会を開かせて頂きました。 当日は、技術部長の井原のほか、計3名のエンジニアがプレゼンさせて頂きました。 当日の資料を公開いたしますので、是非ご覧くださいませ。 最後に、大阪・名古屋の会場にご足労頂いた皆さま、 本当にどうもありがとうございました！ またお会いできますことを楽しみにしております。 ・清水雄太/毎日の料理を楽しみにするためのクックパッド流エンジニアライフ [slideshare id=3645164&doc=random-100405232603-phpapp01] ・佐々木達也/「Hadoopの活用事例 in クックパッド」 [slideshare id=3636819&doc=20100402hadoop-100404223254-phpapp01] ・
OUTDATED: Machine Learning (CS 5350/CS 6350) - Fall 2009
cs5350@list.eng.utah.edu -- PLEASE subscribe (but don't post)! teach-cs5350@list.eng.utah.edu -- PLEASE post (by don't subscribe)! RSS feed Machine learning is all about finding patterns in data. The whole idea is to replace the "human writing code" with a "human supplying data" and then let the system figure out what it is that the person wants to do by looking at the examples. The most central
abeautifulwww.com - Visualization Data Mining programming Data art machine learning web programming infographics APIs リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Announcing our Linux.com Store T-shirt Design Finalists! | Linux.com
Home NewsSoftwareApplications Multimedia Linux Kernel Development Developer HardwareDesktops Laptops Peripherals Servers Drivers Embedded / MobileMobile Linux Netbooks MIDs Phones Business of Open SourceGovernance Legal Enterprise ComputingEnterprise Business Cloud Computing Clustering Linux Storage High Performance Networking Systems Management Case Studies Featured Blogs RSS Feeds Technology Fea
RubyとCassandraの連携のサンプルプログラム - プログラマでありたい
先日インストールしたCassandraを、Rubyから使ってみようと思います。 gemで用意されているのかなと期待したら、やっぱりありました。幸せ インストール # gem install cassandra 中略 Installing RDoc documentation for thrift_client-0.4.2... Installing RDoc documentation for rake-0.8.7... Installing RDoc documentation for simple_uuid-0.1.1... Installing RDoc documentation for cassandra-0.8.2... サンプルコード require 'rubygems' require 'cassandra' include Cassandra::Constants key
GraphvizR
Download Rdoc (0.5.0) SVN gem What’s this? GraphvizR is graphviz adapter for Ruby, and it can: generate a graphviz dot file, generate an image file by means of utilizing graphviz, interprete rdot file and generate an image file, and, generate a graph image file in rails application as a rails plugin. How to install gem install graphviz_r Additionaly, if you want to use this in rails: script/plugin
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
Cassandra atomic reads/writes within a single ColumnFamily
Cassandra's front page http://incubator.apache.org/cassandra/ states that: Cassandra guarantees reads and writes to be atomic within a single ColumnFamily. What exactly does that mean? It sounds like it means that batch_insert() and batch_mutate() of two different rows, in the same CF is atomic and if the operation on one of the rows fails, the whole operation fails. but it sounds too good to be t
GAE/Pythonテスト環境に欲しいもの - たごもりすメモ
いまPython on GAEのテスト環境の貧弱さをなんとかするべく、あれこれやってる。とにかくテスト環境がショボいんだよね。 App Engine/Pythonはローカルのデータストアのstubの出来が良くないので、ローカルとプロダクションで動きが違うことが結構あり、ローカルでテストできることが限られてしまいます。Javaの方は、Statisticsの機能を除いては、ローカルとプロダクションの動きはほとんど同じです。stubレベルでは、ローカルでプロダクションと違う部分もあったりしますが、Slim3でおなじになるように実装してたりするので、ほとんど違いがないのです。 プロが仕事で使う場合にApp Engineでどの言語を選べばいいのか - ひがやすを blog ぐうの音も出ない！ 事実だ！ じゃ、プロならJavaを使った方がいいかというとそんなこともありません。好きで慣れている方を使った
第1回 NoSQL、そしてCassandraとは | gihyo.jp
NoSQLミドルウェアの特徴をもう少し細かく挙げてみます。分量の都合もあり個別には触れませんが、それぞれのNoSQLミドルウェアで差別化部分に関してはかなり詳細に説明がされていますので、ぜひそちらを参照してみてください。 高速に動作する リレーションモデルではないデータモデル スケールアウト型アーキテクチャ コモディティサーバによって構築される スキーマフリー SPOF（単一故障点）を持たない 自動的に複数台へレプリケーションする イベンチュアルコンシステンシまたは一貫性の選択が可能 SQLのような強力なクエリ言語を持たず、シンプルな問い合わせしかできない Cassandraとは何か NoSQLミドルウェアの筆頭といえばGoogle BigTableやAmazon Dynamoですが、オープンソースの世界でもいろいろなものが出てきています。その中でも最近特に注目を集めているのが、Apach
EC2上での分散処理(Hadoop)をローカルから実行 - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年12月23日20:37 Hadoop EC2上での分散処理(Hadoop)をローカルから実行 以前の記事で、Cloudera を使うことで hadoop-ec2 というコマンドが使えるようになって、Hadoop クラスタを起動したり、クラスタの中身を見たりできるということを紹介しました。今日は hadoop-ec2 で利用できるその他のコマンドを紹介します〜。 ・ master 上でコマンドを実行したいとき hadoop-ec2 exec [cluster] "実行したいコマンド" このように指定すると "実行したいコマンド" が master 上で実行されます。このコマンドとして Hadoop の実行コマンドを渡してあげれば、ローカルの環境から EC2 上で分散処理を実行することが可能です。 ・ master 上にファイルをコピーしたいとき hadoop-ec2 push [c
Cloudera を使って CentOS に Hadoop on EC2 な環境を整える 第二回 - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年11月16日00:54 Hadoop Cloudera を使って CentOS に Hadoop on EC2 な環境を整える 第二回 前回の続きです。前回はローカルに Hadoop をインストールするところまで行ったので、今回は EC2 上で Hadoop を使える環境まで構築してみます。 python スクリプトの hadoop-ec2 を手に入れる まずは指示に従い、cloudera-for-hadoop-on-ec2-py-0.3.0-beta.tar.gz をダウンロードし、適当な場所に解凍後、パスを通します。この中に hadoop-ec2 という python スクリプトがあり、これを利用して EC2 上にインスタンスを起動したりします。このように利用します。 # 現在起動しているインスタンスの一覧を見る hadoop-ec2 list # [cluster] の m
Cloudera を使って CentOS に Hadoop on EC2 な環境を整える 第一回 - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年11月15日00:03 Hadoop Cloudera を使って CentOS に Hadoop on EC2 な環境を整える 第一回 Hadoop のことをもっと知るために、Cloudera を使って Hadoop 環境を整えてみようと思います。Cloudera のインストールガイド を参考に進めてみます。OS は CentOS 5.2 です。 Cloudera's Distribution for Hadoop (CDH) まず、yum のリポジトリに cloudera-stable.repos と cloudera-testing.repos を追加します。これで yum から Hadoop のインストールが出来るようになります。便利ですね〜。 ちなみに、cloudera-stable の方は Hadoop-0.18 が、cloudera-testing の方は Hadoo
潜在意味解析 - Wikipedia
潜在意味解析（せんざいいみかいせき、英: Latent Semantic Analysis、略称: LSA）は、ベクトル空間モデルを利用した自然言語処理の技法の1つで、文書群とそこに含まれる用語群について、それらに関連した概念の集合を生成することで、その関係を分析する技術である。潜在的意味解析とも。 1988年、アメリカ合衆国でLSAの特許が取得されている[1]。情報検索の分野では、潜在的意味索引または潜在意味インデックス（英: Latent Semantic Indexing, LSI）とも呼ばれている。 出現行列[編集] LSA では、各文書における用語の出現を表した文書-単語マトリクスが使われる。これは各行が各単語に対応し、各列が各文書に対応した疎行列である。この行列の各成分の重み付けには tf-idf (term frequency–inverse document frequen
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む | gihyo.jp
前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
第28回 RubyとHadoopで分散処理 Hadoop Streamingの仕組み | gihyo.jp
はじめに Hadoopとは、Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので、分散処理のフレームワークです。Hadoopを使うと、1台のサーバでは時間の掛かるような処理を、複数のサーバで分散処理させることができます。「処理を割り振ったサーバが壊れた場合どうするか」などの耐障害性の問題もHadoopが管理してくれるため、利用者は処理のアルゴリズムのみに集中することができるのです。素晴らしいですね。最近ではYahoo!やはてななど、様々な企業でも利用されるようになってきています。 Hadoop導入の背景 筆者はクックパッド株式会社に勤めています。open('http://cookpad.com'); return false;">クックパッドというサイトが有名だと思いますが、他にも携帯版クックパッドであるopen('http://m.cookpad.co
Hadoopの罠 - 今動いてるジョブって本当にそれだけですか？ - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年02月04日13:18 Hadoop Hadoopの罠 - 今動いてるジョブって本当にそれだけですか？ こんにちは (*･ω･)ﾉ 日々 Hadoop の扱いに悪戦苦闘しているささたつです。 今日は Hadoop を扱う上でのちょっとした注意点です。あ、僕は Hadoop Streaming を使っているのでひょっとすると Hadoop Streaming 固有の問題かもしれません。 例えば、Hadoop を使って何かしらのジョブを行ったとします。でも何か問題があって処理を途中で止めることってありますよね？そのような場合は Ctrl + C で終了させると思いますがここで注意が必要です。 あなたが殺したと思っていたジョブは実は裏で生きてます。 そしてマシンのリソースを食ってます ((((；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ " これは困ります（ほんとに！！）。 今現在、Hado
Hadoop プログラムの単純なデバッグ方法について - takahi-iの日記
最近 Hadoop ライブラリを用いて書かれたプログラムをデバッグする方法について調べてました。標準エラー出力を使用する方法と Context オブジェクトを利用する方法が簡単なようです。 標準エラー出力に Hadoop プログラムから出力すると、プロンプトには出力されないのですが、とあるログファイルには出力されます。また、オブジェクト Context (昔は Reporter オブジェクトを使用していましたが 0.2 以降は Context を使用する方が良いらしいです) を利用して、別の場所に出力することもできます。 以下デバッグ用の文を含む単語カウントプログラムを書きました。このプログラムは通常の単語カウントプログラムなのですが、'invalid' という単語の場合だけはカウントを行わず、不正な入力として警告します (人工的なサンプルで申し訳ございません)。また入力ファイルに入ってい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
SproutCore: HTML5 アプリケーションフレームワーク
Your Gateway to Visual Inspiration
siswapintar.com domain is for sale | Buy with Epik.com