Apache Spark チュートリアル2015-4-28に東北大学 乾・岡崎研究室でおこなったチュートリアルの資料です。 研究室にはHadoopクラスタ（CDH5.3）があります。実験や実験の前処理といったタスクでそのクラスタを利用するためのチュートリアル、という前提です。 (追記)PMIの計算はもっと実行効率がいい手順があります。という説明を入れ忘れてました。 (追記)PMI計算でIntと書いてある部分は全部Longの間違いでした。
ZooKeeperによる分散システム管理
ZooKeeperは、Apacheソフトウェア財団のオープンソースプロジェクトの1つで、大規模分散システムの協調動作を実現するツール。分散システムが協調動作するために必要なコア機能を提供することで、開発者の負荷を大幅に低減します。HiveやHadoopの新しいスケジューラであるYARNなど、多くのプロジェクト、企業、組織で利用されつつあります。分散システムの協調動作に頭を悩ませていた多くの開発者にとって福音となる、ZooKeeperを使った効果的な分散システムの管理手法、スマートな問題解決法を提示します。 まえがき I部 ZooKeeperのコンセプトと基本 1章 はじめに 1.1 ZooKeeperの使命 1.1.1 これまでZooKeeperなしでどうやってきたのか？ 1.1.2 ZooKeeperがしてくれないこと 1.1.3 Apacheプロジェクト 1.1.4 ZooKeeper
TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る
大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング（Doug Cutting）さんが「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」において「Apache Hadoop: A New Paradigm for Data Processing」という講演をしていたので聞きに行ってきました。 満員の客席。 皆様を前にして講演できることを大変光栄に思っております。「Apache Hadoop」について皆様に伝えていきますが、これはまさにデータ処理の新たなるパラダイムを提供するものではないかと私は思っております。 まずは簡単に自己紹介をさせていただきましょう。私は25年に渡ってシリコンバレーで仕
さくらVPSを使って便利な開発環境を構築する - UNIX的なアレ
開発環境は難しい 最適な開発環境をつくるのっていつも難しいなーと思います。サーバ側に入って開発する人もいれば、クライアント側のIDEあげてる人もいるわけで人それぞれです。 その人に特化した開発環境をつくるだけであればそこまで難しい話ではありませんが、チームでの開発となるとそのあたりをうまく解消するのがだんだん難しくなってきます。また、新しくサブドメインが増えたりなど開発環境も常にアップデートし続ける必要があります。 このあたりを、サーバエンジニアが手動でやってると死にます。悪しきDev/Opsの対立関係がうまれてしまうので、なんとかしないといけない。 というわけで、オフィス移転をきっかけに開発環境を作りなおしてみました。以下の3点からさくらVPSを選びました。 コストを抑えたい 最近さくらVPSに東京リージョンができた ローカルネットワーク接続できるようになった 新規開発環境をつくる上での
Windowsに不勉強なクソマカーがWindowsマスターの皆様からお叱りを受けた話 - uzullaがブログ
Windowsマスターの皆様、申し訳ございませんでした！(挨拶) 一つ前のエントリ( http://uzulla.hateblo.jp/entry/2013/08/12/013207 )、まったく私の不勉強を世間に晒すエントリなのは当人も理解しておりましたが、世間の風は2013も下期にはいったというのにXPばかりつかってきた糞マカーには予想よりもつらいものでした！ アイッティー業界、ドッグイヤーなのに、XPとかでがんばってきた無精な人間は殺すべし、慈悲はない、インガオホー！ そして、こちらのほうが重要だと理解しておりますが、「とりあえずなんかうまくうごいてなかったらゲイツをなぐるべし」という糞マカーの内輪の感覚を世の中に気軽に発信したばかりに、ギガ盛り牛丼つくったり、冷凍庫の中にはいった写真をツイットするような目で見られる事態になってしまいました。 自分の想像力の欠如、そしてインターネッツ
mod_ktai/YUMEMI Labs [ゆめみラボ]
mod_ktai （もっど・けーたい） 「mod_ktai」は、弊社が開発したApacheモジュールです。 Apache上で動くアプリケーションに対して、開発言語を問わず携帯サイト作成のための様々な機能を提供することができます。 最新情報 2008/12/26 mod_ktai_emojiマニュアルに追記 & 「よくある質問について」ページを新規追加 2008/10/29 mod_ktai第二弾公開(mod_ktai_image) & バージョンアップ & 対応ＯＳ、配布パッケージ追加 2008/07/16 mod_ktai第一弾公開(mod_ktai_info、mod_ktai_emoji) 動作環境 mod_ktaiは現在以下の環境で動作します。 OS：CentOS 5、RedHat Enterprise 5 ミドルウェア：Apache 2.2以上、Boost 1.3
GNU awk (gawk) を用いた Apache ログ解析方法
OSC・シェルのプロが語る『make を使ったデータ処理。』 【make 教】 - OSC2015 Tokyo/Spring 発表資料
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Maven - Welcome to Maven
Apache Subversion to Migrate to Git