Apache Spark 0.8.0の新機能 - 夢とガラクタの集積場
こんにちは。 前回まででApache Spark & Streamingの概要がわかったので、 とりあえず実際の環境を構築してみよう・・・と思ったら、Apache Spark自体がバージョンアップしていました。 Spark0.8.0になりますね。 なので、とりあえずどんな機能が追加されたかは実際クラスタ組む前に確認しておこう・・・ というので更新内容が何か確認してみます。 更新で大きいものは８点。 1. Monitoring UI and Metricsの追加 SparkのUIにJobダッシュボードとMetricsメニューが追加され、 実行中のジョブや、実行段階の情報が見えるようになったそうです。 その他にもジョブの実行パーセンタイル統計や、GC発生数といった性能情報も見えるようになった模様。 加えて、ジョブ実行あたりのディスクの使用量増加といった情報もわかるそうです。 尚、こういった性能
第18回 AWS User Group – Japan 東京勉強会 に参加してきた #jawsug | DevelopersIO
第18回 AWS User Group - Japan 東京勉強会(一般枠) - JAWS-UG東京支部 | Doorkeeper 2013/10/04 第18回 AWS User Group - Japan 東京勉強会 #jawsug - Togetter この日で18回目の開催を数えるJAWS-UG 東京。今回はテーマを『DB縛り』とし、RDSやRedshift、Redis等興味深いテーマをぎっしり詰め込んだ内容となりました。発表者陣も超豪華。 開催会場は前回に引き続きフューチャーアーキテクト株式会社＠大崎。いやはや、こちらの会場は設備外観等含め、本当素晴らしいですね。 フューチャーさんいつもながらマジフューチャー #jawsug — ARAKI Yasuhiro (@ar1) October 4, 2013 今回も開催前にはDJが皿を回しておりました(＝曲を掛けておりました)。『あま
【mesos:2】Hadoop(CDH4.2.1)のmesos化 - Guutaraの日記
はじめに mesos/hadoop · GitHub を参考に、Hadoop (CDH4.2.1)を、mesos対応にする。 環境 物理サーバ ３台 (x86_64) Centos 6.4 (6.2から、yum updateで、バージョンアップ) Open JDK 6 CDH4.2.1 CDH 4.2.1 Documentation Archive 1台 namenode + second namenode + JobTracker + datanode 2台 datanode replica 1 インストール hadoop-mesos をBUILD する。*1 BUILD した,hadoop-mesos-x.x.x.jar を、Hadoopのライブラリに３台ともコピーする。*2 HDFS 上に、mesosを組み込んだjarを配置する。 mapred-site.xml を、書き換える。 /
はじめの言語の賞味期限 - Kato Kazuyoshi
ライブドアブログの PSGI 化の話 は良いはなしだと思う。一方で、私はあんまり Perl が好きじゃないので、10年にわたって生き続けた Perl アプリケーションが、次の10年にむけてアップをはじめているのは、ちょっとしたホラーでもある。 Twitter と Ruby と JVM ライブドアブログが、将来に向けて mod_perl から PSGI + Starlet にかえたように、将来に向けてプログラミング言語をかえる人達も存在する。最近の事例で有名なのは、Twitter の Ruby から JVM 言語群への移行だろう。 OSCON Java 2011 の Twitter: From Ruby on Rails to the JVM では、JVM への移行に至った理由として Ability to handle server workloads A real concurrency
Pythonで複数プロセスたちあげて結果を非同期で処理する - Study08.net 対シンバシ殲滅用人型機動兵器
python で複数プロセス立ち上げてそれぞれのコマンドの結果を非同期に処理するのどうやったらいいんだろ— ねじめ (@drillbits) October 3, 2013 ていうのを見かけたので殺伐とした心を癒すためにやってみる心。 やりたい事 Pythonスクリプトから複数外部コマンドを実行 実行結果を非同期に処理する 割とお手軽にやりたい。 よしググる(クズやろう) asynchronous - How can I run an external command asynchronously from Python? - Stack Overflow あった。 試してみる それぞれ 1秒, 2秒, 3秒まってprintするようなスクリプトを3つ用意 # こんな感じ from time import sleep sleep(1) print "echo1" これを参考のまんま下記のよう
30秒でわかるオープンソースライセンスまとめ - kazuhoのメモ置き場
「よくわかるFOSSライセンスまとめなんてないよねー」と煽られたので３分で書く。 オープンソースライセンスは、以下の３種類に大別される。 代表的なライセンス 改変部分のソースコードの開示が必要 リンクして使う、他のソフトウェアのソースコード開示が必要 GPL (コピーレフト型) ○ ○ LGPL /MPL (準コピーレフト型) ○ × BSDL / MITL (非コピーレフト型) × × 自作のソフトウェアをオープンソースで公開する場合、 コピーレフト型にする場合は「GPLv2以上」 準コピーレフト型にする場合は「LGPL兼MPL」 とするのが無難。非コピーレフト型はMITLのほうがBSDLよりも明確だと言われることが多い（そしてどちらを選んでも問題ない）。 ※表の出典は OSS ライセンスの比較および利用動向ならびに係争に関する調査 より詳しく知りたい方へ： ライセンスの解釈については、
AWSの上限数とAWS Supportに泣きつく方法 - サーバーワークスエンジニアブログ
最近大分産のゆず茶に目覚めた小室です。大分熱い。 今回とある事情でAWSのリソースの上限数について対応する事があり、そこで出会ったAWS Supportの人達との涙無しでは語れない話をしたいと思います。 ※まずこの問題は上限緩和をもっと早く行なっていれば起こらなかった問題でした。なので皆さん、上限緩和は早めに行ないましょう※ 皆さんご存知の通り、AWSの各サービス・リソースには上限(Limit)という物が設置されていて、上限数を超える数のサービス・リソースを起動や利用する事は出来ません。 上限を緩和する為にはコンタクトフォームから申請をする必要があります。 さて風邪を引いたある日、とあるお客様の授業内容を考えていたら週末金曜日EC2インスタンスが60台以上（〜最高90台）必要な事を思い出した私は、慌てて上記フォームから申請しました。 が！フォームは申請を受けるだけで、申請すればすぐに上限数
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshiftの開発者がこれだけは知っておきたい10のTIPS / 第18回 AWS User Group - Japan
Redis on EC2