Hadoopを10分で試す（まとめ）
＊＊この記事の内容は若干古くなっています。まとめページもご覧下さい＊＊ Hadoopを使ってみたい！ 新しく何かを始めようと思った時、面倒だなぁと思うことは多いものです。書籍やブログをみて「これは役立ちそうだ」と思っても、ちょっと試すことにさえにも辿り着けず、頓挫しているものがTODOリストやPocket（旧Readitlater）に大量にあります。 ＃書いていて嫌な気持ちになってきた、、、 Hadoopはそんな面倒なものの一つかもしれません。書籍を読んで「よし、やってみるか」という強い決意を持ったすぐ後、 「試すにはマシンを買わないといけないのかなぁ」 「いや、EC2でいけそう。アカウントどうしようか」 「なんか仮想マシンでもできそうって書いてある」 という第一の壁があります。 運良く壁を乗り越えたあと、 「ソフトはどこからダウンロードすればいいだっけ？」 「コマンドラインでやるの？」
“vagrant up” の逆が “vagrant down” ではない理由
開発環境を自由に作って壊して管理して配布できる Vagrant が 大いに注目されてますね。 「Vagrant」は仮想環境をプログラミングするツール。同一環境をどこにでも、いくつでもすぐに作成可能。Vagrant meetup 2013 － Publickey up の反対が down じゃない さてこの Vagrant で仮想環境を起動するコマンドは vagrant up なので 終了するときは down だろうと思ったんだけど、違うんですねこれが。 vagrant down としても 「そんなコマンドないよ」という意味でヘルプが出ます。 理由を聞いてみた 先日、Vagrant 作者の @mitchellh さんと話す機会があったので 「vagrant up の反対が vagrand down じゃないのはなぜ？」 と聞いてみたら、その答えは It was. でした。 以前はそうだった、
【進撃の巨大データ】RealTimeLog集計を目的としたRedisの活用 - Y's note
Log集計の設計を再考 【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Yuta.Kikuchiの日記 人生を前向きに楽しむことを心に誓った@yutakikuchi_です。最近はこのブログで【進撃の巨大データ】というタイトルで何回かBigDataに関する記事を書いています。前回はLog集計用DBとシステム構成の美しい設計を考えるという題でInnoDB、InfiniDBを使ったLog集計のmerit/demerit、SystemPerformanceについて記述しました。それから時間をおいて再考し、InnoDBを使う場合のメリット/デメリットと注意事項が不足している事に気づいたのでここで追記します。更に集計の緊急度に合わせて使用するDBを変えます。リアルタイムではRedis、定期処理ではMysqlを使って集計することを試してみたいと思います。 Log集計方法のme
アジャイル開発に関係ありそうな日本語資料ベスト50
1位もリーンスタートアップネタ。わずか10枚の資料が1位ってのが熱い。 6位から50位まで こうやってみるといろいろあって面白いですねぇ。スクラムはもうだめぽよ!新しい開発手法『パワープレイ』をお姉さんが教えてあげちゃう!は自分の環境にあわせた感が素敵だし、AgileJapan2010 佐賀県庁でもできる！プロジェクトファシリテーションは、何回みても面白い熱い物語だし、「納品のない受託開発」にみるソフトウェア受託開発の未来は講演を2〜3回見ているけど、何回聞いても面白かった。 33729viewsUXのためのUIデザイン 31199viewsふつうの受託開発チームのつくりかた 28019viewsAgileJapan2010 基調講演：野中郁次郎先生による「実践知のリーダシップ～スクラムと知の場作り」 27941viewsProject Facilitation From Hiranabe
WEBアプリケーションのデバッグに使えるHTTPデバッグツール「Hack St」:phpspot開発日誌
Hack St. - Http debugging made easy WEBアプリケーションのデバッグに使えるHTTPデバッグツール「Hack St」 ブラウザ上で、GET、POST、PUT等のメソッドを選んでリクエストを投げ、リクエストヘッダ、返ってきたレスポンスヘッダとボディをカラーリングして表示できます。 同様のツールがあったりしますが、ブラウザ上で動いてお手軽に試せるという部分が結構便利です 結果をPermalinkで出力できるのでチームで不具合のあるURLをシェアしたりするような使い方もできます 関連エントリ 色々とカスタマイズが可能なツールチップ実装jQueryプラグイン「PowerTip」 高機能なHTML5お絵かきツールを実装できるjQueryプラグイン「jquery.deviantartmuro」 JavaScriptオフ、CSSをのみで動くツールチップライブラリ「hi
Ruby初級入門
Ruby初級入門 1. Ruby初級入門 @shokai 2013年7月16日(火) @masuilab 2. 私 •@shokai (しょうかい) •趣味：料理、glitch 3. Ruby2.0.0を インストールしよう 4. なぜMacに入ってるRuby じゃだめなの？ • 1.8.7は開発終了したから • 最近はライブラリ作ってる人もだいた い2.0用に作ってるから • 今は過渡期だからちょっと面倒だけど そのうち良くなるはず • 次のOSXには2.0.0が入ってるという 5. 苦行 Ruby2.0.0インストール • http://gyazz.com/masuilab/MacにRuby2.0.0インストール • App Store.appからXCodeインストール、XCodeの環 境設定からcommand line toolsもインストール • osx-gcc-installer
Gitがこわくて触れられなかったけど、このスライドで理解出来るようになったよGitサイトまとめ
触れるのがこわくてずっとGitを避けて来ました。ですが、使わなければならない状況に追い込まれたので初心者ながら少しずつコミットしたりしながらGitの使い方を学んでいたらGitってもしかして楽しいかも!!って思うようになり、もっとGitの事を学びたくて色々勉強出来る資料やサイトを集めていて情報がたまって来たので、ここでまとめていつでも見れるようにしたいと思います。 Gitの仕組みを優しく教えてくれるスライド 素敵なスライドがありましたのでご紹介させていただきます。 うん、見やすい!見やすいよー!! Gitを勉強出来るサイト サルでもわかるGit入門 サルでもわかるGit入門 世界一わかりやすく説明しているサイトです。僕でもわかりました。 Learn Git Branching Learn Git Branching ゲーム感覚で勉強したい時はこちら。このサイト自体がすごい 笑 Gitコマンド
最近のJavaScript開発まとめ
こんにちは、中川です。 ここ1・2年ですが、私の担当するプロジェクトでは、 PHPよりもJavaScriptの開発が多い状態が続いております。 JSのプロジェクトを重ねるにつれ、開発環境も段々と整理されてきましたので、 一旦、最近のJS開発で利用しているライブラリやツールなどをまとめてみました。 フレームワーク ●Backbone.js http://backbonejs.org/ JavaScriptのMVCフレームワーク。 何も使わない(もしくは我流)よりは、これを使って欲しいと思えるフレームワークです。 利用者が多く日本語情報も豊富にあるのと、フレームワーク自体が1500行程度と軽量なため、学習コストを低く抑えることができます。 ●AngularJS http://angularjs.org/ データバインディングを備えたフレームワーク。 高機能なテンプレートや、DIの仕組み、ルーテ
chefの中身読んで、外部からrun_listを利用する · さよならインターネット
July 17, 2013 run_listを渡してるところを探した。 といってもほとんど@soh335が教えてくれた。さすが一流エンジニアだ。 /chef/lib/chef/run_list.rb def expansion_for_data_source(environment, data_source, opts={}) case data_source.to_s when 'disk' RunListExpansionFromDisk.new(environment, @run_list_items) when 'server' RunListExpansionFromAPI.new(environment, @run_list_items, opts[:rest]) end end ここが怪しかった。 /chef/spec/unit/run_list_spec.rb ここ見たら
AWS・vSphere監視対応Zabbixプラグイン「HyClops for Zabbix」OSS公開 - Tech-Sketch
2013年７月12日、オープンソースの統合監視ツールである「 Zabbix (開発元：Zabbix SIA)」のハイブリッドクラウド環境向け拡張ツール「 HyClops for Zabbix 」をオープンソースとして公開しました。 私たちはOSSを活用して運用を最適化することを目的として活動しています。その活動の中で非常に機能が豊富で自由度の高いZabbixに着目してきました。 仮想化・クラウド化が進むことで、環境を入手することが非常に容易になる一方で、これまで以上に大量の台数のマシンを扱わなければならなかったり、より煩雑な管理を実施しなければならないなど運用面では多くの課題が生じています。 このような課題に対して、Zabbixを最大限に活用し最適な運用システムを実現できるよう取り組んできました。 その成果として HyClops for Zabbix をこの度公開することになりました。
すごいぜChef！イカスぜEngine Yard！ - サーバーワークスエンジニアブログ
こんにちは、サービス開発グループの千葉(@kachina_t)です。 現在、Elastic BeanstalkとEngine Yardの検証を実施しています。 今回は、Engine Yard にRailsアプリをデプロイしてみたので 備忘録がてら投稿したいと思います。 Engine Yardの紹介と、他PaaSとの比較についてはHerokuとEngine YardとElastic Beanstalk をご覧ください。 まず、弊社のサービスのCloudworksは、現在Herokuで稼働しています。 私達は、現在CloudworksDE(Dedicated Edition)なるサービスを開発しています。 これは、Cloudworksがお客さまのVPC上で動作する専有版であり 既存の機能に加えて、企業でのAWS利用にて求められる 組織での利用に配慮した機能拡張や、ELB対応等の機能拡張をおこな
EMC Data Science and Big Data Analytics Training の感想 - #garagekidztweetz
ツイート12/10-14 の 5 日間、 EMC さんの "Data Science and Big Data Analytics Training" に参加してきましたので、概要の紹介と受講したわたしの感想を共有してみたいと思います。 （テキストの内容等は、許可なく転載できないので、あくまで参加してきた感想に絞っています。これから受けるかどうか迷っている方の参考になれば幸いです。） ➤ トレーニング概要の紹介 このトレーニングは5 日間でビッグ・データおよびその他の分析プロジェクトに参加して効果を上げられるようになるための基礎レベルの知識を習得するものです。 ただ基礎レベルとは言ってもカバーしている内容は以下の通り、かなりのボリュームになっているので、大変タフなトレーニングでした。 Module1: ビッグ・データ分析の概要 ビッグ・データの概要 / 分析の実践状況 / データ・サイエン
Cloudera 新製品紹介セミナーに行ってきたよ - #garagekidztweetz
ツイート例によって社外のセミナー（今日は「Cloudera 新製品紹介セミナー」）に参加してきましたので、ブログを書いておこうと思います。 所感などはのちほど追記することとして、まずはメモを取り急ぎ、公開しておこうと思います。 まず、セミナーの概要としては以下のようなものでした。 日程：2013年4月19日（金）18:30〜21:00 会場：コンベンションルーム AP八重洲通り 12F受付 http://www.ap-tokyoyaesu.com/info/access.html タイトル：エンタープライズクリティカル機能を充実させる「Cloudera 新製品紹介セミナー」 参加費：無料 アジェンダ 18:15 受付開始 18:30 開会・ご挨拶 代表取締役社長 ジュセッペ小林氏 18:45 「Cloudera 新製品」のご紹介 プロダクトマネージャー Jairam Ranganathan
「業務システムにも、クラウドを」をテーマにしたノーチラスのクラウドサービス紹介セミナーに行って来ました - #garagekidztweetz
ツイート 今日はノーチラス・テクノロジーズ主催の「業務システムにも、クラウドを」をテーマにしたノーチラスのクラウドサービス紹介セミナーに行って来ました。 ノーチラス・テクノロジーズとして主催するセミナーは実は初めてだったらしいです。 Cloud で基幹システムを使うというのはまだまだ制限がある中で、先駆者としてノーチラス・テクノロジーズが手がけた事例の紹介とノーチラス・テクノロジーズの新製品 Node0 シリーズの説明が行われました。 アジェンダは以下のようになっていました。 15:00〜15:10 開会の挨拶 アマゾン データ サービス ジャパン株式会社 パートナ・アライアンス本部 本部長 今野 芳弘氏 15:10〜15:50 西鉄ストア様の本部基幹システム移行事例 〜基幹システムの本格的なクラウド移行の裏側〜 代表取締役社長 神林 飛志氏 15:50〜16:30 アンデルセンサービス様
会場の後ろでマサカリを振り回しているエバンジェリストがいた「 HDFS HA セミナー」に行ってきました - #garagekidztweetz
ツイート今日は、Hadoopを高可用化「HDFS HAセミナー」のご案内 on Zusaar に参加してきました。と、いうわけでいつものとおりブログを書いておこうと思います。マサカリを振り回しているエバンジェリストがいたｗ勉強会でしたが、個人的には CDH4 の運用経験がなかったので大変勉強になった会でした。 アジェンダは以下のとおりで、 【アジェンダ】 18:15 受付開始 18:30 開会・ご挨拶 18:35「HDFSのHAアークテクチャー」 Cloudera株式会社 カスタマーオペレーションズエンジニア 小林大輔氏 19:45「NameNodeHAの導入背景と運用状況」株式会社サイバーエージェント CAMP事業部 システムグループ 上原 誠氏 20:15 Q&A 20:30 閉会 では、まず所感から 個人的にはもともと CDH3 なユーザだとしたら CDH4 にしなければならない要件
Redshift の話を聞きに「AWSのビッグデータサービスを使いこなせ！」セミナーに行ってきた - #garagekidztweetz
ツイートAbell 2218 / NASAblueshift先日の AWS Summit Tokyo 2013 では（あくまで個人的には）得るものが少なかったので、 Redshift についてもうすこし話を聞いてみたくて、今日は「AWSのビッグデータサービスを使いこなせ！」というセミナーに行って来ました。 というわけで、ということもないですが、わたしがとってきたメモを残しておこうと思います。 ※後ほど、少し追記等の更新をするつもりでいます。 短いですが、最初に所感を書くと、AWS が提供する BigData 関連プロダクト（ EMR, DynamoDB, そして Redshift ）を一挙に聞け、各プロダクトをどのように使い分けるべきなのか理解が進んだという意味で、とても有意義なセミナーでした。 ※今日の資料は当日のアンケートに資料送付希望と回答することで後日もらえるらしいので、改めて資料
＠ITイベントカレンダー
平素よりイベントカレンダー＋ログをご利用いただき、誠にありがとうございます。 イベントカレンダー＋ログは「IT・製造業・ビジネス関係のイベント（セミナー・展示会・勉強会・コンテスト・Webイベントなど）を開催する企業・コミュニティが登録したイベント情報のポータルサイト」として約7年間運営をしてきました。これまでサービスを続けることができたのは、イベントカレンダー＋ログのコンセプトに共感をいただき、適切なイベント情報をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、イベント情報の入手方法の多様化やイベント紹介サービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年6月30日（火）15:00をもちましてイベントカレンダー＋ログのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知ら
PhantomJS + QUnit (with qunit-tap.js) + prove を使ってJavaScript のテストをTAP で回す - その手の平は尻もつかめるさ
QUnit とTAP を用いた JavaScript のテスト環境構築の話です。 前提として、QUnit でテストを実行出来る環境が構築できていることとします。 QUnit の実行のやり方等は以下のエントリが詳しくてマジ最高なので、ご参照下さい。 QUnitの基本的な使い方 - Block Rockin’ Codes さて、今回例として扱うディレクトリの構成としてはこんな感じです。 . ├── lib │ ├── qunit.css │ └── qunit.js ├── main.js ├── test.html └── test.js main.js: テストの対象となる JavaScript ファイル test.html: テストの結果を表示するための html ファイル test.js: JavaScript のテストコード lib以下: QUnit 本体 この段階でtest.htm
DevOpsをエンタープライズへ導入する際のハードルについて。SIerはDevOpsできるのか？ ビジネスゴールはどう設定するのか？
DevOpsをエンタープライズへ導入する際のハードルについて。SIerはDevOpsできるのか？ ビジネスゴールはどう設定するのか？ DevOpsについてPublickeyではじめて書いたのは2011年の記事「開発と運用の新しい関係、「DevOps」とは何か？」でした。2年前ですね。 もともとFlickrやFacebookといったオンラインサービス系の企業が発端となったDevOpsのムーブメントですが、最近ではエンタープライズ系の開発と運用においてもDevOpsの考えを取り入れていこうという動きが目立っています。しかし、DevOpsをエンタープライズに取り入れるにはいくつかのハードルがあるように思います。 その話をする前に、手短にDevOpsの現状についてまとめておきましょう。 DevOpsはムーブメントなので方法論やツールの規定はない DevOpsは、つねに新機能や機能改善といったシステ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blog.ik.am/entries/185
DynamoDB活用事例 株式会社マイネット