Hive, Hadoop and Facebook Life after reading Startup
下記のプレゼン資料によると、Facebookでは、Hadoop上でHiveを動かし、データーベースのような、データへのアクセスビリティーを実現している。Hadoop File Systemは、KeyとＶａｌｕｅによる、Ｈａｓｈ/Dictionaryタイプのファイルシステムなので、データベースのようなデータへのアクセスビリティーがない。しかし、Hiveによりリレーショナル・データベースのようなアクセスビリティーを開発者に提供できる。これから、Hive – Hadoopなどを利用した、分散環境上でのデーターベースを利用するケースが増えてくるのだろう。
Hadoopの 0.18.0には fuse-dfsが含まれている - dandaso備忘録
というより、元々あったのだが、 0.18.0からは contrib に含まれるようになった。これを使うと、Hadoopの分散ファイルシステムである dfs に普通に読み書きしたりできる。今までは基本的にJavaのbyteStreamで読み出さなければならなかった。基本的には hadoop/src/contrib/fuse-dfs/README を見ながらやる。 fuse が入っているか確かめて無かったら入れる lsmod | grep fuse fuse 47124 0 antでHadoopをリビルドする cd hadoop_root # fuse-dfs の READMEの通りではできなかった # make でエラーが出たら jni.h や fuse-devel にinclude pathを通す ant compile-contrib -Dcompile.c++=1 -Dlibhdfs=
Hypertable のリード開発者が Hadoop と分散データベースを語る
最近、データベース関連の話題が盛り上がっている。IBM はこのほど(source)、Amazon EC2 上で動作するクラウドエディションをサポートする EnterpriseDB (source)に出資したし、Amazon は去年の終わりごろに独自のクラウドデータベースをリリースした。Google の BigTable(source) も、オープンソースではないにもかかわらず、コミュニティによる学習や研究の対象となっている。このような流れの中(source)、ふたつのオープンソースプロジェクト HBase(source) と Hypertable (source)が、 BigTable にインスパイアされたスケーラブルなデータベースを実装するために Map/Reduce プラットフォームである Hadoop (source)を活用している。InfoQ は Hypertable 産みの親で、
jQuery examples
jQuery examples # example update star comment link 1 curvyCorners 20080123 3 角丸 curvyCorners の jQuery版 * 3 tabs-simple 20080123 4 最もシンプルなタブ * 4 jdNewsScroll 20080123 4 リストをスクロール表示 * 5 columnizeList 20080123 4 list を table のように表示 * 6 toggleElements 20080123 4 任意の要素を開閉 * 7 styleswitch 20080123 4 style の切り替え * 8 tooltip 20080123 4 シンプル * 9 autogrow 20080123 4 textarea の高さを自動調整 * 10 lightbox 20080123
応募者のアイデアをパクる企業たち - カレーなる辛口Javaな加齢日記
http://www.222.co.jp/netnews/article.aspx?asn=34805 「実は、あの案件ってフェイクだったようです。」 フェイク？ 「つまり、嘘なんです。実際誰も採用されてません。どうやら、レポート収集が目的だったみたいです。」 営業さんの話を聞いてみるとなんとも腹立たしい事実がわかった。 その秋葉原にある会社は割りと最近できた会社。会社のメンバーも若手が多く、プログラマーとしてのスキルはそれなりにあるが、システム・エンジニアとしてのスキルはあまりない。今までは、システム・エンジニアが設計した設計書に基づいてプログラミングをしていたのだ。そこで、その足りない部分を社外から求めようとしたのだが、その分、売上が減るのが嫌だったらしい。 そこで考え付いたのが、嘘の求人。ここで、自分達に足りないスキルをレポートという形で収集してやろうと考えたのだ。 もちろん、そんな
グラフ描画用のjQueryプラグイン集:phpspot開発日誌
6 jQuery Chart Plugins For Your App | Steve Reynolds Blog グラフ描画用のjQueryプラグイン集が紹介されていました。 あまり知られていないものも結構あるみたいです。 Google Charts Plugin 描画はGoogle Chart API に任せて、その描画を用意にするためのインタフェースを提供するライブラリ jQuery Chart 0.21 JSでの描画機能をもったグラフライブラリ。棒・ライン・エリアのグラフを選んで描画できる TufteGraph シンプルでprettyなグラフを描画するライブラリ 全部見る グラフ描画ライブラリの基本としても使われるjQueryってすごいなぁと思いますね。 関連エントリ ナビゲーションのUIはこれで完璧かもなjQueryプラグイン集 便利なjQueryプラグインいろいろ 伸縮する全画
「やり遂げる」人のマニフェスト
The Cult of Done Manifesto | Bre Pettis (via BoingBoing) これは心に刻まないといけない！ Bre Pettis と Kio Stark という人が「Done」、つまり「やり遂げる」人のマニフェストなるものを書いているのを Boing Boing 経由で知りました。 行動して、失敗して、さらに行動して、常に何かを作り続けようとする。「準備してから完成品を作る」のではなく、最初から不完全であることを受け入れて、心に思い描いているイメージに向かって常ににじり寄っていく。仕事であれ、趣味であれ、何かを達成するにはこれしかないのではないでしょうか。 彼らのマニフェスト 13 ヶ条をえいやっと訳してみました。 物事には３つの状態がある：不明な状態か、アクションを起こしているか、完了しているか すべては「下書き」に過ぎないと受け入れる。そうしてこそ
iCal風の美しいカレンダーをページ上に配置可能なライブラリ:phpspot開発日誌
Create astonishing iCal-like calendars with jQuery | Stefano Verna iCal風の美しいカレンダーをページ上に配置可能なライブラリ 次のようなカレンダーをウェブ上に設置して自身のスケジュール公開なんかが出来ます。 動作デモはこちらでイベントのある日にカーソルを合わせるとアニメーションポップアップで内容を知ることが出来ます。 単にスケジュールを羅列するよりこうした仕組みで表示するようにしておけば、スマートかつオシャレな印象を与えられそうです。 関連エントリ とても洗練されたＵＩの日付ピッカー＆カレンダー集 超クールなカレンダー型日付入力補助用JSライブラリ
railsのクッキーとセッションについてまとめ - おもしろwebサービス開発日記
こないだ、よくわからんので今度調べると書いたところについて。 CSRFの対応について、rails使いが知っておくべきこと - おもしろWEBサービス開発日記 まずクッキーとセッションの違いから。自分の認識はこんな感じ クッキーもセッションも、ブラウザにデータを保存させる仕組み。 クッキーはデータをそのままブラウザに保存させる。 セッションはセッションIDをブラウザに保存させ、データはサーバ側が保持する。サーバはセッションIDをキーにしてデータを取り出す。 railsでクッキーを設定するには railsでは、クッキーは基本的に使わないと思ってますが、一応使い方をメモ。 cookies[:hoge] = { :value => "value", :expires => "30.days.from_now", :path => "/store", :domain => "www.example.
Rails 2.0の新しいセッション管理-CookieStore - iビジネス&テクノロジー
(注)この記事の動作確認環境はRC1です。 以前、Railsはデフォルトでtmp/sessionsにセッションファイルを作り続けるため、sessionsフォルダ内のメンテナンスが必要であるという記事を書きました(こちら)。Rails2.0ではデフォルトでCookieStoreという新しいセッション管理機構を用いるため、上記処理の必要がなくなります。 CookieStoreの特徴 クッキーで情報を持つため余分なIOがなくなり高速 セッションファイルの管理が不要 セッションデータが4kを越える場合はCookieOverflowエラー*1 デフォルト設定 environment.rbを確認すると、以下のような記述が追加されています。 config.action_controller.session = { :session_key => '_application_session', :secr
Ring
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
無題のドキュメント VIPで貼るために保存した画像を貼れよ
VIPで貼るために保存した画像を貼れよ 残業はほとんどありません（残業扱いにしません） 大正時代って何かいいよな･･･ 【タバスコ注意】やる夫がセクロスに挑戦するようです ２１巻 【完結】外資系企業に勤めてたけど今日クビになった【完結】 【転職】外資系企業クビになったｗｗｗｗ２【活動中】 【天国から】外資系企業に勤めてたけど今日クビになった【地獄へ】 この画像をもっとかっこよくしてくれ！！ 童貞って女の話になると黙るよなｗｗｗｗｗｗｗ この画像をみてくれええええええええええええええええええええええ ここだけ全員、突然気持ち悪い日記を書き出す女 【エロ注意】やる夫がセクロスに挑戦するようです ２０巻 この画像を100発抜ける画像にしてみてくれ 麻生「やなやつ！やなやつ！やなやつ！」 馬の耳に肉棒 この画像を現代風の美人にしてみてくれ 知的障害者の支援員だけど
[CSS]検索フォームを素敵なデザインするスタイルシート集
検索フォームを素敵なデザインにスタイリングする、クロスブラウザ対応のスタイルシートをCss Finestから紹介します。 <textarea name="code" class="html" cols="60" rows="5"> <form id=”searchform1″ method=”get” action=”" > <input class=”isearch1″ type=”text” name=”keywords” id=”keywords” /> <input class=”ibutton1″ type=”submit” value=”" /> </form> </textarea>
さらにMySQLを高速化する7つの方法
MySQLを高速化する10の方法という記事がとても好評だったようである。記事を読んで頂いた皆さん、ありがとう。 この記事に対する便乗（？）でWeb屋のネタ帳: PostgreSQLを高速化する16のポイントという記事を書いて頂いたようだが、そちらの方もかなり人気だったようである。他人が作ったソフトウェアに改良を加えるというフリーソフトウェアやオープンソースソフトウェアの精神も基本は便乗であるので、便乗については大いに賛成したいというかむしろ取り上げてくれてありがとう！！と思うわけであるが、ここでさらに俺はこう考える。 と。 Web屋のネタ帳さんの記事では16のポイントが紹介されているが、漢（オトコ）のコンピュータ道の記事は10の方法だったのであと6つ足りない。オトコは数で勝負！！というわけで今日はネタを振り絞ってさらに7つのMySQL高速化テクニックを紹介しよう。 1. インテルコンパイラ
1行が長いときに改行を入れる - 偏った言語信者の垂れ流し
仕事でWebデザイナーさんがもってきたHTMLに面白い書き方があったので紹介。 HTMLで文章の途中に改行を入れた場合、半角スペースと同様の空白が入ってしまうので、改行せずに長い行にしてしまいがち。 そこで以下のような方法で改行を入れる。 <p>あいうえおかきく＜!-- --＞けこさしすせそた＜!-- --＞ちつてと</p> HTMLのコメント中に改行を含ませている。これだと空白が入らないようだ。JavaScriptで文章を処理したりする場合は面倒だとかあるかもしれないけどね。 行単位のバージョン管理システムを使っているならこの方が楽じゃないかなー。 追記 はてな記法とHTMLのコメント記法が同じなのを忘れてた。
初恋の人からの手紙：新感覚で無料の恋愛診断ハニホー
tips_and_updates ハニホーってどんなもの？ ◆我々は、性格診断や恋愛診断・恋愛に関するコンテンツを提供しています。 ◆楽しい診断だけではなく、恋愛に役立つツール（アプローチ方法を提案する、別れるべきか判定する、等）を提供します。そして「恋愛に悩んだらハニホー」「恋愛といえばハニホー」を目指しています。 ◆名前と生年月日だけ入れて適当な結果を出すわけではありません。日々の恋愛や心理の研究から診断づくりをしています。なお、新しい診断ほど精度が高い傾向にあります。 ◆あなたの目が確かならば、他のサイト等とは段違いの内容であることがお分かりいただけると思います。 ◆とても健全な内容で安全です。 ◆前身となるサイトから26年運営されています（開始1996年）。 ◆ぜひ末永くお楽しみください。 tips_and_updates 診断はあてになるの？ このような隅のほうまで興味を持ってい
Hadoop環境の構築 - Story of Your Life and Others
手順 hadoopユーザーを管理者アカウントで追加, hadoopユーザーでログイン jdk, cygwin, openssh(cygwinパッケージ)のインストール cygwinの/binにパスを通す JAVA_HOMEの設定をする (こちらを参照) cygwin上で/etc/hostsの設定 UAC(ユーザーアクセス制御)を切る(opensshの設定ができないため) opensshの設定 公開鍵の作成 Hadoopアーカイブをダウンロード, 展開 (Hadoopディレクトリ)/conf/hadoop-site.xml, (Hadoopディレクトリ)/conf/hadoop-env.shの編集 Hadoop起動確認, 終了 他ホストでhadoopユーザー作成, hadoopユーザーの公開鍵作成, 公開鍵をWindows機へコピー, rsyncで他ホストにデプロイ 他ホストで(Hadoop
Orange: HadoopでMapReduceを書く
職場でI君からHadoopで(StreamではなくJavaを使って)MapReduceを書くのに適したチュートリアルが欲しいという話があったので、久しぶりにブログを書いてみることにした。 まぁ、Streamを利用すればもっと簡単に書けると思うのでJavaを利用する意味もあまりないと思う。 基本的にはプログラム自体にコメントをしつこいぐらいに書いたので、そちらを参照してもらいたいのだけれどもこのプログラムの目的を簡単に説明すると、cabochaという日本語構文解析プログラムの出力結果から単語の頻度を計算するものになっている。 cabochaの出力結果は下のようになっていて、 * 0 1D 0/1 0.00000000 ウィキペディア ウィキペディア ウィキペディア 名詞-一般 O に ニ に 助詞-格助詞-一般 O * 1 -1O 0/0 0.00000000 ようこそ ヨウコソ ようこそ
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
jQueryアニメ＆エフェクト合わせ技で画像を拡大
コンテンツの魅力を引き立て、十分に伝えるためには、時には“一歩引いた”Webデザインがいいケースもあります。たとえば、自身が手がけた仕事を紹介するデザイナーのポートフォリオサイトがそうかもしれません。ポートフォリオサイトそのものを作品と見なして、凝ったビジュアルデザインを作り込むこともできますが、過去に手かげた作品が豊富であれば、それらの個性を生かすシンプルなデザインもいいでしょう。 スイスのデザイナーユニット「Contreforme」のポートフォリオサイトは、後者のアプローチ――各々の作品を引き立たせるサイトデザイン――を採用しています。ただし、それだけではありません。このサイトが採っているもうひとつの手法が、アニメーション／エフェクトによる楽しい演出です。今回はこのサイトの技に注目してみます。 今回のお手本サイト：『Contreforme』 企業のCI策定やグラフィックデザイン、Web
画像をスムーズに拡大できるjQuery版FancyZoom:phpspot開発日誌
FancyZoom meet jQuery // Ordered List // We Make The Web Beautifully Simple 画像をスムーズに拡大できるjQuery版FancyZoom。 サムネイル画像をクリックするとそこからズームされる感じにアニメーションされるFancyZoomのjQuery版が出たみたい デモ jQueryな方にはよさそうですね。アニメーションがなめらかで、動作も軽いみたいです。 関連エントリ 画像を同一Window内でスムーズにズームしてくれるJSライブラリ色々
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
ASP.NET 文字セットの異なるページからPOSTを受付けるには
http://famspam.com/facebox/
Amazon.co.jp: インターフェイス指向設計 ―アジャイル手法によるオブジェクト指向設計の実践: Ken Pugh (著), 角谷信太郎(監訳) (翻訳), 児島修 (翻訳): 本
InfoQ: アーキテクチャスタイルとパターンについて見てみる
オープンソース情報データベースシステム(OSS iPedia) のコンテンツについて
IDEA * IDEA
IDEA * IDEA
Hadoop関連 - Story of Your Life and Others
Hadoop＋Hive検証環境を構築してみる
