Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！ そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている（使いたいと思っている）方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
選んだのは「内製回帰」の道――ひとり情シスの挑戦 － ＠IT自分戦略研究所
ITコスト削減によるユーザー企業の「内製化」の波が生まれている。SIerに外注するのではなく、自社のシステムを自ら作り出す。そうした「内製化」にこそビジネスとシステムの未来があると信じ、SIerからユーザー企業へと転身したエンジニアが、「内製化の可能性」と「やりがい」について語る。 第2回｜1 2｜次のページ 「GoTheDistance」というブログを運営している湯本と申します。簡単に自己紹介させていただきます。 2003年に、とあるユーザー系大手システムインテグレータ（SIer）に新卒で入社し、プログラマ、開発リーダー、プロジェクトマネージャ（PM）、コンサルタントというキャリアを歩んできました。 振り返ってみると、とても恵まれたキャリアを歩ませていただいていたと感じます。ですが、さまざまなユーザー企業さまのお話をお伺いしているうちに、システム開発は「内製」に向かうべきである、と感じる
PageRank In PHP
Google was a better search engine than it’s predecessors for a number of reasons, but probably the most well known one is PageRank, the algorithm for measuring the importance of a page based on what links to it. Though not necessarily that useful on its own, this kind of link analysis can be very helpful as part of a general information retrieval system, or when looking at any kind of network, suc
知らなかったらNGなWEBアプリケーション脆弱性一覧 : mwSoft blog
先日、AmebaなうがCSRFという非常にポピュラーな脆弱性を披露したかと思ったら、ここ数日はセブンネットショッピングでXSSの脆弱性と、ID推測による他ユーザの個人情報閲覧の問題が発生しているという噂が流れています。 ユーザの情報を預かっておきながら、基本的なセキュリティの対策もできていないというのは、銀行に例えるなら、お金を預けようとした時に「お金は預かります。ちゃんと保管します。でも警備はあまりしないので盗まれたらスイマセン」と言われるようなものだと思う。 警備に穴があったというのではなく、まともに警備してませんでした、というのはさすがにありえないことです。 そこで、野良WEBプログラマである私が知っている脆弱性を列挙してみた。 私はプログラマであってセキュリティの専門家ではないです。しかも今年の春辺りからずっと外向けのWEBプログラムは組んでません。 その人間が知っているものを並べ
アメーバでセキュリティ欠陥 スパム攻撃、プロフ消去相次ぐ
サイバーエージェント運営のブログサービスで、セキュリティの欠陥による被害が相次いでいる。新しいミニブログ「アメーバなう」にスパム感染が広がったほか、「アメーバブログ」でもプロフィールが消える被害が次々見つかった。なぜこんな初歩的な対策漏れがあったのか。 ツイッターのモノマネとして話題の「アメーバなう」が、最初からつまずいた。携帯電話版が始まった翌日の2009年12月9日、古典的なスパム感染が起きたのだ。 2005年4月のミクシィ被害と酷似 それは、「こんにちはこんにちは！！」という投稿を見て、記載のURLをクリックすると起きる現象だ。勝手に同じ投稿をさせられたうえ、「はまちや2」というユーザーを自動的にフォローしてしまうのだ。 ネットユーザーには見覚えのあるスパム投稿に違いない。それは、ミクシィで05年4月に広がった被害と似ているからだ。そのときは、「ぼくはまちちゃん！」という投稿だった。
理系クンが書くマニュアルが読みづらい理由：日経ビジネスオンライン
この人とは思考や行動、視点がまったく噛み合わない！ なぜだ？ という現象、どなたもご経験おありと思う。同様に、製品の仕様、販売の現場、サービスについて「いったいなんでまたこうなるんだ」という経験も然り。作り手と買い手のコミュニケーションのギャップはなぜ生まれるのか。それを解く鍵はどこにある？ ・・・という大テーマを、今回は極めてライトに考えてみたい。 お相手は『ワタシの夫は理系クン』を上梓した渡辺由美子さん。「自分が結婚した相手は、もしかして変わっているのでは・・・」という、ありがちといえばありがち（？）な悩みを、旦那さまの思考法を「理系クン」と名付け、解析し、コミュニケーション方法を編み出すまでを抱腹絶倒で描いた快作だ。 この本で展開されるテーマを、自らも「理系クン」だと自覚する福地健太郎さん(科学技術振興機構 研究員)、そして「名乗れるほどハイレベルじゃないけど、他人事とは思えない」と
An open-source fulltext search engine and column store
About Groonga Groonga is an open-source fulltext search engine and column store. It lets you write high-performance applications that requires fulltext search. Characteristic The latest release 14.0.3 is the latest release. It had been released at 2024-05-09. Install Source The latest posts Groonga 14.0.3 has been released (2024-05-09) Groonga 14.0.2 has been released (2024-03-29) Groonga 14.0.1 h
2NT -無料ブログ 無料ホームページ 等-
2NTは無料ブログ、無料ホームページ等、楽しいWEB Lifeをお届けするポータルサイトです。
Rubyで自然順ソート - 2nd life (移転しました)
バカが征くを見て。そういや昔自然順ソート調べたなぁ。 http://sourcefrog.net/projects/natsort/ のnatcmp.rbつかってEnumerableに#nartsort #natsort! #natcasesort #natcasesort!組み込んだのが http://rails2u.com/tmp/lib/natsort.rb.txt で、こんな風な結果になる。 gorou[7]$ ruby -e 'require "natsort";p %w(2.txt 11.txt 1.txt).natsort' ["1.txt", "2.txt", "11.txt"] gorou[7]$ ruby -e 'require "natsort";p %w(a2.txt a11.txt a1.txt).natsort' ["a1.txt", "a2.txt", "a1
三次のミニスカートの女の子の画像をください！ - がぞ〜速報
2009年12月17日 三次のミニスカートの女の子の画像をください！ 1 名前：以下、名無しにかわりましてVIPがお送りします[] 投稿日：2009/12/16(水) 13:05:22.96 ID:hq7qRUxN0 お願いします 1 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 おすすめ 「3次元（人）」カテゴリの最新記事 三次のミニスカートの女の子の画像をください！ 胸チラ・ブラチラ画像をください！part3 胸チラ・ブラチラ画像をください！part2 胸チラ・ブラチラ画像をください！ 女の人のいい太もも画像ください！ エロいコスプレイヤーの画像ください。 「これマジかよ・・・」
【三次】触りたくなるふともも画像 part6 PINK速報
2NTは無料ブログ、無料ホームページ等、楽しいWEB Lifeをお届けするポータルサイトです。
MogileFSで構築する高速スケーラブルな分散ファイルシステム - builder by ZDNet Japan
本連載「オープンソースソフトウェアでクリエイターを支援するmoonlinx」の第1回「ウェブメディア「moonlinx」を支えるオープンソースソフトウェア」ではmoonlinxの概要およびシステム構成を、第2回の「openSUSEの管理ツール「YaST」で作業を効率化：moonlinxを支えるOSS」では使用OSであるopenSUSEについて簡単に説明しました。 今回は、moonlinxで取り扱うメディアファイル（画像、音楽、動画）の保管方法について説明したいと思います。 分散ファイルシステム「MogileFS」 moonlinxでは、各種メディアファイルの保管に、オープンソースの分散ファイルシステム「MogileFS」を利用しています。 分散ファイルシステムを用いることにより、ファイルシステムを構成するノード群の一部がダウンしても、データを失うことなくシステムとして機能し続け、かつ自動レ
日本最大級Railsサイトの裏側見せますvol.2〜クックパッド＆食べログ - d.hatena.zeg.la
行ってきました、ただのメモです 聞き違え等間違っているところは多々あると思います クックパッドインフラ キャパシティプランニング ユーザが快適に使えるために 分析 キャパシティを知る ユーザが快適に使えなくなる限界値を知る 限界値を知る 予測 ユーザが快適に使えなくなる限界値を知る 予測日を知る サーバ増設のスピードアップ OSインストールスピードアップ PXE Bootでネットブート boot用サーバにDHCP/tftp/Apacheが立っている kickstart.cfgをじ自動生成 http://bootsearver/deplyment/kickstart 動的生成されたkickstart.cfgを使ってKickstart ミドルウェアインストールのスピードアップ database.yml,my.cnf 以前はcapistranoで puppetを導入 サーバの状態管理ツール Ma
Clojure Weekly — Webrat with RSpec, no Cucumber
For the impatient: install webrat as from installation instructions and then add this section to your spec_helper.rb that lets you create webrat specs in spec/integration folder: module Spec::Rails::Exampleclass IntegrationExampleGroup < ActionController::IntegrationTestdef initialize(defined_description, options={}, &implementation) defined_description.instance_eval do def to_s self end end super
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
合宿所報告選
【７３枚】資料に使えそうな画像 カナ速