データマイニングを仕事にする人の生態系 - dataminer.me
「データマイニングを仕事とする人＝データマイナー」はどういう人たちがいるかということについて ビックデータとかで世の中がバズってるけど「僕はデータマイニングをやってます！」といったときに適切にその人がやっている業務領域を把握している人ってかなり少ないと思う。 グリーで働いていたときもデータマイナーはどういった仕事をしていて、何をやっていて何ができるのかっていうことを理解していなくてミスコミュニケーションが生まれていたと思うのでちょっとその生態系についてまとめてみた。おそらく、データマイナーといわれる人は以下のタイプがいる： 研究開発をする人 統計学的に新しいイノベーションを起こせる人。Google のPageRankアルゴリズムを作りましたとか、NetfrixやAmazonのレコメンデーションエンジン作りましたとかいう人がこれにあたる。スキル的には統計学にかなり長けている必要があり、その他
［速報］オラクル、HadoopとNoSQLを搭載した専用マシン「Oracle Big Data Appliance」を発表。Oracle OpenWorld 2011
［速報］オラクル、HadoopとNoSQLを搭載した専用マシン「Oracle Big Data Appliance」を発表。Oracle OpenWorld 2011 米オラクルは10月4日（現地時間10月3日）、ビッグデータのための専用マシン「Oracle Big Data Appliance」を、サンフランシスコで開催中のOracle OpenWorld二日目の基調講演で発表しました。 キーバリュー型のデータストア「Oracle NoSQL Database」と「Apache Hadoop」および関連ソフトウェアを、データベースマシンとして開発されたOracle Exadataのハードウェアに載せたものです。 これまでビッグデータに対して特別なアナウンスをしてこなかったオラクルが、ビッグデータ、そしてコモディティサーバによる分散処理が主流になっているHadoopに対しても、ハードウェア
APCの無停電電源装置をはてなサーバーエンジニアが試してみた - はてなニュース
こんにちは、はてなのサーバーやネットワークの各種最適化、ハードウェア選定、運用保守などを手広く担当するエンジニアのid:halfrackこと村松雄介と申します。はてなのサービスを支えるサーバーのほとんどは、自家発電装置を備えたさくらインターネット様のデータセンターに設置しています。はてなの東京オフィスにも、開発用などの用途で一部のサーバーを設定しています。もし停止しても、ユーザーさまに直接ご迷惑をおかけすることはありません。とはいえ、それなりに大事な役割を担っていて、不意の停電で困ることもあります。「インテリジェントなUPS（無停電電源装置）を導入したいな」と思っていたそんな中！ APCの中容量UPSを試せるという願ったり叶ったりな話が舞い込んできました。 （※この記事は、株式会社エーピーシー･ジャパン提供によるPR記事です。） APC, a flagship brand of Schne
replicationしてるMySQLのslave増設手順
こんにちは、hiroshiです。おひさしぶりですね。 stoneが書いたhadoopの記事が打ち合わせとかで「見ましたよ。評判ですよ。」とか言われてジェラシーいっぱいです。 僕もがんばります。目指せホッテントり！ といっても、僕だと書けることに限界があるので、今日は半定常作業のMySQLの増設作業について書こうと思います。 下図のように、master1台←slave2台がLVS+keepalivedで負荷分散構成されているDBがあるとします。 この構成の組み方にしようかと思ったのですが、これはググったらいっぱいあったのでホッテントリは狙えないと思ってやめました。 なので、今回のテーマは「このテーブルはwriteは余裕だけどreadがきつくなってきたからslaveを増設しなければ！」となった場合のslaveを増設する手順について書いてみます。 下図のslaveCを追加するぞ！の場合です。 ※
グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作
「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドで可能にします。利用者はGoogle Storage経由で大規模データを転送し、SQLライクな命令によって抽出や分析を行います。 まるでグーグルが大規模データ処理のMapReduceをホスティングし、その機能をサービスとして提供するようなものがBigQueryといえます（ただし公開された「BigQuery」の説明には、内部でMapReduceを利用しているのかどうかの記述はないのため、MapReduce「的」なサービスと表現すべきかもしれ
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
Hadoopを使いこなす(1)
まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
