ターゲットは国内製造業のビッグデータ!? Treasure Dataがトレジャーデータとなって日本市場で本格展開 | gihyo.jp
ターゲットは国内製造業のビッグデータ!? Treasure Dataがトレジャーデータとなって日本市場で本格展開 5月20日、米Treasure Dataの芳川裕誠CEOが来日会見を行い、同社のクラウド型ビッグデータプラットフォーム「Treasure Data Platform」のグローバルおよび日本市場における事業戦略を発表しました。 会見には日本法人トレジャーデータ株式会社の実質的責任者であるジェネラルマネージャの堀内健后氏も同席し、日本でのビジネスを本格的に開始する旨を明らかにしています。米国で順調にビジネスを展開しているTreasure Dataが"トレジャーデータ"として日本企業に対しどんなサービスを提供しようとしているのか、その動向にさまざまな方面から注目が集まっています。 gihyo.jpの読者であればご存知の方も多いでしょうが、Treasure Dataは2011年12月に
第255回 クリスマス特別企画・UbuntuでioDrive2を使う | gihyo.jp
Bah humbug![1] 世間では天皇誕生日の次の日などが執り行われたようですが、皆様いかがお過ごしでしょうか？ 今年も一年よい子でいた筆者には、ご褒美に夢のようなプレゼント[2]がやってきました。 筆者の元にやってきた夢のストレージ 「わあい、ioDrive2 Duoだ！ ありがとうサンタさん。これ、ずっと欲しかったんだ！」 というわけで2012年最後のレシピは、Ubuntu 12.04日本語Remix上でioDrive2 Duoを動かす方法を紹介します。 ストレージ王に、俺はなる! ioDrive2とは簡単に言ってしまえば、PCIeに接続するSSDの親戚みたいなものです[3]。速い！大容量！高信頼性！お値段もそれなり！ということで有名ですね。ioDrive2にはMLC/SLCの違いや容量ごとに、いくつかのモデルが存在します。そんな中で今回用意したのは、MLCで2.4TBの容量を持
特集：Hudsonを使ったアジャイルな開発入門｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
第3回 レコメンドシステム－協調フィルタリングのHadoopへの実装［前編］ | gihyo.jp
今回はいよいよHadoopを用いたレコメンドシステムについて説明します。 今回のポイントは以下の通りです。 処理をMapReduceフレームワークへ変換することで、分散処理のメリットを享受 アウトプットからkeyについて着目し、処理ロジックを考える 簡単な処理でも数段階のMapReduce処理を踏む場合がある 前回までのおさらい 分散処理の基本的な考え方は、大規模データあるいは処理する問題を小さく、かつ、互いに独立した単位に分割して並列に処理することで、各処理単位の出力を結合することで最終的な結果を得るというものです。Hadoopは数ある分散処理のフレームワークの実装のひとつで、システムレベルの詳細の多くを意識せず、処理ロジックに集中して設計できる特徴があります。 Hadoopで処理するため、前回紹介したユーザの映画評価の履歴をHDFSのディレクトリにコピーすると、HDFSは履歴を各ノード
データマイニングで使われるトップ10アルゴリズム | gihyo.jp
統計を専門に扱う方のブログ記事です。データマイニングの学会にて選ばれたアルゴリズムの概要および調査について記した資料「Top 10 algorithms in data mining」の解説を行っています。Top 10に選ばれたアルゴリズムには次のようなものがあります。 C4.5 K-means サポートベクタマシン（SVM） PageRank ナイーブベイズ CART C4.5は、あるルールに従って木構造に分岐させ分類していく決定木（Decision Tree）を生成するためのアルゴリズムです。 K-meansはK個のクラスタに分類するためのアルゴリズムで、最も近い中心のクラスタを繰り返し求めていき、視覚化するのに適しています。 サポートベクタマシンは、あらかじめ与えられたデータで学習を行い未知のデータに対して分類を行う「教師あり学習」アルゴリズムの一つです。 PageRankはGoog
匿名による告発「MongoDBは使ってはいけない」 | gihyo.jp
「PASTEBIN」というコンソールの出力やエラーログ、ソースコードなどを張り付けて共有するWebサイトがあり、そこに投稿された内容が議論を巻き起こしました。「Don't use MongoDB」というタイトルが付けられた文章には、ヘビーにMongoDBを利用しているユーザからの辛辣（しんらつ）な批判が綴（つづ）られていました。 告発者はプロジェクトにて数千万件ものユーザ管理にMongoDBを利用しており、これまで長い間10gen社（MongoDBの開発元）から最高レベルの）有償サポートを受けていたため黙っていたが、少しでも多くの人に警鐘を鳴らすべく立ち上がったそうです。MongoDBの扱いやすさやスキーマフリーなモデル、豊富な実績などに一定の評価をしつつも、大規模な環境で実際に動かさずに判断するのは時に重大な問題となり、MongoDBにはそれが向いていないと言い切っています。 具体的に
第39回 RVM（Ruby Version Manager）による環境構築 | gihyo.jp
はじめに Rubyの普及にともない、Rubyの生みの親である、まつもとゆきひろ氏がC言語で作成したRubyインタプリタ（CRuby）以外にも、JVMで実行されるJRuby、Objective-Cで実装されMacアプリケーションのプログラミングのできるMacRuby、CRubyベースにメモリ管理に改良を加えているRuby Enterprise Edition等、プログラミング言語Rubyを実行できる環境が増えてきました。またCRubyに関しても、現在最も使われているバージョンである1.8系以外にも、最新の安定版である1.9系も普及期にはいってきました。 今回は、複数のRuby実行環境の管理を簡単にするRVM（Ruby Version Magager）を紹介します。 RVMとは RVMはUNIX系の環境で、複数のRuby処理系をインストール、共存させることができるツールです。 ひとつの環境に対
第2回 mixi.jpを支える運用監視 | gihyo.jp
はじめに 株式会社ミクシィの小池知裕です。運用部でアプリ運用を担当しています。前回は年末年始や突発的な負荷に耐えられるシステムの改善について紹介しました。連載2回目となる今回は、mixi.jpを支える運用業務でどのようにシステムの監視と測定が行われているのか、紹介します。 監視／測定って？ まず、前号からのおさらいになってしまいますが、筆者の所属する部署の「アプリ運用グループ」は mixi.jpのミドルウェア層以上の運用／維持管理／改善をおもに担当しています。 そこでは、「システムが正常に稼働しているか」「サーバの（CPUやメモリ、トラフィックなど）どういうリソースがどのくらい使われているのか」などを把握しておくことが非常に重要になってきます。 mixiでの監視／測定には大きく分けると2つあります。 死活監視／サービス監視 リソース監視 これらはそれぞれにシステムを運用し、改善するため
あくしゅ、シンプルなIaaS型クラウドを構築する「Wakame-vdc」の最新版をリリース | gihyo.jp
あくしゅ、シンプルなIaaS型クラウドを構築する「Wakame-vdc」の最新版をリリース 11月19日、(株)あくしゅは、シンプルなIaaS型クラウドを構築する「Wakame-vdc」の最新版をリリースした。 Wakameはオートスケールを実現する仕組みとしてAmazon EC2の上で活用するものであったが、これからは、クライアントが望むあらゆるデータセンタ環境に、IaaS基盤技術からその上で動くPaaSや活用ソフトウェアまでをクラウド用基盤として構築、運用を検討できるようになる。 これにより、今後はWakameを利用して、自社資産の中で大切なデータを守りながらダウンサイジングを図りつつ、一部の処理をAmazon EC2で実行するハイブリッドでの利用などが想定される。 新バージョンでの主なリリース機能 Wakame-vdcの機能アップグレード 通信のセキュリティグループの設定機能 ハード
PHP開発者 Rasmus Lerdorf氏インタビュー ～PHPは「利己的」な開発者の集まり | gihyo.jp
2010年9月24日・25日に開催された「PHPカンファレンス2010」にあわせて、PHP開発者のRasmus Lerdorf氏が来日されました。日本を訪れるのは2度目という氏に、PHPの現状とその根底にある思想についてお話を聞きました。 現在の仕事について 大垣：昨年 Yahoo! Inc.を退職されましたね。現在はどのような仕事をされているのでしょうか？ Rasmus：WePayという起業したばかり小さな会社にいます。WePayはカリフォルニアにある、グループで支払いを行う処理を行うベンチャー会社です。 大垣：グループで支払いを行う、というのは、どういうことですか？ Rasmus：グループで何かを買いたいときに、グループとしてお金を管理したいですよね。例えば、大学で学生が集まってプレゼントを買いたいという場合があります。どんなものでも構わないですが、10人が集まって共同でオンラインショ
第1回 memcachedの起動オプションを把握しよう | gihyo.jp
1.4系で新しく追加された主な機能しては バイナリプロトコルの導入 マルチスレッドの標準化 統計の強化 などが上げられます。この1.4系の機能の詳細については前坂徹氏の連載「memcached 1.4の到来」が参考となります。ここではバージョン1.2.5と最新の1.4.5の起動オプションを比較しながら、新しく追加された機能や実際の運用で用いられる起動オプションについて説明します。 1.2系と1.4系の起動オプションの違い まず、memcachedの起動オプションの一覧（ヘルプ）を確認しましょう。memcachedのヘルプを出力するには、「-h」オプションを使います。 $ memcached -h memcached 1.x.x -p <num> TCP port number to listen on (default: 11211) -U <num> UDP port number t
第2回 AnyEventでイベント駆動プログラミング （2） | gihyo.jp
ウォッチャー AnyEventでプログラムを作成する場合「ウォッチャー」を作成、管理することが基本的な作業となります。ウォッチャーとはI/Oやタイマーなどの何かしらのイベントが発生したことを通知してもらうためのオブジェクトです（図2のコールバックの指定および実行の部分を担当します）。 現在から5秒後にコールバック関数を呼び出してもらうにはリスト1のようなコードを書きます。 リスト1 ウォッチャー use strict; use AnyEvent; my $cv = AnyEvent->condvar; ……（1） # タイマーウォッチャーを作成 my $w; $w = AnyEvent->timer( after => 5, # 今から5秒経ったらイベント発生 cb => sub { # イベント発生時にこの関数が呼ばれる warn "5秒経ちました！"; undef $w; ……（2
NoSQLデータベースを試してみる 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
第1回 NoSQL、そしてCassandraとは | gihyo.jp
NoSQLミドルウェアの特徴をもう少し細かく挙げてみます。分量の都合もあり個別には触れませんが、それぞれのNoSQLミドルウェアで差別化部分に関してはかなり詳細に説明がされていますので、ぜひそちらを参照してみてください。 高速に動作する リレーションモデルではないデータモデル スケールアウト型アーキテクチャ コモディティサーバによって構築される スキーマフリー SPOF（単一故障点）を持たない 自動的に複数台へレプリケーションする イベンチュアルコンシステンシまたは一貫性の選択が可能 SQLのような強力なクエリ言語を持たず、シンプルな問い合わせしかできない Cassandraとは何か NoSQLミドルウェアの筆頭といえばGoogle BigTableやAmazon Dynamoですが、オープンソースの世界でもいろいろなものが出てきています。その中でも最近特に注目を集めているのが、Apach
PSGI/Plack - [Perl Hackers Hub]
本連載では、第一線のPerlハッカーが回替わりで執筆していきます。記念すべき第1回は、WEB+DB PRESS本誌ではVol.2から執筆しており、長らく連載も担当していた宮川達彦さんです。 はじめに PerlでWeb開発をするためのフレームワークは百花繚乱、人気を集めています。本稿では、これらのフレームワークが共通して利用するためのインタフェース仕様であるPSGIと、そのエンジンとしての実装であるPlackを紹介します。 PSGIに至る道 PerlとWebアプリケーション開発の親和性 Perlは「インターネットのグルー（糊：のり）言語」とも言われ、CGIによる開発がメインだった1990年代から、Webアプリケーション開発に最も関わりのあるプログラミング言語の一つと言ってよいでしょう。2000年代に入っても、Ruby on RailsやPHPなどの他言語からの影響も取り入れながら、Web開発
第32回 Encode：日本語だけ扱えればよいのではなく | gihyo.jp
一般的には推奨されないencodingプラグマ 前回取り上げたencodingプラグマは、簡単なjperl用のスクリプトを移植したい場合には便利ですが、perlunifaqというPerl付属のマニュアルにははっきり「Don't use it.」と書いてあるくらい、一般的には使えないプラグマと認識されています。 前回も見たように、encodingプラグマが対応しているのは、ソースコードに埋め込まれている文字列やそれに類する正規表現、そして標準入力からのデータを指定された文字コードからPerlの内部表現に変換し、標準出力へ出力する際には内部表現を指定された文字コードに変換することだけです。ほかのファイル入出力部分や、コマンドラインから受け取った引数、標準エラー出力などの変換は行わないので、ちょっと凝ったことをしようと思うと、結局「外から入ってきたものはデコード、外に出すものはエンコード」という
第1回 5分でわかるUnbound | gihyo.jp
本特集では、次世代DNSサーバソフトウェア「Unbound」にフォーカスし、機能や特徴を解説しながら、実際の運用ノウハウについてお届けします。第1回目はUnboundの基礎知識について解説します。 Unboundの概要 UnboundはBINDの代替を目指したDNSキャッシュサーバです。2008年5月20日に正式版1.0がリリースされました。オープンソースのソフトウェアとして公開されており、ライセンスはBSDライセンスです。 UnboundはNLnet Labsにより開発と保守が行われています。UnboundはVerisign labs、Nominet、Kirei、ep.netによりJavaで開発したプロトタイプを、NLnet LabsがCで実装し直したものです。ちなみに、NLnet Labsはルートサーバとしても利用されているDNSコンテンツサーバのNSDも開発しています。リリースされた
達人が語る、インフラエンジニアの心得 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む | gihyo.jp
前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
楽天、Rubyベースの分散KVS「ROMA」のソースを公開 | gihyo.jp
10月24日、楽天株式会社本社にて開催された楽天テクノロジーカンファレンス2009内にて、楽天が独自開発するRubyベースの分散Key Value Store「ROMA」の公開が発表された。 ROMAは、github上にてGPLv3のもとオープンソースにて公開されている。 ROMAはすでに楽天のサービス「楽天トラベル」の一部機能にて利用されており、今後はROMA自体のブラッシュアップなどを目的に、オープンソースとして公開された。 ROMAについて発表を行った楽天技術研究所シニアサイエンティスト西澤無我氏。同氏のプレゼンテーションは立ち見が出るほど満席だった。また、途中楽天技術研究所フェローまつもとゆきひろ氏が登場するなど、会場が盛り上がった。 ROMA URL：http://github.com/roma/roma/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
