運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
tips How to send your file? リモートホストへのファイルの転送にはscp(1)を使うことが多いのではないかと思います。ssh(1)でログインできるなら転送できるわけですし、サーバ管理としては日常的な方法です。しかし、scp(1)はファイルの転送コマンドとしては、転送速度があまり期待できないという側面があります。LANの内部でデータをやりとりする場合などには、転送量が多くなれば、scp(1)による転送処理はボトルネックになります。 たとえば1GBのデモデータを次のように作ったとします。転送時間だけを知りたいので、tmpfsでメモリファイルシステムの領域も用して転送速度を測ってみます。 mkdir ~/tmpfs sudo mount -t tmpfs tmpfs ~/tmpfs sudo chmod 777 tmpfs dd if=/dev/random of=DA
Java以外でMapReduceする 前回はJavaのネイティブプログラミングでMapReduceを実践してみましたが、今回はもっと手軽な方法を試してみたいと思います。Hadoopに付属しているstreamingユーティリティ(以下ストリーミング)を使うという方法です。ストリーミングを使用することでMap, Reduce処理は独立したプログラムで記述することができます。 それぞれの処理の入出力は標準入出力を使用しますが、逆に言うと標準入出力を使用する処理であれば言語は問いません。つまり、PerlやRuby, PHP,AWKといった使い慣れた言語でHadoopの仕組みを利用できるようになります。すばらしい! PerlでMapReduceする 今回はPerlを使用しますが、標準入出力を使える言語であれば何でも構いません。Map,Reduceの処理は次の図のようになります。 図1 Perlによる
明けましておめでとうございます。Ubuntu Japanese Team代表の小林です。このUbuntu Weekly RecipeおよびUbuntu Weekly Topicsの連載が始まって、今月で丸5年となります。読者のみなさま、編集の高橋様、そして執筆していただいた皆さんに感謝しております。今後とも本連載をよろしくお願いいたします。 さて、「記念すべき第256回」ということで、「特別企画でもやりませんか」と執筆陣のひとりである柴田さんに振られました。そこで、前からやってみたかった「AndroidでUbuntuを動かすネタでもやるか!」と思って取りかかったのですが…うまくいかず挫折しました。幸いDebianは問題なく動いていますので、今回はそのセットアップ方法を紹介します。root化されたAndroidデバイスが必要となりますので、誰にでもお勧めできる内容ではないかもしれませんが
はじめに Hadoopとは、Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので、分散処理のフレームワークです。Hadoopを使うと、1台のサーバでは時間の掛かるような処理を、複数のサーバで分散処理させることができます。「処理を割り振ったサーバが壊れた場合どうするか」などの耐障害性の問題もHadoopが管理してくれるため、利用者は処理のアルゴリズムのみに集中することができるのです。素晴らしいですね。最近ではYahoo!やはてななど、様々な企業でも利用されるようになってきています。 Hadoop導入の背景 筆者はクックパッド株式会社に勤めています。open('http://cookpad.com'); return false;">クックパッドというサイトが有名だと思いますが、他にも携帯版クックパッドであるopen('http://m.cookpad.co
あれから1年 Mojoについては2009年1月1日から4回にわたって特集記事を連載しました。ちょうど執筆を開始した直後に作者リーデル氏が不幸な医療事故にあい、一時はどうなることかと思いましたが、連載を終了する直前に開発続行の宣言が出て、ほっとしたのをよく覚えています。 あれから1年。Mojoを取り巻く環境はずいぶん変わりましたが、いま、Mojoはいったいどうなっているのでしょうか。今回は今年最後の記事として、Mojo界隈の近況をお届けすることにします。 大きく変わったといわれていますが…… 昨年12月にバージョン0.9に到達したMojoは、途中事故の後遺症で開発が停滞した時期はあったものの、この1年でかれこれ30回以上のリリースが行われたことからもわかるように、いまもなお着実に開発が続けられています。この「ベータテスト」期間中にいくつか後方互換性が失われる変更があったため批判を浴びたことも
使いやすいWebサービスとは 使いやすいWebサービスでは,クライアントが特別な知識を必要とせずに,Webサービスが提供するデータや機能を簡単に利用できます。たとえばGoogleやAmazon,はてなが提供しているWebサービスを使うと,地図をWebページに埋め込んだり,書影を引用したり,ブックマーク数をWebページに表示したりといったことが簡単に実現できます。 特殊なノウハウなしにWebサービスに簡単に接続してデータを活用するためには,よく設計された使いやすいインタフェースが必要不可欠です。そのためには,HTTP,URI,HTMLなどの技術を正しく使う必要があります。また,これらの技術の背景にある設計思想RESTの理解も必要です。
こんにちは、太田です。今回から、Ajaxと呼ばれるような非同期な通信処理を行うJavaScriptについて解説していきます。今回は特にJSONPについて基礎的な部分を解説します。 JSONとは JSONについては第9回でも少し触れていますが、改めて解説します。 JSON(JavaScript Object Notation)はJavaScriptから生まれたデータ記述フォーマットで、真偽値、数値、文字列、null値の組み合わせを持ったハッシュか配列かその両方で構成されます。 JSONはそのシンプルさから多くの言語でネイティブにサポートされており、特にウェブ関連ではポピュラーなデータフォーマットです。 JSONのサンプル(配列) ["aaa", "bbb", "ccc"] JSONのサンプル(ハッシュ) {"aaa":1, "bbb": 2, "ccc": 3} JSONのサンプル(ハッシュ
Moodleは、オンラインで授業を行うために開発されたシステムですが、ユーザ管理の機能がしっかりしており、また、さまざまな機能が備わっているので、いろんな用途に応用が可能です。プラグインが多数公開されており、独自プラグインの開発が容易なことも魅力です。 最近、「Moodleによるeラーニングシステムの構築と運用」という書籍が発売されました。これは、Moodleの使い方、管理の仕方を詳しく説明した書籍です。この書籍では説明されていない、 Moodleに日本語環境をセットアップする際の注意点 最新バージョンでの機能 カスタマイズ、独自機能の開発 などの内容を、この連載では取り上げます。 今回は初回ですので、Moodleというのはどのようなものか、どのような用途に使えるかを簡単に説明します。 Moodleってなに? Moodle(ムードル)は、GNU GPL(General Public Li
さらに詳細な利用方法が知りたい方は、Yahoo!デベロッパーズネットワークのマニュアルを参照してください。 ベイジアンフィルタの実装 ここから本格的にベイジアンフィルタの実装に入っていきます。 その前に、まずは先程のリスト1のコードを利用して入力された文章をわかち書きし、単語の集合を返す関数を作成しnaivebayes.pyとして保存しましょう。こちらも先程のmorphological.pyと同様にutf-8で保存してください。 リスト2 文章の分割をする関数(naivebayes.py) # -*- coding: utf-8 -*- import math import sys #yahoo!形態素解析 import morphological def getwords(doc): words = [s.lower() for s in morphological.split(doc)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く