Apache Mahoutの使い方：テキスト分類のアルゴリズムを活用する
ビッグデータ活用：その分析実装として注目されるMahout 長年蓄積した企業内データや、ソーシャルネットワークサービス、センサ端末から集められる膨大なデータを活用し、企業における利益向上やコスト削減などに活用する動きが活発になってきました。 データの分析手段として最近とみに注目されている技術として「機械学習」があります。大規模データの処理を得意とする大規模分散処理基盤「Apache Hadoop」の強みを生かし、簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを用いたデータ分析の例として「文書分類」を取り上げます。マシンを用いて分析実行する際の手順や陥りがちなポイント、チューニング方法の一例を紹介します。 Mahoutとは？ MahoutとはApache Software Foundationが公開しているOSSの機械
性能と安定性でさくらが選んだNECの「iStorage M300」 (1/2)
さくらインターネットは、石狩データセンターに構築されたクラウド基盤においてNECのユニファイドストレージ「iStorage M300」を採用した。クラウドで求められる高い性能と安定性を実現すべく、同社が考える製品選定の条件について聞いた。 VPSで手応え！次の仮想サービスはクラウド 「さくらのクラウド」は、さくらインターネットのIaaS型パブリッククラウドサービスで、省エネとコストパフォーマンスを追求した石狩データセンターのオープンと同時に発表されたものだ。簡単操作のコントロールパネルから、CPUとメモリを自由に組み合わせて仮想サーバーを構築。作ったサーバーとストレージを自由に接続したり、サーバー同士をつなげてネットワーク化することで、自分だけの仮想データセンターを構築できる。20日未満は1日あたり95円からの日割り料金で、20日以降は月額料金が適用されるというユニークな課金体系も大きな売
CentOS で Ruby が動かないときは prelink が怪しい - Qiita
CentOS で chef solo を設定中のこと。 昨日は使えたはずのコマンドが一部使えなくなっている。 $ knife solo init test /usr/bin/ruby: No such file or directory -- $(prefix)/com (LoadError) CentOS + Ruby で同様の問題が。 ・インストールしたての頃は問題なく動作するが、半日から1日経って起動すると発現するようになる。 ・インストールしなおせば解消される (リビルドも不要)。が、また半日か経つと発現する。 Ruby バグ? CentOSでrubyが実行出来なくなる現象を解決（未解決） 先輩に相談したところ、定期的に問題が発生→ cron が怪しいのでは、とのこと。 cron で prelink というものが定期的に実行されていました。 prelink を解除するコマンドを実行
findの結果をtarファイルに纏める。xargsは使わないよ。 - 戯言
結論としては、以下のコマンドを使用します。 find . -name "log*" -print0 | tar -cvz -T - --null -f /tmp/log01.tar.gz 大量ファイルをtar化するときに、よく困るのはコマンド内のワイルドカードを展開した文字列が長すぎて、コマンドラインのバッファがオーバーフローして、コマンドを実行できないというもの。 例えば、 tar cvzf /hoge.tar.gz log* などとしても、ファイル名がlogで始まるファイルが大量にあると、実行できない。list too long みたいなことを言われます。これは、ワイルドカードが展開されると、 tar cvzf /hoge.tar.gz log00001.html log00002.html ・・・・・・ などとなって、コマンド長の制限を超えるためです。 そこで、xargsコマンドを使
UNIXシェルスクリプトメモ(Hishidama's UNIX shell script Memo)
-xを付けると実行内容を表示しながら実行する。[2008-11-29] bash -x スクリプトファイル -nを付けると、実行せずにファイル内の構文解析（エラーの有無のチェック）を行う。[2008-11-29] bash -n スクリプトファイル . スクリプトファイル 現在実行中のシェルと同じシェルを使ってスクリプトを実行する。 スクリプトの中で環境変数を設定した場合、現在のシェルの環境にも影響する （スクリプトの中で定義した環境変数が実行元でも有効になる）。 ファイルに実行権限（chmod +x）が付いている場合は、以下のようにして実行できる（相対パスで指定している）。 ./スクリプトファイル ファイルに実行権限（chmod +x）が付いており、かつ環境変数PATHにカレントディレクトリ「.」が含まれている場合は、以下のようにして実行できる。 スクリプトファイル シェルスクリプトの書
あいむの珍妄想ページ ～AIXサーバーを時刻同期させる
１．基準となるNTPサーバーを構築する AIXサーバーが基準とするNTPサーバー（network time protocol server）を構築する。 ここでは、「同一LAN上に存在するWindowsクライアントに、仮想NTPサーバーツールを導入することで代用する」例をしめす。 （１）時刻が正確なWindowsクライアント端末を用意する。 当クライアント端末には、「時刻あわせツール」を事前に入れておくといい。 時刻あわせツールには以下のようなパターンがある。 ア．通常の時刻あわせツール ：桜時計、EZe-timingなど イ． NTP/SNTP経由でなくHTTP経由で時刻あわせを行うもの ：TimeTuneAutoなど ウ．メール送受信時に時刻あわせを行うツール ：Beckey2プラグイン Adjust Timeなど （２）上記のクライアント端末に、仮想NTPサーバ
NFS v3 と v4 設定まとめ (RHEL/CentOS/Ubuntu編)
NFSのセットアップ手順を簡単にまとめておきます。 NFS v3以前と v4とでポリシーがかなり違うので、それぞれの方法をまとめておきます。 まずは、 RHEL/CentOS でのやり方をメインに説明します。最後に Ubuntu でやる場合の差分情報もまとめておきました。 ### REEL/CentOS 編 #### NFSv3以前の場合 CentOS の場合、nfs-file-server パッケージはデフォルトでインストールされています。 サーバー側の設定は `/etc/exports` に directory client(option,...) client(option,...) ... の形で記述します。 /path/to/dir1 nfs.client.addr(rw,sync) /path/to/dir2 nfs.client.addr(rw,sync) みたいな感じ。 同
OpenStack の Quantum + Linux Bridge でVLAN構成を試してみた - Qiita
概要 OpenStack(Folsom) において、Quantum と Linux Bridge を使って "tenant_network_type = vlan" の構成を組むと、各ノードにどのような形で仮想インタフェースやブリッジが構成されるのか知りたかったので、調査しました。 仮想インスタンス群で、下記のような論理構成を組む意図で、 3つのVLANを用意する。 そのうち、仮想インスタンス用には2つを使用する。 1つは、OpenStackの管理ネットワークとして使用する。 上記のVLANは一つの物理インタフェースに共存する。 実際には、インタフェースを物理的に分けるのが好ましいが、試験環境の都合のため。 という前提で、L3 Agent を除いた構成を確認しました。 詳細 仮に上図のVLAN-Xを VLAN-ID:50、VLAN-Yを VLAN-ID:40、OpenStackの管理用ネッ
RAIDレベルの話: 1+0と6はどっちが安全か？ - たごもりすメモ
仕事でちょっくら12台のHDDを使ったRAIDアレイを組むんだけど、その折にちょうどTwitterで「RAID-1+0にしないとRAID-6とか怖くて使えませんよ！」というウソ八百な内容のWebページのURLを見掛けたので、いいかげんそのような迷信が消え去ってもよかろうと思って書くことにした。 1重ミラー設定のRAID-1+0は安全性においてRAID-6に劣る。ただし、正しく運用されている場合に限る。*1 知っている人はずっと前から知っている事実ではあるんだけど、某巨大SIerなんかでも高い方が安全に決まってる的な残念な脳味噌の持ち主がいっぱいいて「いやあデータの安全性を考えるとRAID-1+0」とか考えもなしにクチにし、そっちの方がディスクがいっぱい売れて嬉しいストレージベンダーもニコニコしながら否定せず売りつけて去っていくといううわなにをす(ry まあそんな感じで。ちなみに正しくない運
iostat の見方 - ablog
出力例 $ iostat -x 30 avg-cpu: %user %nice %system %iowait %steal %idle 0.87 0.01 2.53 0.49 0.00 96.11 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util sda 0.05 16.03 0.36 13.74 5.77 238.22 17.31 0.15 10.39 0.98 1.38 sda1 0.00 0.00 0.00 0.00 0.00 0.00 15.53 0.00 12.81 11.47 0.00 sda2 0.05 16.03 0.36 13.74 5.77 238.22 17.31 0.15 10.39 0.98 1.38 avg-cpu: %user %nice %syst
fio でLinuxからストレージのベンチマーク測定 | Check!Site
記事投稿者：山下 晴規 記事公開日：2013/04/23 最終更新日：2013/04/23 （この記事は約1年以上経過しています。） ディスクI/Oのベンチマーク測定ツール「fio」を使って、Linux上でストレージのパフォーマンス測定を行ってみました。fioは様々な測定が出来るツールであり、深く使いこなすにはディスク周りに関する知識も求められるツールだと思います。ここでは、fioの簡単な使い方までを中心に記載しておきたいと思います。 fio 情報 ディスクI/Oを計測するベンチマーク測定ツールです。以下の特徴を持つ、すぐれたツールだと思います。 シーケンシャル Read/Write、ランダム Read/Write が測定可能 IOPS（Input/Output Per Second 1秒間に読み込み/書き込み出来る回数）を測定可能 ファイルサイズの指定や、IOエンジンの指定など、様々なベ
sion-cojp.com
sion-cojp.com 2018 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
非機能要求とは何か
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 非機能要求グレード検討会は、システム基盤に対する非機能要求を大きく6つの項目に分けて設定している。 ・可用性…システムサービスを継続的に利用可能とするための要求。「システムダウン時の復旧は3時間以内に」など ・性能／拡張性…システムの性能および将来のシステム拡張に関する要求。一般的な非機能要求の例では「レスポンスは3秒以内に」「将来に備えて現行の2倍の性能に拡張を」など ・運用／保守性…システムの運用と保守のサービスに関する要求。「業務時間中はシステム担当者が常駐」など ・移行性…現行システム資産の移行に関する要求。一般的な非機能要求の例では「移行後も現行の資産を引き続き利用したい」など ・セキュリティ…情報システムの安全性の確保に関す
RAIDコントローラのキャッシュ構成 - とあるSIerの憂鬱
コントローラがもっているキャッシュは『コントローラ・キャッシュ』と呼ぶ。 コントローラ・キャッシュをライト・キャッシュとして使用する場合、電源断でキャッシュ内容が消失しないよう、バッテリを内蔵する。 バッテリが無い場合、バッテリの充電が十分でない場合はライト・キャッシュを使用しないライト・スルーに自動で切り替わる。 バッテリ動作の期間内にコントローラ・キャッシュの内容を保持するだけでなく、不揮発のフラッシュ・メモリに書き込むものもある。 リード・キャッシュは効果が少ないため、HPのコントローラではリード・キャッシュ25%、ライト・キャッシュ75%の比率がデフォルト。 コントローラ・キャッシュはRAIDのパリティ計算などコントローラの作業用メモリとしても使われる。 HDD自体が持っているキャッシュ(バッファ)は『ディスク・キャッシュ』と呼ぶ。 サーバ向けのHDDではディスク・キャッシュは通常
サーバー監視ソフト「munin」 - エーエイチレフ linuxサーバー技術情報
サーバーの監視＆グラフ化を行ってくれる「munin」のインストール方法です。 サーバー監視ソフトはたくさんありますがmuninの利点は ・導入と初期設定が簡単 ・webブラウザから閲覧ができる ・cactiやMRTGといった他の監視ソフトよりお手軽で軽い ・デフォルトで取得する項目が多い といった事であると感じます。 インストール apt-get install munin munin-node 以上で終了です。お手軽です。 初期設定 まずはmuninがとってくれたデータを保存する場所を決めます。 デフォルトでは /var/www/html/munin/ に保存されるよう設定されていますが、 webブラウザで閲覧する為、Apacheのドキュメントルートとして設定されているフォルダがいいと思います。 /usr/local/apache2/htdocs/ がドキュメントル
「Java言語」がそのまま魔法呪文になる教育ゲーム「Codespell」が面白そう
カリフォルニア大学サンディエゴ校のヤコブス工学スクールで開発された教育ゲーム「Codespell」がプログラマなどの間で話題です。フィールド上でJava言語を呪文のように使って魔法を繰り出し、ゲームを攻略するというもの。「秋元@サイボウズラボ・プログラマー・ブログ」というブログが紹介したところ、はてなブックマークが400件以上も付くなど注目を集め、ネットでは「面白そう」「子どもと一緒にプログラミングが学べそう」といったコメントが寄せられました。Mac向けβ版が公式サイトのダウンロードコーナーで落とせるようになっていて、無料で楽しめます。 こちらが紹介動画。ミッションをクリアしてバッジをゲットしてく感じですかね ゲームを始めると3Dのフィールドが現れ、そこにはもののけ姫のこだまのような生き物たちが歩きまわっています（ちなみに音楽がカッコイイ）。プレイヤーはフィールド上のオブジェクトに対して魔
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
サービス終了のお知らせ
layer8.sh
NestedVM 4.0対応版