イメージ形式の変換¶ イメージをある形式から別の形式に変換することは、一般的に簡単です。 qemu-img convert: raw, qcow2, qed, vdi, vmdk, vhd¶ qemu-img convert コマンドは、複数のファイル形式間で変換できます。qcow2, qed, raw, vdi, vhd, vmdk に対応しています。 qemu-img の形式の文字列¶ イメージ形式 qemu-img の引数
Javaによるソケット通信サーバーアプリケーションを作っていたとき、クライアント端末からの着信に対して1秒以下で応答を返している通信ログが残っているにもかかわらず、クライアント端末側で5秒の応答待ちタイムアウトが発生して通信異常になるケースがテスト中に発生していた。 そのときのサーバー側の応答を返す部分のコードは次のような感じ、 public void writeResponse(byte[] data, Socket socket) throws IOException { DataOutputStream out = new DataOutputStream(new BufferedOutputStream(socket.getOutputStream()); // 電文長を送出 out.writeInt(data.length); // 電文本体を送出 out.write(data)
この記事は24日目の記事のつづきです。前日の関連記事「ランダムフォレストのつかいかた」もありますので、こちらもよろしくお願いします。 ランダムフォレストのつかいかた - じじいのプログラミング ランダムフォレストは、機械学習の中でも、確率統計の知識がほぼ無しで実装できる簡単なアルゴリズムで、しかも性能もなかなかのものです。TopCoder機械学習マッチのいくつかは、コードを提出してTopCoderサーバで実行するルールなので、実装しやすいランダムフォレストは有力な選択肢です。実際にランダムフォレストが1位をとったコンテストもかなりあります。 決定木の作り方さえ理解すれば、ランダムフォレストは実装できたも同然ですので、この記事では、決定木を作る部分をメインに取り上げます。 アドバイスをいただけると、とてもうれしいです。間違いのご指摘は大歓迎です。 実装は、TopCoderの他の競技者(Psy
人間が分類したデータを教師データとしてテキスト分類をしている際に人間がデータの間に介在することによる弊害が出てきたので、教師なしのテキスト分類器を作ってみました。 人間がラベル付けすることによる問題点 階層構造にあるデータを並列にラベル付ける 人によって大きく判断が違ってくるようなラベルをつける 作業開始時点と終了時点でラベルの付け方が変わる 参考資料 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) Deep Learning Tutorials Distributed Representations of Sentences and Documents, Le+, 2014 やったこと Doc2Vecで各文書について他の文書との類似度ベクトルを作成 SVDで次元圧縮 k-meansでクラスタリング k-meansでなくてグラフアルゴリズムで分類した方が良かったな、
VPSによるWebサーバー運用講座の連載5回目(最終回)です。 今回は、シェルスクリプトによるWebコンテンツのバックアップの方法や、OSのセキュリティアップデートについて解説します。 サーバーOSはCentOS 6.7として説明しています。 Webコンテンツの定期バックアップをしよう VPS上にWordPressなどのCMS(コンテンツマネジメントシステム)をインストールしてWebサイトを運用しているケースは多いと思います。 こういったツールは、ファイル転送ソフトを使わなくてもブラウザだけで記事を書いたり編集したりできて便利です。しかし、作った記事コンテンツはサーバー上にしか存在せずパソコン上には残りません。何らかのアクシデントでデータベースのデータが消えてしまうと、バックアップがどこにもないので泣き寝入りするしかありません。 便利さの反面そういった落とし穴があるので、日頃からデータのバ
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
液晶モニタの仕様について。 デスクトップPCを購入しても多くのPC本体は単体販売で液晶モニタは別売り。カスタマイズでセットにすれば良いけれど、最安では無いとか別のメーカーや機種が良いなど人それぞれと思うので解説。 先に必ず見るべき項目から。 これをサンプルにしましょう。 source:EX-LD2071TB 仕様 | ワイドモデル | IODATA アイ・オー・データ機器 最低限必要な液晶モニタの仕様の見方 3つ、ここだけおさえておけばまず大丈夫。 1.映像入力端子 I/O液晶の場合、アナログRGB、DVI-D、HDMIの3種類で最近よくある構成。違いを@ITからが画像で拝借。 source:ミニD-Sub 15ピン・コネクタ - ケーブル&コネクタ図鑑 - @IT 左から、 アナログRGB(ミニD-sub15ピン)・・・映像のみ、アナログ DVI-D・・・映像のみ、デジタル HDMI・・
ブックマークを整理してたら見つけた。 http://d.hatena.ne.jp/jetbead/20121202/1354406422 2.XORshift(擬似乱数生成) xor演算とビットシフトのみから高速に生成できる擬似乱数です。 マラソンマッチなどで使えそうでしょうか。 いえ。ズンドコキヨシで使えます。 code #include <stdio.h> #include <stdint.h> // Thaks to http://d.hatena.ne.jp/jetbead uint32_t xor128(void){ static uint32_t x = 123456789; static uint32_t y = 362436069; static uint32_t z = 521288629; static uint32_t w = 88675123; uint32_t t
背景 liblinearのlogistic regression の性能がどうもおかしい。 そこでソースを見てみると、 double label=predict_values(model_, x, prob_estimates); for(i=0;i < nr_w;i++) prob_estimates[i]=1/(1+exp(-prob_estimates[i])); if(nr_class==2) // for binary classification prob_estimates[1]=1.-prob_estimates[0]; else { double sum=0; for(i=0; i < nr_class; i++) sum+=prob_estimates[i]; for(i=0; i < nr_class; i++) prob_estimates[i]=prob_esti
前回の記事でSwarmクラスタを構築したので、Apache Sparkのクラスタを載せてみる。 本来ならオンプレでクラスタを組んだり、AmazonのEMRを使うのが一般的かもだが、安めのクラウドでもできないかなーという試み。 まずはシンプルに、Standaloneモードから動かしてみたい。 事前準備 マルチホスト同士の通信が可能なSwarmクラスタを構築しておく Sparkのクラスタ同士は、一方通行な通信ではなく、割りと親密な双方向通信をするため、オーバーレイ・ネットワーク上に構築しないとうまく動作しない。 オーバーレイ・ネットワーク構築するには、Consul, etcd, Zookeeperのようなキーストアを自身で導入する必要があるので、 DigitalOceanでマルチホストなDockerSwarmクラスタを構築を参考に、以下の様なSwarmクラスタを構築しておいた。 Sparkクラ
日経BPのITインフラテクノロジーAWARD 2015が発表されました。2015年にブレークすると予想されるクラウドやビッグデータの製品やサービスを選出しています。グランプリにDocker、準グランプリにApache Sparkが選ばれました。Sparkは2014年に入り盛り上がってきています。インメモリで高速に分散処理ができるため、機械学習のような繰り返し処理に向いています。MLibの機械学習ライブラリもあるので分散型機械学習フレームワークとして注目を集めています。そんなDockerとSparkを使い手軽に分散型機械学習の環境をつくり勉強していこうと思います。 このシリーズ Spark on Dockerで分散型機械学習を始める - Part 1: インストール Spark on Dockerで分散型機械学習を始める - Part 2: UbuntuでIPython Notebookを使
ちょっと後に使うかなと思いまして、CDHを使ってHDFS+YARNのDockerイメージを作ってみることにしました。 目標は、 HDFSをインストール&起動 YARNをインストール&起動 クライアントもインストールし、HDFS/YARNが起動中のコンテナへ、別コンテナで起動したクライアントから接続できる ClouderaManagerは今回はパスして、自分でインストールする(ムダに頑張る) という環境と手順の確立するところまで、とします。 Dockerの勉強も兼ねて、ということで…。 こういうのもあるらしいんですけどね。 https://github.com/sequenceiq/hadoop-docker CDHを使ってのインストール手順 で、今回CDHを使ってインストールすると言ったわけですが、その前提条件をちょっと確認…。 Javaは、Oracle JDK 1.7がよいみたいです。
Cloudera Engineering BlogにてCDH5.5にDistCpの高速化が実装されたと紹介されていたので、試してみました。 リンク先の説明を読んだ限り、2つのHDFS Snapshot間の差分情報を使って 削除・名前変更はDistCpを使わずに反映 新規作成・変更されたファイルだけをDistCpで同期 することで、高速化を図っているようです。 試した環境は、 CentOS: 7.2 (64bit) CDH 5.7.0 (擬似分散) です。 HDFSの準備 今回は、 同期元ディレクトリ:/user/hadoop/source 同期先ディレクトリ:/user/hadoop/target という状況とします。 [hadoop@localhost ~]$ hdfs dfs -mkdir source [hadoop@localhost ~]$ hdfs dfs -mkdir tar
ハンガリアン記法とは変数名などを命名するときに、先頭に変数型を示すプレフィックスを書くようにする記法です。考案者がハンガリー人だったのでハンガリアン記法とかハンガリアン・ノーテーションというようです。 C++ は、変数には変数型が厳格に決まっているので、ハンガリアン記法を使うことは、プログラムの見通しをよくするために大いに意味があります。ハンガリアン記法は、その命名法が厳格に決まっているわけではなく、プログラマ毎に記述の方法が異なるというのが現状です。ここでは、このサイトで私が使用している記法について解説します。一つの例としてご覧いただいて、気に入ったらそのまま使ってみてください。 また、システムハンガリアン記法の応用として、変数をプリントするコードの自動生成が可能なので、そのためのツールを公開します。使ってみてください。 また、ハンガリアン記法以外にも、プログラミング上好ましい書き方とい
この記事では、他人が書いたコードを扱うための練習法を一から説明します。目標は、 Spyder Python IDE という今まで触ったこともないプロジェクトのコードに任意の変更を加え、途中で行き詰ることなく、目的達成に必要な情報 のみ 習得することです。ここでは、勘や実験的な手段、そしてプロの現場で養った洞察力を武器に問題に対処する方法を学びます。形式ばったレッスンのように、苦痛を感じることはないでしょう。満足感や挫折、葛藤を味わいながらプロジェクトを進め、最終的には(なんとか動く程度の)パッチを完成させ、大規模で不慣れなコードベースに機能を追加します。 プログラミングを学んでいる人は皆、あらゆる種類のプログラムで大量のコードを書いています。それは、問題集に載っているアルゴリズムを実装するにせよ、ウェブサイトの構築やビデオゲームの作成をするにせよ同じです。ところがプロのソフトウェアエンジニ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く