はてなブックマーク

こんにちは。新参者のsamです。 最近、都内を離れると行くところ行くところ、雨に見舞われ、友人にも私が雨男という認識が何故か広まって困っています。 先日は宮崎に帰省したところ、台風19号に直撃されて周りの友人から何故か非難を浴びるという理不尽を受けました。 雨男の汚名返上できる方法をご存知の方はぜひ教えてください。。 PHP5.5で導入されたジェネレータ さて、少し前の話題で恐縮ですが、PHPでは5.5からジェネレータという機能が新たに追加されました。 同様の記事は巷に溢れかえっていますが、自分の学習と備忘録もかねて実装方法や特徴などをまとめてみました。 ジェネレータとは、foreach文を使って連続した値や配列などの値の集合に対して順序に沿って処理（イテレーション）することができる新たな言語構造です。言葉だけでは理解しづらいため順に説明します。 たとえばnlコマンドのような、パラメータで

初めまして、弊社で１ヶ月半ほどインターンとして働いているt_sakaiです。 インターンシップの課題として、メモリ使用量が大きくて将来問題になりそうなバッチ処理をスケールアウトできるように書き換えるという課題に取り組みました。 解決手段として流行りのApache Sparkを使ってみたので、本記事ではこれについて書こうと思います。 本記事で使っている言語はScalaです。 Scalaについては、弊社のk_oomoriが書いた記事があるのでよろしければご覧ください。 紹介する内容 前編（本記事） 今回解決したかった課題 なぜSparkを選んだのか RDDについて 簡単なプログラムをSparkで書き換える 後編 本番プログラムをSpark用に書き換える はまりどころ 紹介しない内容 Hadoopとの比較 Spark環境の構築 性能チューニング 解決したかった課題 弊社のScalaで書かれたある

この記事はTreasure Data Advent Calendar 11日目の記事です。 こんにちは、データマイニングチームのy_kawasakiです。（毎回所属が変わってます！） 最近、大量のデータを前に途方にくれていました。TreasureData（以下TD）という、武器を手に入れて、がっつりと戦っているところです。 TDにはHivemallという、Hive上で動くscalable machine learning libraryが実装されています。Hivemallの使い方はgithubのwikiによくまとめられているのですが、それは、あくまで、Hive上で動かすことを前提に書かれています。今回は、TD上で動いているHivemallを使いたいため、一部、変更したりする必要があります。 とりあえず、手を動かしたいということで、どこのご家庭にも常備してある、あやめのデータを使いたいと思い

どうもどうも お久しぶりです。 最近、上司の策略により 新卒向け説明会に登壇させられている t_yamanakaです。 前回までのあらすじ 前回の記事ではvimのチュートリアルについて書きました。 もう1年弱もvim記事書いてなかったんですね… 先輩に某仕事しない漫画家かとツッコまれてしまいました。。 とはいえ前回から時は経ち、 インフラ周りの仕事もやってみたりするうちに ちゃんとvimと信仰 親交を深めていました。 今回は 僕は自分のローカルPC環境上で 開発を行なう際はIDE（Netbeans）を用いているのですが、 せっかくサーバ上での作業などでvim操作に慣れても ローカルで開発を行なうとvimへの親しみが薄れてしまいます。 なんとかならないものかと思ったときに出会ったのが 今回紹介するNetbeansプラグインである「jvi」です。 では早速インストール方法を紹介します。 インス

こんにちは、k_oomoriです。今回は、タイトルの通りプログラミング言語Scalaについて書いてみたいと思います。 1／俯瞰風景 早速ですが、Scalaの特徴を俯瞰していきましょう。 ・オブジェクト指向と関数型のハイブリッド言語である Scalaは、関数型言語とオブジェクト指向（命令型）言語の特徴を統合したマルチパラダイムなプログラミング言語です。どちらのスタイルを用いるかはプログラマに委ねられており、関数型言語にすでに親しんでいる人はvalやイミュータブル（不変）オブジェクトを用いて関数型の記述を行えばいいし、命令型の方が適している問題に対してはvarとミュータブル（可変）オブジェクトによる命令型の書き方ができます。 ・静的 型月 型付け言語である 静的な型システムを持っているため、コンパイル時（というかIDEの力を借りればコーディング時）に型に関するエラーを確実に検出できます。さらに

こんにちは、ADN事業部のt_oookaです。 スマートフォン向けアドネットワークサービスnend(ネンド)のインフラを担当 させていただいています。 今回は、初回ということで検証作業等でいつもお世話になっているKVMについて 触れてみようと思います。 仮想マシンの作成 さしあたりサーバ(物理)に「CentOS6.3」がインストールされており、仮想化関連の パッケージがインストール済みの状態を前提に進めていきます。 # virsh list --all Id    Name                           State —————————————————- 現時点では、仮想マシンが作成されていない状態ですので、最初にテンプレート となる仮想マシンを作成します。 # virt-install                                          

Introduction はじめまして、ADN事業部所属エンジニアのk_oomoriと申します。業務ではアドネットワークサービスnend（ネンド）においてPHPやJavaScriptのプログラミングからサーバソフトウェアあたりまでの領域を担当させていただいております。 さて最初の投稿となる今回は、PHPにおけるプロセスのフォーク(fork)を扱おうと思います。 フォークとは、簡単に言うと最初に起動したプロセス（以下親プロセスと言います）が自身の複製として子プロセスを生成し、複数プロセスで並列処理を行うというものです。 Perlなどでは結構よく使われているようですが、PHPではあまり聞いたことがなかったので、この機会に紹介したいと思います。 !!!注意!!! PHPでfork等のプロセス制御機能を利用するためには、マニュアルに明記されているとおり、configureオプションを指定してPHP

Introduction こんにちは、k_oomoriです。今回は非負値行列因子分解 (Non-negative Matrix Factorization, 略してNMF) を用いたデータの解析について触れてみたいと思います。 まず最初に用語の定義として、「非負値行列」とは全ての要素が非負値（0以上の実数）であるような行列を指すこととします。これを用いると、NMFとは「与えられた非負値行列を2つの非負値行列との積に（近似的に）分解するアルゴリズム」 と表現できます。これにより、なんとの中に潜んでいる特徴を抽出することができるというのです！これについては後ほど説明します。 ひとまずはの具体例を見てみましょう。いくつかのニュース記事の中に特定の単語がそれぞれ何回現れるかを数えるという状況を想像してください。例えば記事が3つ、対象とする単語が5つの場合、出現回数を次のように並べることができます。

最初に Nendを担当させて頂いてるtosh01です。 最初に質問なのですが、MySQLにおいて、あなたはストアドプロシージャをどのようなケースで利用されたことがありますでしょうか？ 自身の経験が業務系にわりと寄っており、DBへのクエリはすべてストアドプロシージャに持たせてしまうことも多く、バッチや計算処理を要求される際によく使用していたせいか、使いたい気持ちがあります。 とはいうものの、それらは他のDB製品での話であり、MySQLに関しては過去にそれほど使う機会もなく現在お勉強中、もちろんMySQLでストアドプロシージャなど使ったことがない為、質問させていただいてます。 MySQL 5.0から実装されているらしいストアドプロシージャですが、やはりアプリ側のプログラムからの問合せだけの場合より、MySQLにおいてもDB操作の幅が広がりそうで、MySQLでも状況によっては役に立つ場面がありそ

はじめに こんにちは@kou_hoshです。 最近はCakePHPのShellと戯れる機会が多いです。 フロントエンド側と比較すると地味目ではありますが 機能が充実していてとても便利だなと改めて思います。 というわけで今回はCakePHPのShellへのオプションの渡し方をやっていこうと思います。 (CakePHP 2.x系です) 基本的な使い方 基本的な実装方法は下記のような形です。 getOptionParser()メソッドをオーバライドしてその中でオプション設定を加えていきます。 ・ソース <?php class SampleShell extends AppShell { public function main() { var_dump($this->params['sample']); } public function getOptionParser() { $parser

下2つがGTID使う場合必須です MySQL起動 shell> /etc/init.d/mysql start rootユーザのパスなどを設定するスクリプトを実行 shell> mysql_secure_installation 「ERROR 1372 (HY000) at line 1: Password hash should be a 41-digit hexadecimal number」 な人はmy.cnfにold_passwords=1が入っているかもしれないのでコメントアウトしてmysqlを再起動してください 旧バージョンからアップグレードの人はmysql_upgrade必要かも 自動起動の設定 shell> chkconfig --add mysql shell> chkconfig mysql on レプリケーション用のユーザを作成 面倒なので3つのサーバ間なら誰がどこか

こんにちは、ADN事業部のt_oookaです。 前回は、virt-installコマンドで仮想マシンを作成し、virt-cloneコマンドにて 仮想マシンの複製を行う方法について記載しました。 今回は、複製する操作をもう少し効率化する方法について触れてみたいと 思います。 「libguestfs」を使用する virt-cloneコマンドにより複製を実行する都度、複製を行った仮想マシンへ コンソール接続を行うのは、複製する仮想マシンが多くなるとちょっとした 作業になるので、この部分の効率化を行います。 「libguestfs」パッケージのインストール # yum install libguestfs libguestfs-tools libguestfs-tools-c 「virt-edit」で複製した仮想マシンの設定を直接変更する 最初に、前回と同様に「virt-clone」コマンドにより

Introduction – Hadoopとは? こんにちは、k_oomoriです。今回は、オープンソースミドルウェアのApache Hadoopを取り上げたいと思います。 コンピュータの性能は日々進化しているとはいえ、1台のマシンの性能にはおのずと限界があります。また、その時々で常に最高性能のマシンを維持していこうとすると莫大なコストがかかってしまいます。そこで登場するのが分散処理という考え方です。1台1台は特に高性能ではないマシンでも多数並べて処理を同時並行で行うことにより、全体の処理性能を上げようというアプローチです。この方法では性能が足りなくなった場合にはマシンを追加することで容易に性能向上ができる反面、分散処理の実装そのものが難しいという問題がありました。例えば、処理の振り分けアルゴリズムやサーバの死活監視、結果の集約など、考えなければならないことがいくつもあります。この分散処理

ADN事業部のh_nagayamaと申します、よろしくお願いいたします。 今回は「twitter風に、スクロールした時に次のコンテンツを自動で追加表示する」 という改修を行った際に使用したjQuery.Bottomプラグインの導入例を、 いくつか調査した内容と合わせて投稿します。 ■概要 jQuery.Bottomで行っていること ・scrollイベントが発生する都度、(指定した)全体の高さと現在の位置を取得して ・現在の位置が(指定した)末尾に到達または超えた時に、bottomというイベントを発生させます ■導入手順 1. githubからpluginをダウンロード https://github.com/jimyi/jquery_bottom 2. 処理を記述 githubのdemoを参照にしています、jquery1.3.2で動作することを確認済です。 <script type="tex