ビッグデータ時代―なぜ、いま機械学習なのか Apache Hadoop（以下、Hadoop）の登場で、今まで捨てていたデータ、貯めるだけで処理しきれなかったデータを活用できるようになりました。 活用手段として最近とみに注目されている技術が「機械学習」であり、Hadoopの強みを生かし簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを動かしてみることで、機械学習の常識を身に付けます。 そもそも、機械学習とは？ 機械学習とは、一定のデータをコンピュータ・プログラムに「学習」させ（すなわち、そのデータに潜むパターンや規則性を表す「モデル」を自動的に構築させ）、他のデータにそのモデルを適用すれば、あたかも人間のように複雑で柔軟な判断が行えるようにするという試みです。 機械学習をビジネスに活用した例は、レコメンド（ユーザーや商品

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

「Vagrant」って何ぞ？（・o・）：Vagrant開発者 Mitchell Hashimoto氏に聞いた 仮想の開発環境作成ツールとして人気が高まっている「Vagrant（ベイグラント）」。その開発者であるMitchell Hashimoto（ミッチェル　ハシモト）氏が来日するとの情報を聞き、2013年7月12日、VOYAGE GROUPで行われたミートアップに駆け付けた。 「Vagrant」とは Vagrantとは、違う環境に移行可能な開発環境を簡単に構築・管理し、配布することができる開発環境作成ツール。「ほんの数行書くだけで開発用の仮想マシンを構築できる」という優れものだ。 Vagrantのビジョンは、「開発者とシステム管理者にとって最高の『開発フロー』を提供すること」。Vagrantをダウンロードして「vagrant up」と入力し、実行するだけでそれが可能となる。 システム管理

そんな中、モーションビートが提供する「AdStir」（アドステア）は、特にスマートフォン向けに特化した広告配信サービスとして注目を集めているものの一つである。AdStirは、アドサーバ機能、複数のアドネットワークを一元管理して広告配信の最適化を行うイールドオプティマイゼーション（SSP）機能を持ち、近年特に関心が高いリアルタイム入札（RTB）にも対応したサービスとなっている。 スマートフォンユーザーの急激な増加に伴う多様な広告配信ニーズの増大により、その基盤となるシステムに対しては高い信頼性と可用性、そして高速性が求められている。AdStirでは、どのような技術と体制によって、その要求に応えているのだろうか。モーションビート、メディアプラットフォーム事業部でAdStirの開発に携わる、メディアプラットフォーム事業部の落合省治氏とfukata氏に話を聞いた。 LVSをベースにnginxとLu

Redis は基本的にシングルスレッド、イベントドリブンモデルなので、時間のかかるLua スクリプトを実行したらどうなるかというのは想像に難くないのですが確認してみました。 Redis は 2.6.14 です。 redis-cli eval 'while true do print("hello") end' 0な感じのを実行します。 実行中に、別クライアントから GET, INFO, PING すると全てブロックされて結果が返ってきません。 redis.conf で lua-time-limit 5000 と設定している場合は、5秒後に redis-server のログに [18068] 22 Jul 13:51:23.798 # Lua slow script detected: still in execution after 5000 milliseconds. You can t

CTOの椎名アマド ( @ima_amataro) です。 前回の記事：「Pairy : チャットデータを Redis から Amazon DynamoDB に全移行した話（１）」 前回はRedisをチャットのプライマリのストレージとして使う上での問題点と、 Amazon DynamoDB の特徴などを紹介しました。 今回はDynamoDBの詳細説明と、実際の移行作業と、その際にハマった点をお話していきます。 DynamoDBのテーブル構成 まずは DynamoDB 上のテーブル構成を考えるところから。 Redisにおいてはシンプルな list にチャットを保存していて、 chat.room.{room_id} {timestamp}:{user_id}:{urlencode(message)} {timestamp}:{user_id}:{urlencode(message)} {tim

CTOの椎名アマドです。 今回は、Pairyのチャットデータを全てRedisからAmazon DynamoDBに移行した話をしたいと思います。 我々が 2012年6月に カップル専用アプリ Pairy をリリースした時には、 データベースは MySQL と Redis の両方を利用するところで始めました。 Redis の役割は： 1. MySQLレスポンスのキャッシュ 2. プッシュ通知等のキュー 3. チャットのデータを全保管 サービスローンチ直後はまだ Appサーバー(EC2)１台と、MySQL & Redisを両方走らせてる DBサーバー(EC2)１台で十分だという判断で、しばらくはそんな構成でやってました。（S3などは省略） しかし、いざサービスが成長してくるともちろん MySQL & Redis を１台でまかなうのはキツくなり、MySQL と Redis を別々のEC2インスタン

英国の著名なテスト自動化の専門家 Dorothy Grahamさんが 2014/2〜2014/4 にかけて行った掲題のアンケート結果が公表されていましたのでサマライズしてお届けします。 有効回答数は183件。国別には32%が北米で、13%が英国、10%がベルギー、オランダ、ルクセンブルク。その他、スカンジナビアや他のヨーロッパ諸国、日本、マレーシア、オーストラリア、ニュージーランド、インド、イスラエル、ポーランド、ルーマニア とのことです。 全文はこちら： http://www.dorothygraham.co.uk/downloads/generalPdfs/surveyResults.pdf ※なお回答は任意かつ複数選択可能形式のため各設問の合計は100％になりません

1 名前: 学名ナナシ 投稿日: 2014/5/3 関連記事 【悲報】ももちのプライベート画像が流出 【画像】砂浜に描いた3Dアート集すげええええええええ！！！ 【画像】スイスのロッククイライミングができる人工壁が怖すぎｗｗｗｗｗｗ 【画像】ダンボールで作ったアートのクオリティがやばいｗｗｗｗｗｗ 続きを読む

この記事は Evernote すばらしい！というものではない。面倒くさがりやが最終的にたどりついたのは2周半くらいして Evernote だったという話。 何か欲しい情報があったらどうするだろうか？多分 Google で検索する。何かメモをしたい場合は？ChangeLog メモ？howm? Simplenote?。もう Evernote でいいよ。消極的な意味で。設定とかほとんどいらない。マルチデバイス対応も簡単。(Dropbox とか組み合わせなくて良いんだぜ！） メモと一緒に図をくっつけて保存したい。plain text 以上に構造化してメモを取りたい。もう Evernote でいいよ。消極的な意味で。 何か保存したいときは Evernote でやれば、探すときも Evernote の中だけを探せば良い 例 旅行する。飛行機チケットの情報は Gmail に届いた予約確認メールを Web

Mac OSのスリープ方式(ハイバネーション)を変更する方法です。 バッテリーの持続時間を長くしたり、スリープにかかる時間を短縮したりすることができます。 MacBookやMacBook Proのスリープ方式を切り替える方法 スリープの種類と特徴 スリープの方式を切り替える方法 を説明します。 デフォルトのスリープ方式「セーフスリープ」 MacBookのデフォルトのスリープ方式は「セーフスリープ」といいます。 このスリープ方式は作業中のメモリの内容をそのまま保持したまま、スリープ移行時に作業中のメモリの内容をハードディスクにコピーとして書き出します。 このスリープ方式だと以下の利点があります。 通常のスリープ復帰時にはハードディスクからは読み込まず、メモリに保持している作業中の内容を使うので、復帰が速い。 スリープ中にバッテリー切れになったときは、ハードディスクにコピーした作業中のメモリの

さて、今回は比較的新しいデータストアであるLevelDBについてまとめてみました。 LevelDBは1年ほど前からNode.js界隈ではブームが来ていて、理由がよくわかっていなかったんですが、まとめている内に分かるかなと思ってまとめました。今回はNode.js無関係でLevelDBの基礎的なことだけ調査した結果をまとめてみました。 Node.jsで使ってみる話は後に回します。 LevelDBとは? key-value型のデータストアの一つです。 Googleの研究者である、Jeff DeanとSanjey Ghemawatが開発し、2011年に公表されました。C++で書かれており、多くのプログラミング言語でbindingsが書かれています。もちろん、JavaScript/Node.jsでも書かれています。 LevelDB は Google のBigTableをベースにしたアーキテクチャを持

Rubyは手続き型の言語であるが、LispやSmalltalkの影響も受けているため関数型言語の側面も持つ。 Wikipediaのアクセス解析プログラムを例に、両者の違いを比べてみる。元の手続き型のコードは、いがいがさん作のRuby講義資料から。 Ruby 講義 第6回 Wikipediaアクセス解析 Ruby 講義 第7回 Wikipediaアクセス解析 アクセス解析のプログラムは以下の処理を実施している。 CSV形式のログ（ページ名とアクセス数が記録されている）を読み込む jaで始まる行のみを対象にする ログの1行からページ名とアクセス数を抽出 アクセス数が多い順に並び替え トップ20行を表示 require "cgi" filename = "20120301-000000-ja.txt" file = File.open(filename, "r:UTF-8") list = []

javascriptでデスクトップアプリが作れるnode-webkitのビルドツールnuwk!と、超軽量MVVMフレームワークのvue.jsを使ってデモアプリを作ってみました airtoxin/MiniTodo 見た目… 準備 node.jsをインストールしてnpmが使えるようにする node-webkitとnuwk!をインストール vue.jsのmin.jsをダウンロード nuwk!を開いて新規プロジェクトを作成 ここまででnuwk!がHello Worldのテンプレートを作ってくれるので、満足するまでそれらをいじってからBuild projectすればBuildディレクトリにappとしてアプリケーションが作られます。 テンプレート部分 Appディレクトリ中のindex.htmlを編集します。 <link rel="stylesheet" type="text/css" href="./

A while ago, I wanted to get a little quick feedback on some data I was playing with, but the day was almost over and I wasn’t done working on it yet. I decided to tweet my rough draft of a graph of GitHub language trends anyway, followed later by a slight improvement. Trends over time, smoothed to make it a little easier to follow Much to my surprise, that graph was retweeted more than 2,000 time

本来ならネットワーク管理者みたいな人がいて、その人にやってもらうほうが安全・安心なのですが、そうもいかない状況でプログラマがサーバー構築することも珍しくないと思います。 今回まさにそんな状況で、自分なりに勉強して試行錯誤して構築したメモです。 ナウい技術であるDockerとか使ってない、まごころ込めた手作りサーバーなので本気で勉強したい人は参考書とか買ってやったほうがいいと思います。 構築した構成図は以下の画像のようになってます。 （これが効率のよい形なのかは分かりません） WebサーバとDBサーバが2台ずつで、ファイルサーバが1台。 WebとDBをロードバランサで負荷分散させてるという構成です。 WebサーバーがApache＋PHP。フレームワークとしてFuelphpを使います。 DBサーバーがMariaDBでレプリケーションを使って同期します。 FileサーバーはNFSを利用します。

フリーで配布されているアイコンにはいろいろな種類があり、デザインテイストもさまざま。そんな中今回紹介するのは、シンプルさを可愛らしさを兼ね備えたフリーアイコン「Feather: 130 Free Icons by Cole Bemis」です。 130種の、定番として使用できるフリーアイコンがセットになってダウンロードできるようになっています。 詳しくは以下 メールやファイル、ダウンロード、天気、矢印などのベーシックなものを中心に揃えており、どのアイコンも角が丸く描かれているので、シンプルでクールなテイストの中に柔らかい雰囲気が求められている時におすすめ。形式もPSD、 CSH、 SVGと3種でパッケージされているので、web制作を中心にいろんなデザイン形式で使用できる点も魅力。 ベーシックに使えるアイコンとしてストックしておくととても便利だと思います。今主流のフラット系デザインにもぴったり