Spark 1.4.0 の SparkR を動かす - Qiita
先日、Spark 1.4.0 がリリースされ、多数のアップデートがある SparkR 運用モニタリングとDAGのビジュアライゼーション REST API DataFrame API この中でも、SparkR という、統計言語 R から Sparkを利用できる拡張を今回は試したい。他のHadoop関連記事では、無視されやすい Windows も取り扱う。 R には、以前から、SparkR-pkg(https://github.com/amplab-extras/SparkR-pkg/) というプロジェクトが Github上にあり、今回、これが本家に統合された形のようだ。 ビルド済みパッケージの入手 まずビルドからはじめるが、ビルドが面倒ならば、Windows にも対応したビルド済みパッケージを以下から入手できる。 Spark 1.4.0 のビルド 以前のこの記事シリーズと同じく、まずは、ビル
MacBook Airと「My Passport for Mac」でドヤリングがはかどる
外付けストレージといえば、パソコンを使う上で、なくてはならない周辺機器だ。特にノートPCと一緒に使うなら、バスパワーで駆動する小型なポータブルHDDが活躍してくれる。 世の中には、RAIDが組めたり、衝撃に強かったり、はたまた価格を優先したりと、さまざまなタイプのポータブルHDDがあるが、今回はウエスタンデジタルジャパンから登場した「My Passport for Mac」をピックアップ。セキュリティに強いという点を含めつつレビューしていこう。 カフェのテーブルでも場所を取らないサイズがうれしい 最初にスペックをチェックしていこう。モバイルで使う場合、真っ先に気になるのが本体サイズと重量だろう。My Passport for Macは、本体サイズが81（幅）×110（奥行き）×16（高さ）ミリで、重量が実測で237グラムと、気軽にバッグの中に入れて持ち歩けるサイズだ。 モバイルHDDの中に
クーポンコードの打ち間違えを防ぐために工夫した話 - クックパッド開発者ブログ
こんにちは。会員事業部ビジネス開発グループの高田です。 クックパッドは今年、株主優待制度として、プレミアムサービス一年間無料クーポンを贈呈しました。本エントリではクーポンコードを打ち間違えて、意図せず他の人のクーポンコードを使用するのを防ぐために工夫した話をご紹介します。 はじめに クーポンコードは入力のしやすさを優先して数字だけの文字列にしました。はじめは rand 関数を使って生成しようとしていたのですが、数字の打ち間違えや順序間違いで、意図せず誤使用してしまうのを防ぐためにチェックサムを加えるのがいい、と同僚から助言をもらいました。 いくつか調べて見たところ、Luhn アルゴリズムが上記を満たしていたので利用することにしました。 Luhn アルゴリズムの利用 Luhn アルゴリズムとは、誤り検出のためのチェックサム符号で、1 桁の間違いや隣接する数字の順序間違いを検出できるという特徴
「Javaの鉱脈」でRundeckの記事を書きました | さにあらず
WEB+DB PRESS の Vol.87 で、ジョブスケジューラの記事を書いたので是非読んでくださし。 2015/6/24 発売ですので、既に購入頂いてる方も多いと思います。 電子書籍版もありますので物理的な媒体に興味がない方は PDF を買って下さい。 https://gihyo.jp/dp/ebook/2015/978-4-7741-7477-8今回の記事における対象読者について#僕の知ってる範囲ですと、どうも Jenkins 先生をジョブスケジューラの一種として運用している方が随分と多く見受けられます。 具体的に言うとJenkins Job DSL / Plugin等を使っているケースがこれにあたります。 CI サーバがジョブスケジューラの一種であるという部分に関しましては否定しようもないのですけども、定常的な運用作業にまで CI サーバを使うのはちょっと違うんじゃないかなーと常々
K. Saito's Homepage(Japanese)
斉藤 和巳 [連絡先] 〒259-1293 平塚市土屋2946 神奈川大学 理学部 情報科学科 2号棟219号室 ゼミでの主な研究テーマ（予定） ソーシャルネットワークでの情報拡散や意見形成の基本数理モデルの構築 大規模空間ネットワーク分析手法の構築と防災減災などへの応用 社会影響推定のための数理モデルの構築と株価データ分析等への応用 農業環境などの時系列センサーデータ分析法の構築 教員の略歴 学歴 1985年慶應義塾大学 理工学部 数理科学科 数学専攻 卒業 理学士 1998年東京大学 博士(工学) 職歴 1985年NTT入社 機械学習 ニューラルネット 複雑ネットワークの研究に従事 (2007年6月まで） 1991年9月より1年間 カナダOttawa大学 客員研究員 (1992年8月まで） 1994年NTTコミュニケーション科学研究所 主任研究員 (1997年2月まで） 1997年NT
main.dvi
DEIM Forum 2012 F5-5 †1 †1 †2 †3 †4 †5 †6 †7 †7 †1 305-8573 1-1-1 †2 305-8573 1-1-1 †3 060-0808 8 5 †4 ( ) 141-0031 8-3-6 †6 135-0064 2-3-26 †5 101-8430 2-1-2 †7 113-0033 7-3-1 2 Kleinberg LDA (latent Dirichlet allocation) DTM (dynamic topic model) DTM Kleinberg , , Identifying Bursts in Time Series Topic Model Yusuke TAKAHASHI†1 , Daisuke YOKOMOTO†1 , Takehito UTSURO†2 , Masaharu YOSHIOKA†3 , Yas
Kleinberg のバースト検知 (列挙型) について
時系列ストリームデータにおいて出現頻度が急激に増加している時間帯を検出する方法の一つである、 Kleinbergの「列挙型 (enumerating)」バースト検知アルゴリズムを紹介します。 Jon Kleinberg による論文 に、文書ストリームデータが「バースト状態」であるとは、 (文書データのある特定トピックなどの) 出現頻度が、急激に上昇する状態 をいう、と述べられています。 1、 そこでは、 「ドキュメントの到着時間間隔」と、 「全ドキュメントと関連するドキュメントとの比」 の二つに着目してバースト状態が論ぜられ、 前者に対する考察が「連続型」に、後者に対する考察が「列挙型」に、それぞれ繋がっていきます。 以下、或るマイクロブログサービスから取り出したデータを用いて、 キーワードとして「松井」を含むドキュメントのバースト検知を考えてみます。 列挙型の説明の前に、 連続型 を復習
第103回MPS・第42回BIO合同研究発表会-情報処理学会
研究会に登録されている方 研究報告は開催初日の1週間前（＝公知日）に電子図書館と当日用サイト（登録会員用）で公開します。 研究会に登録されていない方 当日受付で資料閲覧用のアカウント情報（URL，ID，PW）をお渡しいたします。 尚、研究会にご登録いただくことで当研究会のバックナンバーも含めて全て電子図書館でご購読いただけます。登録に関しては 「研究会に登録する」のページをご参照ください。 ********************************************************************** 情報処理学会 「第 103 回数理モデル化と問題解決(MPS)研究会」 「第 42 回バイオ情報学(BIO)研究会」 合同研究会 電子情報通信学会 ニューロコンピューティング(NC)研究会 情報論的学習理論と機械学習(IBISML)研究会との連催 *******
IT業界で横行する恥ずかしい英語発音 - Qiita
プログラマやデザイナと話してるとしょっちゅう変な英語発音に出くわします。 例えばheightを「ヘイト」と発音したり。 そういう時、私は心では「ヘイトじゃないよハイトだよ！」と呟きつつ、口では「そうですね、ではヘイトは80pxにしましょう！」なんて言ってるのであります。 まあ、所詮我々が話しているのは英語ではなく、日本語の中に出てきた英単語をカタカナで発音しているに過ぎないですし、テレビのテロップでmainをメーンと表記する時代ですので正解などは無いと思っています。 ですから、何でもかんでも正しい英語っぽく発音するべきなどとは思っていませんが、やはり「こいつ適当にスペルを日本語読みしてるだけだろ！」ってのが明らかな場合は、聞いているこっちが恥ずかしくなってしまうものです。 というわけで、この業界で横行してる妙な発音をまとめてみました。 間違って発音すると恥ずかしい英語 これらは間違って発音
実戦投入する機械学習
言葉のもつ広がりを、モデルの学習に活かそう -one-hot to distribution in language modeling-Takahiro Kubo
Kleinberg のバースト検知
時系列データにおいてイベントが急激に増加したことを検出する手法の一つである、Jon Kleinberg のバースト検知アルゴリズムを紹介します。 Jon Kleinberg が考案したバースト検知のアルゴリズムは、 Bursty and Hierarchical Structure in Streams に示されています。 この手法を用いることによって、例えば、あるマイクロブログサービス上で、 ある話題がどの程度の期間、どの程度の盛り上がりをみせたのかを捉えることができます。 バースト検知とは時系列データに対する異常検出の一つで、 イベントの集中的な発生を検出することを言います。 例えば、マイクロブログサービス上で、 ある単語(商品名など)に対する投稿が急激に増えることがあります。 このような現象を「バースト」と呼び、 これを検出する用途にバースト検知は使われます。 バーストを自動的に検出
カエルでもわかる！Spark / MLlib でやってみる協調フィルタリング（前編） - ALBERT Engineer Blog
はじめに 当ブログでは Apache Spark プロジェクトの機械学習ライブラリ MLlib について何度か取り上げました。 Spark / MLlib の K-means を Java から利用してみる Scala ではじめる Spark / MLlib の単純ベイズ分類器 今回のエントリでは MLlib の協調フィルタリングについて書きます。 アルゴリズムの簡単な解説と Java からの利用方法、性能評価実験などの話をします。 Spark 1.1.0 が9月にリリースされてからしばらくたってしまいましたが、1.1.0 から実装された機能も紹介します。 少し長くなるので前・後編に分かれます。 以下では Spark 1.1.0 を想定しますが、このあたりは今も発展中であり、以降のバージョンではまた違う話になっている可能性が高いのでご注意ください。 MLlib における協調フィルタリング
ALBERT Engineer Blog | 株式会社ALBERT エンジニアたちの備忘録 | ページ 2
ご無沙汰しております。システム開発部の potter です。 Jubatus のバースト検知を使ってみた話以来となるので久々の投稿となります。 最近運用チームから開発チームに異動したのですが、Scala を使うプロジェクトがありそうということでその勉強を始めました。 今回はそんな Scala 歴 2 週間足らずの私が人生で初めて書いた Scala プログラムを晒してしまおうという、ちょっぴり M な香りのする企画となります。 （ただし晒しているのは Scala の先輩であるシステム開発部の uraura 先生にいくつかアドバイスを頂いて修正したプログラムになります。Special tanks to uraura!! ） 作成したプログラムの内容 単純パーセプトロンによる識別精度を n-fold cross validation により評価するプログラムを作成しました。1 続きを読む Sca
Jubatus のバースト検知を使ってみた話 | ALBERT Engineer Blog
はじめまして。 システム開発・コンサルティング部の potter と申します。日頃は smarticA!DMP の運用をしております。 さて、 soonraah ガエルの記事を読んで「自分も何かやりたい！」と思い Jubatus という オンライン機械学習向け分散処理フレームワーク を使ってみました。今回は先月に新機能として追加されたばかりのバースト検知を試してみます。 ではでは、少しの間お付き合い頂けますと幸いです！ バースト検知とは？ バースト検知って何？という方もいらっしゃるかと思いますが、 Jubatus Blog にも記載されているように「特定のキーワードを含むツイートが突然増えたことを検出する」といったことを可能にする技術です。 具体的な例として「金曜ロードショー ラピュタでバルス！現象」1について考えてみます。 Twitter ストリーム上のツイート系列を考えた時、「バルス」
WeldとJava SEとGradleとIDEAと - 日々常々
Weldを使ってみようと思いました。普段DIはSpring一本槍なのですが、それもどうかと思ったので。 opengl-8080さんやKazuhiraさんのようないつもの方々が既にやられていることだし、すぐできるだろうと思ってました。 qiita.com d.hatena.ne.jp やるまでは。甘かったです。すぐできなかった。でも、あーだこーだとやってたら一応解決したので書いておきます。 結論からいうと、*.classがあるディレクトリにbeans.xmlさんがいる必要があります。Gradleとかでclassesとresourcesとかディレクトリが分かれてると、resourcesにbeans.xmlさんが行っちゃうので、動かない。 気づいてみればよくある話なんだけど、だいたいそんなもんだよね(´・ω・`) やったこと とりあえずドキュメントの通りにやってみる なんか動かない CDIわかっ
C++によるSMOを用いたSVMの実装 - kivantium活動日記
機械学習の手法にはいろいろありますが、その中でもサポートベクトルマシン(SVM; support vector machine)は高い精度で知られる有名な手法です。 以前C++で多層パーセプトロンを実装したので、今度はSVMをC++で実装してみました。kivantium.hateblo.jp SVMの解説 実装する前にSVMの原理を説明します。PRML下巻7章を参考にしました。 パターン認識と機械学習 下 (ベイズ理論による統計的予測) 作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: 丸善出版発売日: 2012/02/29メディア: 単行本購入: 6人 クリック: 14回この商品を含むブログを見る SVMは2値分類に使われる手法で、入力に対してある関数を計算してその値の符号によってクラス分類をします。 入力（ベクトルですが、うまく表記出来ないの
Google Python スタイルガイド
概要¶ これは Google Python Style Guide Revision 2.29 を日本語に訳したものです。 本家ガイドは CC-By 3.0 ライセンス の基で公開されています。また、本ガイドも同ライセンスを継承します。 本家ガイドの著者は以下の通りです。 Amit Patel Antoine Picard Eugene Jhong Jeremy Hylton Matt Smart Mike Shields また、本ガイドの翻訳者は以下の通りです。 Kosei Kitahara 本ガイドに誤植、誤訳があった場合は issue で教えてください。 その他本ガイドに関する問い合わせは、サイト最下部に記載のメールアドレスか @Surgo にお願いします。 はじめに¶ Python は Google で使われている主要なスクリプト言語です。 このスタイルガイドは Python によ
pdfmake - クライアント/サーバサイド両方に対応したPDFジェネレータ MOONGIFT
Webシステムを作っていて、時々PDFの帳票が必要になることがあります。サーバサイドでPDF出力するツールは幾つかありますが、それらのセットアップは面倒ですし、サーバの負荷も気になるでしょう。 そこで使ってみたいのがpdfmakeです。サーバ、クライアントサイド両方に対応したPDF作成ツールです。 pdfmakeの使い方 pdfmakeではJSONを使ってPDFの形式を定義します。 スタイル設定も可能です。 より複雑なスタイルを使った例です。 段組のサンプル。 テーブルも使えます。 リスト。ネストもできます。 より本格的な形式ですね。 画像も使えます。 pdfmakeの良いところはJavaScriptによる生成なのでサーバサイドの負荷なく、かつ編集した内容をその場で反映して生成し直すこともできるということです。さらにnodeで動かすこともできるのでクライアントサイドのコードを使ってそのまま
エンジニアのための英語
本日、以下のような文章を読んだ > I was suffered from ~ ~の部分には遭遇した諸問題について書いてあったので、この文章は「苦しめられた」と言いたいのだと推察できた。ただ、残念な事に、be suffered というのは多分現在ではほとんど使わないし、意味が若干違ってくると思う（詳しくは検索してきて！） sufferと言う言葉は「苦しむ・被る」という意味なので、受け身にすれば「苦し『められる』」という意味になるのではないか、というつもりだったのはないかと推察するが、sufferはすでに受け身の意味なので、I sufferですでに何かに苦しめられているのであり、これをさらに受け身にする必要はない。 > I had to suffer from having to deal with spaghetti code とかなら、「スパゲッティコードに立ち向かわなくてはいけなかった
TCP/IPでネットワークが繋がるわけ「で・ね・と」
qpstudy 2015.06 での、OSI L2〜L4 および TCP/IP の説明資料です。 This slide is about the OSI and TCP/IP.Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アスキードワンゴ
http://infosocio.org/vol7no2-03.pdf
Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin!
http://www.ar.sanken.osaka-u.ac.jp/~motoda/papers/dbsj2012.pdf
数理システム 知識工学部
xhyve - Qiita