Apache Sparkを使ってみる | Recruit Jobs TECHBLOG
こんにちは、shota_suzukiです。 最近『Apache Spark』を色々なプロジェクトで使う機会が増えてきたので、Sparkの基本から紹介いたします。 Apache Sparkについて Apache Sparkはざっくり言ってしまうと、「ビッグデータを処理するためソフトウェア」です。ビッグデータに対する分散処理基盤としては、長らくHadoopが使われてきたことと思います。 しかし、Hadoopの特にMapReduceには苦手な処理もあり、その分野に対する解決策としてSparkがここ数年で相当注目されるようになってきました。 MapReduceでは中間データが毎回ディスクに書き出されるのですが、データの量が多かったりして処理が多段になってくると、ここのコストが無視できなくなってきます。 Sparkでは、中間データをディスクに書き出さず、メモリ上に持っているので、この点ではMapRe
バッチ高速化のあゆみ
4. 目次 1章 「はじめに」 1. 今日のお題 2. 目次 3. 自己紹介 2章 「高速化のあゆみ」 1. 対象 2. 課題 3. 施策 a. ロジック b. データソース c. インフラ 3章 「奥の手」 1. マルチプロセス化 4章 「さいごに」 1. 最終的な成果
Big Sky :: golang で型付きで DLL を呼び出す方法
golang dll で int の参照、どうやってコールするんか悩んだ var usb_no int = 0 ret, _, _ := find_usb.Call(uintptr(unsafe.Pointer(&usb_no))) — mik o (@oki_mik) September 26, 2016 golang で簡単に DLL を呼び出す方法は syscall.NewLazyDLL を使う事です。 package main var ( times = 0 dll = syscall.NewLazyDLL("mydll.dll") proc = dll.NewProc("MyFunc") ) func main() { i := int32(123) proc.Call(uintptr(unsafe.Pointer(&i))) } ですが Call の引数は全て uintp
Big Sky :: GolangでAPI Clientを実装する、の続き
いい記事に感化されて僕も何か書きたくなった。 GolangでAPI Clientを実装する | SOTA GolangでAPI Clientを実装する 特定のAPIを利用するコマンドラインツールやサービスを書く場合はClientパッケージ（SDKと呼ばれることも多いが本記事ではClientと呼ぶ）を使うこ... http://deeeet.com/writing/2016/11/01/go-api-client/ この先、JSON REST API のエンドポイントに対して Golang の struct を用意していく訳だけど、ここが一番かったるい作業で一番手を抜きたい所だと思います。そこで便利なのが JSON-to-Go です。 JSON-to-Go: Convert JSON to Go instantly JSON-to-Go Convert JSON to Go struct T
JubatusでQiita記事を推薦してくれる日報アプリ作ってみた - Qiita
概要 研修の一環 + 個人的な興味でJubatusを使ってみよう！ という趣旨で、Qiita記事を推薦してくれる機能を（知り合いが作った）日報アプリに（勝手に）実装してみました。 ユーザが日報を投稿すると、Jubatus（＋Mecab）が日報内容を解析し、類似したQiitaの記事をおすすめしてくれるような機能です。 Gitリポジトリ：https://github.com/kawasaki-kk/Introduction_mysite/tree/qiita 1. システム構成 以下の環境で実装しました。 CentOS 7 Python 3.5.2 jubatus 0.9.1 mecab-python3 0.7 処理の流れは以下のようなイメージです。 ユーザが日報を投稿すると、日報アプリはその投稿内容をそのままJubatus（recommender）サーバに投げます。 Jubatusサーバでは
GolangでAPI Clientを実装する
特定のAPIを利用するコマンドラインツールやサービスを書く場合はClientパッケージ（SDKと呼ばれることも多いが本記事ではClientと呼ぶ）を使うことが多いと思う．広く使われているサービスのAPIであれば大抵はオフィシャルにClientパッケージが提供されている．例えば以下のようなものが挙げられる． https://github.com/aws/aws-sdk-go https://github.com/Azure/azure-sdk-for-go https://github.com/PagerDuty/go-pagerduty https://github.com/hashicorp/atlas-go 特別使いにくい場合を除けば再実装は避けオフィシャルに提供されているものを使ってしまえばよいと思う（まともなものなら互換性などをちゃんと考慮してくれるはずなので）．一方で小さなサービ
CodingBatでアルゴリズム100本ノック - KAZ log TechMemo
これまでの自分のプログラミングは機械学習周辺に偏っていて、コンピューターサイエンスやったことある人間が通ってくる基本的なアルゴリズムについての知識が足りていないとの指摘を受けたので、その部分を埋めるためにCodingBatにチャレンジしてみた。 Coding Bat http://codingbat.com/ 簡単なアルゴリズムをひたすら書かせるプログラミングサイトで、初めの一歩として楽しくできた。 自分のコードはGitHubに載せておくことにする。 次はもう少し難しいアルゴリズムを練習するために、積読になっているこの本を練習する予定。 世界で闘うプログラミング力を鍛える150問 トップIT企業のプログラマになるための本 作者: Gayle Laakmann McDowell出版社/メーカー: マイナビ出版発売日: 2012/11/13メディア: Kindle版この商品を含むブログ (3件
そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）
ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。 そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回 そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編） そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編） 今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。 あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き
Linux入門 ~「パスを通す」とは~ - Qiita
概要 ある程度プログラミングの経験のあるかたなら、 「パスを通す」という作業をしたことあるのではないでしょうか？ こんなコード 今回は、パスを通すというのは一体なんなのか、なにをしているのか、というのを プログラミング入門者がわかるよう説明します。 結論 結論から入ります。 パスを通すとは 環境変数（$PATH）の記述を変えて、コマンド検索パスを追加することです。 この定義を読み解いていきましょう。 環境変数 漢字が連なっていて難しそうですね。 変数というのは、数学なのででてくる「変数ｘ」と全く同義です。 環境変数は、特別な変数で ローカル環境（ご自身のパソコン）全てで使える変数です。 言葉で説明されてもあまりピントこないと思うので実際に試してみたいと思います。 ご自身のターミナルを開いてください。 環境変数、$TEST、というものを定義してみましょう。 下のコマンドをターミナルで実行して
生まれ変わったFacebook製テストフレームワーク「Jest」とは何か？
長らく停滞していたFacebook製のJavaScriptテストフレーム「Jest」が息を吹き返しています。概要とサンプルを使ったテストの手順を紹介します。JavaScript PlaygroundのJack Franklinによる特別寄稿です。 この記事ではFacebookが開発したテストフレームワークJestを使い、ReactJSコンポーネントをテストする方法を説明します。Jestの独創的な機能、特にReactアプリ向けテストを簡単に実施する機能について説明するまえに、プレーンなJavaScript関数でのJestの使用法を紹介します。 Jestが注目に値するのは、Reactに対応しているだけでなく、JavaScriptアプリケーションのテストにも使用できるからです。ただし、いくつかの機能はユーザーインターフェイスのテストにとても役立つ形で提供されるので、Reactにぴったりです。 サ
電王・Ponanza開発者が語る、理由がわからないけどスゴイ“怠惰な並列化”
皆さんこんにちは。 私は将棋プログラム「Ponanza」の作者、山本一成と申します。Ponanzaは初めてプロ棋士を破った将棋プログラムで、近年最も強い将棋プログラムと言えると思われます。また、2017年もトッププロ棋士の方と対局することが予定されています。Ponazaの改良のための機械学習に現在ジサトライッペイさんのPC「大紅蓮丸」の計算リソースを借りているのですが、その関係で原稿を書いてとお願いされたので、3回に渡って将棋プログラムの今について、書いていきたいと思います。 フリーランチの終焉、並列化の効率問題 アスキー読者の方々には言うまでもないのですが、まずは近年のCPU事情について解説していきたいと思います。ちょっと昔まではCPUはシングルコアが当たり前で18ヶ月経過すればCPUのトランジスター数は倍になり、性能が向上するという流れが続いていました。ソフトウェアはその性能向上に伴い
ISUCON6決勝を戦って敗北した - たごもりすメモ
ぼーっとしてたら1週間が経過してしまった。先日のエントリのとおりISUCON6決勝に通ったので戦ってきた。チームはもちろん引き続き @joker1007 と @tnmt との3人、チームJingisukan。そして負けた。6位。 やったことは色々あったし、それ以上やれることも、やっていてうまく結果に出しきれなかったことも色々あった。後悔することもあるけど、出題内容の中で自分(たち)がよく知らず最適化しきれなかったこともあったので、順位はともかく勝てなかったのはしょうがなかったなあ、という感じ。 おおざっぱに経緯を記しておこうと思う。 あれこれ 事前準備は特になし。空のリポジトリを用意したくらい。 当日は余裕をもってチームで集まったので、雑談したりうろうろしながらリラックス。競技開始後、出題内容見てウヘーってなってた。 とりあえずデプロイしてみるも、10コア制限にひっかかってうまくいかず。参
DQNの生い立ち ＋ Deep Q-NetworkをChainerで書いた - Qiita
#はじめに そもそもDQNが作りたかったわけじゃなくて、他の目的でChainerを使いたかったのでその練習にDQNを書いたんですが、せっかくだし公開しようと思いました 公開しました 。またどうせ公開するなら、この機会にこれ（Q学習+関数近似）関連で持っている知識をついでに整理しようと思ってまとめました。 ニュース記事とかNatureとかNIPSの論文だけ読むと、DQN作ったDeepmind/Googleすげー！！！って感覚になりそうですが、強化学習的な歴史的経緯を考えると強化学習+深層学習になった、むしろかなり当然の成り行きで生まれた技術であることがわかります。（ATARIのゲームを人間以上のパフォーマンスでプレイするというのがビジュアル的にわかりやすかった$\leftrightarrow$問題設定が良かったというのもあります。） この記事ではNIPSとNatureの以下の２本の論文 ・
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
イマドキのコーダー環境構築2016
LOG.debug(marker,”使え”)
appgiga.jp