hohoho_ho2005のブックマーク / 2015年10月28日

Elasticsearch Cheat Sheet for developers

🔎 Elasticsearch 1.x 2.x 5.x 6.x 7.x 8.x Cheatsheet 🔍 All the API endpoints and pro-tips you always forgot about in one place! Built by developers for developers. Hosted on GitHub, contributions welcome.

hohoho_ho2005 2015/10/28

elasticsearch

リンク

Cloudera ManagerをDockerで！

Twitterを見ていたところ、Cloudera ManagerのDockerイメージがあるとのツイートが！ RT @davidgreco: For anyone interested I put together a Docker image w/ Cloudera Manager and a couple services set up http://t.co/LlMc8mLq6P — Cloudera Engineering (@ClouderaEng) 2014, 9月 18 これは試さねばと思い、最近調子の悪いMBP（ロジックボードが怪しいんですよ、、）で動かしてみました。 Dockerの環境を構築する @ueshinさんの情報を参考にセットアップします。 [code] brew tap caskroom/cask brew install brew-cask brew cask

hohoho_ho2005 2015/10/28

リンク

HDFS・YARNの完全分散クラスタを構築する - Qiita

Outline HadoopのYARN上で色々なアプリを動かすことになったのでテスト環境を作ってみた。基本的な動作確認は擬似分散モードでいいはずだが、nodeを増やしたり別ホストにnodeを置いた状態でのテストをするために構築してみた。環境共通設定 OS: Ubuntu14.04 （AWS EC2）ユーザー: ubuntu VPC: 全マシンは同一subnetに配置 IP: PublicIPとPrivateIPのどちらも使用。 Hadoop 2.5.2 port: 全開放（22, 80, 8020, 8032, 8088, 50070が開いてればたぶん大丈夫）マシン・役割 client 自分のメインマシン。主にsshで各ノードを操作したり、PublicIP経由で接続を確認したりする。 master Namenode/ResourceManager用 node1 datanode

hohoho_ho2005 2015/10/28

hadoop

リンク

【Python】R言語を勉強するために「言語処理100本ノック」をPythonで解いてみる - 歩いたら休め

会社の先輩から「これ使ったらいい感じにデータ取ってこれるよ」と渡されたものが、 dplyrとかstringrとかよくわからないパッケージをガンガン導入した自由奔放なRのコードで困っています。 R言語自体にも慣れていないため、「コードを使って何を表現したいのか」と「そのRのパッケージで何をできるのか（またどういう使いどころなのか）」を両方読み解かなければならず、けっこう大変です。そのコードの中で「いくつか関数の入ったリストを高階関数に渡してfilterかける」ような操作をしていてしっかり読み解いてみたいのですが、そのコードで取ってきたデータを使いたいだけなので、どうしても後回しにしてしまいます。というわけで、Rの勉強は家でやることにしました。「言語処理100本ノック」として、ちょうど勉強したいライブラリ（dplyrなど）をいい感じに使ってるRのコードがあったので、これを題材にしよ

hohoho_ho2005 2015/10/28

python

リンク

OSSのJob管理ツールを使ってみた感想 - Qiita

先日ラスベガスで開催されたre:Inventに参加し、その際にデータ分析基盤系のセッションはほぼ参加したのですが、Job管理ツールの話がかなり出ていたのが印象的でした。 AWSにはData PipelineというJob管理サービスがあるのですが、それではなくOSSのJob管理ツールを使っているところが多い印象でした。日本では自分の観測範囲だとまだ使っているところがあまり多くない印象ですが(実際自分もほとんど使ったことない)、いくつか候補を絞って触って見たので感想を書きます。あくまでJenkinsしか使ったことがないような個人の感想としてお読みください。。 Airflow Airbnbが開発元 re:Inventでは多くのセッションで紹介されており、一番勢いがある印象を受けた。依存関係はPythonで書くタスクの登録はUIからやるのではなく、コマンドラインから登録 Python力を前

hohoho_ho2005 2015/10/28

python

リンク

R vs Python：データ解析を比較 | POSTD

主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルはここからダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま

hohoho_ho2005 2015/10/28

python
R

リンク

SQL Fiddleの使い方メモ（どこでもSQL） - Love PG , Liquor & Music

外出先でSQLが思い浮かんですぐにでも試してみたい！ Oracle、MySQL、ポスグレとかいろんなDBでSQLを試してみたい！自分の作ったSQLをわかりやすい形で共有したい！そんな要望に応えるようなWEBサービスのSQL Fiddleを発見したので、試してみました。最近はフレームワークにORマッパーがほぼついてるので、SQLを書く機会は減ってきましたが、性能改善や特殊な参照を行う際は必ずSQLの知識が必要になってきますので少しずつ勉強していきたいと思います。 SQL Fiddleとは SQL FiddleとはWEBブラウザからSQLの実行、確認ができるサービスです。ログインして、Stackoverflowと連動させるようなこともできますが、特段ログインしなくても使えます。また、実行結果はWEB上に永続的に保存されるため、URLでプライベートDBを共有することができます。実際

hohoho_ho2005 2015/10/28

SQL

リンク

Azkabanについて書く - wyukawa's diary

ちまたではAirflow(https://github.com/airbnb/airflow)が話題のようですが、Azkaban(http://azkaban.github.io/)を使っている身としてはやはりAzkabanについて書かねばならないと思ったので書きます。別にAzkabanを使ってほしいという意味ではないです。むしろAirflowの運用エントリとか読みたいです。 AzkabanはJavaで実装されたジョブ管理ツールです。開発が若干停滞気味ではありますが、細々と進んでいます。特徴としては、下記の通りです。インストールが簡単（バイナリは古いものしか無いのでソースビルドが必要だがgradlewなので簡単）ジョブの依存関係をグラフィカルに見る事ができる。 APIがあるジョブが失敗した時でもボタン一つで失敗したジョブだけ再実行できる TTLがあるけどジョブの実行ログをブラウザか

hohoho_ho2005 2015/10/28

リンク

Introduction | 中上級者になるためのJavaScript

Share on Twitter Share on Google Share on Facebook Share on Weibo Share on Instapaper 中上級者になるためのJavaScript この記事は、敷居が低いもののなかなか中上級に進めず困っているJavaScript学習者の方を対象としています。よりJavaScriptに対する理解を深める際に気を付けるべき事柄、知っておくべきキーワードの提供をゴールとします。「クロージャーについてもっと知りたい！」「カリー化なるものがあるのか、知らなかった！」といったきっかけになれば幸いです。 JavaScriptは書ける人が多く、ベストプラクティスが整ってあるものの、逆に間口が広すぎてコピペで済ませてしまったり（場合によってはしょうがないことですが）基礎を学ぶ機会がなくなんとなく現場に出てしまったりすることがありますので、ぜ

hohoho_ho2005 2015/10/28

リンク

Node.jsでMySQLを使うメモ - Qiita

JavaScriptとMySQLがつながる。そう　Node.jsならね。前置き node.js始めて3日目程度の知識で書いています。また、MySQLもそんなに詳しいわけではないです。この記事は本家のドキュメントを元に作成しました。コードもほぼ本家のコピペです。間違い等ありましたらコメントでおしえてください。ここではnode-mysqlを使います。インストール npm install mysql コネクション var mysql = require('mysql'); var connection = mysql.createConnection({ host : 'localhost', user : 'me', password : 'secret' }); //これは省略してもoK。 connection.connect(); connection.connect(fun

hohoho_ho2005 2015/10/28

リンク

サーバーレス・アーキテクチャの話 - yoshidashingo

どうも、吉田真吾（@yoshidashingo）です。 re:Inventで AWS Lambda が大幅アップデートされたことをきっかけに、サーバーレス・アーキテクチャという単語をよく聞くようになりました。自分も現在、サーバーレスに作る案件があり、何度か説明してるときに、単語自体はとてもイージーですが、会話する相手によって概念や実装のディテールがフワっとした感じに伝わってしまうので、コンパクトに上手い説明がしたいなと思っているのが現状です。単純な実装方法にいきなり落とし込んで話すと「サーバー代は別に気になってないので」って返されるのがオチです。運用まで含めて変化を促すことができるはずなのに、分かってる人だけ使えばいいと思われちゃうのはちょっと悲しいですね。 (ARC308) The Serverless Company: Using AWS Lambda from Amazon We

hohoho_ho2005 2015/10/28

aws

リンク

Ruby のココがダメ - Qiita

タイトルは釣りです。Ruby に盲目的に惚れている迂生には Ruby の痘痕（あばた）はエクボです。それはともかく。メソッド名の別名がありすぎ「あなたは map 派？　それとも collect 派？」っていう問いがまず嫌い。いや，別名にも意義があるとは思うんだけど，記憶の負担が大きい。自分では map しか使わなくても，他人のコード読むんだったら collect を知っていなくちゃならない。しばらく前に reduce っていうメソッド見て，そんなのあったっけ？と思ったら inject の別名だった。 map/collect と inject/reduce の名前とその背景にある発想については，Rubyist Magazine に良い記事がある：そうかと思えば，Array#delete_if と Array#reject! みたいに，働きは基本的に同じだけど，削除が行われなかっ

hohoho_ho2005 2015/10/28

Ruby

リンク

Elixir/Phoenixで遊ぶ 11 - ElixirでRedis -

Android, iOS, Tensorflow, Ruby, C/C++, Elixir, GAS, GAE, 道の駅, などなど色々やってます

hohoho_ho2005 2015/10/28

Elixir

リンク

ElixirですごいE本 4章 - undefined

すごいErlangゆかいに学ぼう！作者: Fred Hebert出版社/メーカー: オーム社発売日: 2014/08/11メディア: Kindle版この商品を含むブログ (1件) を見る 4.1 動的で強い型付け Elixirは動的で強い型付け iex(1)> 6 + "1" ** (ArithmeticError) bad argument in arithmetic expression :erlang.+(6, "1") 4.2 型変換型変換関数は各モジュールに実装されている例えばInteger => String変換はIntegerモジュールのto_stringを使う http://elixir-lang.org/docs/stable/elixir/Integer.html iex(3)> String.to_integer("54") 54 iex(5)> Integer

hohoho_ho2005 2015/10/28

Elixir

リンク

[Elixir] Task QueueのExqをPhoenixで使う - Qiita

やりたいこと時間のかかる処理はTask Queueに追い出したい。また、Task QueueとはWeb API経由で対話ができるようにしたい。今回はExqというライブラリを使ってみることにする。Resque / Sidekiq互換とのこと。こいつにはWeb APIが無いので、そこは自作することとする。実装事前準備として、redisが必要になるので適宜インストールしておく。インストール mix.exsに以下の変更を加える。 # :exqを追記 def application do [mod: {Smaug, []}, applications: [:phoenix, :phoenix_html, :cowboy, :logger, :phoenix_ecto, :mariaex, :exq]] end defp deps do [ # ... other deps {:exq, "

hohoho_ho2005 2015/10/28

Elixir

リンク

ElixirですごいE本 5章 - undefined

5章すごいErlangゆかいに学ぼう！作者: Fred Hebert出版社/メーカー: オーム社発売日: 2014/08/11メディア: Kindle版この商品を含むブログ (1件) を見る 5.1 再帰の動きリストの長さリストの長さを求める defmodule Recursion do def len([]), do: 0 def len([_|t]), do: 1 + len t end IO.puts Recursion.len [1,2,3,4] http://play.elixirbyexample.com/s/f148dc1a06 末尾再帰の長さ末尾再帰に変更 defmodule Recursion do def tail_len(l), do: tail_len(l,0) def tail_len([], acc), do: acc def tail_len([_|

hohoho_ho2005 2015/10/28

Elixir

リンク

[Elixir] guard構文徹底攻略 - Qiita

やりたいことパターンマッチをバキバキに仕上げてくれるのが、whenから始まるguard構文。標準で様々な演算子と関数が使えるようになっている。やや量が多いので、しっかりと使いこなせるようにするため汎用性の高そうなguardを一通り書いてみた。演算子演算子は以下のものが利用可能。詳細はこちら参照比較演算子(==，!=，===，!==，>，<，<=，>=) 論理演算子(and，or)と否定演算子(not，!) 算術演算子(+，-，*，/) 左側がリテラルの場合の<>と++ in演算子チェック関数で、以下がメインコンテンツ。標準ライブラリから様々なチェック関数が提供されているので、使いそうなものを片っ端から使ってみた。また、いくつかElixirの変数型仕様によるハマりどころもあったので、メモ書き程度だが付記しておく。 defmodule Demo.GuardTest do use D

hohoho_ho2005 2015/10/28

Elixir

リンク

続・RDS MultiAZの性能比較値を追加 | 外道父の匠

前回、無様にも記事公開直前にRDSのMultiAZ分の検証が足りないことに気づいたものの、その時点では飽きてゲッソリしていたので、追試験する気力もなくゴメンナサイしてポチッてしまいました。が、やはり思い直しまして、というか自分でも気になるところなので、恥を忍んでRDSのMultiAZ版のデータも取得して比較考察してみることにしましたウェーイ（ごまかし）。すぐに取り掛からなかったのは、息子の専用部屋を増やすために同マンション内での引っ越しをしていたからです（近況報告）。それでは、参りましょう。 RDS MultiAZのデータと考察同期構成についての考察なので、前回データから一部非同期系を削除し、RDS MultiAZのデータを追加（赤枠）しました。また、結果が思ったよりアレだったので、再びSingleAZでも実行してみましたが、結果はほぼ前回と同じだったのでそのままにしてあります。 R