賢い読者はお気づきだと思いますが、このページの情報は２年前ぐらいの記事です。古いのでオススメしません。Docker for mac とかない時代っぽい時期の個人的なメモです 今更ながらDocker始めてみた。モチベーションとしては、Sparkとか試すために、手元に仮想環境がほしいから。なので、Immutable Infrastructureとか、KubernetesとかPackerはもちろん、Dockerfileとかにも踏み込まず、Dockerを始めてみる Docker始めるにあたり読んだ記事 15分で分か(った気になれ)るDocker "Docker is NOT Container." ~ Dockerとコンテナ技術、PaaSの関係を理解する いまさら聞けないDocker入門（2）：ついに1.0がリリース！ Dockerのインストールと主なコマンドの使い方 (1/3) - ＠IT Do

elastic/elasticsearch-dsl-py · GitHub いつの間に公式からHigh levelなPythonクライアントが出ていたので使用してみました。 PythonのElasticsearch関連のライブラリは色々とHaystack(つらい)とかelasticutils(いつの間にかDeprecatedになっていた)とかがあって 不遇だったのでコレで解消されればよいのかな。 機能面 elasticsearch-dsl-pyはElasticsearchの薄いラッパーと言うことらしいのですが、ひと通りの機能は揃っているみたいです。 あと特にDjangoやらSQLAlchemyやらを併用して使用することは今のところ想定されていないみたい。 Analysis analyzerは kuromoji_analyzer と ngram_analyzer がすでに定義されているものと

Wantedly Engineer blogに本速習会資料を閲覧向けに再編しました！ ぜひご覧いただけると幸いです！ 本記事は、綺麗なAPI速習会@Wantedlyの資料として作成されたものです。 同時にこちらのコードも参照してください。 マイクロサービス 流行りのマイクロサービス、何がいいのか 各々自由な言語やArchitectureでサービスを立てられる 障害の影響が部分的 変化に強い 個別デプロイ etc... マイクロサービス化をすすめるにあたり、やりとりは全てAPIで行う 内部のAPIであっても外部に公開できるようなクオリティのAPIを作成し、それを元にサービスを作っていくことが重要 APIGatewayとBFF API Gateway Pattern 公式サイトより 「見た目はモノリシック、実装はマイクロサービス」 一箇所見に行けば全てのAPIを見つけられる 細かい権限管理も可

【Python】Googleの検索結果は非同期のためSeleniumでGoogleの検索結果のタイトルを取得するときはWait機能を使わないと正しいタイトルが取得できない Googleの検索結果は非同期のためSeleniumでGoogleの検索結果のタイトルを取得するときはWait機能を使わないと正しいタイトルが取得できません。 PythonのSeleniumをインストールされていない方は【Python】Seleniumのインストール方法を御覧ください。 SeleniumのWait機能を使うと指定した要素が画面に表示されるまで待ちます。これによりAjaxなどの非同期通信により追加された要素を見つけることが出来ます。 今回は非同期通信によりタイトルタグが書き換えられたタイミングでGoogle検索結果のタイトルタグを取得するコードを書きました。 ソースコードは以下のとおりです。

『Elasticsearch Sever』を読んで勉強をしたことの俺得メモです。今回は基本的な概念や基本API、マッピングについてです。 英語ですが、公式ドキュメント『Elasticsearch Reference [2.1]』も充実しているのでななめ読みしています！ 詳しい使い方は公式のチュートリアル『Tutorial - jq』あたりがお勧めです 🎃 Elasticsearchの基本概念Elasticsearchの論理的な構成要素検索で使うデータの構成要素のイメージ。 - インデックス - ドキュメントの集合体。リレーショナルDBのテーブルのようなもの。格納された値は、全文検索に最適化される。 - ドキュメントタイプ - 1つのインデックス内に複数のオブジェクトを格納できる。その区分のこと。 - ドキュメント - リレーショナルDBのレコードのようなもの。型(type)は自動で決まる

概要 elasticsearch のインストールから運用のだいぶ手前までのお試しをまとめたメモです．クライアントはpythonクライアントを使います．これがあれば，データの追加や検索をpythonを利用して行えるため，データの加工なども楽になる・・・と思うのですよ． 環境設定 Elasticsearchのインストール 環境が debian だったので，debのパッケージを持ってきてでインストール． % wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.3.1.deb % sudo dpkg -i elasticsearch-1.3.1.deb # The first existing directory is used for JAVA_HOME (if JAVA_HOME

メモ。 SQLAlchemy でモデルクラスを定義していて、__repr__ を毎回定義するのがダルい。 かといって定義しないと、デバッグ時(主にプリントデバッグ)に中身が出ないのも困る。 # -*- coding: utf-8 -*- from sqlalchemy import Column, Integer, String, ForeignKey from sqlalchemy.orm import relationship from db import Base class User(Base): __tablename__ = 'users' id = Column(Integer, primary_key=True) name = Column(String(50), unique=True) email = Column(String(120), unique=True) d

ディープラーニングは色々な知識が必要です。 「チュートリアル動かしました」で止まったままの人も多いでしょう。 そこで、自分がchainerを理解しながら動かした時の方法を書きます。 大前提 とは言ったものの、誰でも入門は無理なので。 以下が最低限の前提です。 数学:微分積分、行列、確率とか聞いても「ああ、あれね・・・」くらいには思う IT:Pythonがそれなりに分かる。numpyはそこそこ分かる。 機械学習:説明変数とか、目的変数とか分類とかが何となく分かる やる気:引っかかった時に、調べる気力がある ゴール chainerを自分で色々試せるレベルになる。 あくまで試せるレベルになるだけです。 それでも千里の道も一歩からです。 一緒に頑張りましょう。 ちなみになぜchainerか、というと、 入門者が触るには、バランスは良さそうに見えたからです。 最初の最初 ディープラーニングは歴史から

ども、cloudpack の かっぱ（@inokara）です。 はじめに 取り急ぎのメモです。 検索系 インデックスのレコード数確認 curl -XGET 'http://${HOST}:9200/_cat/count/${INDEX_NAME}' インデックス内から任意のフィールドの値のみを取得 curl -XGET 'http://${HOST}:9200/${INDEX_NAME}/_search?pretty' -d ' { "fields": [ "f1","f2","f3"] }' ちなみにネストされているレコードも以下のように取得出来る。 curl -XGET 'http://${HOST}:9200/${INDEX_NAME}/_search?pretty' -d ' { "fields": [ "f1.n1","f2.n2","f3.n3"] }' 件数を指定して値を取得

第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。 設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。 それではインデックスするためのデータ構造を Elasticsearch でどのように設計するのか解説したいと思います。 設計フローまで変えてしまう画期的なドキュメント指向型検索エンジン Elastic 社のホームページを見てみると Elasticsearch の特徴の１つとして「Document-Oriented」と言う記載があります。直訳すると「ドキュメント指向」です。 簡単に説明すると 現実世界の複雑なデータをJSONドキュメントにしてインデックスするだけで、デフォル

gulpの3.9.0からES6でタスクを記述できるようになったので使っていたけど、 Babelの6系にアップデートしたら動かなくなった。 ※ぼーっとしてたら最近いろいろアップデートされてていろいろ動かなくなっているので下の方に追記(2016/01/26) 現象 gulp: 3.9.0 babel-core: 6.0.14 以下のようにgulpコマンドでdefaultタスクを実行しようとしたところ importなんてしらない！と怒られる。。 [sawapi: ~/dev/git/sawapi/mw]$ gulp [17:11:48] Requiring external module babel-core/register /home/sawapi/dev/git/sawapi/mw/gulpfile.babel.js:3 import requireDir from 'require-di

webpack とは webpack は WebApp に必要なリソースの依存関係を解決し、アセット（配布物）を生成するビルドツール（要するにコンパイラ）です。JavaScript だけでなく、CoffeeScript や TypeScript、CSS 系、画像ファイルなどを扱うことができます。 WebApp のビルドツールは Grunt や Gulp が有名です。これらは基本的に、ビルド手順をタスクという形で自ら定義する必要があり、フロントエンド開発に馴染みのない開発者にとっては敷居が高いものでした（少なくとも、自分はそうでした）。 webpack を使えば、Grunt も Gulp も必要ありません！覚えるべきことはほとんどありません。（必要なら）簡単な設定ファイルを書いて webpack コマンドを実行するだけです。 以下では基本的な使い方を見ていきます。 ※もちろん Grunt/G

「今日からReactを始めたい」 「とりあえずReactで何か動かしてみたい」 ここは、そういった方が、Reactを始めみるためのチュートリアルです。 今回は、Reactを使ってFacebookのいいねボタンのようなコンポーネントを実装していきます。 > 今回作る「いいねボタン」のデモ今回作る「いいねボタン」のデモ 実際に押せます↓ > チュートリアルの目標チュートリアルの目標 Reactのコンポーネントを実装できるようになる Reactコンポーネントのイベントをハンドリングできるようになる Reactコンポーネントの状態(state)を実装できるようになる Reactの雰囲気をつかめる！ > このチュートリアルについてこのチュートリアルについて なお、このチュートリアルは、下記のバージョンで動作確認しています。 npm 2.14.2 react 0.14 react-dom 0.14 w

Webページをスクレイピングしてる時、HTMLじゃなくてJavaScriptの変数をのぞきたい事が稀によくある。 インストール brew install phantomjs document.titleを取得 page_title.js var url = phantom.args[0] || 'http://shokai.org'; page = new WebPage(); page.open(url, function(stat){ if(!stat){ phantom.exit(); } else{ var title = page.evaluate(function(){ return document.title; }); console.log(title); phantom.exit(); } }); 実行 phantomjs page_title.js http://go

「Word2Vec」は、米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法であり、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にした自然言語処理の手法。 Word2Vecは、その名前の表す通り、単語をベクトル化して表現するする定量化手法である。例えば日本人が日常的に使う語彙数は数万から数十万といわれるが、Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。 その結果、今まで分からなかったり精度を向上するのが難しかった単語同士の類似度や、単語間での加算・減算などができるようになり、単語の「意味」を捉えられるようになった。 というわけで、かなり興味深いないようなので、早速実践してみることにします。 1.環境構築 subversionを使ってWord2Vecのソースコードをcheckoutする。 mkdir ~/word2vec_t

I realise that some people modify this page multiple times and did A LOT of changes. At first, the page is at https://github.com/cheeaun/mooeditable/wiki/Alternative-Javascript-WYSIWYG-editors and I updated it many, many times. Later someone deleted it (accidentally?) and recreated the page. All history is gone and I can't even revert back to my own last revision. Then the title was renamed and br