SparkはHadoopの後発として期待されるビッグデータ処理基盤 今日は「Apache Spark」という言葉について説明します。先日「Hadoop(ハドゥープ)」についての掲載をさせていただきましたが、その中でHadoopとは、 巨大データの取り扱いを目的とした分散処理のフレームワークである 分散処理によってビッグデータを高速に処理することができる Hadoopの利用者は自作したデータ処理のプログラムや他者が開発したツールプログラムをHadoop内に組み込んでビッグデータ処理を行う と説明させていただきました。またその他関連記事の中で、 Hadoop上で稼動するデータベースマネージメントシステム(DBMS)としてHive・Impalaがあり、 同じくHadoop上で稼動するスクリプト環境としてPigがある これらHadoop連携ソフトウェアの存在がビックデータ処理環境をより便利なものに

Former Autonomy chief executive Mike Lynch issued a statement Thursday following his acquittal of criminal charges, ending a 13-year legal battle with Hewlett-Packard that became one of Silicon Valley’s biggest…

This document contains the slides from a presentation given by Wes McKinney on high performance Python on Apache Spark. The presentation discusses why Python is an important and productive language, defines what is meant by "high performance Python", and explores techniques for building fast Python software such as embracing limitations of the Python interpreter and using native data structures an

Apache Spark は、非常に高速で大規模なデータ処理用に最適化されたオープンソースのクラスター・コンピューティング・フレームワークです。カリフォルニア大学バークレー校のAMPLabで開発されたApache Sparkは、データインタラクションの複雑さを軽減し、処理速度を向上させ、深いインテリジェンスでミッションクリティカルなアプリケーションを強化するのに役立ちます。

ビッグデータ分析を行うための新しい基盤としてApache Sparkが注目を集めている。Hadoopがデータ分析基盤のデファクトスタンダードとして定着した今、なぜSparkが登場したのだろうか。その経緯やHadoopとの違い、IBMのSparkへの取り組み、そしてプラットフォーム選択における最適解について、日本アイ・ビー・エム　田中裕一氏、中島康裕氏に伺った。 日本アイ・ビー・エム　IBMシステムズ・ハードウェア事業本部 ITスペシャリスト 中島康裕氏（左）、 同 アナリティクス事業本部 田中裕一氏（右） Hadoopの登場により本格的なビッグデータ時代が到来 ビッグデータ分析や機械学習など、大規模データ処理のベースとなるのが分散コンピューティング技術である。しかし、以前の分散コンピューティングアーキテクチャは多くの課題を抱えていた。一つはプログラムが高度化・複雑化してしまうという問題だ。

Scala + Spark でScalable なプロジェクトを開発したいことがあるかと思います。 ここでは，Spark のExample に示されているコードを，IntelliJ 上でどのように開発するかをスクリーンショットとともに紹介します。 参考 http://spark.apache.org/docs/latest/quick-start.html Apache Spark の準備 Spark のソースコードをダウンロードしてくる git clone git://github.com/apache/spark.git -b branch-1.6 これで，Spark の1.6 の安定版がダウンロードされる Spark をビルドする maven をインストール - 例えば，http://qiita.com/chosan211/items/1472198165442e93047e などを

Spark 2.0の回帰分析アプリをScalaのSBTで実装し、EMRで実行：Amazon EMRで構築するApache Spark超入門（2）（1/3 ページ） 本連載では、Sparkの概要や、ローカル環境でのSparkのクラスタの構築、Sparkの基本的な概念やプログラミングの方法を説明していきます。今回は、簡単な機械学習のSparkアプリケーションを作成し、Amazon EMRで実行するまでを説明します。

Dogs are the most popular pet in the U.S.: 65.1 million households have one, according to the American Pet Products Association. But while cats are not far off, with 46.5…

Apache Sparkをご存知でしょうか。 去年くらいからとても流行っている分散処理フレームワークです。 大量のデータを集計・分析することができます。 公式サイトによれば、インメモリで動作する場合、Hadoop MapReduceより100倍早いそうです。 分散処理は、基本的には１台のマシンでは処理しきれない規模の集計や分析が必要となる場合に必要となります。 Sparkは分散処理のフレームワークなわけです。大量のマシンをクラスターとして扱うことに長けています。 そして当たり前ですが分散処理にはどうしてもオーバーヘッドが発生します。 いくらSparkが高速といっても、シングルノードで実現可能な集計処理をSparkで動かせば遅くなります。 では、シングルノードで計算できるようなデータしか持たないシステムではSparkを使うことにメリットはないのかというと、そんなことはありません。 私は実際に

こんにちは、shota_suzukiです。 最近『Apache Spark』を色々なプロジェクトで使う機会が増えてきたので、Sparkの基本から紹介いたします。 Apache Sparkについて Apache Sparkはざっくり言ってしまうと、「ビッグデータを処理するためソフトウェア」です。ビッグデータに対する分散処理基盤としては、長らくHadoopが使われてきたことと思います。 しかし、Hadoopの特にMapReduceには苦手な処理もあり、その分野に対する解決策としてSparkがここ数年で相当注目されるようになってきました。 MapReduceでは中間データが毎回ディスクに書き出されるのですが、データの量が多かったりして処理が多段になってくると、ここのコストが無視できなくなってきます。 Sparkでは、中間データをディスクに書き出さず、メモリ上に持っているので、この点ではMapRe

Tuning tips for running heavy workloads in Spark 2.0: - Handle JDBC apps via Thrift Server - Timeout values for heavy workload - How to allocate CPUs and memory to Spark jobs - History Server tuning - Balance disk IO for temp results and RDDs - Monitor and tune Spark streaming apps - And more!Read less

はじめに 軽量かつ学習コストも低めで書きやすいライブラリのRiot.jsですが、いわゆる落とし穴がいろいろあります。が、このライブラリに関する日本語の記事があまり多くなく、コード書いていると突然「あれっ！？」となることがたまにあるので、自分が知っているものを書いていきます。 ※執筆現時点でのバージョンは2.4.1です。 ※2016/11/10追記 既に3.0.0-alpha.13がリリースされた今、2.4.1なんて古いバージョンを使っている方はいないと思いますので、今の時点での2系の最新である2.6.7でも確認しました。 親タグマウント時に子タグもマウントされる タグ(.tagのこと)がネストしていると、親タグをマウントすると子タグも一緒にマウントされます。 例えば以下の様な場合、親タグ（appタグ）で何か処理する必要があって、その結果でマウントする子タグを決めたい場合、子タグ（child

Riot.js — A React-like user interface micro-library · Riot.js ReactやAngularJSは「でかすぎる」という問題がずっとあって、それは必要だからそうなのかもしれないけど使うプロダクトがかなり限定されるような気がする。 もう少し小さなプロジェクトもしくは、はじまりは小さくはじめたいという場合はRiot.jsやvue.jsあたりが最適なんじゃないかと言われている。 ということでRiot.jsの学習をはじめるための環境をnpm + webpackで作ってみた。 ついでなのでBabelでES2015の機能を取り入れた書き方ができるようにもしてます。 Babel · The compiler for writing next generation JavaScript サーバーとのHTTP通信などが必要になったらSuperAgent

やりたいこと なるべく簡単に、とはいえそこそこ実用的なくらいに、Riot.js を使いたい。 Riot.jsはランタイムでのコンパイルなども可能です。開発者てきにはメリットありますが、多少ユーザメリットが感じられないので……プリコンパイルしてサーバにあげたいです。あと、開発環境的にあんまり複雑なことすると手軽感がなくなるので、最低限ですませたい。 ということでメモがてら作ってみました。 環境構築 npmインストール してください。 各種 npm install $ npm install -g riot $ npm install --save-dev gulp $ npm install --save-dev gulp-riot $ npm install --save-dev gulp-connect var gulp = require('gulp'); var riot = req

Riot.js Advent Calendar 2016 の２日目！ １日目はkuwahara_jsngさんの「今年1年真剣にRiot.jsと付き合ってきたので振り返ってみた」です。 さて、ついにv3がリリースされたRiot.jsですが、実は以前、社内向けに作ったハンズオンがあるので、Riot.js Advent Calendar 2016の場をお借りして紹介させていただきたいと思います。 ただ、バージョンは2.6時点のものですのでご了承下さい。 v3版も、いずれ近いうちに!!! デモ http://omiend.github.io/riotjs_todo/ はじめに Riot.jsとは 関連するHTMLとJavaScriptを結合し、再利用可能なコンポーネントとしてまとめたカスタムタグを利用してアプリケーションを構築することができる、超軽量Webフレームワークです。 http://rio

Riot.js はカスタムタグを追加していくことで、ひとつのアプリケーションを構築していきます。 たいていのアプリケーションでは外部の RESTful API を呼び出して、そのデータを元に UI を組み立てていきたいと考えるでしょう。 Riot.js のカスタムタグを使って、Facebook のいいね数を取得して表示するというシンプルなカスタムタグを作ってみます。さらに今回は、HTML の新たな標準仕様 Fetch を使って標準的なやりかたで取得します。 TL;DR <sns-count-facebook> というカスタムタグを定義して、以下のように呼び出すことを前提にします。

phi I'm a Game Programmer and Frontend Engineer passionate about programming education. Math / C / C++ / C# / JavaScript / HTML5 / CSS3 / Python Twitter を見ていると 『Riot.js でも Sass 使いたいー！』ってのをちらほら見かけます. Riot.js は, 標準で Less にも Sass にも対応してると思っていたんですが, ちゃんと中身を読んでみると Less にしか対応していませんでした💦 (以前ドキュメントで対応してるっての見た気がするんだけどなぁ...) ただ, 引数で簡単に拡張できるよう良い感じに作ってくれているので, 手軽に Sass を導入できます. なので今回は, 実際に Riot.js のパーサーに Sass

＊ はじめに!! こんばんは！ぴーすけです！ 巷で噂の「Riot.js」の基本的な機能を使ってみました！名前がかっこいいし、なんか評判がいいから気になっていたんですよねー 簡単だ簡単だとは聞いていましたが、確かにあっという間にやりたい事が実装できました。 今回はそんなRiot.jsの基礎の基礎をまとめたいと思います。 【注意】 Riot.jsは比較的新しいフレームワークなので、バンバンバージョンアップをしています。これから紹介する記述はバージョン2.5.0で実際に動いた方法となります。 動作は確認していますが、記述方法が最適なものかどうかはわかりませんので、ご了承ください。

＊ はじめに!! ポケモンGO楽しいー！ こんにちは！ぴーすけです！ 今回はRiot.jsのルーティング機能でSPA(シングルページアプリケーション）を作りたいと思います！ とおもったのですが、SPAの定番である画面をふわっと切り替える方法が見つからなかったので、無理やり実装してみました！ もしもっと良い方法があったら教えてください！ ＊ まずはRiot.jsを使った基本的なルーティング機能!! 多分一番簡単なルーティン機能はこんな感じだと思います。上に固定メニューを用意したので、そのリンクを押すと画面が一部切り替わります。 ソースを見るには「html」タブを押してください。

はじめに この記事は株式会社アイスタイルアドベントカレンダーの5日目の記事です。 新規案件をLaravel5.1で開発しています。@kubotakです。 元デザイナー・コーダーなのでフロントエンドの方が得意な気がします。 今回は簡単な導入として事前コンパイルやbrowserifyなどはしません。 あくまでもルーティング方法のみの説明となります。 Riot.jsについて A React-like user interface micro-library Reactを意識して作られた超軽量のUIライブラリ。 Riot（=反乱）は、ボイラープレート(=雛形、決まり文句)と、不要な複雑さにまみれた現在の潮流に「反旗」を翻すプロジェクト。 超軽量と云うだけあってGitHubリポジトリに以下のように書かれている Framework Size Comparison Framework Version M

こんにちは。CTOの馬場です。 HTTP負荷テストツール Tsung の話の第2回です。 Tsungで負荷テストしよう(1) - 基礎知識 Tsungで負荷テストしよう(2) - 実践Tips Tsungで負荷テストしよう(3) - リアルな負荷のためのTips 今回は実際にガツガツ使ったうえで遭遇した課題と解決策を紹介します。 特にフォームまわりは大変で、 Tsungは "受け取ったフォームをSubmitする" ことが できない ので、 擬似的に実現するためにいろいろと工夫する必要があります。 なおこのエントリはTsung 1.6.0ベースで書いています。 N回繰り返す for か foreach か repeat で実現できます。 シナリオ作成時に回数が決まっているものは for 、 取得したHTML内の全imgタグを取得するような回数が動的に決定するものは foreach 、 ジョブ

electronアプリを、react、reduxを使って作ってみようと考えて調べていると、webpackを使った例を結構な頻度で目撃しました。 このwebpackを使って、sassをwebpackでコンパイルして、electronアプリに食わせるとこまでやってみました。 electronにしてもそうじゃないにしても、sassをコンパイルしてHTMLファイルに引き込む、というのがゴールになると思う。 webpackでCSSをバンドルする場合、通常JSとして扱うことになる(tutorials/getting-started)ようだが、ここでは、sassをコンパイルしてcssファイルとして出力する方法を試した。 パッケージのインストール 次のパッケージをnpmでインストールした。 electronアプリを作るために、 electron webpackを使うために、 webpack webpack

以前、electron + webpack + sassという記事を書きました。今回はその続編で、electron + webpack + react + sassの開発環境を整えてみた、という話です。 electronアプリを作る際に、 rendererプロセス browserプロセス(Mainプロセス) を意識することになると思います。 electron + reactと謳う場合は、rendererプロセス側でreactを使う、という意味になると思っていて、この記事でもその文脈に則ってます。 electronアプリケーションを作る方法として正しいのかそうでないかはわからないのですが、やってみたかったこととしては、 webpackを使う webpackで、browserプロセスとrendererプロセスそれぞれのjsファイルを作る 画面(renderer側のhtml)で利用するstyle

Electron と Spectron のマイナーバージョンを揃える必要があります (Electron 1.0.x であれば Spectron 3.0.y)。package.json を必ず編集してバージョン指定に ~ を使いましょう。 実装 Spectron の README.md に書かれているサンプルをどうぞ。 var Application = require('spectron').Application var assert = require('assert') describe('application launch', function () { this.timeout(10000) beforeEach(function () { this.app = new Application({ path: '/Applications/MyApp.app/Contents/

要はこうしたい人向け。 概要 Electronを利用するとWebフロントエンドの技術で簡単にネイティブアプリケーションが開発可能で便利な反面、ちょっと野暮ったいタイトルバーがついてきます。 これは、オプションで簡単に削除することが可能なのですが、そうした場合にはOSに付随する閉じる/最大化/最小化といったボタンまで消えてしまいます。 これは不便なので、どうにかボタンのみは残したままフレームレスにしたいところでしたが、探せど探せど国内にこれにあたる情報がなく、ようやく海外の情報で知り得たのでQiitaで共有しておきます。 ちなみに、パッチをあてる複雑な設定が出てきたこともありますが、どうやら今のバージョンですとそこまで複雑なことをする必要もなかったようで、平易な設定で可能なので、はじめから公式ドキュメントを探したほうがはやそうな結果でした。 Electronデフォルトのタイトルバーつきウィン

~mainWindowの設定を変える~ 今回やること 前回の記事：vol.03で 以下のような基本的な main.js を作り、electronを実行し、横800px,縦600pxのウィンドウが立ち上がりました。 'use strict'; const electron = require('electron'); const app = electron.app; const BrowserWindow = electron.BrowserWindow; let mainWindow = null; app.on('window-all-closed', function () { if (process.platform != 'darwin') app.quit(); }); app.on('ready', function () { mainWindow = new Browser

やりたいこと Electronでスリープやロックを検知して色々やりたい 環境 OS X El Capitan Electron 1.4 本題 どちらもメインプロセス内で検知します。 なので、検知処理は　package.json の mainとして定義したjsファイル内で呼ぶ必要があります。 const electron = require('electron') const app = electron.app app.on('ready', () => { electron.powerMonitor.on('suspend', () => { console.log('suspend') // スリープ時 }) electron.powerMonitor.on('resume', () => { console.log('resume') // スリープからの復帰 }) }) const

こんにちは。 最近、登山をにハマり始めた武田です。 今回は [Electron] なるものを触ってみたいと思います。 Electronって何？ クロスプラットフォームに対応したデスクトップアプリ開発ができるオープンソースソフトウエア 対応OSは Mac, Windows, Linux 実装にはウェブ技術で可能 HTML5 CSS JavaScript 実運用されている例 Slack Atom Visual Studio Code ウェブプログラマーの私にぴったりですね！ ※近頃は色んな所でクロスプラットフォーム対応の開発環境を見かけますね。 ほんとにスゴイ時代になったもんです。。。 実験環境 Windows 10(64bit) node.js 6.2.2(x64) インストール とりあえず環境整えないと話進まないですな。 node.jsのインストール node.js公式からダウンロード 今

概要 Electronで作ったアプリからJavascriptでgoogleのAPIを使おうとするとローカルファイルを読み込んだだけではドメインの制限がかかってしまい使えません。 Electronはnodejsで書くんだからhttpサーバー立ててローカルに読み込みに行けばいいじゃないかと。 Electronは下記を参考にしました。 30分で出来る、JavaScript (Electron) でデスクトップアプリを作って配布するまで やったこと アプリ内部でWebサーバー 静的ファイルをロードしたいだけなのでExpressなどは使わずnode-staticとhttpを使ってサーバーを立てます。 "use strict"; var nodeStatic = require('node-static'); var file = new nodeStatic.Server(__dirname + '

みなさんこんにちは。 今日はElasticBeansTalkを起動します。 下の説明に沿って流れるように超速で起動しましょう。 マネジメントコンソールよりElasticBeansTalkを選択 ElasticBeansTalk画面 プラットフォームを問われるので適当にphpを選択。 下の今すぐ起動をクリック。 “今すぐ作成しましょう”をクリック 。 “ウェブサーバーの作成”をクリック。 プラットフォームをphpと選択。※お好みで 環境タイプは単一インスタンス及び負荷分散、AutoScalingを選択。 次へをクリック。 ※負荷分散、AutoScalingとはElasticBeansTalkでアプリケーションを生成するとEC2インスタンスが立ち上がります。 そのインスタンスに負荷がかかると別のインスタンスを自動的に立ち上げてそちらへ流してくれます。 平たく言えばサーバーダウンしそうになるとサ

本エントリではJavaEEの中でも屈指の便利機能、CDI（Contexts and Dependency Injection）を紹介します。 なお、本エントリではJavaEE7に搭載されているCDI1.1を前提とします。JavaEE6はCDI1.0となり、本エントリのコードに一部動作しなくなる箇所がありますのでご注意ください。 CDIとは CDIとは、JavaEE6から採用された、JavaEEにおけるDI機能のことです。DIについての詳しいことはこちらのエントリをご覧いただくとして、本エントリではCDIの特筆すべき機能に焦点を当てることにします。 CDIの真髄・スコープ管理 CDIの真髄はインスタンスの存命期間、すなわちスコープを管理してくれることです。 Webアプリケーションを作っていると「このオブジェクトの持つ情報をしばらくの間保持したままにしておきたい」と思うことがあります。例えば次

最近のWebアプリケーションはRESTインターフェイスによるAPIを備えることが多くなってきました。 APIはWebアプリケーションの用途を大きく広げる重要な要素であり、また、これをシンプルなインターフェイスであるREST形式で提供することは、より APIを利用しやすくするための重要な手法となっています。 本エントリではJavaEEでRESTインターフェイスを提供するための仕様であるJAX-RSをご紹介します。 JAX-RSとは 前述のように、RESTによるAPI提供の重要性は増すばかりです。JavaEEにおいても、JavaEE6からRESTインターフェイスを開発するための仕様であるJAX-RSが提供されるようになりました。 JAX-RSの特徴として、アノテーションを使ったシンプルな開発スタイルが挙げられます。まずは基本的な使い方を見てみましょう。 最小のサンプル それではJAX-RSの最

es: image: elasticsearch:5 ports: - "9200:9200" - "9300:9300" volumes: - ./es_config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es_data/:/usr/share/elasticsearch/data/ environment: - ES_JAVA_OPTS=-Xms512M -Xmx512M ki: image: kibana:5 ports: - "5601:5601" links: - es environment: - ELASTICSEARCH_URL=http://es:9200

こんにちわ、ワカルのCTOの包です。 今日で2015 WACUL Advent Calendar 2015 最後の日です。 この１年は、会社としても大きく成長した一年でした。すべて埋まった(!)アドベントカレンダーの記事を振り返ってみると、技術者の層がとても厚くなったなと感じます。 なにより、忙しい業務の合間に楽しい記事を書いてくれた会社のみんな、忙しい中寄稿してくれた @kenzan100 さん、技術メンバーの働き方に理解を示してくれて共に頑張っている会社のみんなに感謝しています。 データの検索は Elasticsearch に丸投げしたらいいことあった話 さて、本題です。 今年ワカルで導入した新しい道具の中でも特に導入して良かったな、と思うのものの１つは Elasticsearch です。 この記事では、 Elasticsearch を導入した経験を元に、開発全体のコスト面や運用面など

Search and analytics, data ingestion, and visualization – all at your fingertips.

memo: 2.3のドキュメントを参照して書いてます Analyzers Analyzerは1つのTokenizerと0個以上のToken Filters、0個以上のCharacter Filtersで構成される。イメージは以下。 Analyzerは以下の種類がある。それぞれの構成要素も入れた Standard Analyzer Character Filters: なし Tokenizer: Standard Tokenizer Token Filters: Standard Token Filter Lowercase Token Filter Stop Token Filter Simple Analyzer Character Filters: なし Tokenizer: Lowercase Tokenizer Token Filters: なし Whitespace Analyz

Unlock innovation with highly secure, fully-managed Database-as-a-Service capabilities on IBM Cloud® IBM Cloud® Database-as-a-Service (DBaaS) services free developers and IT from complex and time-consuming tasks including deployment of infrastructure and database software, infrastructure operations, database software updates, and backup. IBM Cloud® Database SMEs deliver and maintain ready-to-use,

こんにちは、藤本です。 Elasticsearch を利用していて、インデキシングされるドキュメントのデータを監視したいことはないでしょうか。例えば、よくユースケースの紹介に挙げられるアクセスログを Elasticsearch にインデキシングしているケースでは、500番台のステータスコードが5分間に10回以上記録があった時に、Slack で通知したい。ログファイルの集約に Elasticsearch にインデキシングしている場合、ERROR のメッセージを含むメッセージを検知した時に、メール通知したい。など、Elasticsearch のインデックスを監視・通知したいケースは多々あるかと思います。 先日、X-Pack の Watcher による Elasticsearch のインデックス監視・通知をご紹介しました。 Elastic StackのX-Packを試す（Watcher編） 今回

> 今回のリリース内容今回のリリース内容 esaの従来の記事検索エンジン(v1)の様々な問題点を改善した、新しい記事検索エンジン(v2)を使えるようになりました。 なお、今後2ヶ月程度は従来の記事検索エンジン(V1)もお使いいただけます。この移行期間の間にv2で何か問題があった場合には、v1を使う設定に切り替えつつフィードバックをいただけると幸いです。 > 新しい記事検索エンジン(v2)について新しい記事検索エンジン(v2)について > 新しく追加された要素新しく追加された要素 検索欄でクエリを入力すると、インクリメンタルサーチで上位数件の候補が表示され、それらを選択することでその記事を直接開くことが出来ます。また、そのキーワードで何件hitするのか確認できるので便利です。 Best match(Hottest)検索 以下のような要素に基づくスコアによって記事をソートします。 WIPよりS

Ubuntu14.04にElasticsearch 2.1をインストールする方法の備忘録です。 ElasticsearchはLuceneベースの全文検索エンジンです。 Elasticsearch | Elastic Elasticsearchの勉強をするためにインストールしてみます。Ubuntu14.04は適当なVagrant boxを探してきて用意しました。 構成 Elasticsearch 2.1.1はOracleかOpenJDKのJava 8 update 20またはJava 7 update 55より新しいバージョンのJVMが必要です。 今回はOpenJDKを使います。 Ubuntu 14.04 OpenJDK 1.8.0_72 Elasticsearch 2.1.1 OpenJDKをインストール openjdk-8-jdkパッケージのインストール OpenJDKのリポジトリを追加

はじめに AWSのElasticSearchは便利ですね。サーバを管理せずにkibanaまで使えちゃうとか、個人ユースなら無償利用枠で完璧ですね！ でも、基本的にIPアドレスベースの制御しかやりようがないので、どうしたものかなーと思っていたので、nginxでリバプロを立ててそこでBasic認証をかけられないかを検討するに至りました。 その記録です。 やりたいこと/やったこと 一番はIAMとかでkibanaのGUI画面ログイン前にAWSのログイン画面が出てくれば完璧なんですが、それはできそうにないので、仕方なくリバプロを立ててそこでBasic認証をかけることを考えました。 まずは、こんなコンフィグを書きました。 /etc/nginx/conf.d/reverse.conf server { server_name XXXXXX.ap-northeast-1.compute.amazonaws

2016/11/19のOSC福岡2016で発表した資料です。

スケールアップよりもスケールアウトの方が安い 5万記事の全文検索で1GBカツカツになった Elasticsearchのメモリ枯渇したら考える事 １．適当にテンプレ取るなりしてもう1台立てます ２．クラスタリング名を合わせる ３．ノード設定する ４．service elasticsearch restart スケールアップよりもスケールアウトの方が安い よく使うIDCFクラウドだとこんな感じのラインナップなので、スケールアウトの方が安いパターンが結構あります。例えば、Elasticsearchなんかはほぼメモリだけなので純粋にメモリだけが欲しいです・・・！そんな時の話 5万記事の全文検索で1GBカツカツになった もっと切り詰めれば省エネは出来るのですが、Elasticsearchにはシェーディングが標準で付いているので使わない手はありません。シェーディングは物理インデックスファイルを分散する

斎藤です。こんにちは。 最近、会社の中で様々な部活動が始まっています。「プログラミング部」や「フットサル部」といったメジャー(?)なものから、「サイクリング部」「P部(プロレス観戦部)」そして「二郎部」などなど、エッジが効いたものまであります。そうそう、私は「サイクリング部」と「P部」に所属しています。 さて、今回はKibanaを使って、Cacti(RRDTool)が収集したモニタリングデータを参照してみようと思います。Cactiはモニタリングデータを収集・ビジュアライズするツールとして普及していますが、他のサーバ・指標と比較するのがちょっと面倒です。そこを、Kibanaを用いてより見やすくしようと言うのが目的です。Kibanaとは、収集したログをGUIで整理しつつビジュアライズできるデータ分析ツールの一種です。たいてい、データストアとしてElasticSearchというNoSQL DBサ

[elasticsearch-1.3] name=Elasticsearch repository for 1.3.x packages baseurl=http://packages.elasticsearch.org/elasticsearch/1.3/centos gpgcheck=1 gpgkey=http://packages.elasticsearch.org/GPG-KEY-elasticsearch enabled=1

前回ではtemplateを使ってインデックスに対して特定のフィールド名に対してMappingする方法を試してみました。 最初はこれでも満足なのですが ある程度動いてくると、検索の精度に関して色々チューニングしたくなってくる。 それについて記載していきます。 まずはよくあるアルファベットの大文字、小文字 テンプレートを弄って設定を変更します。 まずはオリジナル。 { "template":"search*", "settings":{ "analysis":{ "analyzer":{ "ja-ma-analyzer":{ "type":"custom", "tokenizer":"ja-ma-tokenizer" }, "ja-2gram-analyzer":{ "type":"custom", "tokenizer":"ja-2gram-tokenizer" } }, "tokenize

Elastic stack Advent Calendar 1日目の記事になります。 Elasticsearch 5.0が10月末にリリースされました。 リリースのブログでいくつか紹介されているのですが、そこでは紹介されていない機能について2、3紹介しようと思います。 その前に、5.0、あれ？その前は2.xじゃなかったっけ？？と困惑されている方もいるかと思うので、簡単に5となった経緯の紹介をしようかと。 バージョン番号 なぜ2から5に飛んだのかという話ですが、このスライドがその紹介になっています。 https://speakerdeck.com/johtani/elastic-stack-5-dot-0-alpha1-alpha5?slide=5 Elastic{ON} 2016のキーノートでも紹介がありましたが、KibanaやLogstashとElasticsearchを組み合わせて使う

こんにちはJapornLady開発者のリヒトです これの続き。 〜宣伝〜 スケーラブルなデータベースが簡単に手に入る時代なのだから、何万人ものユーザを抱える様な大規模なサービスを作って運用してみたいなぁという思いから、熟考した果てのエロサイト ジャポルノレディーズ を作る事を決めました。このページは開発にあたってのTipsとジャポルノレディーズの宣伝です（人気AV女優のフルDVD動画が見れるよ）。 Redis編 前回の投稿から大分時間が空いてしまいました（汗; 今回はRedisの開発tipsです。 ジャポルノレディーズではページビューをベースにしたいいねスコアをリアルタイムにランキングする機能とエンドユーザが登録したお気に入り情報を元に、おすすめのAV女優をレコメンドする機能を搭載しています。今日はその解説。 ところでどうでも良いことですが、先日Yahoo知恵袋で 「なぜ最近AV女優のこと

概要 「Opt Technologies Advent Calendar 2016」の一日目です。 最近とあるシステムを社内向けリリースしたので、どのように進めたかと実装について書いていきます。 （実際のコードは見せられませんが、参考用の過去記事へのリンクを用意しているので同じように設計で組むことはできるかと思います。） 作ったものの要件的な BtoBな管理画面系アプリ デザイナ不在 進め方は自由だがスケジュールしっかり守りたい フロント実装者は、自分以外は外部のフロントエンジニアと、社内のGUI未経験エンジニア 開発部内のKPIにテストカバレッジがあり、フロントでもカバレッジ取りたい 進め方 package.jsonの抜粋 全体像を掴めるかと思い、最初にpackage.jsonを貼っておきます。 後でそれぞれのライブラリやタスクについて触れていくので、なんとなく見て頂ければと思います。

はじめに 構成管理ツールだとか。Infrastructure as Codeとか、大好きなんですけど、どうもここ数年Dockerの勢いが止まりません。もう構成をコードで書くんじゃなくてコンテナのほうが楽なんじゃないって時代、目の前に来てる気がする。 何年遅れてんだって感じでようやく仕事でもAnsibleを使い始めましたが、これはこれで大事だけどDockerは使えないとマズい。なぜかそんな空気を感じるので触っときます。 vagrantでdeploy Macにも入れられるとは思いますが、まずはVM上に実行します。 記事最後にgithubへのリンク貼ります。 ansibleのplaybook、とりあえずyumでいれる。 --- - hosts: all become: yes tasks: - name: install yum package yum: name=docker state=pr

「Ansible Meetup in Tokyo 2016.06」の資料一覧です。

これまで仮想化とかクラウドとか，そんなにお仕事で触ってなかったこともあって割と放置気味だったのだけど，さすがに少しは使えないとねということでちょいと試してみましたというお話． 以前に依頼を受けてWebアプリを作ったことがあって，これを1年くらい前にAnsible化してました．で，これをDockerに乗せてElastic BeanstalkにDokcerコンテナとしてデプロイしようと思ったわけです． DockerfileとAnsible playbook 最初はplaybookの内容を，全部Dokcerfileに書きかえようと思ったんですけど，これが思った以上に面倒くさい．ていうかDockerfileってAnsibleみたいな丁寧なセットアッププロセスや便利なラッパーがなくて，割とベタに RUN コマンドでスクリプトそのまま書かなきゃいけないの，かなり嫌です．このあたりって，他の人たちはどう

Bitbucket Pipelinesファーストインプレッション Ansible * PostgresをCIしてみた。BitbucketPostgreSQLAnsible Bitbucketに新しく導入されたPipelines (β版) をつかってAnsibleでPostgreSQLをインストールするビルドタスクを走らせてみます。 Pipelinesを使うのが初めてなので、ファーストインプレッションの感想が多めです。 ※細かな設定はBitbucketリポジトリ i05 / ansible-postgres から確認できます。 Bitbucketリポジトリで Pipelines を有効にする リポジトリを作成後、サイドバーから Pipelines を選択します。ここで、1つ小さな注意点があります。 ポイント: bitbucket-pipelines.yml はチェックインしない 私は bit

はじめに AnsibleはLinux、Macでは動くがWindowsでは動かない。Windowsで実行するためには、仮想でLinuxを立ち上げて、そこにAnsibleをインストールする必要がある。 Windowsで『初めてのAnsible』の「1.9 テスト用サーバーのセットアップ」相当の内容を実行する方法を、次の構成で確かめていく。 Windows 7 VirtualBox 5.0.20 Vagrant 1.8.4 CentOS 6.7 Ansible 2.1.0 WindowsにVirtualBoxとVagrantをインストールする WindowsにVirtualBoxとVagrantをインストールする。 VagrantでCentOSを2台起動する コマンドプロンプトを開いて、VagrantにCentOSのBOXを追加する。 >vagrant box add bento/centos-

php 5.6 を Ansible の Playbook を用いてインストールしてみたので、その備忘録を。 インストールは yum からのインストール + 設定ファイルの編集だけなので、Playbook も簡単に記述することが出来ます。 Apache の投稿をしたので今回はそちらも合わせて参照してください。 Ansible でインストール (Apache 2.2) Ansible でインストール (Apache 2.4) 今回は Apache 2.2 / php 5.6 の組み合わせでインストールします。 環境 CentOS 6.7 ansible 2.0 ※開発環境利用の為、iptables / SELinux については事前に無効化しております。 ※yum で "Developer tools" グループを インストールし、必要なコマンドは適宜導入しています。 Playbook の記述

概要 t-wada.hatenablog.jp Ansibleでmacの環境構築する際、id:t-wada さんの上記の記事を参考したのですが、 Ansible Best Practicesに沿っていなかったので、書き直してみました。 Ansibleを動かすまで こちらは、t_wadaさんの記事のままです。 sudo xcodebuild -license xcode-select --install ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" brew doctor brew update brew install python brew install ansible どこを直したのか twada/macbook-provisioning hoshin

Help us understand the problem. What is going on with this article?

渡辺です。 今日はAnsibleのretryファイルに関する小ネタです。 実行失敗時に作成されるretryファイル Ansibleでは、実行失敗時に、失敗したホスト情報などを記述したretryファイルを出力します。 このファイルをオプションに設定することで、リトライ時に実行するホストを制限できます。 しかし、使う機会はあまりなく、同じPlaybookで多くのホストを対象とするような場合に限定されるというのが実情です。 このretryファイルはansible.cfgのオプション設定で抑制できます。 retry_files_enabled retry_files_enabledオプションはretryファイルの作成を制御します。 Falseに設定することで、retryファイルが作成されません。 [defaults] retry_files_enabled = False retry_files_

以前投稿した Ansible 2.0 の新モジュール、新オプション一覧 の Ansible 2.2 版です。Ansible 2.2 の CHANGELOG と合わせてご参考ください。 Modules added in version 2.2 Cloud Modules atomic_host (E) - Manage the atomic host platform atomic_image (E) - Manage the container images on the atomic host platform cloudformation_facts (E) - Obtain facts about an AWS CloudFormation stack cloudwatchevent_rule (E) - Manage CloudWatch Event rules and targe

Tweet 本コラムは、今まで菅原・岡本の共著で執筆を行っていました。今回からは私岡本が執筆していきます。どうぞ、引き続きよろしくお願いいたします。 本コラムでは、運用構築の自動化技術として、Puppet/Chef/Ansibleの使い方を横並びで紹介してきました。動向としては、Ansibleは、Chef/Puppetに比べ新しいプロダクトで、知名度も一般にはそれほど高くないようです。そこで今回は、Ansibleについて少し掘り下げてみたいと思います。 今のやり方を活かせるAnsible 仕事あるいは趣味で多数のシステムを構築している方であれば、自前のスクリプトでインストールを自動化している方も多いと思います。そのような方に自動環境構築のことを紹介しても、 「現状、自作スクリプトで簡単にインストールできて困っていない。」 「新しいツールを勉強して、使い方を覚える必要性を感じない」 と感じて

Forget building your own custom docs platform. With GitBook you get beautiful documentation for your users, and a branch-based Git workflow for your team.

こんにちは。長野オフィスのバックエンドエンジニア、ヤスタカです。 最近長野での休日の過ごし方がわからなくなってきています。この時期ってなにしたら楽しいの？　山登り？ さて、みなさんはサーバーの環境構築をどのように行っていますか？ 手順書を作って、ひとつひとつコマンドを間違えないようにコピペして実行……そんなやり方をしていませんか？　それでも起きてしまうのが作業ミス。。 最近では「Infrastructure as a Code」なんて言葉もよく会話にのぼるようになってきました。 Infrastructure as a Codeとは 従来の手順書を元に手動で構築してきたサーバーの環境をコード化すること。これによりサーバー構築の自動化と管理が容易になる。 今回はAnsibleを使って、サーバーの構成管理をコード化してみたいと思います。 Ansibleで何ができるの？ https://www.a

1年くらいchefを使ってサーバ構築をしていたのですが、最近ansibleに乗り換えたので紹介記事を書いてみます 1. サーバ側に何もインストールする必要がない chefは管理対象ノードにchef-clientをインストールする必要がありますが、ansibleはPython 2.4が入っていて、sshでログインできればOKです。 chefもパッケージや,knife bootstrapコマンド等があるので始めやすいですが、何もする必要がないansibleの方が敷居が低いのかなと思ってます。 例えばsshでログインできれば、以下のコマンドを打てば10.0.10.1～10.0.10.3サーバの情報をとってくれます(カーネルバージョン,CPU,メモリ,ディスクサイズ,ディストリビューション等)。 この機能はchefで使われているohai相当のことをしてくれます。 echo 10.0.10.1 >

[web] xxx.xxx.xxx.xxx yyy.yyy.yyy.yyy [all:vars] ansible_ssh_user=ec2-user ansible_ssh_private_key_file=/path/to/ec2.pem webのところに該当のホストのIPまたはパブリックDNSを記載。 SSHユーザはデフォルトのec2-user 鍵を指定してSSHするなら該当のホストに対するSSHに必要な秘密鍵のパスを記載 オプションで指定するのが面倒なのでここに書いてますが、 とりあえずSSHが通ればなんでもいいです（適当） そもそもSSHが通らないとAnsible使えないのと、本題とそれるので細かくは割愛 Playbook 下記のようにしてみました。 --- - hosts: all become: yes tasks: - name: Import GPG Key rpm_key

「マニュアルやシェルスクリプトを使ったサーバ管理に課題を持つ方」を対象に、Ansibleの基本的な使い方を紹介する本連載「Ansibleで始めるサーバ作業自動化入門」。前回の「プレイブックを再利用しやすくするRoleの基本と共有サービスAnsible Galaxyの使い方」では、Ansibleの推奨ディレクトリ構成である「Role」と、全世界のAnsibleユーザーがRoleを共有する仕組みである「Ansible Galaxy」を紹介しました。 Ansible Towerとは 今回は、Ansibleの実行をWebブラウザから管理できるようにするツール「Ansible Tower」を紹介します。 Ansible Towerを利用することで、プレイブックの実行をスケジューリングしたり、ユーザーに特定のプレイブックの実行のみを許可するような権限制御を行ったりすることができます。これは、例えば「客

OpenStackディストリビューション「RDO」を用いて、実際に動作するOpenStack環境を構築しながら、OpenStackの利用方法や内部構造を学ぶ特集の第8回です。今回は、OpenStackとDockerを組み合わせて、仮想マシンインスタンスの作成からアプリケーションの実行までをまとめて自動化する方法を紹介します。 「基礎編」第4回では、1台の仮想マシンインスタンス上でDockerを利用しましたが、ここでは、複数の仮想マシンインスタンスが連携する環境を構築します。OpenStackによって仮想マシンインスタンスの作成そのものは自動化されていますが、アプリケーション環境が複雑になると、手作業での環境構築には時間がかかります。 そこで、自動化ツールのAnsibleを利用して、一連の作業を自動化していきます。Ansibleには、OpenStackやDockerを操作するモジュールが用意

サーバーサイドエンジニアこそAngular2をやるべきかもしれない – Heroデータを AWS Lambda+DynamoDB で取得する はじめに 私自身は普段サーバサイド（主にWeb API）の開発を行っているのですが、業務外でAngular2を触ってみたところかなり好感触だったのでブログにしました。この記事では、Angular2のTutorialを終えた状況から、データ取得部分をモックではなく外部サーバに置き換える例を示し、Angular2の考え方、サーバサイドとの連携方法について記録したいと思います。 Angular2をはじめたときの筆者の状況 フロントエンドスキルセット jQuery、CSSを利用したウェブページの開発経験あり とはいえ、アニメーションや色彩に明るいわけではなく、ほとんどWebアプリケーションフレームワーク任せ JavaScriptはDOM操作用の言語という考え

MEANスタックを用いたWebアプリの開発方法について紹介していく本連載「MEANスタックで始めるWebアプリ開発入門」。前回の「AngularJSを使いこなすなら絶対に知っておきたいフィルタとカスタムディレクティブの基本」では、AngularJSのフィルタとカスタムディレクティブについて解説しました。 MEANスタックに関連する情報を基本から解説してきた本連載も、今回が最終回です。最終回となる今回は、前回カスタムディレクティブで解説しきれなかった内容と、最近リリースされたAngular2を紹介します。 なお、本記事を見て実際にサンプルを動かしたい場合は、以前の連載記事（第1回、第2回）を見て環境を作成しておきましょう。 AngularJS 1.xのディレクティブで指定できるプロパティ 前回はカスタムディレクティブを作成するためにdirective関数を使用し、プロパティとしてcompil

この先作る予定のWebサービスはRIAにしたいので、今後作る勉強用サンプルもどうせなら何かRIA向けのJSフレームワーク使いたい。 とゆうわけでAngular2を触ってみます。まずはhello world。 今回の記事は英語版Angular2のクイックスタートページ の内容とほぼ同じです。 そんな記事を載せる価値があるのか？とも思いましたが、世の中にはドキュメントが英語なだけでやる気を無くす人も居るに違いないと思い、ソースの99％を転載した記事を書いていました。 より最小化したコードにしてもよかったのですが、Angular2の知識がロクにない状態で間違った情報を発信してしまうリスクもあるため止めました。 今回やりたいこと Angular2で「hello world」を表示してみる。終わり。 環境 Microsoft Surface Pro4 (i5 2.4GHz, Mem 4GB) OS:

All slide content and descriptions are owned by their creators.

※現在では、Web標準技術を利用したアプリ開発が広く普及し、そのためのフレームワークも多数存在しています。その中でも主流のフレームワークの1つである「Angular」を活用し、そのための知識を備えることには大きな意味があります。本連載は、Angularユーザーに向けて、その使いこなしTIPSを紹介するものです。なお、本連載は「Build Insider」で公開していた連載「Angular Tips」を同サイトおよび筆者の了解を得たうえで、本フォーラムに移行したものです。記事はBuild Insiderで公開した状態のまま移行しているため、用語統一などの基準が＠ITの通常の記事とは異なる場合があります。

はじめに Angular 2はGoogleとオープンソースコミュニティで開発されているJavaScriptフレームワークで、従来のAngularJS（AngularJS 1）の次期バージョンです。2016年9月に正式版がリリースされ、本格的に利用できる環境が整いました。Angular 2はAngularJS 1に対して多くの変更点があり、コードの記述法も基本的に異なります。 前回記事では、Angular 2のWebページを構成する要素である、コンポーネントやモジュールについて説明しました。これらを利用すると、実装を分割して互いの影響範囲を限定することができます。 しかし、ログ出力のようにさまざまな箇所で使われる処理や、ビジネスロジックのような画面から独立した処理は、独立して実装した処理を、後から追加できれば便利です。Angular 2ではこのような機能として、独立した処理を実装する「サービ

こんにちは、VASILYバックエンドエンジニアの塩崎です。 今回はApache Solr(以下、Solr)で商品検索のサジェスターを作ったので、それを紹介します。 サジェスターを作るにあたり、どのようにスキーマやサーチコンポーネントを定義すれば良いのかを説明します。 なお、この記事はsolr 4.10.4を対象にした記事です。 それ以外のバージョンでは設定項目が変わってくる場合があります。 サジェスターとは サジェスターとは、ユーザーが検索用のフォームに単語を入力している途中に、その入力途中の単語を補完する機能です。 例えば、Google検索でサジェスターについて調べようとした時に、「さじぇ」と入力した時点で以下のように「さじぇ」に続く単語が候補として現れます。 このような機能を実装することによって、ユーザーがテキストを入力する手間が省けたり、入力間違いをした単語で検索をしてしまうことを防

概要 Apache Solr(以下、Solr)で商品検索のサジェスターを作ったので、それを紹介します。 サジェスターを作るにあたり、どのようにスキーマやサーチコンポーネントを定義すれば良いのかを説明します。 なお、この記事はsolr 4.10.4を対象にした記事です。 それ以外のバージョンでは設定項目が変わってくる場合があります。 サジェスターとは サジェスターとは、ユーザーが検索用のフォームに単語を入力している途中に、その入力途中の単語を補完する機能です。 例えば、Google検索でサジェスターについて調べようとした時に、「さじぇ」と入力した時点で以下のように「さじぇ」に続く単語が候補として現れます。 このような機能を実装することによって、ユーザーがテキストを入力する手間が省けたり、入力間違いをした単語で検索をしてしまうことを防げたりする効果があります。 日本語のサジェスターの難しいとこ

静的コード解析ツールの状況 Dialyzer 標準で入っているツール Erlang用の静的型解析ツールなので、コンパイルしないと使えない Credo オープンソースのツール プロジェクトに依存を追加して使うようです Credo's Elixir Style Guideに準拠 The Elixir Style Guideに準拠するstrictモード 1,411 GitHub Stars Dogma オープンソースのツール プロジェクトに依存を追加して使うようです The Elixir Style Guideに準拠 色々調整したい場合はCredoを推奨しているようです 311 GitHub Stars codebeat SaaS Elixir対応予定っぽいです GitHub、Bitbucket連携機能があり、Publicプロジェクトであれば無料 テスティングツールの状況 ExUnit 標準で入

https://atnd.org/events/82619 で発表したやつ

Elixir/Phoenixで並行処理を使って大量のメッセージに対応するBOTサーバーを構築する方法を調査してみました。ElixirbotPhoenix Facebook Messenger PlatformやLINE BOTが話題になっていますが、下記の記事でも言及されているように、BOTサーバーとして大量メッセージに対応するには「並行処理」がキモになってきます。 大量メッセージが来ても安心なLINE BOTサーバのアーキテクチャ そしてElixirといえばやっぱり「並行処理」なわけです。ということで「BOTサーバーを効率よく開発するにはElixir/Phoenixってとても良い選択なのでは？」という仮定のもと、色々と検証してみました。 並行処理のコード Elixirでプロセスを起動・管理する方法はいくつも用意されていますが、BOTサーバーの要件的に「状態」を管理する必要はありませんし、

Elixir（エリクサー）はプログラミング言語、Phoenix（フェニックス）は Web 開発フレームワークです。 Ruby や Ruby on Rails と比較すると、まったく有名ではなく、「知る人ぞ知る」といった存在ですが、私の見立てでは、2020年に向かうこれからの数年間、Web業界を席巻すること間違いなしの期待の新星です。 副題に「はじめの一歩」とある通り、この本は本当に本当に初心者向けです。ElixirとPhoenixのさまざまな特徴のごく一部、それもRubyやRuby on Railsによく似た部分に焦点を当てて紹介したものです。 Elixir 学習者が本当にワクワクするだろう個性的な内容、パターンマッチング、パイプ演算子、再帰、平行プログラミングなど、についてはあえて触れていませんので、すでに Elixir をご存知の方にはたぶん物足りないだろうと思いますが、次巻『初級②』

Phoenix を使うなら CodeReloader がやってくれるが、 一般の Elixir Application を書くときにどうするか、 watchdog の watchmedo を使う方針で書く。 アプリケーション名は :foo だと仮定する。 準備 distillery Elixir で release するためのライブラリのデファクト。 mix.exs の deps に入れて mix deps.get して持ってくる。 mix release.init で rel/config.exs に初期設定を作成する。 mix release で foo:dev な release が rel/foo/ に作成される。 watchdog pip install watchdog でインストールする。 実行 アプリケーションはデーモンで起動した後に attach する。

投稿開発部デザイナーの辻(@cooktsuji)です。 去る10月26日、「Cookpad Tech Kitchen#3 サービス開発におけるアプリデザイナーの役割」と題して、デザイナー向けのイベントを行いました このイベントでは、「クックパッド」「トクバイ」のiOS/Androidアプリサービス開発において、デザイナーの役割や大切にしていることをテーマに、4名のデザイナーが発表をしました。 この記事では、その様子についてお伝えします。 尚、今回のイベントでの発表資料は公開を予定しておりません。 登壇者発表 デザイナーの組織の話について まず、VP of Product Design 兼 投稿開発部長の池田(id:tikeda)から、クックパッドのデザイナー組織について発表しました。 ここでは、 クックパッドには、多種多様なデザイナーがいること 横串と縦串を意識したデザイナーの組織編成 デ

観光予報プラットフォーム推進協議会は2016年11月1日から、マーケティングツール「観光予報プラットフォーム」の本格運用を開始する。観光地域での戦略的な取り組みの支援と、観光地域の活性化に資することを目的としたもの。地方自治体や観光協会、観光関連の事業者などを対象に、観光事業向けのマーケティング・データを提供する。 データは、旅行会社などによる全国約7000万泊の宿泊予約・実績のデータや宿泊客の属性で、地区町村単位で視覚的に提供。例えば、日にちと地域を指定した観光客の属性分析や、観光客の居住国別の宿泊先分析、およびクロス分析なども可能。半年先までの宿泊動向も、過去のデータや予約状況の分析から予測値を表示し、イベントなどの実施地域やタイミングなどの検討で参考にできるようにする。 このほか、約47万件の観光スポットや飲食店のほか、地域イベント、開花などの季節情報など、さまざまな観光関連コンテン

更新日: 2017年3月22日公開日: 2016年11月11日デザイン思考×プロトタイプで最速リリース！UI/UXデザイナーが語るサービス開発論 PR TIMES 新井氏　前編 「プロトタイプをすることでユーザーのことをより深く考えるようになった」 デザイン思考でプロダクト開発をした経験のある新井氏はこう語る。 セントラル・セント・マーチンズ卒業後、グラフィックデザイナーを経て、2014年PR TIMESに入社。現在はUI/UXデザイナーとして活躍する、新井隆士氏が考えるプロトタイプの重要性について迫ります。 ＊デザイン思考とは、デザイン的プロセスを通し、ビジネスにおけるプロダクト開発に対してクリエイティブなアプローチ活用して解決しようとする考え方 グラフィックデザイナーからUI/UXデザイナーへ異色のキャリアチェンジ PR TIMESに入社される前はどのようなことをされてきたのですか？

はじめまして、2016年新卒入社のいちきです。僕は現在、11/14にWeb版がリリースされたばかりのブッキングテーブルというサービスの開発チームでフロントエンドからバックエンドまで一貫して担当しています！ ブッキングテーブルとは？ https://bookingtable.jp/ ブッキングテーブルは全国の飲食店の予約を全てネットで予約が出来る、予約特化アプリです。 既に2016年4月にiOS、Android版が同時にリリースされていましたが、遂に11/14に待望のWeb版がリリースされました！ ブッキングテーブルのWeb版は、Single Page ApplicationやServer Side Renderingなど、フロントエンド技術で様々な取り組みを行っています。 「予約特化アプリを目指す」という目標に対して、エンジニア側からもユーザにとっていかに良いUXを体験してもらえるかを考え

2015年8月初旬からLINEユーザーの間で話題になっている女子高生AI「りんな」（LINE ID：@ms_rinna）。その正体は日本マイクロソフトがグローバルで展開している検索エンジン「Bing」で培ったディープラーニング技術と、機械学習のクラウドサービス「Azure Machine Learning」を組み合わせることによって生まれた人工知能（AI）。りんなはおしゃべり好きな女子高生という設定で、従来のアシスタント的な人工知能と異なり、日常会話や雑談など人間らしい自然な会話が可能。ユーザーの心と感情的なつながりを築くことができるという。 日本マイクロソフトは、りんなの会話エンジンを「りんなAPI for Business」として、LINEの企業向けAPIソリューション「LINE ビジネスコネクト」を通じて8月7日より提供開始した。トランスコスモスはりんなAPI for Busines

こんにちは！ 株式会社LITALICO CTOの岸田崇志です。 記念すべき『LITALICO Advent Calendar 2016』1日目の記事となります！ サービスを組み立てる話をしたいと思います。 1.はじめに サービスを立ち上げの現場では戸惑うことが多いと思います。 特に初めての場合ははなおさらです。 サービスの企画を初めてやるときに、 どうやっていいかわからない。 やってみたものの何が正解かわからない。 正しい方向に向かっているのかわからない。 といったことはありませんか？ サービス開発で失敗する場合は、ひとつひとつの施策がうんぬんというよりも全体設計や進め方が原因になっているケースが多いです。 どの組織でも大体ハマるパターンは決まっているため、症状別にまとめてみました。 タイプ別にみる失敗パターン こんな経験や課題はありませんか？ あなたのチームはどのタイプですか？ 行き当た

はじめに ここ最近、趣味で機械学習の勉強はじめたら、様々な技術が必要なのでものすごいスキルがついた！ 始めるのに必要なタスクをシェアします！ ※ 具体的な手段については、別途投稿します。 機械学習に必要なこと 必要なスキル はじめにもし独学で始めるなら必要なスキルを書いておきます。 ・ ビジネススキル ・ビジネスに対する深い理解 ・ロジカルシンキング ・ドキュメンテーション/プレゼンテーション ※ 多くの場面でデータ集めから理論的な説明が必要になります。 ・ ITスキル ・幅広いIT知識 ・大規模データ処理に関する知識 ・データベースに関する深い知識 ・プログラミング ※ 本当に範囲が広いのでインフラからロジックまでフルスタックにできる人が必要になります。 ・ 統計解析スキル ・数学 ・データ分析手法の理解 ・データ分析ソフトウェアのスキル ※　確率・統計、微分積分、行列などが必須になりま

React Advent Calendar 2016 の 2 日目の記事です。 お題がライブラリの共存についてなので、少し抽象的な話が多いかもしれません。 従って、React をある程度理解されている方を対象とします。 React と地図ライブラリ (Leaflet.js) をうまく組み合わせてフレームワークっぽいものをオープンソースで実験的に作っています。 そこで得た課題とそれに対してどう取り組んでいるかを記してみます。 少しでも開発するサービスやアプリで地図を扱うことがあれば、こんなこと考えてるやつもいるのかーとご笑覧いただければ幸いです。 Leaflet.js とは？ まず、Leaflet.js を知らないという方もいるかと思いますので、簡単に説明します。 Leaflet.js とは Web 上に地図を作成するためのオープンソース ライブラリです。GitHub や Facebook、

PythonによるWebスクレイピングの実践入門を書きたいと思います。 概論的なところは除いて、フィーリングで理解していくスタイルで行きたいと思います。 ※追記 本記事は少し難しいやり方をとっていますが、学習すると言う意味ではとても価値あるものだと思います。 本記事を読み終えた後はこちらのテクニック編をご覧になるとサクッと出来たりします。 Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応 やること 最終的には「1時間ごとに日本経済新聞にアクセスを行いその時の日経平均株価をcsvに記録する」 プログラムを組んでみたいと思います。 注意 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧 何を使うの？ 言語:Python 2.7.12 ライブラリ:urll

【開発しながら学ぶ！】Swiftで作るサンプルiOSアプリをまとめてみた！ iOSアプリ開発特にSwiftを学びたい人は実際にアプリを作りたいという人が多いでしょう。今回はサンプルアプリを紹介しています。自分で作りたいものがないという人は、まずサンプルアプリを自分で開発してみると良いでしょう。 テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社　調査期間：2021年8月12日～8月16日　 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名　 調査手法：インターネット調査 すでにSwiftを学んでいる人もこれからiOSアプリを作ってみたいという人にも参考になるサンプルアプ

まずはこちらをご覧ください。 URLをコピーすると自動でQRコードに自動変換して表示してくれてますね。動作としてはURLと思われるテキストをコピーした後、Cmd + Ctrl + CのショートカットでQRコードを表示するようにしています。つまり Cmd + C → Cmd + Ctrl + C のキーボード操作だけでいけます。便利ですね。 名前は LightningQR⚡️ です。ライトニングさんは関係ありません。 今回はこのMacのステータスバーに常駐するアプリをSwift3で作ったので、簡単に作り方を解説しようと思います。似たようなアプリを作ろうと思っている誰かのお役に立てれば幸いです。 なお実際に使ってみたい人は、下記からダウンロードしてください😀 またソースコードもGitHubで公開しているので見てみてください。Macアプリ初心者が作ったのでハッキリ言って雑コードです。ごめんなさ

iOS関係の勉強会に参加するとほぼ間違いなく、設計に関する発表があるように思います。 「RxSwiftを使ってMVVM...」「Clean Architectureを導入...」, etc... 色々話を聞く中で、自分は以下のような課題があるなぁと感じています。 いろいろな設計方法があるけれど、結局何を使うべきなのかわからない 名前は聞いたことがあるけれど、それぞれがどのような設計で、何がメリットなのかわからない 勉強した時は分かったような気がしたけれど、もう忘れた この記事はこれらの解決の一助になればと思って書いたものになります。（設計へのモチベーションを上げたい） サンプルコードを交えながら、5つの設計について考察してみます。 ※ RxSwiftの名前を出しましたが、ライブラリに関してはこの記事では言及しません。 そもそも、なぜ設計に拘る必要があるのか iOSアプリ開発において、このよ

こんにちは、虎塚です。 2016年12月1日のAWSアップデートで、AWS LambdaがDead Letter Queue (DLQ)をサポートするようになりました。キューとして使えるのは、SQSキューまたはSNSトピックです。 AWS Developer Forums: AWS Lambda adds support for dead letter queues AWS Lambdaで、S3、SNS、IoTなどのAWSサービスに非同期メッセージを送信する機能を実装している方には嬉しいアップデートかと思いますので、ご紹介します。 ※2016年12月3日現在、本機能はOhioリージョンでサポートされています。他のリージョンにも今後展開されるとのことです。 前提: Lambda関数が失敗するとどうなるか Lambda関数は、Lambda関数のコードにエラーがある場合や、サービスまたはリソース

はじめに BigQueryとかFluentdとか知識だけはあったのに触ったことが無かったので、勉強も兼ねて個人的に構築中のシステムにBigQueryを利用した分析基盤を構築しました。 調べるとBigQuery周りの情報はあったのですが、Elastic BeanstalkからBigQueryを利用する記事がなかったのでまとめました。 Rails on AWS Elastic Beanstalk の環境に td-agent をインストールし、BigQueryにログを送信する環境を構築しています。 なぜBigQueryか どんなサービスでも初期時点でKPIを追えるようにしておくことは必須だと思っています。 初期の指標はDaily Active Userや継続率などになると思いますが、ぶっちゃけGoogle Analyticsとかだけで十分ですよね。 今回はAPIのみが利用される感じなのでフロント

While funding for Italian startups has been growing, the country still ranks eighth in Europe by VC investment, according to Dealroom. Newly created Italian Founders Fund (IFF) hopes to help…

先日、米マイクロソフトの Redmond キャンパスで行われたマイクロサービスのハックフェストに２週間ほどサポーターとして参加してきた。 そこで気づいた日本との技術導入の差の秘密について気づきをブログに書き留めておこうと思う。 ハックフェストというのは、お客様のガチの環境もしくはそれに近い環境/テーマで行うハッカソンだ。 例えば DevOps の文脈であれば、自動化したら効率化されそうな部分に関して、マイクロソフトの製品チーム、エバンジェリストがサポートしながら、お客様自身が我々と一緒にハックをして、実際にお客様の環境を自動化してしまうようなイベントだ。 Hello Worldやチュートリアルレベルではないので、お客様の環境が本当に自動化されてリードタイムが短縮されたり、我々にとっても、現場の難しい問題を知り、それに対してソリューションを作ることができるので、スキルアップまでできるので私は

改善前に比べ約5倍表示速度が速くなりました。また、1秒間にさばけるリクエスト数も約3倍ほどになっています。Unicornの1プロセスあたりが使用しているメモリもだいぶ低くなりました。 なお、ページ読み込み速度は、ブラウザでページを表示したときにインジケータのクルクルが止まったときです。Chromeの開発ツールのネットワークタブで赤い文字で Load 1.2sec とか表示されているやつです。GoogleAnalyticsのページ速度でいうと plt というキーでレポートされているものです（参考ページ）。 グラフとか GoogleAnalyticsのグラフです。読み込み時間が下がっています。 メモリ使用量です。Zabbixからmackerelに乗り換えたのでグラフが違いますが、使用量が下がって安定しているのがわかります。 AWS ELBのレイテンシです。不安定なレスポンスが安定してるのがわか

はじめに この記事はCrowdWorks Advent Calendar 2016 3日目の記事です 今回はクラウドワークスが運営しているクラウドソーシングサービスであるCrowdWorksのRails開発環境について紹介します。 Qiitaにもたくさん記事が投稿されているとおり、Dockerを開発環境に利用するのはだいぶ一般的になってきたように感じます。クラウドワークスでもローカルでDocker Composeを利用して開発環境を構築できるようにしています。 Docker化の範囲は、各人の好みがあるため2パターン用意しています。 RailsはmacOS上で動かしてミドルウェアのみDocker化 ミドルウェアに加えてRailsもDocker化 現状では「ミドルウェアのみDocker化している人」、「RailsもDocker化している人」、「まだ移行できていない人」の割合は1/3ずつぐらいで

トレタ アドベントカレンダー3日目担当の増井です。 最近、新しいサービスリリースに少し関わることがあり、そこに向けてオススメした開発で役に立つサービスをここでもまとめてみることにしました。 私が、実際にトレタやキタヨンを作るときに使ったサービスを中心に上げています。特に使った方がいいサービスには [必須]を書いてみました。 他にもオススメのサービスがあったら、コメントで教えていただけると嬉しいです！ BrowserStack [必須] https://www.browserstack.com http://qiita.com/tags/BrowserStack 言うなら"Browser as a service"。色々なブラウザをリモートで操作してWebの動作確認をしたり、指定したURLのスクリーンショットを多種多様なブラウザで撮ってきてくれるサービス。 Chrome Extensionを

この記事は、Pepabo Managers Advent Calendar 2016の3日目の記事です。2日目は、弊社チーフエンジニアhsbtさんの「マネージャが仕事の仕組みを作る」でした。 僕自身は、エンジニア専門職の主席研究員兼シニア・プリンシパルエンジニアではありますが、特にペパボ福岡のエンジニア組織を現場でまとめる人間として、エンジニア組織を成長させる中で個々のエンジニアの成長をサポートしているという意味では、マネージメントに関する活動も兼ねております。 しばしば、インターネットサービスの高度化と複雑化の速度が早過ぎるため、グランドデザインができない、人が多過ぎても成立しない、少な過ぎても難しい、とういうような類のサービスを作り上げないといけない状況があります。その際に、厳密過ぎない役割を持たせ、それぞれが横断的にそれぞれのスタイルで、まるで、攻殻機動隊の世界におけるスタンドプレー

こんにちは Rails5.1に向けて、DHHのjqueryを依存から外す発言を発端にフロントエンド周りが急激に発展しているので、簡単にですがまとめてみました。 各issue, PRの詳細には踏み込みませんが、知見に溢れているので読んでみるの推奨です。 間違い、足りないものがあったら編集リクエストお願いします。 jQuery依存を無くす話が出る rails(issue): Drop jQuery as a dependency jquery-ujsはjqueryに依存しないようにする jquery-ujs: Drop jQuery as a dependency "jquery"-ujsじゃなくなったので名前変更 rails-ujs誕生 実際にRailsからjquery依存がなくなる rails: Drop jQuery as a dependency jsライブラリを入れる方法がnpmパッ

この記事は、はてなディレクターアドベントカレンダー2016の3日目です。昨日はid:yashitani_wの「これからマネージャーになるエンジニアのあなたへ」という記事でした。 ここ2年ほどは社長としての仕事ばかりで（当たり前ですね）、ディレクターとしての業務を離れて久しいですが、ディレクターに関することというお題なので、ディレクターだったときに「SIerで培った経験・技術で、はてなに転職して役立ったこと」について書いてみたいと思います。 私は2008年10月に東京の大手SIerを退職し、はてなの京都オフィスへと転職してきました。SIerとひとことで言っても、実に色々なプレイヤーがいますので、私がSIerでどんなことをしていたかをざっくりと紹介しておきます。 SIer時代 私が所属していた部署は「旅行系システム」を担当していました。いわゆる旅行の予約サイトはもちろん、特殊な端末での予約シス

この記事は おうちハック Advent Calendar 2016 の3日目の記事です。 まえがき パナソニック（旧パナソニック電工（旧旧松下電工））の製品にこんなモノがあります。 ＿人人人人人人人＿ ＞　壁からUSB！　＜ ￣Y^Y^Y^Y^Y^Y￣ カッコイイですね。 ですよね。。。 他にもこんなモノがあります。 壁のスイッチをリモコンでON/OFFできる！ 使ってみたくないですか！？ 使ってみたいですよね。。。 しかし、これらの設置工事をするには、電気工事士（二種）の資格が必要です。 資格がないなら取得すればいいじゃない。 という話をします。 電気工事士の資格とは 簡単に言うと、ブレーカーを切ってからじゃないと感電しちゃいそうな工事をする場合に必要な資格です。 前述のUSBコンセントやリモコンスイッチなどの設置工事をする際はブレーカーを切ってからでないと危ないですよね。 コンセントか

コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕

こんにちは！中村ひろきです。 ぼくは治療家という仕事をしている「職業病」のおかげで、なかなか健康にはシビアです。 とかいって夜更かしもするし、深夜3時のラーメンはめっちゃ美味いし、困ったもんですが、こないだタニタの体組成計でカラダの筋骨格データを測ったら驚くべき数字を叩き出したので、アウトプットしておきますね。 ぼくの日常的な習慣は、みなさんの非日常的な習慣かもしれませんから・・・ 生活習慣を変えるより死ぬほど大切なこと ぼくがイチバン大切にしている価値観 絶対不可欠な17の生活習慣 1. 週1回のフットサル 2. 週2回のランニング 3. 週2回の腹筋ローラー 4. 年1回のハーフマラソン 6. タンパク質をしっかりとる 7. 糖質制限をする 8. 7時間の睡眠 9. 月2回のタイ式マッサージ 10. 1日2回のストレッチ 11. 週1回の銭湯 12. 月1回の歯石除去 13. ストレス

これはbuilderscon tokyo 2016の発表スライドです。 自己紹介 @kazunori_279 クラウドのデベロッパー・アドボケイト エバンジェリストみたいなお仕事 コミュニティ支援：GCPUG、bq_sushi、TensorFlow User Group etc 趣味のFPGA 2013年くらいからいじり始め FPGAエクストリーム・コンピューティング主宰：合計8回 これまでに書いたFPGA記事 はてなブックマークでバズった記事たち マイクロソフトはどうやってBingをFPGAで実装したか: 952 users ハード素人が32bit CPUをFPGAで自作して動かすまで読んだ本のまとめ: 576 users 文字通り「ネットワークがコンピューター」な金融HFTでのFPGAの使われ方: 517 users JP Morgan Chaseがデリバティブ専用スパコンをFPGAで

はじめに 本投稿は、Schooの2016年末特別企画「Schoo advent calendar 2016」の2日目の記事になります。 うちのマネジャーがどうしてもクリスマスまでの全日程を埋めたいらしくネタを探していたので連続ではありますが、2日目もネタを投下することになりましたｗ （私が喋りたがりなので良いんですけどね。。。あっ、登壇依頼はいつでもWelcomeですｗ） とはいえ、折角ですので中途半端なものにはしたくないので、Schooのシステム群の中から配信周りについて、更に今回は録画動画の配信に至るまでの手前の構成と、その処理の流れがどんな感じになっているかを記事化したいと思います。 VOD（録画動画）の配信システム構成図 今回もまずは全体の構成図を貼り付けておきます。 ちなみに、たぶんこの資料は外部には（記事とかでは）初出しの資料かと思います！ ザックリと説明するなら、AWSとAk

バッチ処理 世の中のITシステムのほとんどは、データが発生し、流れて、処理し、蓄積されるジョブの繰り返しです。AWS Batchは、このようなバッチジョブを効率的におこなうための管理サービスです。Pegasus WMS、Cromwell、Luigiといった主要なワークフローエンジンをサポートしています。実際のジョブの実行は、EC2やSpotインスタンスが動的にアサインされて実行されます。 データフロー図（DFD） データフロー図で表現できるようなバッチ業務処理を管理するサービスとイメージしました。。 AWS Batchの基本機能 単ジョブの定義 CPU、メモリー、IAM Role、ボリューム、コンテナ、環境変数、等について、ECS上でアプリケーションを実行するために設定します。 ジョブの依存性モデリング 異なるジョブ間での依存関係を設定できます。例えば、３つのステップでデータを圧縮するジョ

まあ、端的に言うとここに全部書いてあった。 MySQLでToo many connectionsが出た時の対応 http://qiita.com/kenjiszk/items/c3d46ac837845281e62b % mysql -u root -p mysql> show variables like "%max_connections%"; +-----------------+-------+ | Variable_name   | Value | +-----------------+-------+ | max_connections | 151   | +-----------------+-------+ 1 row in set (0.01 sec) 設定変えるときは /etc/my.cnf に [mysqld] max_connections        = 100