Spark2.0をEMRで試す - Qiita
概要 一週間前くらいにSpark2.0が出ました。そして、今日確認したらEMR5.0が既にSpark2.0対応されていました。さすがAWSさんです！ ということで、Spark2.0でイマドキのSpark実行を簡単にメモしておきます。 ゴール Spark2.0が動く Scala2.11ビルドしたjarが動く Java8で動く YARN分散環境上で動く EMR設定 Software Configurationにて以下のように設定 emr-5.0.0 hadoop2.7.2 Spark2.0.0 configurationに以下のjsonを追加 Java8の設定と、sparkに最適化する設定を行っています。 [ { "classification": "spark", "properties": { "maximizeResourceAllocation": "true" } }, { "Cla
Cookieとかセッションとかセキュリティとか - Qiita
概要 社内勉強会でcookieの仕様（主にRFC6265）やセキュリティ（主にCSRFやセッション乗っ取り）について話した内容をまとめます。 但し書き 手っ取り早い説明用に内容を端折ってまとめているため、厳密には正しくない記述が含まれます。 ちゃんと知りたければRFC読みましょう。（幸い日本語訳があってかなり読みやすいのでオススメ） 以下、RFCに沿って「サーバー」と「UA」という単語を使いますが、UAはブラウザと言い換えていいと思います。 curlやプログラマブルなクライアントは、この枠外の挙動をさせることも容易なので対象外です。 またブラウザ毎の実装については、過去の他の方の記事を参照していて自分で試せてはいないため、現在では実装が異なっている可能性があります。 cookieの仕様 cookie（webでの状態管理メカニズム）についての仕様。 RFC6265 今の最新の仕様っぽい。モダ
EMR上でPython3系でpysparkする - Qiita
概要 機械学習・データサイエンスといえばpython（numpy/iPython/scikit-learn）なのでpythonで書いていきたい。 しかし、仕事柄大規模なデータを扱うことになるので、分散できるsparkのAPIで取り扱いたい。 ということで（EMR）クラスタ上でpysparkを動かしてみます。 今からpython学ぶなら３系だろうということで３系（Anaconda3-4.0）で動かします。 不安だったので確認したけど、sparkは1,4からpython3系に対応してますね。 手順 基本的にこちらの記事を参考にしました。丁寧に書かれていて素晴らしいです。 Spark + IPython環境をAmazon EMR上で構築し、簡単なData解析を動かして見る (第1回：環境構築編) スクリプト準備 EMRクラスタ立ち上げ iPython Notebook起動 動作確認 スクリプト準
React Native + TypeScript入門 - Qiita
はじめに 某案件でしばらくReact Native + Flow を使ってたのですが、やっぱりTypeScriptの方がIDEの補完や型安全性の面で良いなと思い、React NativeをTypeScript化してみました。 それぞれのファイルの意味なども可能な限り説明していければと思います。 この記事のゴール React NativeにTypeScriptを入れる Reduxも入れる それらのテストや動作確認をしやすくする。 環境 react: 15.4.2 React Native: 0.41 TypeScript: 2.2 NodeJS: 7.6~ mocha enzyme 構成 今回の構成は以下です。 基本的には、tscでビルドして生成されたファイルをindex.jsに喰わせる形を取っています。 TSのソースマップをdebug時に引き継げてないのが難点ですが、そこはTS2.2から入
Angular入門: http通信部分やテストを試す - Qiita
概要 前回（Angular入門: Component/ServiceをTestまで含めて試す）の続きです。 今回は 通信処理の書き方 テストの書き方 動作確認・デプロイ を書いていきます。 作った画面 要件としては、前回分に加えて AsyncIncrementボタンを押すと、サーバーにデータを取りに行って非同期に数字が加算される。 という形です。 環境 angular-cli: beta-32 Angular: 2.4 NodeJS: 6.9 ソースコードはこちら↓ https://github.com/uryyyyyyy/angularSample/tree/async 前提：APIサーバー SPAの場合は、フロントのリソースはS3などのホスティングサービスから配信するかもしれません。 その場合はAPIサーバーのエンドポイントは別のホストになることが有り得ます。 本記事ではそのような配信
Angular入門: Component/ServiceをTestまで含めて試す - Qiita
<p>Counter</p> <p>Point: {{point}}</p> <button (click)="increment(3)">Increment 3</button> <button (click)="decrement(2)">Decrement 2</button> import { Component } from '@angular/core'; import {CounterService} from './services/counter.service'; @Component({ selector: 'app-root', templateUrl: './app.component.html', styleUrls: ['./app.component.scss'] }) export class AppComponent { point: number; c
React + flow + Webpackの最小構成 - Qiita
はじめに flowを使ったことなかったんですが、React Nativeなどを扱うことになってきて、flowを学ばないとまずいと思い、Webでもちょっとやってみました。 それぞれのファイルの意味なども可能な限り説明していければと思います。 環境 React 15.4 Webpack 2.2-rc flow 0.37 NodeJS 6.X~ $ tree . . ├── index.html ├── package.json ├── src │ ├── Hello.jsx │ └── Index.jsx ├── .babelrc ├── .flowconfig ├── webpack.config.dev.js └── webpack.config.prod.js { "name": "react-redux-sample-js", "version": "0.1.0", "scripts"
ReduxでのMiddleware不要論 - Qiita
問題提起 （※タイトルはキャッチーなのにしましたが、Middleware全般の不要論ではありません。非同期処理において不要論です。） Redux使うときに非同期処理はどう書きますか？ 「よくわからないけどMiddleware使うらしい」と思考停止していませんか？ この記事では、Reduxは本来どのように扱うことを想定されているのかと、なぜ非同期処理の文脈でもMiddlewareが出てきたのか、そして「実はMiddleware無くても読みやすく書けるよね」という話をしていこうと思います。 Reduxでの設計を悩む人への個人的な解です。 （気になる・詳しく知りたい箇所などありましたらお気軽にコメントください） この記事のゴール ActionDispatcherという筆者が命名したクラスを使うことで、 複数の非同期処理を含むロジックでも読みやすく書ける ネットワーク通信などを含んでもテストがしや
「Spark MLlibでリコメンドエンジンを作った話」を話してきました - Qiita
技術的な話 用いた技術は、 Spark(1.6 -> 2.0) MLlib EMR RedShift Finagle netlib-java ElastiCache (Memcached) あたりが挙げられます。 手順としては、 生ログをRedShiftで前処理してS3に保存 SparkがS3からデータを読みモデル生成 モデルをS3にバイナリ出力 推薦サーバがモデルを読み込み、リアルタイム推薦 or Cacheから読む 結果が多少バラけるように独自ロジックを加えて推薦サーバの出力とする。 という形になります。 Spark周りの動かし方やトラブルシューティングについてはここにメモしてあります。（この記事から他の記事へたくさんリンクが出ています。） http://qiita.com/uryyyyyyy/items/f8bb1c4a4137e896de7f 登壇してみての話 この手の技術は前提知
React + Typescriptシリーズ（随時更新） - Qiita
問題提起 React始めたいですよね！ でも今時、型のない言語とか使いたくないですよね！ TypeScriptコンパイラもjsxに対応したし、Angular2でもTypeScriptが標準っぽいし、 とりあえずこれから始めるならTypeScriptでしょう。 ということで、個人的に良いのではと考えている技術スタックをまとめてみました。 内容が膨大なのでシリーズにしています。 環境・技術スタック 基本的には以下のように最新に追従していきます。 NodeJS 7.X~ React 15.5 Redux TypeScript 2.3 wepack 2.5 express(開発用の仮サーバーとして) karma （他、各種ライブラリを都度見ていきます） 記事 導入編 Reactで普通のSPAを作るために最低限必要だと筆者が考える構成を順を追って説明していきます。 React + TypeScrip
React + TypeScriptでWebシステムを作った話 - Qiita
概要 「Opt Technologies Advent Calendar 2016」の一日目です。 最近とあるシステムを社内向けリリースしたので、どのように進めたかと実装について書いていきます。 （実際のコードは見せられませんが、参考用の過去記事へのリンクを用意しているので同じように設計で組むことはできるかと思います。） 作ったものの要件的な BtoBな管理画面系アプリ デザイナ不在 進め方は自由だがスケジュールしっかり守りたい フロント実装者は、自分以外は外部のフロントエンジニアと、社内のGUI未経験エンジニア 開発部内のKPIにテストカバレッジがあり、フロントでもカバレッジ取りたい 進め方 package.jsonの抜粋 全体像を掴めるかと思い、最初にpackage.jsonを貼っておきます。 後でそれぞれのライブラリやタスクについて触れていくので、なんとなく見て頂ければと思います。
SPAでのセッション管理とセキュリティ - Qiita
基本 普通にcookie使えばいいと思います。 loginリクエストもajaxで投げればcookie返ってくるので、何も考えることないかなと。 Cookie 動作イメージは以下の形です。 == サーバ → UA == Set-Cookie: SID=31d4d96e407aad42; Path=/; Domain=example.com == UA → サーバ == Cookie: SID=31d4d96e407aad42 (from https://triple-underscore.github.io/RFC6265-ja.html) ブラウザの状態管理のためのもの。 もちろん主要ブラウザはどこも付いてます。 railsでもplayでもとりあえずこれでセッション管理されています。 secure属性があると、httpsのときだけやりとりされます。 HttpOnly属性があると、jsから読
React + TypeScript + Webpackの最小構成 - Qiita
※更新履歴 webpack2-rc & TS2.1 & @types対応 webpack2 stable & TS2.3 対応 React16-beta & TS2.4 対応 問題提起 React始めたいですよね！ でも今時、型チェックのない言語とか使いたくないですよね！ TypeScriptコンパイラもjsxに対応したし、Angular2でもTypeScriptが標準っぽいし、 とりあえずこれから始めるならTypeScriptでしょう。 ということで、主にReact初学者向けに最小構成を用意してみました。 間違っている点があればご指摘いただけると嬉しいです。 環境 NodeJS 8.2 React 16.0-beta TypeScript 2.4 webpack 3.4
HDFS・YARNの完全分散クラスタを構築する - Qiita
Outline HadoopのYARN上で色々なアプリを動かすことになったのでテスト環境を作ってみた。 基本的な動作確認は擬似分散モードでいいはずだが、nodeを増やしたり別ホストにnodeを置いた状態でのテストをするために構築してみた。 環境 共通設定 OS: Ubuntu14.04 （AWS EC2） ユーザー: ubuntu VPC: 全マシンは同一subnetに配置 IP: PublicIPとPrivateIPのどちらも使用。 Hadoop 2.5.2 port: 全開放（22, 80, 8020, 8032, 8088, 50070が開いてればたぶん大丈夫） マシン・役割 client 自分のメインマシン。 主にsshで各ノードを操作したり、PublicIP経由で接続を確認したりする。 master Namenode/ResourceManager用 node1 datanode
YARN上でジョブを走らせてみる（Spark編） - Qiita
Outline HadoopのYARN上で色々なアプリを動かすことになったのでテスト環境を作ってみた。 今回はYARN上でSparkのjarを走らせてみる。 走らせるjarは、sparkパッケージに入ってるexampleと、自分で作ったやつ。 環境 メインマシン 実際に動かしているハード。 WebUIなどの動作確認に使う。 Client OS: Ubuntu14.04 （AWS EC2） Hadoop: 2.5.2 Java: 8 Hadoopクラスタ 別記事を参照。 擬似分散モード：http://qiita.com/uryyyyyyy/items/a7ac8dc088b6fc2d115d 完全分散モード：http://qiita.com/uryyyyyyy/items/ebd732d3935ee404f4e7 ここではResourceManagerとnameNodeは同じhostにあると
require()とは何か？何が便利なのか - Qiita
などとついていますが、このrequire()ってよくわからない。 具体的には、 どうやって使えばいいの？ 普通にscriptタグで読み込む場合とどう違うの？ 「require」でググっても英和辞典とかしかでないんだけど！ ということでざっと調べてみました。 commonJS 以下、要約 そもそもの発端は、「Javascriptって良いよね。ブラウザ以外（ServerSide）でも使おうぜ」ということからだったらしいです。 しかし、scriptタグで読み込むこと前提だったので、HTMLがない（レンダリングエンジンがない）場合に外部ライブラリを参照する方法がない。。。 （さらに言えば、FileやNetwork、標準入出力など色々と不便。） これじゃ困るということで、ServerSideの標準仕様を定めたのがcommonJS。 その中で外部ライブラリを参照する方法が、各JSファイルをモジュール化
React.jsはMVCのVじゃない。フレームワークだ。 - Qiita
問題提起 Why React? Many people choose to think of React as the V in MVC. で語られている通り、一般的にはいわゆるViewの部分（仮想DOM）だけを担うライブラリと思われているようです。 「仮想DOMは描画が速いんだ」などと言う人が多くいますが、React.jsによるDOM操作の効率化（差分反映の仕組み）で劇的に改善されるケースってそこまで多くないんじゃないかと思っています。 「じゃぁ、Reactって学習コストに合わなくね？」と僕は思っていましたが、このスライド（React JS and why it's awesome）を見て、実際に学習してみて納得しました。 これはクライアントサイドの設計をひっくり返すフレームワークだと。 何がいいのか？ Reactは以下の機能を持っています。（ざっくり過ぎて意味不明かもしれませんが、機能
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
