初めて執筆させていただきます。 現在、サイバーエージェント新子会社の株式会社トルテでサーバーサイドエンジニアをしています。 ゆきちと申します。 トルテではいま現在絶賛カップリングサービスの新規開発中なのですが、言語選定の際にgolangを採用しました。 go経験はまだ2,3ヶ月程度で浅いですが、原則シンプルでいい言語楽しいです。 golang.tokyo#3の抽選会に運良く当たったので、今回はそのレポートを書きたいと思います。今回のテーマは「パフォーマンス」。 Accelerating real applications in Go https://talks.godoc.org/github.com/cubicdaiya/talks/2017/01/golang-tokyo.slide 久保達彦@cubicdaiya – 株式会社メルカリ goアプリケーションに対する速度改善の実例とテク

以前少し考えて自己解決して終わったんだけど、 ちょっとしたきっかけがあったのでアウトプットしてみる。 以下のような Person があって、 Hello(), Goodbye() には全く同じ「複雑な処理」がある場合・・・ type Person struct { name string } func (p *Person) Goodbye(input string) { //複雑な処理のつもり fmt.Println("common logic " + input) fmt.Println("goodbye " + p.name) } func (p *Person) Hello(input string) { //複雑な処理のつもり fmt.Println("common logic " + input) fmt.Println("hello " + p.name) } 以前はこれを以

先週 golang.tokyo #3 に参加した．抽選倍率2倍だったからダメかもなぁ…！と思って申し込んだら当たった． テーマは「パフォーマンスチューニング」だったけど，「パフォーマンスチューニング」とは違うような話もあった．エウレカの話も聞きたかったから残念！ golangtokyo.connpass.com Accelerating real applications in Go @cubicdaiya GitHub - kazeburo/chocon Golang 標準の net/http で簡単にプロキシサーバを立てられる ただ細かくパラメータをチューニングするためには net/http/client.go と net/http/transport.go を使う 特に MaxIdleConnsPerHost はデフォルト値 2 だから小さくなっている GitHub - mercar

Contents tl;dr Go のインストール (macOS, Linux) パッケージマネージャでインストール 公式のバイナリリリースからインストール バージョンマネージャでインストール Go のインストール (Windows) GOPATH について GOROOT について tl;dr $ brew install go $GOPATH はどこでもいいが $HOME/go が主流 $GOROOT は基本的に設定不要 Go のインストール (macOS, Linux) バイナリをインストールしましょう。 大きく分けると 3 つの方法があります。 パッケージマネージャを利用 公式のバイナリリリースを利用 バージョンマネージャを利用 パッケージマネージャでインストール おそらく最も簡単な方法です。 各 OS のパッケージマネージャでインストールします。 例えば macOS なら $ br

使用するライブラリは以下のとおり - Negroni - Gorilla/Mux サンプルコード 作った機能としては、 - GET "/" で名前の書き込みを依頼し - POST "/"で送信された名前を受け取り表示させる。 - GET "/admin" でちょっとした認証機構 package main import ( "fmt" "net/http" "html/template" "github.com/gorilla/mux" "github.com/codegangsta/negroni" ) func main(){ r := mux.NewRouter() // Root への処理 r.HandleFunc("/", getRoot).Methods("GET") r.HandleFunc("/", postRoot).Methods("POST") // アドミン周りの処理

はじめに なんだか今日は早く目が覚めてしまったので、久しぶりの朝活。 golang 最近 golang が気になり過ぎているのと、Webアプリ作るフレームワークも出てきている様なので、Java、Scalaときて、第三の言語として扱えたらいいなーなんて思い、今年は真面目に勉強してみようかと。 実は前から既にちょくちょく書いていたのだけど、ちゃんとメモなりなんなりに残すのが大事なんだよね。 golang で書けるフレームワーク フレームワークは僕が調べた中では、 martini というものが一番人気らしいのだけど、みんなが使っているものを勉強してもなーという天邪鬼な所があるので（Scalaの勉強を始めた時、周りの誰も使っていなかった）、 各フレームワークのベンチマーク を参考に、 echo というフレームワークを試すことにした。 なお、フレームワーク選びについては、下記Qiitaの記事を参考に

はじめに Goは、Go1.5以降C言語による実装がなくなり、ほぼ全てがGoによって書かれています。そのためGoエンジニアは最悪Goのソースコードを読んで問題を解決することができるため、とても生産的な状態にあると言えます。 しかしGoがセルフホスティングだとしてもOSの機能群を呼び出すときには、C言語で実装されているシステムコールを実行しているはずです。では、Goではどのようにシステムコールを実行しているのでしょうか？また、どのようにそれらをビルドしているのでしょうか？ この記事では、上記の疑問をGoのソースとドキュメントから読み解いていきます。 Goとシステムコール 一般のGoプログラマがGoでシステムコールを実行するには、syscallパッケージ、golang.org/x/sys/パッケージを利用します。1 関数一覧には見覚えるのあるシステムコールと同様の名前の関数が並んでいます。これら

7 คาสิโนออนไลน์ ชั้นนำที่ดีเยี่ยมที่สุด Ichimaruni-design คาสิโนออนไลน์ ขอชี้แนะ 6 เว็บเดิมพันออนไลน์ชั้นหนึ่ง ที่มีครบทุกสิ่งที่มีความต้องการ ไม่ว่าจะเป็น คาสิโนออนไลน์ บาคาร่าออนไลน์ ไพ่โป๊กเกอร์ออนไลน์ พร้อมรับโปรโปรชันเครดิตฟรีที่แจกให้แบบจุใจ เว็บไซต์ตรงไม่ผ่าเอเย่นต์ เล่นง่าย ได้เครดิตฟรี ๆ ไปเลย UFABET เครดิตฟรี ไม่รับไม่ได้แล้ว กับโปรเด็ด โบนัสปัง UFABET เครดิตฟรี สิ่งดีๆที่พวกเรามีให้เฉพา

これからプログラミング言語のJavaScriptの学習をおこなっていきます。プログラミングが初めての方を対象とします。 JavaScriptは言語開発者の想定を超えて大きく使われるようになった言語です。2015年にECMAScript 2015の仕様が策定され、言語として本格的な仕様に進化しました。本講座ではこの新仕様も含めて解説していきます。 まずは環境構築をおこなっていきます。JavaScriptを動かす環境は複数のやり方があります。本講座では最もお手軽なWebブラウザを実行環境として使います。Webブラウザは「Google Chrome」をつかいます。 Google Chromeのインストール 「Google Chrome」のインストールは、ブログの過去記事をご覧ください。 「Google Chromeのインストール（Windows）」 「Google Chromeのインストール（M

WebSocket の概要 何者？ WebSocket は通信プロトコルの 1 つです。ウェブサーバーとウェブブラウザとの間で双方向通信を可能とする規格です。API を W3C が、プロトコルを IETF が中 心となって規格策定を 進めています。 HTTP を応用した既存の双方向通信技術の欠点を解決する技術として開発されています。 元々は HTML5 の仕様の一部として策定が進められていましたが、現在は HTML5 から切り離され、独立したプロトコルとして規格策定作業が進められています。 ウェブサーバーとウェブブラウザ間で双方向通信ができるようになると、ウェブサーバからウェブブラウザに対して情報を Push することが可能になります。これはすなわち、Ajax を使ったなんちゃってリアルタイムアプリケーションではなく、本当のリアルタイム アプリケーションが実現できるようになるということです

こんにちは、つばさ（@tsubasa123）です。 存在すら知らなかった新しいデータ構造、Mapについて簡単に使い方を調べてみました。ES2015、色々変わりすぎだよ。がんばって時代の流れに追いつきます。 何に使うの？ いつ使うの？ 要素数を簡単に取得できる キーにオブジェクトを利用できる 反復処理が可能 さいごに 何に使うの？ キー・バリューの関係を保持することができるもので、今までのオブジェクトで行ってきたようなことを、セッターとゲッターメソッド経由で行うことができるようになります。Mapオブジェクトを作成する時はnew演算子を利用します。 const m = new Map(); m.set('name', 'hoge'); console.log(m.get('name')); // hoge こんな感じで使えます。簡単ですね。ですが、これでは普通にオブジェクトで代用することも可能

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

概要 React+Redux+Express+MongoDBでCRUDアプリを作ります。 この記事の目的は、React/Reduxを触り始めた人が サーバーとの通信の方法（より一般的には非同期処理の方法） Reduxにおけるフォームの扱い ExpressによるAPI node.jsからのMongoDBの操作 Herokuへのデプロイ など、主にサーバー側のデータの操作に関わる基本的な事項を学ぶきっかけを作ることです。 この目的に集中するために、それ以外の点については一切気にしないことにします。 そのため、初心者以外の人（上記の内容を理解している人）がこの記事を読んでも得るものはないと思います。 この記事が書かれた背景には、少し前に自分自身がjavascriptによるフロントエンド開発からwebプログラミングを学び始めたころの経験があります。ReactやReduxの基本的な文法の理解を終えて

技術を活かし、新しい価値を創造する DeNAのエンジニアは、想像を超えるDelightを届けるために何ができるかを考え、技術力と発想力で新しい価値を生み出しています。 多様な専門性を持ったエンジニアが切磋琢磨し、互いに刺激し合える環境や制度がさらなる成長へとつなげます。

前回はPyCharmで単体のDockerfileを使う内容の記事でしたが、実際の開発だとDocker Composeを使うことが多いかなと思います。 そこで、今回はDocker Composeを使ってDjangoアプリを動かしてみました。 ちなみにサンプルコードよりも実践的な内容にしたかったので、PyCon JP 2016のWebサイトを動かしていきます。 手順 ざっくりした手順は下記。 Docker環境の準備(前回と同じ) ソースコード一式をcloneして、PyCharmで開く PyCharmでInterpreterの設定 Run Configurationの設定 Djangoアプリの初期設定を行い、実行する Docker環境の準備 まず、前回同様Dockerインストール済みの環境を用意します。 さくっとdocker-machineでやりました。 [alpaca]~/github/pyc

Python のマルチコア、マルチスレッドの実装を勉強する機会がありましたので、メモ書きします。 簡単に違いを説明すると、 マルチコア 複数のプロセスを立ち上げることで複数のCPUコアを利用することができる 得意なもの：CPUバウンドな並列処理も複数のCPUコアを利用することで効率化できる 苦手なもの：並列処理間でプロセスが異なり、データの受け渡しが難しい マルチスレッド 一つのプロセスを立ち上げ、一つのCPUコアを時分割で利用することができる 得意なもの：並列処理間も同じメモリ空間を利用することができる 苦手なもの：CPUバウンドな並列処理はCPUがボトルネックになり、並列処理の効果が出ない Python による並列処理 Python はマルチコア、マルチスレッドを実装するパッケージを標準で持っています。マルチコアにはmultiprocssingパッケージ、マルチスレッドにはconcur

前回はElasticsearch を Linux上、Dockerコンテナでシングルノードでインストール起動しました。 前回のエントリは下記をご参照ください。 sfujimoto.hatenablog.com 今回も Linux上、Dockerコンテナそれぞれでのクラスタ構築を実施します。 Elasticsearch クラスタ on Linux まずは Linux OS 上で Elasticsearch クラスタを構築します。ノード数は2台とします。 環境 プラットフォーム : VirtualBox on Mac OS : CentOS 7.3 ツール : vagrant Elasticsearch : 5.1.1 ノード1 IPアドレス : 10.255.0.100 ノード2 IPアドレス : 10.255.0.101 Elasticsearch インストール Elasticsearch

こんにちは。吉田です。 今回はDockerの永続的ボリュームとストレージについて紹介します。 永続的ではないコンテナのデータ ある意味あたり前の話ですが、Dockerコンテナを起動した後でコンテナ内に書き込んだデータは、そのコンテナを削除した時点で同時に削除されます。従来のITインフラ設計とは異なり、Immutable Infrastructureの概念をベースとしてコンテナを活用するアプリケーション環境においては、この仕様自体が問題になることは殆どありません。 しかし、一方でコンテナでデータベースを扱うケースは多く、現場では永続的データの維持管理が必要とされます。このような要求に対して、データを永続的に管理する方法がいくつか提供されています。 コンテナのデータを永続化する方法 Dockerコンテナのデータを永続的に維持管理する方法として以下の四つが挙げられます。 Data Volumes

Docker を Kubernetes や Swarm でサービスを実行する場合は JSON や YAML などで事前に定義したものを実行するだけなので知っているけどそれほど脅威ではありませんでしたが docker を便利コマンドや batch として自由に任意のコマンドを実行したいと言われるととたんに -v /:/rootfs とか、--privileged されたらどうしようという壁にぶち当たるわけです。 しかし、安全に使えたら便利なのでなんとかならないかなと CentOS 7 の公式リポジトリの Docker なら SELinux でなんとかする方法があるかもしれないなと調べてみました。 公式リポジトリの docker は古いんじゃないかと疑ってましたが 1.12.5 だったのでこれなら悪くない。クラスタの方では 1.11.1 使ってるし。

Centralize your team’s knowledge, sync with your codebase, and create beautiful documentation your customers and teams will love

本エントリの目的 ローカル環境で開発をしているとデータベースやその他諸々のサービスをlocalhostで参照できて設定が楽というメリットはありますが、WebサーバとDBサーバの分かれた本番環境と構成が異なるのが気になります。 せめて本番にデプロイする前にステージング環境で確認をしておきたいところですが、個人開発ではお金を節約したいのでわざわざ本番サーバと同じVPSやAWSは使いたくありません。そこでVirtualboxの仮想マシンにVagrantとAnsibleを使って環境を構築することにします。 Virtualbox、Vagrant、Ansibleのインストール方法、使い方などは説明しません。 使用したファイルはGithubに上げています。 ホストマシン: MacOSX El Capitan Vagrant v1.9.1 Ansible v2.0.2.0 Virtualbox v5.0.

はじめに VSCodeの売りの1つにデバッグ機能がありますが、webpack/webpack-dev-serverを使った場合のやり方があまり見かけなかったのでまとめてみました。 検証した環境 OS Windows 10 MacOS Sierra VSCode 1.8.1 Debugger for Chrome 2.4.1 webpack 1.14.0 webpack-dev-server 1.16.2 準備 webpack/webpack-dev-serverのインストール・設定 npmでインストールし、webpack.config.jsを編集します。詳しいやり方は他の記事を参照してください。 VSCodeのデバッグ機能を使う場合、sourcemapを出力するようにする必要があります。自分が実行した時の値を載せておきます。

ツールやライブラリーが乱立し、年々複雑化するJavaScriptの世界。それでも2017年に注目したい3つのライブラリーを紹介します。 JavaScript界にとってはクレイジーな年だった、2016年が終わりました（編注：本記事の原文は2017年1月2日に公開された）。この1年で数え切れないほどの印象的なライブラリーやフレームワークが登場しました。「You Might Not Need JavaScript」はJavaScriptを使わなくても実現できるコードを紹介してJavaScriptの使い方について疑問を投げかけ、Nolan LawsonがFronteersで発表したスライドに関するツイートが議論を呼び、Jeremy KeithやChristian Heilmannといった著名人からもレスポンスがありました。この様子はNolanの投稿にまとめられています。最初にクレイジーと書きました

TypeScript, React, Sass, webpack, gulp導入記 - モダンなクライアントサイドWeb開発に挑戦した話SassTypeScriptgulpwebpackReact 本記事の執筆に当たっては、ニコニコ生放送において、MaxMEllonさんを始めとして、皆様からのアドバイスをいただきました。ありがとうございます。 はじめに 経緯 私はこれまでJavaScriptといえば、Webサーバに配置する*.jsファイルを直接書いていました。使っているライブラリも、jQueryやBackbone.jsぐらいでした。ただ、近年のECMAScript 2015やTypeScriptという新しい言語仕様、React等の新しいライブラリの興隆を見て、時代からの遅れを感じていました。そこで、ビルドシステムの導入や新しい言語・ライブラリの利用によって、開発過程と成果物の品質を高めたい

概要 Redux ExampleのTodo Listをはじめからていねいに(1)をTypescriptを使って行ったメモ。 Typescript, React, Reduxの練習ですので、間違っているところなどあったら教えていただけると嬉しいです。 2019/11/30 追記 Immerを試すために改めて環境作りました。 2020/2/3 追記 React Hooksを使った書き方を試しました すごく進化していて、今はじめるならこちらを使わない手はないなぁと。 環境作成 エディタ Visual Studio Codeを使用。*16 動作環境 windows10 vagrant1.8 virtualbox5.0 ubuntu-16.04 docker1.12 docker-compose1.8 仮想環境のIPは192.168.50.10に指定。 ブラウザはchromeで確認。 ディレクトリ構

お知らせ（2020/08/25 追記） Udemy で「webpack 最速入門（10,800 円 -> 2,000 円）という講座を公開しました。 本来の価格は10,800円ですが、上記リンクからアクセスすると2,400円で購入できます。 どんな内容？ webpack を利用したフロントエンド開発環境が構築できるようになる、ハンズオン形式の講座です。 詳細は上記のリンクのプレビュー動画で詳しく説明しています。 記事との内容の違い 記事の内容に、以下の内容や特徴が追加された感じです。 実務で利用できる開発環境を徐々に構築していくので、記事と比べて実践的な内容 ハンズオン形式の講座なので、手を動かしながら webpack を学習できる webpack の設定ファイルに追加する値の詳細をすべて解説 記事では解説していない細かい補足や、機能のご紹介 なぜ npm scripts を利用するのか

フロントエンドエンジニアの岡田です。 昨年末に、弊社のサービス：夜行バス比較なびの一部分をReactで書き換えました。 www.bushikaku.net 夜行バス比較なびのJavaScriptは、構築から3年以上たつこともあり、コードの見通しが悪くなってきています。 リグレッションテストなども導入しながら、不具合が起きないように努めてはいますが、テストに時間がかかりすぎるなどの問題がありました。 techblog.lclco.com そこで今回、Reactを導入して、リファクタリングをしました。 いろいろつまずくところもあったので、この記事では、夜行バス比較なびでどうやってReactを使っているかをご紹介します。 SPAサイトの事例はけっこうありますが、運用中のサイトの一部にだけReactを導入、という事例はあまりなさそうなので参考になれば幸いです。 環境 Webpackの設定 webp

jQuery 1.7 あたりで知識が止まっている、最近のフロントエンド開発を知らない私が入門しています、という記事です。 なんか長くなったし、気力も持たないので、その1ということで書いています。 webpackってなあに？ npm経由で入るアセットバンドラー (asset bundler)です。Webフロントエンド開発用のビルドツールです。 SPAなどを作る時、 HTML・JS・CSS・画像やウェブフォントなど一連のリソースをまとめてくっつけたり、 くっつけられるように加工したり、 JSをbabelで古いブラウザ向けに変換したり、 TypeScriptやらをJSに変換したり、 全部面倒見てくれます。 ただwebpackに上記の機能を全て内蔵しているわけもなく、プラグインやローダーとかいった追加の機能をプロジェクトにインストールして設定することにより利用できるようになります。 最近のフロント

Application Load Balancer とは AWSのロードバランサとしてはElastic Load Balancer(ELB)が従来から存在しますが、これはEC2インスタンスのみを配下に接続可能で、その接続ポートも全インスタンス共通のL4ロードバランサでした。 今回発表のApplication Load Balancerは、EC2の他、ECSによるコンテナインスタンスでポートが異なるサービスを接続したり、URLパスにより接続するインスタンスを変化させる等、L7ロードバランサとして動作します。 もちろんELB同様、ACM(無料のSSL証明書)を用いたSSLターミネートなども利用可能で、基本的にELBの上位互換として動作します。 みんな大好きAWSCLIで使ってみましょう。 elbv2 と呼びます AWS CLIでの機能名は elbv2 と書かれています。 alb ではありません

The document provides information about an AWS webinar on AWS Systems Manager presented by Solutions Architect Kayoko Ishibashi. It includes an agenda for the webinar covering an overview of AWS Systems Manager, demonstrations of key features like resource groups, inventory, automation, and security best practices. The webinar aims to help participants understand the overall capabilities of AWS Sy

AWS Lambda(以下Lambda)は実行時のみ料金の発生するサーバーサービスだ。 Lambdaの便利なところはS3やSQSなどのサービスへのデータ追加や変更などのイベントをトリガーに実行させられるところにある。 例えばS3に画像がアップロードされた時にイベントトリガーとしてサムネイルを生成するLambdaを登録しておくと、バッチサーバーを立てて常時起動しておかなくてもアップロード時のみ都度処理してくれるのでコストが抑えられるとか。用途は色々。 ＊　＊　＊　＊　＊　＊　＊ 今回は某案件にて複数のLambdaに対して1つのイベントで全て同時実行させる必要があったが少しはまったのでメモ。 自分の当初の計画ではS3にLambdaに渡したいデータの書かれたファイルがアップロードされたとき、トリガーとして対象となるLambdaを複数登録すればOkという目論見でいた。 ところがこれはうまくいかない

はじめに 昨年末に初めてAWS Lambda 環境でLINE Bot を開発しました。 簡単なBot を作るだけであれば、Lambda を素で使っても問題ありませんが、LINE Login など他のWEB サービスからの呼び出しを受け付けて動くような少し複雑なBot を作ろうと思うと、ちょっと辛くなってきます。 Lambda 環境でNode.js のexpress のようなフレームワークが使えないかと思って検索していると、こちらの記事を見つけました。 AWS 謹製 aws-serverless-express を使って APIGateway + Lambda + Node + Express で RESTful サービスの雛形を最速で作る 記事によると、Lambda でexpress が使えるコードがAWS 公式で（！）提供されているとドンピシャの内容でしたので、そうならば使ってみるしかあ

# 本年初ブログの森永です。 誰も拾っていなかった地味ネタをつっこみます。 What is AWS CloudTrail? - AWS CloudTrail CloudTrailのログ、Event sourceでフィルタリング可能に CloudTrailのAPI activity history見たことありますか？ こんなやつです。 過去7日分のAPI呼び出しのログを一覧で見ることが出来るのですが、環境に沢山手を加えていた場合、目的のAPI操作を探し出すのがなかなか困難です。 そのために、幾つかフィルタが用意されています。 Event ID CloudTrailが各イベントに割り振るID Event name インスタンス作成、開始、削除のような各イベントの名前 Resource name EC2インスタンスで言うとi-1234567 のようなリソースに付いた名前 Resource typ

こんにちは、インフラストラクチャー部の沼沢です。 複数の AWS アカウントを運用していると、それぞれのアカウントの S3 バケットに CloudTrail のログが溜まっていきますが、そのログ、1箇所に集約して監視や可視化をしたくはありませんか？ そこで今回は、複数の AWS アカウント上にそれぞれ保存されている CloudTrail ログを集約・可視化する仕組みについてです。 構成図 ① CloudTrail が S3 にログを Put したのをトリガーに、集約先に用意している Lambda を起動 ② Lambda から S3 へログを取りに行く（Roleで権限委譲して取得） ③ Lambda でログファイルを展開し、内容を無加工で CloudWatch Logs に投入 ④ CloudWatch Logs からストリーミングで Elasticsearch Service にログを流

はじめに こんにちは、中山です。 今回はServerless Frameworkのプラグインを利用して昨年末に導入されたLambda関数のDead Letter Queueの設定方法をご紹介したいと思います。Dead Letter Queueそのものについては以下のエントリを参照してください。 【新機能】AWS LambdaがDead Letter Queueをサポートしました #reinvent 利用するプラグインはgmetzker/serverless-plugin-lambda-dead-letterです。執筆時点(2017/01/31)ではまだServerless Frameworkのコア機能としてDead Letter Queueがサポートされていません。ちょうどプラグインの作者の方がIssueを上げていますね。恐らく今後コア機能として導入されていくと思いますが、現状Server

こんにちは、yokatsukiです。 2016年12月6日〜8日の日程で、AWSの公式トレーニング「Data Warehousing on AWS」の日本における開催がスタートしたので、早速受講してきました。 結論から言うと、こちらのトレーニングは、これからAWSでデータウェアハウスを構築したい方、必見の内容となっていました。以下トレーニングの詳しい内容についてお伝えしていきます。 トレーニングの概要 「Datawarehousing on AWS」では、AWSのペタバイトスケールのデータウェアハウスであるAmazon Redshiftを使ってクラウドベースのデータウェアハウスソリューションを設計するための概念、戦略、およびベストプラクティスについて紹介します。このコースは、Amazon DynamoDB、Amazon EMR、Amazon Kinesis Firehose、およびAmaz

BigQuery破産ならぬAthena破産 クエリでスキャンした容量毎に課金されるAthena。同じ課金方式（値段も一緒）のBigQueryでクエリの投げ方間違えて１００万円溶かしたなどの話は有名ですよね。 Athenaでも同じことが起こりうる、というのでとても怖いです。 ちょっとしたミスがとんでもないことになる。 そこまでビビらなくてもいいですが、 とはいえ、怖いのは怖いものです。 とはいえ、使わないというのもどうかと思います。 ので、BigQueryと同じく、パーティションを作ってちゃんとスキャンされる範囲を制限してクエリを実行すれば それなりに安全ということで、本家からも推奨されてます。 Athenaのパーティション EMRなどでHiveを使ってS3にごにょごにょしてたのであれば、すでにHiveフォーマットでパーティショニングできてることもあります。 が、 我々がよくAthenaで見

今日は CloudWatch の話を書こうと思う．既に活用してる人も多いと思うけど，2016年11月の新機能リリースで各種メトリクスの「パーセンタイル統計」を可視化できるようになった． 「パーセンタイル統計」は凄く重要で，平均値だけをモニタリングしていると気付きにくい異常値に気付くことができる．例えば，ELB の Latency をモニタリングしている場合に，リクエストの 1% が非常にパフォーマンスが悪いとしても，平均値で見ると値が丸まってしまって，通常より少し遅い程度にしか見えないという場合がある．そんなときに「パーセンタイル統計」を活用できる． まだ全ての ELB に反映されていない 以下の記事を読むと，newly created ELB and ALB と書かれていて，新機能リリース以降に作成した ELB と ALB にしか対応していないように読み取れた． Amazon Cloud

公式サイトのサンプル問題にチャレンジ 次にどのような問題が出るのかを知るためにAWS公式サイトの試験サンプル問題にチャレンジでいてみましょう。 こちらのサンプル問題も試験範囲のアップデートに伴って定期的にアップデートされますが、５問〜８問程度のサンプル問題があります。 この時点で問題の答えが分からなくても、まずはどのような形式の問題が出るのかを理解するようにしてください。 出題形式は以下のような種類となります。 択一問題 選択肢の中から設問の答えとして正しいもの、または記述を完成させるものを1つ選んで回答する。 選択肢が画像の中に埋め込まれている場合は、受験者が選んだ部分に「カーソルを合わせてクリック」することで設問への回答とする。 複数選択問題 選択肢の中から、設問の答えとして正しいもの、または記述を完成させるものを複数選択して回答する。 状況把握問題 説明文または設問を読み、選択肢の中

はじめに セキュリティグループに設定可能なルールの上限数について、 ざっくりとした認識だけを持っておりました。 1つのEC2にセキュリティグループ5個まで 1つのセキュリティグループにルール50個まで 両者を乗算した数が250を超えてはいけない ここで、こんなことをしたいなーとなった時に、実現できるのか気になったため確認しました。 1つのEC2インスタンスに下記3個のセキュリティグループをアタッチ セキュリティグループ1：ルール数　10個 セキュリティグループ2：ルール数　10個 セキュリティグループ3：ルール数　230個 追記 この記事では単に「セキュリティグループ」と書いてしまいましたが、正確には「EC2-VPC用のセキュリティグループ」です。 それ以外に何かあるの？という方は以下をご参照ください。 http://docs.aws.amazon.com/ja_jp/AmazonVPC/

こんにちは、藤本です。 先日、コスト削減を目的にステージング環境の EC2 インスタンスを夜間・土日に停止したいという要望があったので、CloudWatch Events と AWS Lambda を使って、定期的に EC2 インスタンスを停止、起動する仕組みを作りました。当ブログでも、その他ブログでもよく紹介されていますので、ソースコードの説明は省きます。今回はその仕組みをどの環境でも簡単にデプロイできるように CloudFormation テンプレート化しました。 仕組み 起動／停止それぞれの CloudWatch Events により、指定したcron形式の日時で Lambda が実行され、特定のタグが設定されたインスタンスが起動／停止されます。 ご利用は自己責任でお願いします。特にリトライ処理が実装されていないため、本番環境でのご利用はお控えください。 手順 CloudFormat

こんにちは、菊池です。 昨年発表された Application Load Balancer （ALB）ですが、すでに既存のClassic Load Balancer（元々のELB：標準ロードバランサー）から移行しているユーザも多いと思います。 今回、AutoScalingで使用しているケースにおける、CLBからALBに移行する手順を調べてみました。単純な移行と比較して、いくつか注意点もありました。 手順サマリ ALB/Target Groupを作成（ここではインスタンスの追加不要） Auto Scaling Groupを編集 一部プロセスを停止 Target Groupを追加 Health Checkが正常となることを確認 Auto Scaling Groupを編集 CLBを削除 停止していたプロセスを再開 DNSレコードを切り替え、アクセス先をCLBからALBに変更 1、6についてはこれ

管理画面コンソールでも操作できるけど、CLIを覚えた方が奥深くAWSの機能が学べて良いっぽい https://github.com/aws/aws-cli/ READMEやってみた インストール pip install awscli pip install --upgrade awscli コマンド補完を有効にする bashの場合 complete -C aws_completer aws zshの場合 source /usr/local/bin/aws_zsh_completer.sh .zshrcに書いとくとべんり [[ -s /usr/local/bin/aws_zsh_completer.sh ]] && source /usr/local/bin/aws_zsh_completer.sh AWS credentialsの設定 次のどれか コマンドで aws configure 設

こんにちは、せーのです。今日はこのところ盛り上がりを見せるAmazonの音声認識プラットフォーム「Alexa」のスキルについて用語の説明から噛み砕いていきたいと思います。 Alexaについて 去年行われたre:Invent 2016にてAlexaが大プッシュされて専門のセッションが沢山行われたこと、またそのre:Inventにて紹介された新サービス「Amazon LEX」「Amazon Polly」がいずれもAlexaの機能がベースになっていること、先日行われたCESでもAlexaが搭載された製品が700以上紹介されたこと等を受けて今、全世界的にAlexaが注目されています。ちなみにAlexaそのものについては最近佐々木が集中的にブログを書いているのでそちらをご覧頂ければと思います。 Amazon Alexaの基礎知識｜クラスメソッドブログ 体験！初めてのAmazon Alexa｜クラスメ

前回に続いてまたAuroraです、Aurora。高い可用性なのはわかっていますが、じゃあ具体的にどのくらいやねん、となると良い情報がなかったので調べることにしました。 Auroraの公式情報は、一定以上の知識を前提とした内容になっていて、良いバランスで心地よい感じなのですが、まだ読んでて楽しいコンテンツが欠けている印象です。一般情報も、出ました、使ってみました、とかしか無くて寂しいので、ブルーオーシャンを泳いでいくとしましょう。 AuroraのEndpoint 公式読めばいい所なので軽く復習ですが、現在のAuroraのEndpointは３種類あります。 Cluster Endpoint … 常にWriterを指すFQDN。参照更新の両用 Reader Endpoint … ランダムでReaderを返すFQDN。参照用 (Instance) Endpoint … インスタンス毎に割り当てられ

渡辺です。 AWS CodeDeployでは複数サーバにアプリケーションをデプロイできます。 この時、どの程度並列にデプロイするかを決めるのがデプロイ設定です。 デプロイ設定は、AllAtOnce、HalfAtATime、OneAtATimeから選択します。 AllAtOnceは全サーバを並列にデプロイします。 一方、OneAtATimeは並列にデプロイを行わず、ひとつのサーバのデプロイ完了を待って次のサーバのデプロイを行います。 HalfAtATimeは半分ずつのグループにわけ、各グループが成功した後に残りのグループをデプロイします。 OneAtATimeを使えばローリングアップデートとなるわけですが、実際にはデプロイ後にELBのヘルスチェックが通るまでタイムラグがある点に注意しなければなりません。 リリース時のサービス断を発生させない デプロイ（リリース）時のサービス断を発生させない有

概要 lambda + apex + GoでSlackのIncomming Webhooksを使ってメッセージを飛ばします 内容 ①IAMで"lambda_apex_go"グループを作る インラインポリシーは下記になります { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "iam:Create*", "iam:Attach*", "iam:PassRole", "lambda:*" ], "Resource": "*" } ] } ### apexインストール $ curl https://raw.githubusercontent.com/apex/apex/master/install.sh | sh $ mkdir apex-sample-go $ cd apex-sample-go

こんにちはmatsです。 IMでは2016年の夏頃からdocker環境への全面移行を行っております。 一旦、一段落したので、色々とまとめてみようかと思います。 なぜECSを採用したのか dockerの基盤としてはKubernetesやDocker Swarmなど、いくつか選択肢があり、IMでもいくつか検討してみましたが、下記の理由でECSを採用しました。 Spot Fleet との相性がいい コンテナのオートスケールをCloudWatch連動で出来る 管理画面をAWSがホストしてくれる Docker Swarmをサポート予定（らしい） 色々理由はあるのですが、一番はサクッと試してみることができて、ラフに運用が出来るのが一番の理由だったりします。 何をdocker環境で動かしているのか IMのほぼすべてのシステムがdocker環境で稼働しており、下記のようなサービスがあります。 Python

Automated deep learning training with AWS Step Functions and AWS Lambda.Read less

PlayframeworkアプリケーションをAWSにdockerでデプロイしてCloudWatch Logsでログ収集した話PlayFrameworkDockerCloudWatch-Logsawslogsplayframework2.5 Playframework2.5のアプリケーションをdockerでAWS EC2にデプロイしてCloudWatch Logsでログを集約した話です。デプロイの自動化はここでは触れません。すごいまとめていうとdockerのawslogs logging driverが楽で便利だから使おうぜーってだけの話です。 dockerの1.9以上のバージョンでAmazon CloudWatch Logs logging driverを使いました。 環境は下記の通りです。 環境 Playframework 2.5 Amazon Linux Java 1.8 (EC2では

今日は、elasticsearch と kibana の勉強がてら、なにかしようと思って qiita.com を参考に、自分が2015年行ったところを地図でビジュアライズしようとした。 やりたかったこと 滞在時間の多い地点の色を濃くしたヒートマップをみたかった。こんなイメージ。 ※ これも実際に出力した地図だけど、「滞在時間の多い地点」ではなくて「よく行っている地点」の色が濃い。結果からいうと、「滞在時間の多い地点の色を濃くしたヒートマップ」はできなかったです... 出来る方法があれば教えてください。 やったこと やったことのだいたいの流れは次のとおり。 万歩計アプリの moves から移動情報をエクスポート サードパーティ製のツールより公式のが使いやすかった https://accounts.moves-app.com/export 今回は 2015年 のデータのみを使う elastic

dockerとは コンテナという仮想的な空間を提供して、その中でアプリケーションを実行できる docker公式 Dockerfileとは Dockerコンテナーの構成内容を書くみたい Makefileみたいなイメージ なんで読んだ？ Dockerはなんとなく使えていたが、どんな構成になっているかわかっていなかった そのうちカスタムするんじゃね？知ってなきゃやばくね？って思った どのように構成を指定しているかをちゃんと理解したほうが良いと思った 対象 elastic公式の、Elasticsearchコンテナ ちょっと使うことがあったので elastic/elasticsearch-docker ざっと見る だめだ・・ １行ずつ愚直に調べながら読むしかねぇ・・・ FROMは元となるDockerイメージを指定する命令文 elasticsearch-alpine-baseはAlpin Linuxを

Your browser doesn't support the features required by impress.js, so you are presented with a simplified version of this presentation. For the best experience please use the latest Chrome or Safari browser. Firefox 10 (to be released soon) will also handle it.

久しぶりの投稿になってしまいましたが、ニュースパス(現在CM放映中!!)開発部の大曽根です。 作業中はGrover Washington Jr のWinelightを聴くと元気が出ます。参加ミュージシャンが素晴らしいですね。 なぜ時系列分析をするのか 季節調整 実演 おまけ: 時間別に見てみる まとめ 今後 なぜ時系列分析をするのか 数値を非常に重視している弊社では、数値を知るためのツールとしてRedashやChartioおよびSlackへの通知を活用しています。現在の数値を理解する上では、長期のトレンド(指標が下がっているのか、上がっているのか)を知ることが重要です。しかし、日々変化するデータ(特に売上やKPIと言われる指標)は、ばらつきも大きく、変化を適切に捉えることが難しいこともあります。 特にSlackなどへの通知を行っていると、日々の変化に囚われがちです。例えば、弊社ではニュース

はじめに こんにちは、Python界のラファエル・ナダルです。全豪オープンテニス、盛り上がりましたね。さて、先日次のようなエントリーを立て続けに書いたんですが、「なぜAnacondaに関しての記述がないのか」という突っ込みをもらったので、参照用にメモを残しておきます。 Pythonの仮想環境構築 2017.01版 - YAMAGUCHI::weblog Pythonの環境設定でむかついてる人はとりあえずこれをコピペで実行してください 2017.01 - YAMAGUCHI::weblog なおこの記事の作成にあたっては @aodag に数多くのアドバイスをいただきました。この場を借りて感謝。 TL;DR condaの開発者はPyPAともっとコミュニケーションとってほしい。 前提 この記事はPythonを触り始めたばかりだけど、パッケージ管理ツール等々のスタンダードがどのようになっているかな

2018/01/26 第2回 オープンソースデータベース比較セミナー https://osscons-database.connpass.com/event/74688/

Private content!This content has been marked as private by the uploader.

元記事: Awesome Python Awesome List in Qiita Awesome Ruby Awesome Java Awesome JavaScript Awesome Node.js Awesome Go Awesome Selenium Awesome Appium 管理パネル 管理インタフェース用ライブラリ ajenti - サーバ用管理パネル. django-grappelli - Django 管理インターフェースのためのジャズスキン. django-jet - 改良された機能を備えた Django 管理インターフェース用の最新のレスポンシブテンプレート. django-suit - Django Admin インターフェースの代替 (非商用の場合のみ無料). django-xadmin - Django 管理者のドロップイン置換. jet-bridge -

こちらのスライドは以下のサイトにて閲覧いただけます。 https://www.docswell.com/s/ockeghem/ZM6VNK-phpconf2021-spa-security シングルページアプリケーション(SPA)において、セッションIDやトークンの格納場所はCookieあるいはlocalStorageのいずれが良いのかなど、セキュリティ上の課題がネット上で議論されていますが、残念ながら間違った前提に基づくものが多いようです。このトークでは、SPAのセキュリティを構成する基礎技術を説明した後、著名なフレームワークな状況とエンジニアの技術理解の現状を踏まえ、SPAセキュリティの現実的な方法について説明します。 動画はこちら https://www.youtube.com/watch?v=pc57hw6haXk

果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「GitLab.com Database Incident - 2017/01/31」で公開しています。また、もう少し整理された情報がブログ「GitLab.com Database Incident | GitLab」にも掲載されています。 これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。 1月31日16時（世界協定時。日本時間2月1日午前8時）、YP氏（Yorick Peterse氏と思われる）はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。 1月31日21時

私も「テクニカルエバンジェリスト」などという大層な肩書を会社からいただいており、講演や連載記事などの執筆を行っていますが、私のプレゼン技術は数年前にMSの西脇さんのプレゼンセミナーに参加させていただいて学んだものがほとんどで、正直言うとこのような記事を書いて講釈を垂れるような立場ではありません。 しかし、直近で西脇さんのセミナーがないということと、会社も大きくなり同僚が増えていく中で、速やかに自分のプレゼン技術を共有しなければならないという状況になったため、恥ずかしながら自分なりの方法を説明するためにこの記事を執筆することにしました。 プレゼンとは銘打っていますが、実際にはプレゼンだけでなく、ブログの記事執筆などさまざまな表現の場で活用することができます。"present"とは「伝える」「表現する」という意味であることからもわかるかと思います。 著者の経験 公開イベントでのプレゼンは、小さ