1. Go入門 ver. 2017/04 The Go gopher was designed by Renee French. The gopher stickers was made by Takuya Ueda. Licensed under the Creative Commons 3.0 Attributions license. 2. アジェンダ ■ 自己紹介 ■ Goの紹介 ■ Goの基本 ■ 型・メソッド・インタフェース ■ ゴールーチン・チャネル ■ ネットワークプログラミング ■ go test と testingパッケージ ■ ハンズオン 2

AWS Summit Tokyo 2016のDevelopers Conferenceで、「ドワンゴがAWSを使ってメディアストレージ基盤を開発してみた」と題して講演してきた。 すでに一週間以上経過しているが、なかなかこのような機会もないので振り返ってみることとする。 DevCon会場 #AWSSummit 『ドワンゴが AWS を使ってメディアストレージ基盤を開発してみた』 満員御礼立ち見です！ pic.twitter.com/AVf6mVgnRp— アマゾン ウェブ サービス (@awscloud_jp) 2016年6月3日 登壇してみて 飲みの席で引き受けた話がまさか本当に実現するとは思わなかったが、非常に良い経験になった。 2015年にドワンゴに入社して以来、Rubyなアプリケーションを開発しつつも主務はAWSを用いたインフラエンジニアということで、各プロダクトの環境構築・整備や開

分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11 - Download as a PDF or view online for free

17:55 Keynote 分散ワークフローエンジン『Digdag』の実装 ワークフローエンジンは、依存関係のある複数のタスクを実行するツールです。古典的なMakefileを始め、Python製のLuigi、商用のJP1/AJS3など、様々な実装があります。Digdagは、現在活発に開発が進んでいる新しいワークフローエンジンです。このセッションでは、ツリー構造を持つワークフローの状態遷移を効率的に実行する手法、ワークフローの実行状態の永続化と分散実行、タスクスケジューラ、Dockerによるサンドボックス化など、その実装手法を紹介しながらワークフローエンジンの構成技術について解説します。 必要となる知識 SQLの基本的な知識と、Rubyのリフレクション、オプティマイザなどの知識があると、より楽しめると思います。 古橋 貞之 Treasure Data, Inc. Founder & Soft

Pascal世代最初のGeForce，見どころは絶対性能と消費電力対性能比 GeForce GTX 1080 （GeForce GTX 1080 Founders Edition） Text by 宮崎真一 GTX 1080のFounders Edition 北米時間2016年5月6日，NVIDIAはデスクトップ向けGPUの新製品「GeForce GTX 1080」（以下，GTX 1080）と，その下位モデル「GeForce GTX 1070」（以下，GTX 1070）を発表した。 GTX 1080とGTX 1070はいずれもNVIDIAの新世代GPUアーキテクチャ「Pascal」（パスカル）を採用。製品型番が示すとおり，「GeForce GTX 980」「GeForce GTX 970」を置き換える製品だ。 GTX 1080の北米市場におけるメーカー想定売価が599ドル（税別）のところ，

Amazon EC2 Container Service (ECS) is Amazon’s solution for running and orchestrating Docker containers. It provides an interface for defining and deploying Docker containers to run on clusters of EC2 instances. The initial setup and configuration of an ECS cluster is not exactly trivial, but once configured it works well and makes running and scaling container-based applications relatively easy.

2015.06.03 スキル 社会人になったばかりの若いエンジニアの中には、一度この道に足を踏み入れたからには、自らの技術一本で身を立てていけたらという、強い思いを胸に秘めている人も少なくないのではないか。 そう考えて今回、Rubyの父として知られるまつもとゆきひろ氏に、あえて「これからの時代に技術だけで生き残るには？」という偏ったテーマで取材を依頼した。返ってきたメールの冒頭にあったのが、次の一文である。 「技術だけで生きるというのは幻想である」 まずはその真意を聞くところから、取材は始まった。 まつもとゆきひろさん(@yukihiro_matz) 1965年生まれ。筑波大学第三学群情報学類卒業。プログラミング言語Rubyの生みの親。株式会社ネットワーク応用通信研究所フェロー、一般財団法人Rubyアソシエーション理事長、Speeeをはじめとした複数社の技術顧問、Herokuチーフアーキテ

Disclaimer 本エントリは、近々IETFで標準化される予定の新しいTLSの暗号方式 ChaCha20-Poly1305 について解説したものです。 本来なら、新しい暗号方式を紹介するいうことは、その暗号の安全性についてもちゃんと解説しないといけないかもしれません。しかし一般的に暗号の安全性評価はとても難しく、専門家でない者が暗号の安全性について軽々しく書くわけにはいかないなとも思いました。いろいろ悩みましたが、結局無用な誤解を避けるため、本エントリーでは ChaCha20-Poly1305 の安全性に関する記載を最小限に留めています。 今回紹介する ChaCha20-Poly1305 は、これまでも様々な暗号研究者の評価を受けている暗号方式ですが、まだNISTの標準や某国の推奨暗号リストに掲載されるといった、いわゆる特定機関のお墨付きをもった暗号方式ではありません。記載内容が中途半

（2019/04 追記 この記事の情報は古いです。今では、GCPのIAMでも IAM Custom Roles によってカスタマイズしたロールが作れたり、Cloud IAM Conditions が登場してリソースの制限がしやすくなったりしています。また、メディア管轄のAWS Organizationsの活用については 「これ危ない設定じゃないでしょうか」とヒアリングするための仕組み @AWS Summit Tokyo 2018 もご覧ください） メディア事業（アメーバなど）を中心にAWS/GCPを担当している柿島大貴です。前回は、Google Cloud Platform（GCP）の各プロジェクトでコストを追える環境を作る を書きました。前回の続報としては、一部には使ってもらいつつも、可視化の部分で cloudyn を検証中です。 今回は、GCPのリソースの認可の話になります。GCPの利

数年前に、こういう記事「ulimitが効かない不安を無くす設定」を書きました。しかし、ディストリビューションのバージョンが上がり、デーモン管理が systemd に変わったことで、インターネットのゴミとなりつつあります。 そのため今回は、その次世代バージョン的な内容ということで、systemd の場合はこうしておけば見えない敵と闘うこともなくなるはずです、というものになります。例によって、抑えきれていないパターンがあったら御免なさいです、押忍。 limits設定で目指す所 復習になりますが、limits の設定で困るのはだいたいこういうパターンでしょう。 作業中ユーザーのシェルのlimits設定が思い通りにならない コンソール／SSHログインしてデーモンを再起動したら、limits設定が戻っていた su/sudoを使ってデーモンを再起動したら同上 デーモンをシステムに自動再起動させたら同上

Bigqueryを使ったバッチジョブを色々と実行しているのですが、Rakeで複雑な依存関係を管理したり、並列実行させたりするのが辛くなってきたのでRukawaというワークフローエンジンを自作しました。 自作したのは、RailsプロダクトにAirflowとかLuigiとかAzkabanとか入れるにはちょっと重厚過ぎる感じだったのと、Rubyで書ける方が楽で良いやという理由からです。 RukawaとはRUby KAntan Workflow Assistantの略です(後付け) (本当はミッチーとか水戸の方が好きなんだけど良い名前が浮かばなかった) 実際は、並列実行を可能にして書き方を変えてみたRakeとそんなに大差無い。 Rukawaの機能 ジョブの定義 まず実行したい処理をジョブクラスに記述します。 module ExecuteLog def self.store @store ||= {

これらは排他的ではないので、組み合わせて利用することも可能です。今回は、最もスケールしない1が、最も実装が簡単な Thread を利用して実装していきます。 実装方針 並列実行を処理の概要は以下のようになります。 依存関係に基づいて、Task ソートする。ソートした、配列を Task Queue とする Task 実行用の Worker スレッドを指定した数だけ用意する Worker スレッド内で、Task Queue から Task を取り出す Task が実行可能になるまで待つ Task を実行する Task クラスの変更 並列実装をするにあたって、Task が実行可能状態にあるのかを判定する必要があります。これまでの説明から、「Task が実行可能である」というのは「依存する全ての Task が完了している」ことであり、そして、「Task が完了している」というのは、「出力となる T

We are proud to announce the addition of an exciting new capability to NGINX Open Source and our application delivery platform, NGINX Plus – UDP load balancing. The new capability builds on our existing TCP and HTTP capabilities, making NGINX a powerful, easy-to-use, and consistent frontend for an even wider range of Internet applications and devices. We’re excited to extend the load balancing cap

前置き hakobera.hatenablog.com この記事を公開した当時はまだオープンにできなかったのですが、実はこの記事は2月25日にリリースされたスタディサプリ（受験サプリ）を Quipper のプラットフォームに載せ替えるという移行プロジェクトを前提として内容も含んでいました。 【公式】スタディサプリ｜苦手克服・定期テスト対策～大学受験まで 無事にリリースできたので、このプロジェクトで変わったことや導入したソフトウェア、ツールについていくつかピックアップして書いていきたいと思います。 目次 メンバーが増えた Infra as Code Deis AWS ECS + Docker + Locust による負荷テスト nginx (HTTP/2, ngx_mruby) 分析基盤 技術的課題 メンバーが増えた 前回の記事を書いた時はインフラ関連のエンジニア（Quipper では En

CM雪山部の渡辺です。 今日はハイシーズン真っ只中での開催になるDevelopers.IO 2016です。 イベント当日にトンボ帰りして、明日はゲレンデです。 なお、天候が荒れてきているため、帰れる可能性は限りなく低くなっています（T_T 本日は「プロビジョニングの今 ーフルマネージド・サービスを目指してー」というタイトルで、CloudFormation, Ansible, CodeDeploy についてセッションを行いました。 これらのプロビジョニング・サービス/ツールを使い、AutoScalingを組み合わせることによりフルマネージド・サービスを実現することができます。 どうしてフルマネージドを目指すのか？ 講演でもしつこく話しましたが、どうしてフルマネージドを目指すかという思想が重要です。 何はともあれ、運用が楽になることに比重をおいて環境を設計すべきだと思います。 システムは作り上

ProductIssue and Pull Request templatesIt's hard to solve a problem when important details are missing. Now project maintainers can add templates for Issues and Pull Requests to projects, helping contributors share the right details… It’s hard to solve a problem when important details are missing. Now project maintainers can add templates for Issues and Pull Requests to projects, helping contribut

Intro Chrome が予定している <link rel=stylesheet> の挙動の変更について、 Google Chrome チームの Jake が、興味深いブログを上げている。 The future of loading CSS この内容は、単に Chrome に対する変更だけではなく、 HTTP2 によって変化する最適化手法と、それを最も活かすための HTML, CSS の構成についてのヒントがある。 今回は、この内容を意訳+補足解説し、本サイトに適用していく。 HTTP/1.1 時代の CSS HTML 自体がコンポーネントを意識した作りになっている場合は、自然と CSS も class などを使いコンポーネント単位に作ることができるだろう。 しかし、 HTTP/1.1 では、リクエストの数を減らすために全ての CSS を 1 つ(もしくは少数個)に結合する最適化が主流だ

Carta, a once-high-flying Silicon Valley startup that loudly backed away from one of its businesses earlier this year, is working on a secondary sale that would value the company at…

以前から本家のブログ等でもアナウンスされていたnginxのモジュールの動的組み込みの仕組みが先日リリースされた1.9.11で入りました。昨年のnginx.confでも中の人によるDynamic Modules Developmentという発表がありましたが、ほぼこちらに沿う形で導入されています。 追加されたconfigureオプション 以下はnginx-1.9.10と1.9.11でのconfigure --helpの差分です。 --- 1.9.10 2016-02-10 09:47:05.000000000 +0900 +++ 1.9.11 2016-02-10 09:47:18.000000000 +0900 @@ -3,6 +3,7 @@ --prefix=PATH set installation prefix --sbin-path=PATH set nginx binary pa