Microservices is one of the most popular buzz-words in the field of software architecture. There are numerous learning materials on the fundamentals and benefits of microservices, but there are very few resources on how you can use microservices in real-world enterprise scenarios. In this post, I'm going to cover the key architectural concepts of the Microservices Architecture (MSA) and how you ca

同一オリジンポリシーは重要なセキュリティの仕組みであり、あるオリジンによって読み込まれた文書やスクリプトが、他のオリジンにあるリソースにアクセスできる方法を制限するものです。 これにより、悪意のある可能性のあるドキュメントを隔離し、起こりうる攻撃のベクターを減らすことができます。例えば、インターネット上の悪意のあるウェブサイトがブラウザー内で JS を実行して、 (ユーザーがサインインしている) サードパーティのウェブメールサービスや (公開 IP アドレスを持たないことで攻撃者の直接アクセスから保護されている) 企業のイントラネットからデータを読み取り、そのデータを攻撃者に中継することを防ぎます。 二つのページのプロトコル、ポート番号 (もしあれば)、ホストが等しい場合、両者のページは同じオリジンです。これは「スキーム/ホスト/ポート番号のタプル」または時に単に「タプル」として参照されま

A talk at NTT Docomo Innovation Village.

はじめに ビッグデータ、データサイエンスという言葉の流行を大きく後押ししたのは大規模なスケールアウト、分散処理を可能としたHadoopの存在です。しかしデータサイエンティストは日々のデータ処理作業において必ずしも複数台のマシンを必要とするような大規模な処理ばかり行っているわけではありません。自身の開発用ワークステーション1台で完結するような処理も多数存在します。 2016年ではもはや当たり前ですが、多くのワークステーションはマルチコアのCPUを搭載しており、CPUがボトルネックになるようなデータ処理をマルチコアを活かして並列処理する重要性は高まっています。しかし、意外に多くのソフトウェアが、この当たり前に期待される「マルチコアを活かして単一ワークステーション上で高速並列処理すること」が出来ていません。 この悩みから、筆者は過去にテキストデータ処理を簡単にマルチコア対応にするJavaフレーム

pt-query-digest コマンド pt-query-digest [ オプション ] [ ファイル名 ] [ DSN ] 【主なオプション】 ・ –type ： どのログを読ませるか。デフォルトは slowlog です。他には binlog や tcpdump 等があります・ –group-by ： SQLのものと同じです・ –limit ： SQLのものと同じです 目的 Slowクエリログの集計結果を表示します シナリオ Slowクエリログは、デフォルトでは10秒以上のクエリが記録されるようになっていますが、my.cnf を0秒以上で記録するように変更し、いくつかクエリを実行します my.cnf に追記 記録されたSlowクエリログを pt-query-digest に読み込ませます 結果 実行すると、以下のように標準出力されます ①Slowクエリの統計情報を見ることができます

環境 MacOSX Yosemite docker 1.9.1 docker-compose 1.5.2 docker-machine 0.5.2 概要 簡単にprivate registryを立てれる環境が欲しかったので、作ってみました。 リポジトリはこちらになります。 dockerはデフォルトだとHTTPSで通信を行うのですが、SSLの証明書を作成したりプロキシサーバを立てたりするのが面倒でした。 また、認証や権限周りの設定を一からやっていくのもめんどくさい……。 というわけで、こちらのimageを利用することに。 https://github.com/cesanta/docker_auth#installation-and-examples docker_auth 概要はリポジトリのREADMEを読んでもらえれば雰囲気がわかるかと。 また、こちらの記事が非常にわかりやすかったです。

Terraform使ってると一部リソース差分を無視したいことがあります。 たとえばAWSのami-idを共通の変数として定義していて、 そこから共通のLaunchConfigurationを使っているAutoScalingGroupが2系統あるような場合、 この状態でおもむろに共通のami-idを変更するとAutoScalingGroupが両方一括で変更されてしまいます。 テスト環境とかであれば両方まとめて変えちゃってもよいんですけど、 本番環境は安全に片系ずつterraform plan/applyしたいという精神衛生上の問題があるのです。 かと言ってLaunchConfigurationを別に管理するのはコピペで冗長になるので、 中間状態を別に管理したくないだけという需要。具体的にはこんなイメージ。 resource "aws_launch_configuration" "as_con

導入ガイド I. システムの基本設定 Expand section "I. システムの基本設定" Collapse section "I. システムの基本設定" 1. キーボードの設定 Expand section "1. キーボードの設定" Collapse section "1. キーボードの設定" 1.1. キーボードレイアウトの変更 1.2. キーボードレイアウト表示器の追加 1.3. 一休みの設定 2. 日付と時刻の設定 Expand section "2. 日付と時刻の設定" Collapse section "2. 日付と時刻の設定" 2.1. 日付/時刻のプロパティのツール Expand section "2.1. 日付/時刻のプロパティのツール" Collapse section "2.1. 日付/時刻のプロパティのツール" 2.1.1. 日付と時刻のプロパティ 2.1.

ルーターの設定，シリアルコンソール，arduinoのような自作デバイスで使うUSB-シリアル変換器は，udev を使うと デバイスファイル名 パーミッション 所有者 を自動設定できます． うまく設定すると rootアカウントや sudo を使わずに シリアルポートが使えるようになり大変便利になります． 以下，具体的な手順をまとめます USBデバイスのIDを調べる デバイスの識別子(ID)としては USBデバイスのベンダーIDとプロダクトIDの組み合わせ 製品固有のシリアル番号 などが利用できます これらの識別子は dmesg で簡単に確認できます． たとえば arduino uno を繋いだ場合は以下の通りです [518136.789084] usb 3-5: new full-speed USB device number 22 using xhci_hcd [518136.964454

2016/02/22 GMOペパボでMySQL勉強会 * わりと前にやったやつ成分が多めです。 * Excel方眼紙のページがないのは仕様です。Read less

PCI Security Standards Council（PCI SSC）は、クレジットカード業界のグローバルなデータセキュリティ基準「PCI DSS」（Payment Card Industry Data Security Standard）の次期バージョン「PCI DSS version 3.2」のリリース関して、PCI SSC最高技術責任者のインタビューを公式ブログに掲載、概要を紹介している。 SSL／TLS移行期限は2018年6月末まで延長 PCI SSCはPCI DSSなどの一連のPCIセキュリティ基準の開発／管理／普及促進などを行っている。2015年4月に発行された現行の「PCI DSS 3.1」では、SSL（Secure Sockets Layer）および初期のTLS（Transport Layer Security）プロトコルが現時点では強力な暗号方式とは考えられないこ

glibc の脆弱性 CVE-2015-7547 でも話題になった 512バイトを超える DNS パケットについてのメモ。 DNS では、TCP が使われたり、512 バイト超えるデータが扱われることは知っていたが、詳しい仕組みなど知らなかったので、備忘録のためにまとめておく。 そもそもなぜ 512 バイト？ 調べてみると、 インターネットで使われている IP(IPv4)の仕様では 一度に受信可能なデータグラム(ヘッダーを含むパケッ ト)として、 576 バイトを保証しなければならないと定められています。この値は、64バイトのヘッダーと 512バイトの データブロックを格納可能な大きさとして選択されたものです refs: https://jprs.jp/related-info/guide/008.pdf とのこと。 インターネットで使われている IP の仕様では、かならず「1パケットで

ども、大瀧です。 以前森永がご紹介した、AWSのかっこいい構成図が簡単に描けるCloudcraftに実際のAWS構成をインポートする「Cloudcraft Live」が追加されました！ Cloudcraft Liveとは Cloudcraftは、以下のようなAWSの3D構成図を気軽にモデリングできる素敵Webアプリです。 十分楽しめるツールなのですが、既存のAWS環境に合わせて一つずつ設定していくのは規模が大きくなってくると辛いものがありました。公開され、現在ベータリリースとなっている今回のCloudcraft Liveは、AWSアカウントのReadOnlyロールをCloudcraftに渡すことで、実際のAWS環境の構成をインポートし自動でコンポーネントの登録やそれらの情報を表示する機能を持ちます。例えば､以下のEC2のように。 お遊び感覚だったこれまでのCloudcraftから、一気に実

本番環境で動いているFluentdのin_forwardに何が流れているのかを知りたい、けど設定を触りたくない…みたいな場合に流れているタグやレコードを見る方法です。特にFluentdに限った話ではないですが、備忘録として書いておきます。 1. tcpdumpでキャプチャ 調べたいサーバ上で、tcpdumpを使ってパケットキャプチャを取ります。in_forwardのポート番号などを指定してキャプチャします。 $ sudo tcpdump -i eth0 -w fluentd.pcap port 24224 and tcp 2. tcptraceでTCPストリームのデータだけ吐き出す tcptraceは-eオプションを渡すと、TCPストリームごとのデータをファイルに吐いてくれるのでこれを利用します。なお、tcptraceはHomebrewやaptで入ると思います。 $ tcptrace -e

GNU Cライブラリ(glibc)のリモートから任意のコードを実行可能な脆弱性（CVE-2015-7547）に関する調査レポート 概要 Linux等で広く用いられている、GNU Cライブラリ（以下、glibcと記載）に、リモートより任意のコードが実行可能であると報告された脆弱性（CVE-2015-7547）の実証コード（PoC(*1)）が発見されました。 この脆弱性は glibc 内の getaddrinfo()関数において、細工された DNS クエリを特定の条件化において適切に処理できないためにおこります。結果、リモートから任意のコードを実行される可能性があります。これにより、攻撃者があらかじめ用意した DNS サーバーに、攻撃対象システムからの名前解決を実行させることにより、この脆弱性を利用するといった攻撃が可能となります。また、信頼できる DNS サーバーを利用している場合でも通信経

こんにちは！今シーズンまだ1度もゲレンデに行けてないファームノート阿部@frkoutです。 近いといつでも行けると油断してあまり行かなくなったりするんでしょうか。 東京にいた前シーズンの時のほうがよく行ってたような気がします。 今回は、2016/2/19に Google Cloud Vision API がベータ公開されたということで早速触ってみました。 Google Cloud Vision APIとは Google、機械学習ベースの画像認識API「Cloud Vision API」のベータ版を公開にあるように、 任意の画像に対してラベル付けをおこなったり、看板や商品のロゴを認識したり、顔認識が出来るAPIです。 公式ページには、 強力な機械学習モデルの能力を活用することで、画像の内容を理解できるアプリケーションの開発を可能にします。 とあるので、実際のところどのくらい画像の内容を理解で

企業の個人情報漏洩事件が相次いでいる。今春以降、Yahoo! BBや通販のジャパネットたかた、コスモ石油など、顧客データの漏洩事件を引き起こした企業は数知れない。 そして一連の事件で注目を集めているのは、いったいプライバシー漏洩の補償としてはどの程度の金額が適性なのか、という問題だ。Yahoo! BBを運営しているソフトバンクの孫正義社長は事件が発覚して間もなく、全会員に500円の金券を配ると発表し、話題を呼んだ。「お詫びの気持ちとして金銭を配るというのが当たり前、という風潮になるのはまずいのではないか」という指摘が出ている一方で、インターネット上では「500円はあまりにも安いのではないか」という意見も見られる。 「500円は安い」と主張している人たちが論拠にしているのは、1999年に発覚した京都府宇治市の事件である。住民基本台帳のデータが流出したこの事件では、市議ら3人の市民が市を相手取

Treasure Data provides a data analytics service with the following key components: - Data is collected from various sources using Fluentd and loaded into PlazmaDB. - PlazmaDB is the distributed time-series database that stores metadata and data. - Jobs like queries, imports, and optimizations are executed on Hadoop and Presto clusters using queues, workers, and a scheduler. - The console and APIs

Analytics cookies are off for visitors from the UK or EEA unless they click Accept or submit a form on nginx.com. They’re on by default for everybody else. Follow the instructions here to deactivate analytics cookies. This deactivation will work even if you later click Accept or submit a form. Check this box so we and our advertising and social media partners can use cookies on nginx.com to better

SQLアンチパターン 26章「とりあえず削除フラグ」 2015/08/31 @ GMO Yours #ronsakucasual https://atnd.org/events/68902

Top 10 C Language resources that will turn you into a better programmer - C and C++ Programming Resources 今更 C 言語かと言われそうだが、Linux カーネルだって、我々が利用している LL 言語の多くだってこの言語で書かれているのである。ワタシ自身は未だどの言語よりCを愛している。 以下に C 言語に関してウェブに公開されている代表的なリソースを挙げていく。さすがに更新が長らく止まっているものが多いが、それでも有用な情報源には違いない。ネタ元は Hacker News。 C Programming Notes Programming in C - UNIX System Calls and Subroutines using C. C Lesson by Chris Sawtell

GithubのPRや海外Slackチャンネルでチャット、はたまた英語圏のエンジニアとやりとりする等、英語で文章を書くことはしばしばあります。そんな時、自分がよく使っている方法について書きます。 先に一番大事なこと 大事なことは、英語はあくまでもツールだということです。伝えたい内容が重要であり、英文を書くことに時間かけることはエンジニアにとって不毛です。 よっぽど英語が得意な人でないかぎり、一から英作文すると時間がかかって本質的でないところで時間を消費するということです。 なので一から文章を考えるのでなく、なるべく"型"を知ることがポイントだと考えています。それを踏まえた上で御覧ください。 文章を書く アルクの英辞郎とGoogle, Githubを組み合わせる 恐らく多くの人がGoogle翻訳などを使って英文を作っているかと思うのですが、アルクの英辞郎と組み合わせるともっとはかどります。理由