こんにちは。技術部の吉川です。 最近ではMicroservicesという言葉もかなり浸透し、そのテクニックも体系化されつつあります。 一方でMicroservicesについての話は概論や抽象的な話が多く、具体像が見えないという方もいらっしゃるのではないでしょうか。 当ブログでは1年半ほど前にMicroservicesへのとりくみについてご紹介しました。 当時社内ライブラリだったGarageはその後オープンソースとして公開され、また社内のシステムも当時と比べ飛躍的な進化を遂げています。 そういったクックパッドにおける最近のMicroservices事例を先日Microservices Casual Talksで紹介しました。 Microservicesの抽象的な話は一切割愛し、具体的な事例に終始した内容となっています。 Microservicesの基本となる考え方はわかったものの、実践方法で

最近、趣味で書くWebアプリは、いわゆるSPAで、バックエンドのJSONを返すAPIにはGo、フロントエンドは仕事で使うための検証・学習を兼ねて適当なJavaScriptのフレームワークを選択している。 この記事は、Goで書いたWebサーバを本番(自分の場合、OSがCentOSのVPS)でどうやって動かすかという内容。 プロセス管理ツール プロセスを複数立ち上げたり、プロセスが死んだ時に再び起動したりしてほしかったので、プロセス管理ツールを検討した。 色々調べたところ、circusが以下の点でよさそうだった。 プロセスまわりで癖のある(forkできないなど)Goと組み合わせて使うプロせス管理ツールとして実例を多く見かけた 設定で記述する内容が他のプロセス管理ツールと比べて少ない(ような気がする) (fdを受けとるようにアプリケーションコードを変更しないといけないのがちょっと微妙だけど)プロ

"We cannot go against the trend. I think machines will beat humans someday. " "If I get defeated it might be negative for go and this is inevitable in this modern life. However, it will not destroy the value of go itself." （「私たちは時代の流れに逆らうことは出来ません。いつか機械は人間を打ち負かすでしょう」 「もし私が負けたら囲碁にとってはネガティブなことですが、これは現代社会では避けられないことです。 しかし、その敗北は囲碁自身の価値を損なうことはないでしょう」イ・セドル） Human-AI showdown begins 1 p.m. 2016年3月9日、"Alph

RedHat系におけるRPMパッケージを扱うYUM、Debian系におけるDEBパッケージを扱うAPT、これらはサーバー管理において重要なわけですが、絶妙な度合いで、おざなりに扱ってもわりとなんとか運用出来てしまう感があります。そのため今一度、こんな感じが今風のスタンダードじゃないっすかね（ｷﾘｯ という構成を説明してみます。 ぶっちゃけ、たいしたことないネタの集合体なので、タイトルに下駄を履かせました。 そもそもパッケージは必要なのか 言うまでもなく必須です。理由は、インストール物のファイル管理が容易になるのと、インストール時間を短縮できるからです。既存のパッケージでconfigureオプションが物足りない時や、RPMパッケージが存在しない場合は作成することになります。 最近はプロビジョニング・ツールによって全て自動化できるので、超簡素なコンパイルのものはレシピに落とし込んで終わりにした

この文章は、サーバサイドのウェブアプリケーション開発において、社内実績の少ない新しい言語を採用したときにインフラ面で考慮したことを社内向けにまとめたものです。 はてなでは、長らくPerlでウェブアプリケーション開発を続けてきた一方、ここ数年で社内でScalaまたはGoの採用事例も増えてきました。 今後開発が始まるプロダクトにおいても、Perl、Scala、Goもしくは他の言語を採用するかどうかを開発開始時に選ぶことになるでしょう。 新言語を採用するときに、考慮すべきことの一つとして、「インフラ」への影響があります。 新言語に関する雑談をしていると、ウェブアプリケーションエンジニアに「インフラ」への影響について聞かれます。 もしくは、ウェブオペレーションエンジニアから考慮するポイントを伝えることもあります。 ScalaやGo以外に、Node.jsやサーバサイドSwiftはどうかというのも雑談

Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.

プログラマ向けノートアプリQuiverが素晴らしい(Mac用アプリ)Markdownをサポートしたメモアプリは数多くありますが、技術系のメモやスニペットを書き溜めるのに適したものはそれほど多くありません。 個人的な要件としては、 データフォーマットがオープンで好みのクラウドサービスで同期できることMarkdown(GFM)を扱えてプレビューできることコードの取り扱いが簡単なこと(できればシンタクスハイライトも)ファイルを意識しないで使えること(ファイル名を考えたりしなくて良い。オートセーブされる)ノートブック、タグなどでノートを整理・分類できることぐらいなのですが、すべてを満たしたアプリをなかなか見つけられず、Day OneやUlysses、Kobitoなどを併用して凌いでいましたが、最近、知ったQuiverというアプリがこれらの要件をすべて満たしており、これに一本化することに。 あまりに

oauth2_proxy、便利でググると導入手順も結構出てくるのだけど、今回紹介するのは（環境によっては）さらに便利に使えるナウい方法です。 なにをするのかというとREAMDEに書いてあります。 Configuring for use with the Nginx auth_request directive The Nginx auth_request directive allows Nginx to authenticate requests via the oauth2_proxy's /auth endpoint, which only returns a 202 Accepted response or a 401 Unauthorized response without proxying the request through. For example: サンプル設定もある

この記事はTCPの 全て を理解する、あるいは 『TCP/IP Illustrated』 （訳注：日本語版: 『詳解TCP/IP〈Vol.1〉プロトコル』 ）を読破しようとか、そういうことではありません。ほんの少しのTCPの知識がどれほど欠かせないものなのかについてお話します。まずはその理由をお話しましょう。 私が Recurse Center で働いているとき、PythonでTCPスタックを書きました（ またPythonでTCPスタックを書いたらどうなるかについても書きました ）。それはとても楽しく、ためになる経験でした。またそれでいいと思っていたんです。 そこから1年ぐらい経って、仕事で、誰かが「NSQへメッセージを送ったんだが、毎回40ミリ秒かかる」とSlackに投稿しているのを見つけました。私はこの問題についてすでに1週間ほど考え込んでいましたが、さっぱり答えがでませんでした。 こ

最近、このモジュールを妻に紹介したところ、そのシンプルさと実用性に驚いていました。 joblib joblibの存在は以前から知ってはいたものの、実際のところはよく理解しておらず、いろいろな機能を寄せ集めたようなモジュールだと思っていました。まあ、その印象は今もあまり変わりませんが、実は非常に便利なモジュールだったのです。私は Flowminder の同僚から再度joblibを勧められて、このモジュールをデータ分析用のコードに幅広く使用しました。では、その機能について紹介しましょう。joblibは大きく分けて、 キャッシング 、 並列化 、 永続化 （データの保存と読み込み）の3つの機能から成ります。実を言うと、私はまだ並列プログラミングの機能は使ったことがないのですが、あとの2つの機能は頻繁に使ってきました。 キャッシング機能とは、シンプルなデコレータを使って、関数を簡単に”メモ化”する

2016.01.23 Cookpad TechConf 2016 http://techconf.cookpad.com/Read less

チームでの開発って大変だけど楽しいと思ってるみなさんこんにちは。@ryuzeeです。 チームは共通の目標に向かって日々の仕事に取り組んでいくことになりますが、そのためにはメンバーそれぞれが必要なスキルをもっている必要があります。このスキルを見える化するテクニックの1つとしておすすめなのが、スキルマップです。 作り方は簡単で以下の図のように横軸に必要なスキルを、縦軸にチームメンバーの名前を入れます。それぞれのマスでは、その人のスキル度合いを表す印を入れていきます。ここでは、★：エース、◎：得意、○：一人でできる、△：助けがあればできる、空欄：できない、・：今後習得したい、というようにしていますが、この記号はチームで好きに決めて構いません。 このスキルマップの効用と運用について見ていきましょう。 効果：スキルの見える化長い間同じチームで働いていれば、誰が何をできるのかはだんだん分かっていきます

【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮Hibino Hisashi

IT界隈でエンジニアしていると、よく出くわすのが障害対応です。できれば会いたくないという人が多いと思うんですが、僕はけっこう好きです。障害対応。どこに原因があるのか調査をして、バランス良くベターな対応をしたときの楽しさは、プログラミングとはまた違ったものがあります。探偵っぽい感じが面白いですよね。もちろん、障害が発生しない状況を作るのが一番です 弊社では数多くのWebサービス／アプリを運営しているので、過去様々な障害対応をしてきました。その際に、解決までどんな道筋を僕がたどるのかを振り返ってまとめてみました。これが大正解なんてことはなく、人や事象によって違うとは思いますが。 なお、障害検知手法とか、サーバのコマンドとか、コードのデバッグ手法とか、具体的なことは一切出てきません。手続きと思考プロセス的な話です。 障害対応フローチャート 一般的な感じだと思いますが、障害報告から対応完了までのフ

事の始まり それはD言語くんへの嫉妬から始まった。 D言語くんの繁殖についての仮説 lsを間違えてdlと入力してしまったときに、D言語くんが通り過ぎるコマンド くっ悔しい... そしてショボいAAで2番煎じ。 lsを間違えてgolと入力してしまったときに、Gopherが通り過ぎるコマンド書いた。 こんなはずじゃない！ 僕らの Gopher 君はこんなチープじゃない！ 明日来てください。本物の Gopher をお見せしますよ。 — mattn (@mattn_jp) December 15, 2015 (本当はもうちょっと前から作ってましたが) 本物のGopher君とは そして今回、これを公開するに至った。 まずはこれをご覧頂きたい。 ！！！！！！！！！！！！１ こいつ・・・　動くぞ・・・ golang で書いたデスクトップマスコットです。起動すると画面のタスクバーの上をウロウロします。たま

現時点で160以上のSlackと連係するアプリケーションが登録されており、アプリケーションを選択して何回かクリックすることで、すぐに使い始められるようになっています。 試しにSlack App DirectoryからTwitterを選択。「Sign in and install」ボタンをクリックし、Twitterの認証を済ませて設定を行うとすぐに利用開始。Twitterの投稿がTwitterのBotによってSlackにも自動的に投稿されました（そのほか、いろいろ設定できます）。 2つ目の施策として、SlackはこうしたSlack対応アプリケーションの開発を促進するため8000万ドル（約100億円）のファンドを同社とアンドリーセン・ホロウィッツなど6社と共同で準備したことを発表しています。 「Botkit」Botを作るためのフレームワーク Slackとの連携でよく使われるのが、人間の代わりに

Deep learning で、全ニコ生番組をリアルタイムで監視するシステム作ってみた posted at 2015-12-15 03:57:28 +0900 by kinoppyd この記事は、ドワンゴAdvent calendar（表）の15日目の記事です ドワンゴでエンジニアをしている @kinoppyd です TL;DR ニコ生を監視し、新しく始まったユー生を定期的に視聴し続け、Deep learning Framework の Caffe を使って画像認識し、何が放送されているのかをリアルタイムに知るシステムを作りました。 注意：この記事の中で使っているニコ生へのアクセス方法に関しては、すべてGoogle検索で分かる範囲の情報を使っています。開発者として知っている情報は一切使っていないことを明言しておきます。また、そこそこの数のリクエストを飛ばすので、真似してニコ生側から垢BAN

この記事はMicrosoft Azure Advent Calendar 2015の11日目の記事です。 qiita.com 今回はAzureの料金についてのお話しです。 見積もりを作ったり、月の使用料だったりと料金を気にする機会が多いのですが、自分で頑張って計算しようとすると面倒くさいので便利なサービスはどんどん使ってしまいましょう。 プロに任せる 何事も専門家に任せると安心ですね。Microsoftでは無料で構成を伝えると見積もりを行っているので、お客様等に見積もりを出す際には積極的に利用していきたいですね。 Webからの申請とFAXでの申請の２種類があり、申請後に担当者からの返信がある一般的な見積もりです。ちなみにお値段は無料。 www.microsoft.com だいたいの構成と料金が知りたい 構成例と大まかな料金をシミュレートするには「Microsoft Azure 簡易見積もり

API設計を学ぶべき背景と前提知識、外部APIと内部API、エンドポイント、レスポンスデータの設計やHTTPリクエストを送る際のポイントについて解説する。おまけでAPIドキュメント作成ツール4選も。 【0分】API設計を学ぶべき背景 APIの公開が増えている 最近、自社で保有するデータや、システム、アプリケーション、Webサービスの機能を「API（Application Programming Interface）」として公開する企業が、増えてきています。これに伴い、「API経済圏（APIエコノミー）」という新たなビジネスモデルが確立されつつあります（参考：5分で絶対に分かるAPIマネジメント、API経済圏）。 「ProgrammableWeb」というAPIに関するニュースサイトや、さまざまな企業が提供するAPIのリンクがまとまったサイトもあり、APIの普及はものすごいスピードで進んでいる