はてなブックマーク

今年もWACULのアドベントカレンダー、順調に埋まって、残すところ2日です。 クリスマスイブを担当する、CTOの包です。 なかなか濃い記事がいっぱいあって、よくもまぁこんな人達が集まったなぁという感慨深い感じです。 今日は妻と娘たちとケーキを作って食べました。ホイップクリームを泡立器で作ったら疲れたのでブレンダーがほしいです。 アクセス解析サービスを作ろう さてさて、今回は、(弊社のような)弱小企業に務めるあなたが、会社の偉い人とかに、Webサイトにいれるアクセス解析ツール作ってね！しかも一人で！ とか言われた時のために、GCPを使った構成を考えて検証してみました。 (あたなが、goとjavaをちょっと書けること前提です！) 検証なので、細かいエラー処理などは省いていますのでご了承を。 アクセス解析ツールの構成部品 Webのアクセス解析ツールを作るにはほんっとざっくり言うと 何はともあれ、

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 株式会社WACUL、CTOの包です。 会社のみんなでパンを作ったりカレーを作ったり映画をみたりと楽しい日々を過ごしてます。 ここ最近、Google Cloud Dataflow をいじってみているので、入門したメモとして、整理してみました。 これから触ってみようとする人が最初に読んで、ざっくり概要を理解する助けになればと思います。 ストリーミングやバッチ処理に深い専門知識があるわけではないので、間違ったことを言っていたら教えていただけるとうれしいです。 この記事を読んでわかること Google Cloud Dataflow のだいたいの

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

かなりスリムになりました！ context パッケージ 今まで、 golang.org/x/net/context 配下 にあった、 context パッケージが、go 本体ライブラリに統合された。 context パッケージの役割については、Goの並行パターン：コンテキスト (Go Concurrency Pattern: Context) などを参照。 それと同時に、 *http.Request に Context() context.Context メソッドと、 WithContext(context.Context) *http.Request メソッドが追加された。 今まで、いろいろなフレームワークが、主にミドルウェアから各ハンドラへの情報の引き渡しのために、独自のコンテキスト構造を持っていたが、1.7からはデフォルトのcontextを使うことで、ミドルウェアの型を、func(h

バッチ処理でキューを処理していて、特定の送信元からの処理は優先度高くしたい！っていう要件が発生することありますよね？あります。 Goでチャネルをキューとして使い、ワーカーを別 gorutine で作ってタスクを処理するというのは、よくある実装です。そこへ優先度の高いタスクは割り込ませたい、みたいなことが起こった時に、さくっと解決するニッチなテクニックをご紹介します。 問題のプログラム チャネルからタスクを消費するようなプログラムですが、途中で優先度の高いタスクが発生するとします。 package main import ( "fmt" "time" ) type task struct { name string } var queue = make(chan task) func startConsumer() { for { select { case t := <-queue: //

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちわ、ワカルのCTOの包です。 今日で2015 WACUL Advent Calendar 2015 最後の日です。 この１年は、会社としても大きく成長した一年でした。すべて埋まった(!)アドベントカレンダーの記事を振り返ってみると、技術者の層がとても厚くなったなと感じます。 なにより、忙しい業務の合間に楽しい記事を書いてくれた会社のみんな、忙しい中寄稿してくれた @kenzan100 さん、技術メンバーの働き方に理解を示してくれて共に頑張っている会社のみんなに感謝しています。 データの検索は Elasticsearch に丸投げ

こんにちわ、ワカルのアドベントカレンダー2日目を担当する包です。 最近はGoばかり書いているので、Goネタです。 外部への http アクセスをする時に構造を理解しておくと便利な、http.RoundTripper について書きます。 http.RoundTripper とは Go で、外部にhttpアクセスするときには、 net/http パッケージにある、 http.Client を使います。 また、いろいろなAPIのクライアントライブラリの中でも殆どの場合 http.Client が使われていて、定義は以下のようになっています。(一部コメント省略) type Client struct { // Transport specifies the mechanism by which individual // HTTP requests are made. // If nil, Def

モチベーション 例えば、外部のリソースにアクセスする時など、並列に実行する部分の処理を共通化したいことが多いと思う。特に既存のコードは逐次実行されるコードになっているが、局所的に並列化したい時などは、チャネル使って書き直すのはなかなかしんどかったりする。 そこで、x/net/context を使いつつ、並列処理を共通化する方法を考えてみた。 x/net/context Google製の x/net/context パッケージというのがある。 使い方などは、以下のリンクが詳しい Go Concurrency Patterns: Context - 小野マトペの納豆ペペロンチーノ日記 とてもシンプルだけどよく出来ているパッケージで、名前の通り、コンテキストなので、共通の値を管理する目的に主眼が置かれているけど、もう一つ、チャネルのキャンセル処理のための機能が備わっていて、キャンセル処理が階層化

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?