Goを遅くしないための地味な話 – haraheniku – Medium
この記事はGunosy Advent Calendar 2017の13日目の記事です。 広告技術部の@harahenikuです。 主な業務はGoによる広告配信APIの開発です。たまにPythonとかDjangoとかもやってます。 Goは速いですが遅いコードをかけば当然遅くなってしまいます。 この記事ではGoのプログラムを遅くしないために、実際に行ったチューニングを幾つか紹介したいと思います。 スライスの処理長さを指定するスライスの初期化は次のようなコードはappendでallocが発生します。 feature := []VectorEntry{} for i, v := range vec { e := VectorEntry{ ID: i+stride, Value: v, } feature = append(feature, e) }appendでallocされないように、makeで
Profiling Go ⋆ Mark McDonnell
integralist Compassionate Listener. Polyglot. Author. Husband. Father. He/Him. Memory Management Types of Profiling Tools Matrix Analysis Steps Base Example ReadMemStats Pprof Trace Conclusion Note: I highly recommend also reading this official diagnostics documentation. Memory Management Before we dive into the techniques and tools available for profiling Go applications, we should first understa
Gunosy広告配信を支えるGo ~キャッシュ編~ - Gunosy Tech Blog
広告技術部の今川です。 わたしは主にGoを使って広告配信APIの改修を担当しています。 今回はAPIの高速化のためにキャッシュを使った話をご紹介します。 データベースへのアクセス頻度を減らすための努力 広告技術部では、広告配信APIのCTRの予測で利用する特徴ベクトルをAmazon Auroraに保存しています。 しかし、単純にデータ取得時に毎回Auroraに問い合わせていては処理速度が遅くなってしまうので、以下の二種類の方法で高速化を図っています。 1. キャッシュする 予測ロジックで利用するデータの中でも、ユーザーに関するベクトルはユーザーIDをキーにユーザー数だけのデータが存在する反面、すべてのユーザーが同じ時間帯にアクセスするとは限らず、一度訪問したユーザーが続けて何回もアクセスする場合が多いという特徴があります。 このため、利用したいデータがキャッシュに無ければAuroraに問い
Goならわかるシステムプログラミング
Goで始める、すこし低レイヤのプログラミング入門。入出力、ネットワーク、メモリなど、現実の世界でプログラムが動くために必要な機能をプログラム言語Goを通して覗いてみよう。OSの機能とは何か、それをプログラミングでどう利用するのか、システムプログラミングの世界をプログラマの視点から眺めていく連載企画。 2017年06月21日 17時00分 プログラミング＋ Go言語によるプログラマー視点のシステムプログラミング 第20回 Go言語とコンテナ 本連載の最終回。この連載ではプログラムがコンピュータ上で動くときに何が起きているのかをGo言語のコードを通して覗いてきました。今回はその締めくくりとしてコンテナについて紹介します。 2017年06月07日 21時30分 プログラミング＋ Go言語によるプログラマー視点のシステムプログラミング 第19回 Go言語のメモリ管理 ソフトウェアにとってメモリは不
DevFest Tokyo 2017で「Blockchain on Go」というタイトルで発表しました。 - Gunosy Tech Blog
こんにちは、新規事業開発室のエンジニアの高橋（@__timakin__）です。 今回はDevFest Tokyo 2017というイベントに登壇者として行ってきました。 「golang.tokyo」枠で参加してきまして、一応Go関連の話をするということだったのですが、Goのコードの話はせず、Goを使っているブロックチェーン関連のプロジェクトの話をしました。 発表について スライドは以下です。 Blockchain on Go from Seiji Takahashi www.slideshare.net 発表の冒頭でブロックチェーンそもそもの概要を説明して、そのあとBlockchainとGoの関係について話す、という流れでした。 ブロックチェーンの概要部分について 個人的にはHyperledgerというのが好きなのですが、やはりEthereumが界隈では推されているんでしょうか。 極力その場
Blockchain on Go
A Complete Beginners Guide to Blockchain Technology Part 5 of 6. Slides from the #StartingBlock2015 tour by @blockstrap Part 1: http://www.slideshare.net/Blockstrap/cbgtbt-part-1-workshop-introduction-primer Part 2: http://www.slideshare.net/Blockstrap/02-blockchains-101 Part 3: http://www.slideshare.net/Blockstrap/03-transactions-101 Part 4: http://www.slideshare.net/Blockstrap/cbgtbt-part-4-mini
ねえ、OSSにcontributeするの、どんな気持ち？ gunosy.fm #6 #gunosyfm - Gunosy Tech Blog
かとうです。Tシャツだけで出かけるには厳しい季節になって来ましたね。 gunosy.fm第6回は、Gunosyテックブログでおなじみのちまきんさん（@__timakin__）とサービス開発、golangへのcontribute、ブロックチェーンについて話しました。 ちまきんさんがOSSにコミットした時の気持ちや、そのために情報収集はどんなことしているか、などの話が参考になるかと思います。 また最近話題のブロックチェーンの話も必聴です。 トーク中に話題になったリンクはこちらです。 LUCRA - ルクラ マイクロチームでの高速な新規開発を支える開発・分析基盤 BOOT.FM 「今年は…何か大きめのOSSにコントリビュートしたいですね」 qunosy blockchain.tokyo HyperLedger Today IPFS is the Distributed Web Hyperledg
Go APIサーバーの設計について、golang.tokyo#9で話しました。 - Gunosy Tech Blog
どうも、Gunosyの新規事業開発室エンジニア、高橋（@__timakin__）です。 先日行われたgolang.tokyo#9にて、GoのAPIサーバーの設計についてトークをする機会を頂いたので、いってきました。 スライドはこちらです。全編英語となっておりますが、ご覧頂けると幸いです。 speakerdeck.com 概要 アジェンダの前の序文にも書いてあるのですが、GoのAPIが大企業で試験的に導入するというフェーズを超え、スタートアップなどでも「Goって最近トレンドだよね」という声が聞こえ、小規模のチームでも積極的に登用されるようになってきたように感じます。 あくまで個人の観測範囲での話なのでバイアスがあるとは思いますが、「試してみた」というトークが界隈でも最近少なくなったように思います。 そんな中、参考例となるGoのAPIのOSSは非常に少ないため、新規に始めるハードルは、学習コス
Advanced API Calling in Go
Go 1.9 Release Party in Tokyo での発表資料です by @__timakin__
Goの初心者が見ると幸せになれる場所 #golang - Qiita
公式サイト A Tour of Go Web上で実行しながら学ぶことができる公式のチュートリアルです。 チュートリアル 公式のチュートリアルです。初学者向けからジェネリクスのチュートリアルなども用意されています。 A Tour of Goが終わった後に取り組むと良いでしょう。 Go Wiki Go Code Review Commentsなどが掲載されているGitHub上のWikiです。 パッケージドキュメント 標準パッケージやサードパーティ製のパッケージのドキュメントが見れるサイトです。検索もできます。 入門 プログラミング言語Go完全入門 筆者が作っている巨大なGoの入門資料です。なぜGoが作られたのか、から最新のジェネリクスの情報、静的解析まで扱っています。 Gopher道場 Goを体系的に学べる場です。10時間くらいある動画教材（自習室から入手可）もあります。 Go の最初の手順
:: Sparta - AWS Lambda Microservices
Unified Use a go monorepo to define and your microservice's: Application logic AWS infrastructure Operational metrics Alert conditions Security policies Complete AWS Ecosystem Sparta enables your lambda-based service to seamlessly integrate with the entire set of AWS lambda event sources such as: DynamoDB S3 Kinesis SNS SES CloudMap CloudWatch Events CloudWatch Logs Step Functions Additionally, yo
Writing An Interpreter In Goを読んだ
Thorsten Ballによる“Writing An Interpreter In Go”を読んだ． 技術界隈のブログを見ているとたまにSteve Yeggeの「If you don’t know how compilers work, then you don’t know how computers work」という言葉に出会う．その度に学生のときにコンパイラの授業を受けなかったこと後悔し，社会人になって挑戦しようとして挫折したことを思い出して悲しい気持ちになる．@rui314さんのCコンパイラをスクラッチから開発してみたを読んではかっこいいなと思いつつ僕には無理だなあと心が折れていた． どの言語を書いていてもコンパイラ（もしくはInterpreter）は切っても離せないものであり内部の動きがどうなっているかを知っておきたいという欲求はプログラマーなら誰しもあると思う（少なくとも僕に
GoのためのGo
Go言語はシンプルさを念頭にデザインされた言語です。仕様は単純明瞭さのために小さく収められていますが、そのため表現力に欠けているとか、コードが冗長になるという印象を持つ人も多いでしょう。有名なところでは、ジェネリクスや例外といった機能が（今のところ）存在しないことが問題にされることが多いようです。 一般に、ソフトウェアエンジニアリングというものは書かれる言語だけに依るものではありません。視点を拡げてGoを取りまくツール群を含めて見てみると、go fmt や goimports といったツールが広く使われていること、また go generate コマンドの存在などを見ても、Goという言語には、人間のプログラミングを機械によってさまざまな面から補助しようという態度があります。
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
Go製サーバーを開発・運用して〜ピクシブ新広告配信サーバー〜 // Speaker Deck
キャリアを充実させる『カギ』に！PR TIMES CTO金子達哉から学ぶアウトプット術 / output_method
Goを使い複雑性を回避する | POSTD
『銀の弾などない— ソフトウェアエンジニアリングの本質と偶有的事項』 を書いたFred Brooksはその論文の中で、 偶有的な複雑性と本質的な複雑性 について重要な区別をしています。 本質的な複雑性 とは、問題特有の領域から生じる複雑性のことを指します。例えば、SMTPクライアントを作成しているディベロッパは、 RFC 5321 の核心の細かいところ全てに取り組む必要がありますが、これはSMTPクライアントの作業をする上で避けては通れないものです。これに対して 偶有的な複雑性 とは、私たちが自ら作り上げた問題から生じる複雑性のことを指します。 技術者としては、自らの選択で生じる偶有的な複雑性によって、余計な負担が増えないようにとても注意しなければなりませんよね。その意味では、言語の選択は偶有的な複雑性を軽減できる完璧な例と言えます。Webアプリケーションを書くのにアセンブリ言語を選びます
Introduction | Building Web Apps with Go
Introduction Welcome to Building Web Apps with Go! If you are reading this then you have just started your journey from noob to pro. No seriously, web programming in Go is so fun and easy that you won't even notice how much information you are learning along the way! Keep in mind that there are still portions of this book that are incomplete and need some love. The beauty of open source publishing
ISUCON4 予選で workload=5 で 88000点出す方法 (lily white 参戦記) : DSAS開発者の部屋
ISUCON4 予選1日目に、 lily white というチームで参戦してきました。 試合中に 62000 点は出していたのですが、最終的に提出したスコアは 60344 点でした。 以降、予選終了までと、その後に気づいたさらにスコアを上げる方法について書いていきます。 実際の提出時のコードは methane/isucon4q-go リポジトリの "final" タグを見てください。 準備 (~前日) 予選方式が発表された時点で、 isucon3 予選と同じ方式だったので、有効な作戦もほぼ同じになる事が予測できました。 具体的には以下のとおりです。 PIOPS な EBS を使わないので、性能が不安定なディスクがネックになる問題は無いでしょう。 1インスタンスのみを使うということから、ネットワーク帯域がネックになる可能性も無いはずです。 ほぼ確実に CPU ネックな問題が出るはずです。 ア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redirecting…
GitHub - DamnWidget/VenGO: Create and manage Isolated Virtual Environments for Go
