GoのS3 ダウンロード処理で知っておくと良いこと - バックエンドパフォーマンス改善
こんにちは、@igsr5 です。普段はある高専の情報科に通いながら、Wantedly, Inc. で長期インターンをしています。興味領域はフロント・バックエンド、インフラで、最近は業務でもっぱらGoを書いています。今回はGoのパフォーマンスチューニングの話です。 対象読者 aws-sdk-go(aws-sdk-go-v2)[1] で s3 ダウンロード処理のパフォーマンス改善を行いたい人 Go[2] の io パッケージの話に興味がある人 バックエンドのパフォーマンス改善に興味がある人 TL;DR 内部で s3 ダウンロードが行われるバックエンドAPI などを考えたとき、 // 1. Downloader の作成 downloader := s3manager.NewDownloader(sess, func(d *s3manager.Downloader) { // + ここを追加 d.
Goでひたすら運用を楽にするためのコード生成をする
この記事は Go 2 Advent Calendar 2020 の25日目の記事です。 こんにちは、こんばんは。久しぶりにGoの記事を書いている kaneshin です。今年はフロントエンドをコーディングする機会が多かったためGoに触れる機会があまりありませんでしたが、人間がやるべきでない運用タスクを見掛けるとすぐにGoを用いてコード生成をしたくなります。 今までの経験では筋の悪いコード生成もふんだんに負債として残してきましたが、無かったら困ることも多かっただろうとポジティブに考えることにしています。 さて、今回はそのコード生成について難しく考えないでとりあえず書いてみようと思えるレベルで紹介しようと思います。 TL;DR記事中盤にGo公式のコード生成を一例にした画像があるので参照してください記事後半に簡易的なサンプルコードを作成したリンクを貼っているので参照してくださいこの記事のモチベー
Using reflect, how do you set the value of a struct field?
having a rough time working with struct fields using reflect package. in particular, have not figured out how to set the field value. type t struct { fi int; fs string } var r t = t{ 123, "jblow" } var i64 int64 = 456 getting Name of field i - this seems to work var field = reflect.TypeOf(r).Field(i).Name getting value of field i as a) interface{}, b) int - this seems to work var iface interface{}
gokrazy :: gokrazy
navigation gokrazy Go appliances With gokrazy, you can deploy your Go programs as appliances to a Raspberry Pi or PC (→ supported platforms). For a long time, we were unhappy about having to spend so much time on each of our various Raspberry Pis, taking care of security updates and other general Linux distribution maintenance. Then, we had a crazy idea: what if we massively reduced the overall sy
Goのアンチパターン
Go書いててなんとなく見えてきた Goでやっちゃいけないパターン WAF導入してらくらくWebアプリ WAF自体が現在群雄割拠状態。 WAF毎にハンドラインターフェースが違うので既存コードつなぐにはラッパーが必要。 どのWAFもLL言語に比べるとまだまだフィーチャーの網羅範囲が狭い。 なのでもちろんLL言語ほど楽には書けないことが多い。 リフレクション使いまくりでトータル性能はLL言語並みに遅いのもある。 Go1.7のcontextパッケージの導入で標準のHTTPハンドラが復権する可能性があり更に荒れる予想。 追記: 楽できるのを期待してWAFを導入するの「やっちゃいけない」とまでは言い過ぎだったかもしれないけれど例のsqlでPrepareを正しく使えていないで性能出なかった件とか、当面WAFを使うなら自分で概ね中身を理解して使う覚悟が必要。 構造体メソッドにロジックを詰め込む Goの思想
Goフレームワーク Echoを触る - D.O.D
担当するプロジェクトでGoでAPIを実装予定で、 利用するフレームワークの検証した際のメモです。 以下候補ですが、APIなのでシンプルで高速なもの&開発も活発なEchoを試してみました。 フレームワーク 最終コミット日 Latest release スター その他メモ Martini 2016/2/15 2014/5/20 8,248 ・モジュール形式のウェブアプリケーション/サービスを作成するパッケージ ・パフォーマンスはあまり良くない ・今後の開発が怪しい？ Revel 2015/9/12 2015/03/25 6,457 ・RailsやPlayのようなfull stack web framework Gin 2016/1/30 2015/5/23 5,842 ・Martiniライクでパフォーマンスが良い ・今後の開発が怪しい？ Negroni 2015/3/20 2014/3/31
GoでWeb APIを作る - JSON Hyper-Schemaからいろいろ生成する
2015.08.24 リブセンス様社内勉強会LT資料
Go Lang in CyberAgent｜株式会社サイバーエージェント
現在、サイバーエージェントで活躍するエンジニアは約900名 ※1。 コミュニティサービスや音楽配信サービス、ゲームといったユーザー向けサービスからアドテクノロジーまで、幅広い分野において、技術で事業を支えています。 サイバーエージェントはエンジニアの裁量が大きく、サービスの技術選定がエンジニアに任されており、新たな技術にチャレンジできる環境があります。 また、事業の変化スピードが速いサイバーエージェントだからこそ、技術トレンドを踏まえ、柔軟に新しい流れに対応することがエンジニアに求められています。 常に新しいチャレンジを続けるエンジニアたち。 今回、2009年にgoogle社より発表されたプログラミング言語であるGo言語を新たに採用したエンジニアに、インタビューをいたしました。 ※1 連結社員、2015年6月末現在
Golangでつくる検索エンジン(Webクローラ、MongoDB、Kagome、gin) - c-bata web
最近、Golangを書き始めたので勉強として、1年半ほど前にPythonで作っていたWebクローラと検索エンジンをGolangで実装してみた。WebフレームワークはFlaskの代わりにgin、Mecabの代わりにKagomeを使用、Datastoreは前回と同じくMognoDBを使ってます。 GitHub - c-bata/gosearch: Web crawler and Search engine in Golang. 今回のコード Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web 以前書いたPython版検索エンジンのブログ記事 基本的に実装はこれと大きく変わりません 今回はHTML書くの面倒だったので、フロントはginでJSON返すだけにしました。 以下使ったライブラリやGoに関するメモ 可変長引数の挙動 ス
恵贈御礼 「Go言語にWebアプリケーション開発」読了 - YAMAGUCHI::weblog
はじめに こんにちは、Go界のパルメザンチーズです。オライリー・ジャパンより次の本をいただきました。ありがとうございます。 Go言語によるWebアプリケーション開発 作者: Mat Ryer,鵜飼文敏,牧野聡出版社/メーカー: オライリージャパン発売日: 2016/01/22メディア: 大型本この商品を含むブログ (3件) を見る 感想 Go言語そのものをまったく書いたことがない人がいきなり本書を読むのはいささか厳しいと思いますので、あらかじめ A Tour of Go などを終え、FizzBuzz程度でもいいので簡単なコマンドラインアプリを手元で書いてみてから読み始めるのが良いと思いました。 この本で一番読み応えがあったのは、監訳者の鵜飼さんによる日本語訳版オリジナルの書き下ろしである「付録B：Goらしいコードの書き方」でした。本書を読むにあたって、まず最初に読むべき章だと言っても過言で
ピクシブ社内広告サーバーに新機能を追加するためにボクがやったこと - pixiv inside [archive]
この記事は ピクシブ株式会社 Advent Calendar 2015 15日目の記事です。 qiita.com インフラチームの @catatsuy です。 普段はインフラの仕事が中心ですが、広告サーバーの開発にも関わっています。今回は少し前にリリースされた広告サーバーの新機能について、私が実装した配信サーバーを中心に解説したいと思います。 広告サーバーの実装については何回か発表を行いました。以下のスライドをご覧ください。 ピクシブ広告サーバー開発・運用の軌跡 2015春インターン講義資料 // Speaker Deck ピクシブ社内広告サーバーでのGoの開発・運用 #gocon /p_ads_server_gocon2015 // Speaker Deck タグ指定で特定の広告を出したい ピクシブではユーザーの皆様に最適な広告をどうすれば出せるのか、日々テストをしています。その一環とし
![ピクシブ社内広告サーバーに新機能を追加するためにボクがやったこと - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb737332859ce8e458f9aa7a0f1bff62ad67a88e/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fc%2Fcatatsuy%2F20151213%2F20151213223050.png)
ErlangとGolangを比較してみる
よくこの2つの言語を比較する人がいるように感じる。 両方ともサーバープログラム用途で用いられる言語なので、分からなくもないのだが、この2つの言語は似て非なる物だ。 プロセス周りに重点を置いて違いについて自分なりに纏めてみた。 両方とも触れてから1年と経っていないので、間違いがあれば指摘をもらえると嬉しい。 主な違い Erlang Golang
Comparing Golang, Scala, Elixir and Ruby for ETL
Update 05/11/2015: After reading this, check out part 2 to see how updates to the younger languages (Elixir, Golang) and changes to the algorithm (no intermediary reduction file) affected results. Update: There is now a part 3 How do the following languages stack up when running an extract, transform, and load (ETL) against ~40M tweets? Read on to find out more. Ruby, JRuby, and Parallel Golang 1.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Goでの並行処理を徹底解剖！
Go and wash your mouth with SOAP
GitHub - anacrolix/dms: A UPnP DLNA Digital Media Server that includes basic video transcoding. Tested on a Panasonic Viera television, several Android UPnP apps, and Chromecast.
http://brandonokert.com/2016/04/18/Json-Management-Patterns-In-Go/
Meta Go
https://ubiteku.oinker.me/2015/12/22/elixir%E8%A9%A6%E9%A3%B2-1-%E4%BB%8A%E3%80%81%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0%E8%A8%80%E8%AA%9E%E3%82%92%E9%81%B8%E3%81%B6%E3%81%A8%E3%81%84%E3%81%86%E3%81%93/
Compact but extensible - Comparing Scala, Go and Elixir – Stephan van Diepen – Clean code. Clear mind.