golangを使って開発したWebAPIを1年半運用して改善してきたことー月間20億PVのマンガサービス開発の裏側 | Nagisaのすゝめ
2017年10月2日 golangを使って開発したWebAPIを1年半運用して改善してきたことー月間20億PVのマンガサービス開発の裏側 はじめに 初めまして、サーバーサイドエンジニアの曽根田です。 0から立ち上げ3年で月間20億PV達成！マンガZEROの開発を牽引するエンジニアチーム での紹介にもあるように、弊社では複数のマンガアプリの開発が並行して進められています。 その中で今回はマンガZEROの成長過程でぶつかり、 乗り越えてきた問題をサーバーサイド視点で紹介していきたいと思います。 乗り越えてきた問題 最初はPHP5.6+Phalconというマイクロフレームワークでプロダクトを運用していました。 マンガZEROメジャーバージョンのアップデートの際に、golangを採用しました。 理由は以下の2点です。 バイナリ一つで動作する(外部依存しない) 軽量でハイパフォーマンス 弊社には積極
【毎秒1万リクエスト!?】Go言語で始める爆速Webスクレイピング【Golang】 - Qiita
はじめに Webスクレイピング、みなさん大好きですよね。私は大好きです。 今回は秒間1~10万リクエストを送る方法をご紹介したいと思います。 だだし注意していただきたい所があります。 過剰なリクエストは相手のサーバーに負担をかけ、最悪訴訟問題となります。 有名なものだとLibrahack事件とも呼ばれる岡崎市立中央図書館事件と言うものがあります。 岡崎市立中央図書館事件 - wikipedia Webスクレイピングの注意事項一覧 また、相手のサーバだけではなく、通信業者（プロバイダ）等から目をつけられる可能性もあります。 最悪の場合通信業界のブラックリストに入り一生ネット契約ができなくなるかもしれません。（存在するかは知りません） それらを考えた上で、スクレイピングを行いましょう。 （もちろん許可取ったり、著作権とかも考えてね！） あくまで技術的にこうすればできるよという知見と考えてくださ
Golangで作ったhttpdの接続数を制限してみよう
こんにちは。斎藤です。 ここ1〜2年、私は仕事でGolangを書くことが増えています。きっかけは、ITインフラをお預かりする中で、お客様のサーバにツールを置く場合でも1つのバイナリさえ置けば良いという手軽さからだったのですが、最近はScalaと並び手軽に並列処理が書けるプログラミング言語として重宝しています。 さて、今回はGolangで作ったhttpdの接続数をLimitListenerを利用して接続数の制限をしてみようというお話です。以下に紹介するお話は、Githubのリポジトリ "github.com/koemu/go-http-max-connections-demo" にデモプログラムを保存しています。Golangのビルド環境がある方は、実際にビルドしながらお試しいただければと思います。 ※Golang 1.5.1でビルドする前提で説明しています モティベーション 仕事でとあるAP
Django Best Practice への道 #2
DjangoのWebアプリを開発している際、リファクタ/テスト拡充のために集めた情報をまとめます。本記事は三部作の二つ目となります。 #1 Djangoプロジェクト/アプリケーション/設定ファイル構成 #2 Djangoテスト戦術 #2 補足編 #3 Django Model/View/From/Template戦術 書くこと Django Best Practiceへの道の続きで、Djangoテスト戦術について書きます。Djangoでテストをする際に、どうしたら効率的に書けるか、メンテナンスしやすくなるか、ということに焦点を置いて書きます。 書かないこと テストをするべき、テストはいらない、どこまではするべき、といった類の話は書きません。する、しない、いまはしない、どこまではする、は各チームや開発者がその時置かれているコンテクストに非常に強く依存している為、閾値的なものや考え方を書くのは
肥大化したActiveRecordモデルをリファクタリングする7つの方法（翻訳）
更新情報: 2013/11/19: 初版公開 2021/01/08: 訳文見直し、追記 こんにちは、hachi8833です。今回は、自分が知りたかった、Active Recordモデルのリファクタリングに関する記事を翻訳いたしました。1年前の記事なのでRails 3が前提ですが、Rails 4以降でも基本的には変わらないと思います。リンクは可能なものについては日本語のものに置き換えています。 なお、ここでご紹介したオブジェクトは、app以下にそれぞれ以下のようにフォルダを追加してそこに配置します。 注記: 以下は使われそうなフォルダを列挙しただけであり、実際にはこの一部しか使いません。 Value Object Service Object Form Object Query Object View Object Policy Object Decorator ⚓ 肥大化したActive
RailsのService層とうまく付き合うにはどうすればいいのか調べてみた - カレーの恩返し
「RailsのService層ってどう使っていくのがいいんだろうね？」って聞かれたときにすぐ答えられなかったのでまとめておきたいと思います。 ※ Fat Modelの解決策としてTrailblazerが最近よく話題に上がりますが、私がまだ使ったことがないので触れない方向で行きます。 情報を漁る まずは「Rails service」とググって検索して引っかかった記事を読みました。 techracho.bpsinc.jp アクションが複雑になる場合 (決算期の終わりに帳簿をクローズする、など) → 複雑な処理をmodelから分離させたい アクションが複数のモデルにわたって動作する場合 (eコマースの購入でOrder, CreditCard, Customer を使用する、など) → どのmodelに書けばいいのかよく分からないのでとりあえずserviceに書いとけ感ある アクションから外部サー
監視にぴったりな並行的に疎通確認を行うコマンド「fping」 | 俺的備忘録 〜なんかいろいろ〜
疎通確認コマンドといえば、OSに標準で搭載されているpingコマンドを用いることが多いと思う。 しかし、pingは1回のコマンドで1ホストに対して疎通確認を行う。そのため、大量のホストに対しfor文などで疎通確認を行う場合、1ホスト1ホストに対し確認を進めていく事から結構な時間がかかってしまう。 そこで、オープンソースの監視ツール『Zabiix』で疎通監視に使われている、同時並行でpingを行ってくれるコマンド「fping」について記述することにする。 1.インストール まずはインストールから。 各OSごとにインストールを行う。 Debian/Ubuntu 以下のコマンドを実行することでインストールできる。 apt-get install fping RHEL系Linux 以下のコマンドを実行することでインストールできる。 yum install fping Windows こちらのリンク
Django未経験者に送るDjango入門ロードマップ - Qiita
これはなんのエントリですか? Djangoに入門したくて躊躇している人を後押しするためのエントリ. Djangoそのものの詳細な解説はしません. Django入門者向けの学習ロードマップです. ご了承下さい. 1. 開発環境とpython仮想環境 まずは開発する土台を整えましょう. Pycharm(IDE) あまりpython触った事がない, という人はPycharmが超おすすめ. Community Editionは無料かつ十分な性能. Visual Studio Code(エディタ) Visual Studio Code プログラマ向け定番のエディタ. Pycharmと比べて、.py/.html/.css/.jsファイルをどれも透過的に扱えるのが魅力. ただし, パッケージのインストールやビルド設定を自分で色々と用意する必要があるので, Djangoに少し慣れてきた段階で乗り換えるのが
Railsアプリケーション構築ガイド — Railsアプリケーション構築ガイド
Railsアプリケーション構築ガイド¶ 業務でRuby on Railsを利用する人のための、アプリケーション構築ガイド 最終更新日: Feb 03, 2018 Ruby on Railsは、流儀・規則に従うことで効率的なシステム開発が可能となるWebアプリケーションフレームワークです。 レールの上に乗って開発を行っているうちは、 少ないコード量で複雑なアプリケーションを 簡単に実装できる、Railsというフレームワークの強力さ、美しさを体感できるはずです。 しかし、少しでもレールから外れたアプリケーションを実装しようとすると、途端に複雑になるのも事実です。 業務アプリケーション構築の分野では、Railsの流儀とは相容れない実装を強いられる事が多々あります。 レールから外れたアプリケーションをよく考えずに実装すると、 コードが難解になり、システムのメンテナンス性が大きく下がってしまいます。
Djangoのテストの書き方について勉強したのでまとめる - c-bata web
追記: この記事の内容はかなり古くなっています。翔泳社さんからDjangoの書籍を出版するので、ぜひ読んでみてください。 実践Django Pythonによる本格Webアプリケーション開発 (Programmer’s SELECTION) 作者:芝田 将翔泳社Amazon はじめに この記事はPython Advent Calendar 2014の12日目の記事です． 昨日は「SushiYasukawa」さんによる（Pythonによる簡単なLispインタープリタ実装方法（四則演算編）） - Python, web, Algorithm 技術的なメモでした． 最近Djangoで何か作ったという記事をよく見かけます． 次のQiitaの記事を参考にDjangoの勉強を始められた方が多いようなので、僕も始めてみました． Python Django入門 (1) - Qiita Python Djan
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - koemu/go-http-max-connections-demo: Control http max connections by Golang
GitHub - tell-k/goolabs: Goo labs API client for python. And provide some command line tools.
https://github.com/Rails-Application-Build-Guides/rails-application-build-guide-sample/tree/master/form/many_to_many_forms
GitHub - c-bata/TDD-with-Django: QiitaのDjango入門をTDDで書いてみる
Djangoでのテスト駆動開発(1) - Qiita