83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
まだ、Zabbixの見づらいグラフで消耗しているの！？ 「Zabbix plugin for Grafana」でグラフを見やすくする方法
※ ちゃんと調べていないので、あくまで主観です！ 「Zabbix plugin for Grafana dashboard」のセットアップ 前提条件 今回は以下の環境でセットアップしました！ Amazon Linux Zabbix 2.4(インストール、設定済み) Zabbix Serverと同居 Grafana 3.1.0(rpm) Zabbix plugin for Grafana 3.0.0-beta 手順 Grafana インストール Zabbix plugin for Grafana インストール Zabbixに監視用アカウント設定 Grafana WebUIから、Zabbix datastoreの設定 Grafana インストール Grafanaはyumを使ってインストールです！ 実際はAnsibleでやったんだけど、なーんとなく手順 /etc/yum.repos.d/graf
Amazon AWSでユーザ数1100万以上にスケーリングするためのビギナーズ・ガイド | POSTD
あるシステムを、1人のユーザから1100万人以上にスケーリングするにはどのようにすれば良いのでしょうか。Amazonのウェブサービスソリューションアーキテクトである Joel Williams が AWS re: Invent 2015 Scaling Up to Your First 10 Million Users でスケーリング方法について素晴らしいプレゼンをしています。 AWS上級者のユーザには適さないプレゼンですが、AWS初心者やクラウド初心者、Amazonが次々と送り出す新機能の流れについていけていない人が始めるには素晴らしい内容だと思います。 おおよその見当は付いていると思いますが、このプレゼンはAmazonによって提供されているため、どの問題についても解決策として提案されているものは全てAmazonのサービスになります。amazonのプラットフォームの役割は、印象深く、分か
モンストを支えるインフラの今とこれから
dots. Conference Spring 2016 ゲーム開発の裏側 http://eventdots.jp/event/580344
はてなで新しくWebサービスを作るときのインフラの作り方 - Hatena Developer Blog
この記事ははてなデベロッパーアドベントカレンダーを始めます - Hatena Developer Blogの17日目の記事です．昨日は id:yashigani_w の Promiseを学ぶためにSwiftでPromiseを実装してみた話 - yashigani?.days でした． こんにちは、はてなの id:wtatsuru です。はてなのインフラ全般をみています。 はてなでは、しばしば新サービスを構築する機会があります。正式サービスもあれば、はてラボ のような実験的サービス、内部の Microserviceの一部になっているものなど多種多様なものがあります。新規サービスのインフラを構築する際は、最小構成でありつつ後のスケールやメンテナンスを考えた仕組みを作っていくことになります。この記事では、2015年12月現在のはてなでの標準的な構成を紹介していきます。 新サービスの最小構成 こち
おそらく現時点でNo1 AWS本です。正確には、既にAWSを使っていて、もう少しIAMやIDS/IPSなども使おうと考えているエンジニア向け。: 自宅クラウドでAI・機械学習・CI/CD・自動化、全てやろう！
元々、メルマガ連動目的で始めた初心者・中級者向けブログでした。が、コロナによる在宅勤務が当たり前の時代に突入した2020年。会社に存在していた仕事環境が、自宅内に存在して当たり前の時代に、一気に突入することとなりました。AWSを筆頭としたクラウド環境をベースに、AI、機械学習、CI/CD、自動化等、全てが自宅で動作・操作可能です。全てが可能となるよう、自宅環境整備に役立つ内容をブログに記載していく方針とし、今後の内容に反映させていきたいと思います。 ようやく中級者向けっぽい書籍が出ました。 VPCに関する部分も、現在発売されているAWS書籍では、 一番実務に役立つと思います。 P365～IAMに関して触れていて、 MFA(多要素認証）や2015年2月に提供された 新ポリシー「IAMマネージドポリシー」の事も 記載されています。 従来のインラインポリシーとの違い、とか。 P378から外部から
インフラを自動で構築！ ChefでローカルにWebアプリの開発環境をつくるRubyコードを書いてみよう
はじめに 前回の記事では、Chefとはどのようなものか？ とChefの導入の仕方、Chefを使ったパッケージのインストール手順について紹介しました。 今回の記事では、ChefのCookBook作成の続きで、Apache httpdの設定ファイルの作成やWebサーバにデプロイするファイルの設定などを紹介します。また、作成したChefのCookBookをVagrantから呼出し、ローカル端末の仮想環境でインフラを自動で構築する手順を紹介します。 対象読者 本記事は、次の方を対象にしています。 コードを使ってインフラの構成管理がしたい人 ネットワークやLinuxの基礎知識がある人 Webシステムの開発環境を構築したことがある人 Webサーバを設定するCookBookの作成 前回作成したレシピでChefを使ってApache httpdおよびPHPのインストールが出来たので、次は設定ファイルの作成や
Terraform + GitHub + CircleCI + Atlasを利用してAWSの操作を自動化した - Glide Note
TL;DR Terraform + GitHub + CircleCI + Atlas を用いてAWSの操作を自動化した 各ツールの役割は下記のような感じ Terraform => インフラへの変更ツール GitHub => .tfファイルのバージョン管理 CircleCI => CI、Terraformをawsに対して実行 Atlas => インフラの状態を記録するterraform.tfstateの管理 インフラの継続的デリバリー - naoyaのはてなダイアリーにて、言及されていた範囲(Route53の変更、Chefの適用)をAWSの操作全体に拡大した 背景 今までの問題点 AWSの各種操作がブラウザからポチポチ業… 手作業なので誤操作に気づきにくい。事故りやすい インフラの実構成がバージョン管理出来ていない ちなみにRoute53に関してはroadworkerを用いてコードで管理済
Amazon EC2再入門 2015年1月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
EC2でサーバーに負荷を発生させる stress ツールを使ってみる | DevelopersIO
はじめに こんにちは植木和樹です。Amazon Linux AMI 2014.09がリリースされて随分と経ちましたが、リリースノートにちょっと目を引いた記載がありました。 Amazon Linux AMI 2014.09 Release Notes New packages In addition to the features above, here are some other new packages added based on customer requests: ： stress-1.0.4 ： stressというのはCPUやメモリーの負荷を発生させるツールです。サーバーの高負荷状態でのアプリケーション挙動を確認する際に使用します。便利なツールなので使い方をおさらいしてみました。 stressの使い方 プロジェクトページ stressツールのプロジェクトページはこちらです。 s
Webエンジニアが知っておきたいインフラの基本 インフラの設計から構成、監視、チューニングまで
Webエンジニアが知っておきたいインフラの基本 インフラの設計から構成、監視、チューニングまで 馬場俊彰 マイナビ出版 2,948円 (2,680円+税) Webサービスを高速化し、可用性を高めるスキルを身につける！ Webエンジニアの仕事の幅を広げるためのインフラの知識をピックアップしてまとめました。インフラまわりの技術の基本から、インフラ基盤の手配の方法、設計のセオリー、システム監視、チューニングまで、ツボを押さえてまとめています。 関連サイト本書の関連ページが用意されています。 Webエンジニアが知っておきたいインフラの基本｜マイナビブックス内容紹介本書は、Webアプリケーションエンジニアや、フロントエンドエンジニアを対象に、知っておくと便利なインフラの知識をまとめた本です。 担当しているWebサービスをもっと高速化させたい方や、バックエンドと最適化された無駄のないアプリケーションを
インフラ屋のAWSはじめた日記─GUIを捨てよ：連載｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
『MySQL初心者に贈るインデックスチューニングのポイントまとめ2014』
サイバーエージェント公式ブログをご覧の皆さんこんばんは、インフラ＆コアテク本部の須藤(@strsk)です。普段はAmebaのソーシャルゲーム全般のインフラを見つつ、日本語ラップの啓蒙をしながら弊社社員を素材にコラ画像をつくったりしています。好きなAAは麻呂です。 はい、というわけで今回はMySQLインデックスチューニングの基本的な流れについてまとめてみました。 ソーシャルゲームは更新も参照もめちゃくちゃ多いです。数秒のレプリケーション遅延も致命的なので適切なテーブル、クエリとインデックス設計が重要です。（何でもそうですけど）インデックスが多くなると更新コストなどが懸念されますが、インデックスが正しく使われていないクエリを放置している方が悪です。そんなこんなで、割と例も偏ったりしてるかもしれませんがあしからず。 前提としてはInnoDBを想定しています。MyISAMはほとんど使っていません。
Amazon EC2から負荷テストを行うときの落とし穴と対策 | DevelopersIO
ども、大瀧です。 ここのところ新機能を追いかける記事ばかりだったので、今回は少し毛色の異なるノウハウ系を書いてみます。 負荷テストの前置き(読み飛ばし可) 「Webサイトがテレビ番組で紹介されることになった！大幅なアクセス増がやってくる！」という場合に、ロードバランササービスのElastic Load Balancing(ELB)やCDNのCloudFrontなどスケールするサービスを組み合わせ乗り切るというのは、クラウドらしい柔軟性の高さを活かせる典型な例かと思います。実際、弊社の事例でも多くのお客様に提供し、ご好評をいただいています。 これらのサービスを構成するにあたり、実際のアクセス増に耐えられるか試すため負荷テストを実施することも多いと思いますが、大規模なケースになってくると難しいのが負荷テストを実施するマシンの確保です。これについてもAmazon EC2であれば、Auto Sca
これからAWSを始める人は一読すべき「AWS運用チェックリスト」を読んでみた | DevelopersIO
はじめに こんにちは植木和樹です。AWSでは各種ホワイトペーパーなどの資料を多数公開しています。 AWS アーキテクチャーセンター | アマゾン ウェブ サービス（AWS 日本語） 今回は上記ページからダウンロードできる「AWS 運用チェックリスト（PDFファイル）」を読んでみました。運用チェックリストという名前ではありますが、AWSを利用する方は一度目を通しておくのをお勧めする内容でした。 チェックリストは大きく3つ「ベーシック」「エンタープライズ」「セキュリティ監査」に分かれています。このうちベーシックは15項目程とコンパクトにまとまっていて、簡易チェックリストとしてお手頃です。 残念ながらまだ日本語訳がされていないようですので、今回ベーシック部分だけをザックリ読んで簡単なコメントを書いてみました。 ベーシック運用チェックリスト 原文は「我々は〜〜〜を設定しています（理解しています）」
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker入門-基礎編 いまから始めるDocker管理【2nd Edition】
スタートアップにjoinして安心して眠るためにやった5つのこと
プログラマに贈るクラウドとの上手な付き合い方
Lv1から始めるWebサービスのインフラ構築