さいきんのMySQLに関する取り組み（仮）
2. Copyright © GREE, Inc. All Rights Reserved. 自己紹介 ● わりと MySQL のひと ● 3.23.58 から使ってる ● むかしは Resource Monitoring も力入れてやってた ● ganglia & rrdcached の（たぶん）ヘビーユーザ ● というわけで、自分は Monitoring を大事にする ● 一時期は Flare という OSS の bugfix などもやってた ● さいきんは、ハードウェアの評価をしている時間が長かった ● たまに Linux の TCP プロトコルスタックについて調べたりもする 2 3. Copyright © GREE, Inc. All Rights Reserved. ● 弊社は、古くからオンプレミス環境で、 MySQL をヘビーに使ってきまし た。 ● 過去に、一部のサービスを
Terraform設計・運用のノウハウ - Qiita
概要 Terraformを使い始めて一年ほど経ったので、設計や運用上のノウハウを公開していこうと思います。 基本的にAWSを使うことが多いので、AWS寄りの話になります。 設計編 利用可能なプロバイダを調べる TerraformはAWSやGCPといったクラウドサービスをコード化できることで有名ですが、オフィシャルだけでも様々なプロバイダに対応しています。 私はAWSのほか、GitHubやDatadogをコード化して運用してます。 ネットワーク設計 サービスを構築する上で本番環境のほかに開発やステージング環境を作りますが、環境の分け方は大きく分けて次のいずれかになることが多いと思います。 1つのVPCに全ての環境を入れる 環境ごとにVPCを分ける 環境ごとにAWSアカウントを分ける 2のパターンで設計する場合、Terraformで構成を組む際はVPCをdevelopment、staging、
kind (Kubernetes in Docker) を試してみる
こんにちは。GMO NIKKO の Y.S です。 先日、kind という ローカル環境でマルチノードな Kubernetes クラスタを動かすことができるツールがあることを知り、試してみたので紹介します。kind という名前は docker in docker の dind 風に、Kubernetes-in–Docker で kind とのことです。 Docker 上のコンテナを Kubernetes のワーカーノードとして利用することで、Kubernetes クラスタを構築し、ローカル環境で Minikube のようなシングルノードではできないマルチノードなクラスタを動作させることができます。 また、高速・軽量・クラスプラットフォームという特徴があり、ローカル環境だでけなく、CI のテスト環境にもよく利用されているようです。例えば、Kubernetes 本体のテストでも使用されています
AWS Glueをローカル環境で実行してみた | DevelopersIO
環境変数を設定します。MavenとSparkのパスは個人の環境に合わせて変更してください。 echo 'export PATH=$HOME/.apache-maven-3.6.2/bin:$PATH' >> ~/.bash_profile echo 'export SPARK_HOME=$HOME/.spark-2.2.1-bin-hadoop2.7' >> ~/.bash_profile echo 'export JAVA_HOME=`/usr/libexec/java_home -v 1.8`' >> ~/.bash_profile Pythonでローカル開発 AWS Glue Pythonライブラリを取得 GitHubからAWS Glue Pythonライブラリをダウンロードします。以降の作業はAWS Glue Pythonライブラリのルートディレクトリで行います。 https://
SSRをやめる。OGP対応はLambda@Edgeでダイナミックレンダリングする。 - Qiita
2018.11.20 求めていること SSRは極力やりたくない。 SSRのメリットは初回読み込み時のブラウザレンダリング速度向上とSEO・OGP対応と言われる。 レンダリング速度をシビアに要求されてない。SEOもgooglebotが対応してればいいや〜。という場合、結局の所OGP対応（facebook, twitter）の為だけにSSRを選ぶことになる。 SPAの静的配信って大きなメリットなので、それを捨ててまでSSR…なんとかOGP対応だけしてSSRを避けられないものか。 対応するページが少なければPrerender-SPA-Plugin等を使ってビルド時に全ページ出力するのが早いが、ここではCGM/UGCのようにページ数増加が激しいサイトを想定する。 結論 ダイナミックレンダリングする。Googleが公式に認める方法なのでクローキングに当たる心配も無さそう。 prerender.ioの
TCPとタイムアウトと私 - Cybozu Inside Out | サイボウズエンジニアのブログ
本部長や副本部長もプログラミングを（たまに）することで有名なサイボウズの運用本部長、山本泰宇です。 有名じゃないかもしれませんが、ブログに書いたので有名になるということでご了承ください。 今回は、先日発生した yrmcds に起因する障害の原因と対策を解説します。 yrmcds というのは、サイボウズが開発している memcached 互換のキーバリューストレージです。 問題の理解のため、まず TCP 通信で、通信先の相手の障害にどう対応するか解説します。 データの送信中に相手が落ちるケース このケースはさらに二つに分かれます。 相手の OS は生きているが、通信しているプログラムが落ちるケース 相手の OS ごと（あるいはネットワークごと）落ちるケース 1 と 2 の違いは、前者の場合 RST パケットが返ってくるのに対して、後者ではなにも返ってこない点です。後者の場合、ack されない
【第3回】Go言語（Golang）入門～Firestoreデータ操作編～ - 株式会社ライトコード
（株）ライトコードの笹川（ささがわ）です。 今回でGo言語（Golang）入門3回目！ 前回に引き続き、Firestoreについて書いていきます。 今回は、データの操作をしてみよう編です！ 前回の記事はこちら 2019.09.17【第2回】Go言語（Golang）入門～Firestore導入編～第2回～Go言語（Golang）を習得したい！～（株）ライトコードの笹川（ささがわ）です。前回に引き続き、今回もGo言... データを追加してみよう 前回同様、以下ドキュメントを参考に進めたいと思います。 【データを追加する】 https://firebase.google.com/docs/firestore/quickstart?hl=ja#add_data 今回も、初期化は忘れずに入れましょう！ 1package main 2 3import ( 4 "context" 5 "log" 6 7
GitHub - rudderlabs/rudder-server: Privacy and Security focused Segment-alternative, in Golang and React
📖 Just launched Data Learning Center - Resources on data engineering and data infrastructure The Customer Data Platform for Developers Website · Documentation · Changelog · Blog · Slack · Twitter As the leading open source Customer Data Platform (CDP), RudderStack provides data pipelines that make it easy to collect data from every application, website and SaaS platform, then activate it in your
大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm) - RAKUS Developers Blog | ラクス エンジニアブログ
みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6
新しく登場した一括管理アプリ「Stack」がガチで便利だったから聞いてほしい - Qiita
Product Huntをみていたら、 Stackというアプリが話題になっていたので、チラッとみてみました。 Webアプリを一元管理できるようで、有名どころだと「Franz」「Station」があります。 私は「Station」を愛用しており、乗り換える気持ちはなくて、「試しに触ってみるか」くらいの感覚でDLしました。 （Product Huntで超人気アプリを使ってみたかったというのもあります） 使ってみた結果、最高に便利な一元管理アプリで、速攻でstationから乗り換えました(掌返し) ぜひ皆様にその感動をいち早くお届けしたくて、超久しぶりにQiitaに投稿します。 →https://stackers.app/ ※2019/9/27時点、Mac限定のアプリです。 Stackを激推したい３つの理由 個人的にStackいいなぁと思うポイントは３つあります。 横スクロールで一望できる カテ
リアルタイム声質変換ライブラリ「Realtime Yukarin」を公開しました
はじめにリアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS（オープンソースソフトウェア）として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。 声質変換とは声を変える方法で有名なのは、声の高さや音色を変える手法、いわゆるボイスチェンジャーです。 既存のボイスチェンジャーは、元の声を起点として、変換パラメータを自分で調整する必要があります。 一方ここでの声質変換は、元の声と好きな声を用いて機械学習し、変換パラメータを自動で調整しま
設計サンプルで学ぶ、AWS構築の原則 - Webアプリ アーキテクチャのベストプラクティスを理解する - エンジニアHub｜若手Webエンジニアのキャリアを考える！
設計サンプルで学ぶ、AWS構築の原則 - Webアプリ アーキテクチャのベストプラクティスを理解する AWS入門者に向け、同サービスのエキスパートである、クラスメソッドの八幡豊さんが、Webアプリケーション開発のためのAWS構築の基本を解説します。広範な領域をフォローするAWSですが、広範ゆえに、なにをどのように選ぶべきか……。こんなお悩みを持つ方はぜひご一読を。 クラウドコンピューティングサービス・Amazon Web Services（以下、AWS）は、数多くの高機能なクラウドサービスを簡単に利用できることから、多くの企業が導入しています。AWSの知識を身につけることは、いまやエンジニアにとっての必修科目です。 そのサービス範囲は広範にわたることから、「なにを」「どうやって」使うかのかが重要な知識になってきます。AWSの各サービスのポテンシャルを引き出すためには、それぞれの長所・短所を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
