fluentdからElasticsearchに書き込んだ際の運用メモ - wyukawa's diary
fluentdからfluent-plugin-elasticsearchを使ってElasticsearchに書き込む部分でたびたびfluentdが詰まって苦労してたけど最近は落ち着いてきたのでその辺を備忘録としてメモっています。 最初はfluentdからElasticsearchに1プロセスで直接書き込んでいたけどなにかのイベント等でトラフィックがはねるとバッファ溢れがおきてました。なおこのときElasticsearch自体は特に問題は起きていません。 num_threads増やしたりbuffer_chunk_limit, buffer_queue_limit, flush_intervalあたりを調整したりというのをやっていたけど（実際にやったのは僕じゃないけど）、それでも厳しいのでプロセス分離してfluentd A -> fluentd B1,B2 -> Elasticsearchとい
cssnextから学ぶ次世代CSS - Qiita
cssnextとは策定中のCSS仕様を先立って使えるようにするツールのことです。 ひとことで言うとCSS版Babelです。 CSSを変換する仕組みはPostCSSのプラグインとして有志によって作成されています。 cssnextはそのプラグインをまとめたプラグインパックと呼ばれるものです。 ※古いブラウザに対応させるためのフォールバック機能を提供するプラグインも含んでいます。 本記事は策定中のCSSの知識をつけることが目的です 参考リンクなど cssnext（PostCSS）の背景や使い方は先日記事を書いたので是非見てみてください Step by Stepで始めるCSSモダン化（PostCSS） playgroundでcssnextが実際にどのように変換するのかを試せます。 機能一覧 本記事で紹介する機能一覧を出すのに使ったcssnextのページです。 postcss-cssnext fea
FAQ: 数値の比較を is ですると一貫性がないのはなぜ？ - Qiita
x と y は別々に作られた、別々のリストオブジェクトです。なので、 x is y は False になりますし、 x を変更しても y には影響しません。 一方、 z は x と同一のオブジェクトを参照しています。なので x is z は True になりますし、 x (が参照しているリストオブジェクト)を変更すると当然 z も同じように変化します。 整数型は immutable オブジェクトが示す値が、オブジェクトを生成したときに決まり、その後変化しないようなオブジェクトを immutable といいます。 整数は immutable です。次のサンプルコードを見てください。 y = x した直後は、 x と y は同じ 42 を表すオブジェクトを示しているので x is y は True でした。 x += 1 すると、 x には 43 を表す別のオブジェクトが代入されます。なので
Advanced Python Scheduler — APScheduler documentation
Advanced Python Scheduler Edit on GitHub Advanced Python Scheduler Table of Contents User guide Version history Migrating from previous versions of APScheduler Contributing to APScheduler Extending APScheduler Frequently Asked Questions API reference Read the Docs v: 3.x Versions master latest stable 3.x v2.1.2 Downloads On Read the Docs Project Home Builds
複数のDockerコンテナを自動で立ち上げる構成管理ツール「Docker Compose」（Dockerの最新機能を使ってみよう：第7回） | さくらのナレッジ
複数のコンテナを組み合わせた構成でサービスを運用している場合、コンテナに対し特定のパラメータを指定したり、特定の順序での起動が必要となるケースがある。こういった作業を自動化するツールが、「Docker Compose」だ。 Dockerコンテナの管理を支援する純正ツール「Docker Compose」 Docker ComposeはDockerが開発するコマンドラインツールで、あらかじめ用意しておいた設定ファイルに従ってコンテナを起動するツールだ。設定ファイルには複数のコンテナに関する記述が可能で、コンテナの起動オプションやコンテナに与える環境変数など、さまざまな設定も同時に記述できる。 また、コンテナ同士の依存関係を設定することも可能で、これによって関連するコンテナを複数まとめて起動することも可能だ（図1）。 図1 Docker Composeによるサービスの立ち上げ この場合、設定され
Docker Composeで作った複数人プロジェクトで、共有しやすいRails開発環境をアプデした。160906版 | SHINOFARAの日常
Docker Composeで作った複数人プロジェクトで、共有しやすいRails開発環境をアプデした。160906版 前回、 Docker Composeで始める複数人プロジェクトで、共有しやすいRails開発環境を作った（たぶん） を書きましたが、この時の構成より良い方法があったので、アプデしました。 したこと mariadbのコンテ周りを中心に見直すPR でdocker-composeの構成を見直しました。 一番大きな変更 # docker/mariadb/Dockerfile FROM mariadb:latest RUN usermod -u 1000 mysql RUN mkdir -p /var/run/mysqld RUN chmod -R 777 /var/run/mysqld を削除して、 docker-compose.yml 側で rails_db: image: ma
EC2を簡単に監視できるmist.ioというSaaSを試してみた | DevelopersIO
料金に関する詳細は下記のページになります。 Mist.io Pricing mist.io登録 利用するにはアカウントを登録する必要があります。mist.ioのページから「GET STARTED」をクリックして行います。 Mist.io gives you total visibility and control of your hybrid infrastructure 登録なので「SIGN UP」をクリックします。 登録に使うアカウント種別を選択します。 今回は、EMAILで登録しました。 メールで登録すると確認用のメールを受信するので、本文中のリンクをクリックします。クリックすると下記のようにパスワードの設定画面になります。 パスワード設定が完了するとWelcome画面になりますので、そのままOKをクリックします。 クラウド設定 次にクラウドの登録を行います。 mist.ioはAWS
ServerlessでJavaアプリケーションをデプロイしちゃおう | TECHSCORE BLOG | TECHSCORE BLOG
この記事では、Serverless Framework(以下Serverless)を使ってサンプルのWebアプリケーションをAWS LambdaとAmazon API Gatewayにデプロイします。 Serverlessとは、マイクロサービスで構成される、サーバレスなアプリケーションの構築を支援するフレームワークです。 現在のところ、AWS Lambdaで動作するアプリケーションで使うことができます。（Azure FunctionsやGoogle CloudFunctionsへの対応はWIPとなっています） Node.jsとPythonのランタイムはこれまでもサポートされていましたが、現在ベータ版として公開されているv1.0では新しくJavaについてもサポートされています。 それでは、一足早く体験してみましょう。 インストール node.js 適当な方法でインストールし、npmコマンドが
サーバーレスな外形監視ツール pingbot | TORI
サーバレスアーキテクチャーって言葉が流行っているのでその近辺技術に触れてみたくてアプリを一本こしらえてみました. リポジトリは github.com/toricls/pingbot です. 何を作ったか サーバーレスな外形監視ツールです. 1 分ごとに任意の Web サイトに対して http/https リクエストを投げることで外形監視を行い、その結果を保存します. 前回チェック時と比較してステータスが変化した場合、Slack にその旨通知してくれます. 安価かつ安定して任意の Web サイトに対してヘルスチェック(死活監視)を行うことを目的として、AWS Lambda、Amazon CloudWatch Events、Amazon DynamoDB あたりを使っています. サーバーレスアーキテクチャーの構成要素として良く利用されるサービスですね. 管理画面となる Web アプリの方は R
サーバーレスシステム構築のベストプラクティス！ Serverless Frameworkをもっと試してみよう！ API GatewayとDynamoDB編 - サーバーワークスエンジニアブログ
こんにちは。サーバーワークス こけし部 部長でCS課の坂本（@t_sakam）です。前回に続いて、Serverless Frameworkの話題です。 前回は、Serverless Frameworkのドキュメントに沿って、簡単に使い方を確かめてみました。今回は、API GatewayやDynamoDBをからめた使い方をみてみたいと思います。 Serverless Frameworkを使うと、設定ファイルのserverless.ymlに必要な設定を書いて「serverless deploy」とコマンドを打つだけで、必要なリソースの作成ができます。Lambdaファンクションのデプロイだけでなく、API GatewayとDynamoDBのリソース作成もServerless Frameworkでやってしまいましょう。 Serverless Frameworkのアップデート サービスの作成 必要な
【新機能】 Amazon CloudFrontがHTTP/2に対応しました | DevelopersIO
ども、大瀧です。 本日、AWSのCDNサービスであるCloudFrontがHTTP/2に対応しました。従来のHTTP/1.1に比べ効率的にコンテンツを配信することができるため、パフォーマンスの向上が期待できます。早速試した様子をレポートします。 設定手順 新規作成するディストリビューション(CloudFrontのキャッシュ設定の単位)は、デフォルトでHTTP/2が有効です。既存のディストリビューションでは、設定を変更して有効化することができます。 設定は、ディストリビューションの[General]タブから[Edit]ボタンをクリック、[Supported HTTP Versions]で「HTTP/2, HTTP/1.1, HTTP/1.0」を選択すればOKです。 また、HTTP/2はTLSが実質的に必須のため、HTTPSの設定を見直しましょう。独自ドメインで利用するのであれば、ACMによる
Amazon SESでメールを受信してみる
Amazon SESでメールを受信し、内容を読んでデータベースに記入する仕組みを作ってみる。 動機 そもそもの動機は、iPhoneで使えるSuicaリーダー「SONY RC-S390」を入手したことに端を発する。私は普段から PASMOを愛用しており、この履歴をなんとかしてうまく管理してやりたいと常々思っていた。しかし、S390標準の ツールではPASMO履歴をメールで送信することしかできない。そこで、このメールを自動処理してやることにする。 これにはいろいろな方法が考えられるが、勉強も兼ねて選択したのがAWS SESを使う方法である。メールをSESで 受信したら、いったん本文をS3に保存しておく。並行してLambdaファンクションをキックし、S3から取り出した メール本文を処理してデータベースにたたき込むという流れとなる。 AWS SESの準備 まずはAWS SESの準備。いつもの通りコ
私たちがAmazon Web ServicesからGoogle Cloud Platformに乗り換えた理由 | POSTD
https://flic.kr/p/os8Taq 要約：AWSは素晴らしいが、Googleはその グーゴル 倍素晴らしい。 AWS re:Invent （参加料は1,600ドル）に参加したり、チーフ･エバンジェリストの Jeff Barr をフォローしたりすれば、あなたはたちまち、Amazon Web Servicesのとりこになるでしょう。 毎年何百もの新機能が登場しており、食べ放題・融通が利く・運用担当者不要の、オンデマンドサービスのビュッフェのようです。まあ、実際に食べてみるまでは、の話ですが…。 Amazonは素晴らしいです。しかし、Google Cloudは「開発者によって、開発者のために構築された」ものであり、それが一目で分かるのです。 移行した理由 App Engine GAE はきちんと機能し、オートスケーリング機能も持ち、ロードバランサや無料のmemcacheも備えていま
Docker Compose で Go の開発環境をサクッと作る - Qiita
Dockerを使ったGolang開発環境 上記は1年ほど前の記事のようなのですが、今だと docker-compose でボリュームコンテナが作れるようになっているので、もっと楽できそうだと思い、やってみました。 やってみた結果はこちら→ https://github.com/macoshita/go-docker-dev リポジトリを見てもらえば分かるのですが、実質下記の docker-compose.yml さえ書けば他は何もいりません。 version: '2' services: app: image: 'golang:1.6-onbuild' volumes: - 'data:/go' - '.:/go/src/app' ports: - '8080:8080' command: 'go run main.go' volumes: data: driver: 'local'
golang: goa勉強会を開催しました - 押してダメならふて寝しろ
connpass.com goa って何？ goa ってのは golang で APIデザインを書くと，そこから API サーバのモックとかクライアントとかドキュメントとか一通り生成してくれるマイクロサービス用のフレームワークのことです． goa は golang のソースとして DSL が書けて，そいつを goa にかけてやることでコードを生成します．ぱっと聞いた感じ，最初に抱く印象は「キモい」だと思うんですが，json や yaml を書いてコードを生成するよりかなり見通しよくAPIがデザインできると思いますし，なにより，goa の生成するコードがすごく読みやすいコードで，使ってるウチにだんだん「goa (キモ)かわいいな」と思うようになってきました．goa 自体のコードも変態的(コード生成プログラムなのでしょうがない)でありながら読みやすいコードで書かれているのも好印象です． Web
AWS Lambda in Golang
JAWS-UG沖縄 真夏の熱すぎるサーバレス祭り！ 2016年08月 および、PythonBeginners 2ndの発表資料です。 えーっと、AWS LambdaでPython使ってみたいけど、LambdaでPythonってどっから手つけたら良いのかわからんので、とりあえずフレームワーク使っておけば型ができるからServerlessFramework(ver.0.56)とPyCharm使って手軽に構築してみたよ、って内容です。ついでにCORSの設定もしてみています。 学生などの初心者も意識して作成した資料のため「なぜPython？」や「AWS アカウント作成」「Git作成」などの記載もありますが、スキルに合わせて読み飛ばしてくださいませ〜(`･ω･´)ノシ
【上級編】Dropbox エンジニアが解説｜NAS と クラウドストレージの信頼性について
0 0 173 0 「SD カードやハードディスクが故障し、大切なファイルや写真が読み出せなくなってしまった」という経験は、パソコンやスマホを使っている人なら誰もが一度はあるのではないでしょうか。 大切なファイルを無くさないために、NAS やクラウドストレージを選ぶ際には慎重に選びたいものです。保存したファイルが無くなるかもしれない製品やサービスなんて使いたくないですよね。どれだけそれらのサービスを信頼できるのか。「信頼性」は NAS やクラウドストレージ選びにおいて重要視したいポイントです。 この記事では、NAS とクラウドストレージの信頼性について、それぞれどのようにファイルを保護し、信頼性を高めているのかを Dropbox のエンジニアが解説しています。 信頼性を高めるにはイメージとして重厚な金庫のような場所に厳格に保存しておけば問題なし！と思われるかもしれませんが、掘り下げて考えて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SparkとJupyterNotebookを使った分析処理 [Html5 conference]![SparkとJupyterNotebookを使った分析処理 [Html5 conference]](https://cdn-ak-scissors.b.st-hatena.com/image/square/6523d39323056ff9e9cdfc1d5b20810dbc996adf/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fhtml5conference-160903045852-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
GitHub - tokuhirom/java-handbook
