fluentdからElasticsearchに書き込んだ際の運用メモ - wyukawa's diary
fluentdからfluent-plugin-elasticsearchを使ってElasticsearchに書き込む部分でたびたびfluentdが詰まって苦労してたけど最近は落ち着いてきたのでその辺を備忘録としてメモっています。 最初はfluentdからElasticsearchに1プロセスで直接書き込んでいたけどなにかのイベント等でトラフィックがはねるとバッファ溢れがおきてました。なおこのときElasticsearch自体は特に問題は起きていません。 num_threads増やしたりbuffer_chunk_limit, buffer_queue_limit, flush_intervalあたりを調整したりというのをやっていたけど（実際にやったのは僕じゃないけど）、それでも厳しいのでプロセス分離してfluentd A -> fluentd B1,B2 -> Elasticsearchとい
InfluxDB 1.0 Release | API Compatibility and Stability & What's Next
Platform InfluxDB enables real-time analytics by serving as a purpose-built database that optimizes processing and scaling InfluxDB 3.0 Overview Better ingest performance, sub-second queries, and lower storage costs Integrations 300+ plugins for easy interoperability Connectors Use with popular client libraries, tools, and open source projects Easy Data Collection Telegraf collects data from 300+
HashiConf 2016 Announcements
PackerBuild and manage images as code
［第4回］プログラミング教育についてドワンゴに聞く、C言語での入門にこだわるのはおかしい
ドワンゴは、インターネットを利用した通信制の高等学校「N高等学校」（N高）のカリキュラムの一つとして、プログラミング教育に取り組んでいる。N高のプログラミング教育の責任者である清水氏、N高生向けに無料で提供している課外授業のN予備校でプログラミング教育を担当する吉村氏、N高生向けの通学制コース「バンタン プログラマーズ・ハイレベル・ハイスクール」（PHH）の責任者である草野氏に話を聞いた。今回は、最初に学ぶべきプログラミング言語やプログラミングの未来について語ってもらった。 最初に学ぶプログラミング言語としてCをやるべきだと主張する人は多い。それについてどう思うか。 清水：Cはもうやらなくていいのではないかと思っている。以前は低レイヤーのシステムプログラミングをしようとするとCやC++が必要だったが、今だとGoやRustといった言語でもシステムプログラミングができる。Cはポインターやメモリ
不安とストレスから解放される見積りとスケジュール方法 - Qiita
エンジニア組織を強くするための本を出版しました Qiitaでエンジニアリングをめぐる様々なコミュニケーションの問題とその解決策や考え方を書いてきた。それらの背後にあるエッセンスをこの度書籍として出版するに至りました。 エンジニアリング組織論への招待 ～不確実性に向き合う思考と組織のリファクタリング この書籍は、エンジニアリングを「不確実性を削減する」という第一原理で捉え直し、様々なエンジニアリングとその間のコミュニケーションをめぐる現象を説明していくものです。 はじめに 何かはじめてのことをする場合、人はとても「不安」を感じます。人は未来を考えることができる生き物です。その特異な能力ゆえに、未来に起こるかもしれないよくないことを考えると「不安」を感じてしまうのです。 仕事のプロジェクトなどは、「間に合わなかったらどうしよう」とか「この仕事はちゃんと終えられるのだろうか。」など、未来のことを
OpenStackのコントローラをKubernetes上にデプロイする
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに OpenStackの運用エンジニアをしている木下です。 今回はマルチプラットフォームCI環境に関する連載の第5弾として、OpenStack上へKubernetesをデプロイする取り組みについて紹介したいと思います。 マルチプラットフォームCI環境の目的は、イメージビルドによってさまざまなプラットフォーム上でサービスを迅速に稼働させる事にあります。そして、連載の中ではプラットフォームとしてKubernetesを中心に紹介をしてきました。 本エントリーでは、OpenStackを一つのアプリケーションと考えて、Kubernetes上へデプロイしようとする試みに関して説明したいと思います。 今回の取り組みに至った経緯 まずは、な
GoogleがApigeeを買収。Google CloudでAPIの外部公開や管理などが容易に
いわゆる「APIエコノミー」と呼ばれる時代がやってくると、多くの企業が自社のサービスをAPIとして外部に公開し、さまざまなサービスに利用してもらうようになると考えられています。 例えば小売業が自社の在庫状況をAPIで公開することで、いちいち営業担当に電話で問い合わせてもらわなくてもよくなり、手間やコストが省けます。製造業なら商品一覧と納期をAPIで公開することで、サプライチェーンのシステムとの連携が容易になるでしょう。 企業がいままで自社システムの中だけで管理していた情報をAPIを通じて公開することで、企業間での取引やシステムに大きな変化と効率性、迅速性、低コスト化などをもたらすことができるようになります。 しかしこのAPIエコノミーの基盤となるAPIを公開するためには、社内のレガシーなアプリケーションの内部情報をモダンなRESTful APIに変換し、接続相手を認証し、アクセス状況の管理
HRzine
HRzine Day（エイチアールジン・デイ）は、人が活き会社が成長する人事のWebマガジン「HRzine」が主催するイベントです。毎回、人事の重要課題を1つテーマに設定し、識者やエキスパードが持つ知見・経験を、参加者のみなさんと共有しています。
Redis モジュールで遊んでみた - Qiita
ついに Redis がローダブル・モジュールに対応する兆しを見せています。Redis の開発者である antirez 氏のブログ記事 Redis Loadable Modules System で 4 ヶ月ほど前に紹介され、antirez/redis の unstable ブランチで精力的に(??)開発されています。 遊んでみようと思ってから早 4 ヶ月、いい加減重い腰を上げて今回触ってみたので紹介したいと思います。 tl; dr Redis モジュールで独自データ型作れる 今回はトライ木作って単語のオートコンプリートやってみた 永続化やレプリケーションも簡単に対応できた 夢が広がる Redis モジュールとは Redis の動作を拡張するためのオブジェクトファイルで、動的にロード/アンロードすることができます。 バージョン違いの Redis に対してモジュールが互換性を保てるように、そし
『AbemaTVでのGKE運用事例のご紹介』
サイバーエージェント公式エンジニアブログをご覧の皆さんこんばんは、技術本部サービスリライアビリティグループの須藤(@strsk)です。最近2016年で3回目の役満、大三元を和がりました。 本日は、9月6日に行われたGCP NEXT World Tour Tokyoにて発表した資料を公開します。 Google Container Engine と Kubernetes で 無理をしないコンテナ管理 from Ryosuke Suto 一緒に登壇したGoogle社のDeveloper Advocate、イアンさんからは、Kubernetesが開発された流れから動作解説、私からはAbemaTVでGKE採用に至った理由と運用してみての感想について発表させていただきました。 Kubernetesはとても便利なDockerのオーケストレーションツールで、開発も活発です。これをマネージドサービスとして
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News