ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog
はじめまして、Azuma（@azuma_alvin）です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3. ログ欠損の原因調査 Fluentdのバッファリングの仕組み fsnotifyを用いたバッファリングの観察 負荷試験 日付時刻フォーマットとワイルドカードによるログ欠損 ログ保存とサーバータイムスタン
「水筒の内側乾かない問題」が400円で解決。無印良品の新作をおすすめしたい理由はね… | ROOMIE（ルーミー）
傾きがあるから効率的に乾かせる！ まずはよく使う水筒を乾かしてみることに。水切りラックに引っ掛けるだけなので、いつでも着脱可能です。 またカゴの内側だけではなく、外側に向かっても設置できます。シンクに向けて下げておけば、余計な水分を直接シンクに流せて便利。 2連になっているので、2つ同時に水筒やタンブラーを乾かせるのも◎。 さらにフックの角度がすこし迫り出すようになっているので、水筒自体が斜めになります。 このおかげで水滴が下に落ちやすく、効率的に水筒の中を乾かせました！ ちなみに今まではポリ袋ホルダーに引っ掛けて乾かしていたのですが、これだと翌日まで乾かないことも多々。 何日間か無印良品のボトルフックを使ってみましたが、毎回しっかりと乾いていましたよ！ ペットボトルや缶のゴミも衛生的に乾かせるんだ ほかにも便利だったのが、洗った容器ゴミを乾かすとき！ これまでは中身を洗ったあと、乾かすた
開発生産性指標を向上させるためにやってはいけないアンチパターン - Findy Tech Blog
こんにちは！ファインディでFindy Team+開発チームのEMをしている浜田です。 昨今、開発生産性を高めるための取り組みを行っている組織が増えてきていると感じています。 開発生産性を向上させるためには、まずは定量的に可視化することが重要です。 可視化することで現状を把握して、開発組織の伸びしろを発見したり、課題を明らかにし、改善活動に取り組みやすくなります。 一方、定量的な指標に焦点を当てすぎてしまい本質的ではない対応をしてしまい、指標は向上したものの実際の生産性は向上していなかったり、むしろ悪化してしまうこともあります。 この記事では、開発生産性指標を向上させるためにやってはいけないアンチパターンについて紹介します。 デプロイ頻度を向上させるために、デプロイプロセスは変更せずに実施回数を増やした デプロイ頻度はDORAが提唱するDevOpsの4つの指標(Four Keys)の1つであ
アイスコーヒーの話｜zenpoly
夏場の在宅勤務は水分の消費が激しい。もともと2つあったピッチャーを1つ増やして3個体制でお茶が常に冷蔵庫にある状態になった上で、さらにペットボトルや紙パックの安いアイスコーヒーを次から次へと買ってはあっという間に飲み干していく。 あまりに飲むので、アイスコーヒーはできるだけ安いほうがいいと思う。味はある程度なら目を瞑ろう、カフェインたっぷりのアイスコーヒーを仕事しながら飲むことが大事なので。一方で緊急事態宣言もあって外食代や酒代を大してかけられず全然楽しくないので、せめてアイスコーヒーにも飲食の楽しみを見出したい。アイスコーヒーなら缶ビール1本程度の金額を出せばそこそこ美味そうなやつが1Lくらい買えるので、どうせ飲むものだからと調子づいて手当たり次第買うようになった。 初めて出会ったアイスコーヒーは写真に撮り、飲んでから味や雰囲気などを都度ツイートした。それらがかなり溜まってアイスコーヒー
旅が面白いのは何が起こるかわからないからだ - Findy Engineer Lab
渡米 メールでやってきた唐突な仕事のオファーに応えて、渡米を決意した。どうしてそう決めたのかと言われれば、口うるさい母親が昔からアメリカに行けアメリカに行けと煩かった事だとか、給料がよかったからとか、ソフトウェア技術者にとっていかにシリコンバレーが特別であるかとか、それらしい理由もないではない。でも、実際には入念な検討は何もなかった。面白そうだからやってみようと思っただけだ。それで良かったと思っている。若さというのは、無知で無謀なものだ。でも、そのおかげで人生が思わず開けたりするのが、面白いところだ。 その決断の結果、僕の人生は一変した。これを機に、付き合っていた女性と結婚する事に決めた。2001.1.1という日付も縁起が良さそうではないか。誰もいない区役所に婚姻届を出し、近所のコンビニで肉まんを買って食べて結婚を祝い、数日後の飛行機に乗って、冬とは思えぬまばゆい陽光につつまれたサンフラン
母を救ったサーティワン 子育ての限界、お店で泣いてからもう14年：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
DockerのMySQLで日本語入力ができなかった話 - Qiita
ローカル環境を汚さずにMySQLの動作検証をサクッとしたかったので、Dockerを使うことにしました。 やりたい検証は単純なものだったので「わざわざDockerfileを準備しなくても、ベースイメージから直接コンテナを起動すればいいか」と思い、以下のコマンドを実行しコンテナを起動→MySQLに接続しました。 $ docker run --name mysql_container -e MYSQL_ALLOW_EMPTY_PASSWORD=true -d mysql:8.0.36 $ docker exec -it mysql_container bash bash-4.4# mysql mysql> ここまでは、何の問題もありませんでしたが、日本語を含んだSELECT文を実行する際に、問題が発生しました。 以下のように「あ」を入力中、確定するためにEnterを押すと「あ」が消えてしまうので
AWS Step Functions で同時実行数制御を行う方法
🤔 どんな人向けの記事か ☑︎ これから AWS Step Functions で定期バッチのワークフローを構築したい人 ☑︎ AWS Step Functions の同時実行数制御を行いたい人 🐈⬛ 背景 AWS Step Functions(以下、Step Functions)のユースケースの一つとして、EventBridge Schedulerと組み合わせた定期バッチの実行があります。 EventBridge自体の実行保証は、1回以上となっています。そのため、スケジュールしたイベントが複数回発行されるケースが存在します。また、定期バッチを行う場合、特定のタイミングでバッチの実行時間が長くなり、実行中に次のバッチが開始されることがあります。 基本的には、冪等性を保つことで重複実行されても問題ない実装をアプリケーション側で行うことが重要ですが、冪等性のある実装でも、実行コストが高い
ワークフローツールを AWS Step Functions に移行した話 | CyberAgent Developers Blog
AI事業本部の協業リテールメディアdivでソフトウェアエンジニアをしている 中澤 といいます。直近では、プロダクト開発以外にAI 事業本部の新卒研修の運営を行なったりもしていました。 私が所属しているチームで最近、定期バッチを行うワークフロー管理ツールを AWS Step Functionsへ移行したので、移行の背景や得た知見を記事として公開します。 移行前の構成 私たちのチームでは、ワークフロー管理ツールを AWS Step Functions に置き換える前には、Prefect を使っていました。 Prefect に関しては、弊社ブログの別記事があるので、Prefect について知りたい方はそちらも参考にしてみてください。 Prefect を利用している時の構成では、Prefect 側でワークフローのスケジュール管理やワークフロー内のタスク実行を Prefect、実際のワークフローのタ
「杉並区で人気のラーメン」ランキング！ 2位は油そばがおいしい「あぶら～亭 桜上水店」、1位は？【2024年6月版】（ねとらぼ） - Yahoo!ニュース
自身が訪れた場所について評価とクチコミなどの投稿を通じて、自らの体験を共有できるGoogleマップ。経路の検索以外にも、より良いお店探しのツールとして活用できます。今回は東京都杉並区でおすすめのラーメンを探している人に向けて、Googleマップ上で人気のお店を紹介します。 【画像：「杉並区で人気のラーメン」ランキング20位～1位を見る】 なおこのランキングは、Googleマップに寄せられた「ユーザー評価」「クチコミ件数」「価格フィルタ」「評価フィルタ」などに基づいて作成された、2024年6月6日時点のものです。ではさっそく上位の結果を見ていきましょう。 ●第2位：あぶら～亭 桜上水 本店（4.3pt／1247クチコミ） 第2位は杉並区下高井戸の「あぶら～亭 桜上水店」でした。京王線桜上水駅から徒歩2分ほどの場所にあるお店。店内は活気に満ちており、スタッフの元気な声が迎えてくれます。メニュー
AWS FireLensってなんだ？ - Qiita
What's？ AWS FireLensについて、知っておきたかったので軽く調べてみました、と。 AWS FireLensとは？ AWS FireLensとは、2019年9月に発表された、Amazon ECSで使用できるログルーターのことです。 Firelens の発表 – コンテナログの新たな管理方法 タスク定義の中に含めてサイドカーとして配置しつつ、他のコンテナからはログドライバーとして使用します。 カスタムログルーティング AWS FireLensからは、Amazon CloudWatch LogsまたはAmazon Kinesis Data Streams、Amazon Kinesis Data Firehose、そして別のFluentdやFluent Bitに転送することができます。 以下のタスク定義サンプルは、Firelens の発表 – コンテナログの新たな管理方法からの抜粋
explainだけじゃわからない！MySQLのindexの考え方 - BASEプロダクトチームブログ
はじめに こんにちは、バックエンドエンジニアのSakiです！バックエンドでPHPを書いたり、PHPという言語そのもののメンテナーもしています。 この度、注文データダウンロードAppのパフォーマンスをアップさせるため、とても入念にデータベースまわりの処理を見直しました。その中でも特に速度に関わってくる「index」についての考え方をまとめたいと思います。 この記事はMySQL（InnoDB）についての記事であり、他のRDBについては当てはまらない場合もあるということにご注意ください。 indexとは何か、おさらい ご存知の方ももちろん多いと思いますが、indexについておさらいさせてください。 indexとは辞書でいうところの目次に相当するもので、目的のデータをいち早く検索するために重要なものです。もし辞書に目次が存在しなかった場合、目的の情報を探すのにとても苦労するだろうというのは想像しや
DockerコンテナにSSH接続する方法
Dockerコンテナを利用することで、アプリケーションの実行に便利な隔離された環境を確保することができます。そこでは、高いレベルでの一貫性と移植性が保証されます。Dockerコンテナで作業する際には、そのシェルの接続や検査が極めて重要です。そうすることで、コマンドの実行、問題のトラブルシューティング、コンテナの動作のリアルタイム監視が可能になります。 この記事では、メンテナンスやアップデートのためにローカルやリモートのDockerコンテナにアクセスする方法についてご説明します。 コンテナアクセスが欠かせない理由 コンテナへのアクセスは、コンテナ化された環境における効果的な管理とトラブルシューティングに不可欠です。コンテナのログやランタイム情報を分析し、簡単にエラーを特定して解決することが可能になります。 また、コンテナにアクセスすることで、設定の更新、パッケージのインストール、その他の管理
『ドメイン駆動設計をはじめよう ―ソフトウェアの実装と事業戦略を結びつける実践技法』が出版されます - Magnolia Tech
ドメイン駆動設計をはじめよう ―ソフトウェアの実装と事業戦略を結びつける実践技法 作者:Vlad KhononovオライリージャパンAmazon 2021年にO'Reilly Media, Inc.から出版された「Learning Domain-Driven Design」の待望の日本語訳『ドメイン駆動設計をはじめよう ―ソフトウェアの実装と事業戦略を結びつける実践技法』がついに出版されます。 www.oreilly.com 訳者は、増田 亨さん！！ 2020年代に、ドメイン駆動設計を学ぶための最初の入り口としてどの本を読めば良いかは、かなり悩ましい...というのはよく言われるのですが（元祖のエバンス本はさすがにだいぶ古くなってきたし、回りくどい表現も多いし...）、そんな時におすすめできる1冊です。 2021年に原著が出版された時に買ってざっと読んでいたのですが、パート1で戦略的DDD（
MySQL/Aurora/TiDBロック入門 – 第１回トランザクション分離レベル｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
MySQL/Aurora/TiDBロック入門 – 第１回トランザクション分離レベル MySQL InnoDB および AWS Aurora や PingCAP TiDB におけるロックの仕組みやトランザクションの動作を全１１回のシリーズで解説します！ 最初はベースとして重要な MySQL 8.0 InnoDB 前提でユーザー視点でのロックの仕組みを学び、後半第１０回以降では MySQL 互換 DB として人気の高い AWS Aurora や PingCAP TiDB と MySQL InnoDB との違いについて学びます。 １回目の今回はロック機構と切っても切り離せないトランザクションとその分離レベルについて、実際に挙動を確かめながら解説します。ライブ感のある説明も理解に役立ちますので、解説動画も付けてみました。合わせてご覧ください！ ★ 第１回 トランザクション分離レベル ★ 第２回 ロ
「親に愛されたい」気持ち、必死に捨てた 毒親と闘う39歳弁護士：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
AWS CodeBuildのPROVISIONINGフェーズが遅い問題
TL;DR Amazon Linux2ではなくUbuntuを使う instance typeをgeneral1.smallからgeneral1.largeに変えてみる Imageのversionを例えばAmazon Linux 4系から3系に下げる そもそも抜本的な解決にならないのでGitHub Actionsなど別のサービスに乗り換える 背景と問題 仕事でAWSを利用しており、Docker containerのビルドやデプロイにAWS CodeBuildを利用しています。 https://aws.amazon.com/jp/codebuild/ 最近ではGitHub Actionsが増えてきており、そちらの方が良い気もします。 極力AWSに統一しておいた方が見通しやメンテナンス性、Image転送のネットワークの近さなど色々と有利だと思いCodeBuildを採用したのですが、どうにもビルド
重度自閉症で言葉を話せない僕 タブレットで入力した「夢は小説家」：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
AWSでストリームデータを扱うためのメッセージングサービス - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスの概要と、ストリームデータを扱う際の選択基準を紹介します。 なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照ください。 投稿一覧: 1. AWSでストリームデータを扱うためのメッセージングサービス (本投稿) 2. AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 3. AWSのKinesis Data
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめに
