オンプレミスKubernetes環境でのDatadogのデータ欠損を解消した話 - pixiv inside
はじめに こんにちは。インフラ部のlyluckです。 この記事ではオンプレミスKubernetesクラスター環境のデータがDatadogへ送りきれず欠損した現象と、その解消方法について紹介します。 背景 ピクシブでは2023年からオンプレミスKubernetesクラスターが稼働し始めました。 徐々にクラスター上で稼働するサービスが増えつつあります。今では10ノードほどの規模のクラスター上で10程度のサービスが稼働しており、常に300台ほどのPodが起動しています。 クラスターやクラスター上のリソースの監視にはDatadogを利用していましたが、時間帯によっては監視データが欠損することが問題になりました。 リソースの監視に支障をきたしたり、意図しないアラートのトリガーが発生してしまったりしたため、この問題に対応することになりました。 まとめ クラスターチェックランナーを使ってKubernet
「入門機械学習パイプライン」にSagemaker Studio Labで入門する | Amazon Web Services
前半の章では、これらの各ステージの意義とTFXを用いた実装を主として取り扱っています。 第３章ではExampleGenを用いた構造化・非構造化データの取り込み方法とベストプラクティスが紹介されています。 それに加えて、取り込んだデータをトレーニング、評価、テスト用に分割する方法や、データセットのバージョン管理についても解説があります。 第４章ではTensorFlow Data Validation (TFDV)を用いてデータセットの検証を行っています。 TFDVを用いてデータから要約統計量を計算し、データセットを表現するスキーマを生成しています。また、スキーマを元に同じ種類の２つのデータセット間（学習データセットと検証データセットや別日に収集された学習データセット）の差が許容されるものであるかをチェックしたり、TFDVを用いてデータセットを選択した特徴量でスライスし、データセットのバイアス
Windows 10/11を「パスワードレス」で運用する環境でのファイル共有 (1/2)
Windowsのネットワークで新しく接続したマシンのアイコンをクリックして開こうとすると、何回もパスワードを聞かれることがある。しかも接続先マシンに存在するユーザー名とパスワードを入れても「パスワードやユーザー名が違う」と言われたりもする。ところが別のマシンからは、すんなりと同じユーザー名でアクセスができるのだ。ユーザー名とパスワードの間違いではないのである。筆者の環境であったこの件について今回調べた。 エクスプローラーのネットワークで、マシンを選んで開こうとすると、ネットワーク資格情報の入力ダイアログが表示され、正しいユーザー名、パスワードを入れても先に進めないことがある なお、ファイル共有やユーザー認証に関しては、ドメイン環境とワークグループ環境で大きく違う。ここでは、会社などで利用しているドメイン環境（Active Directory環境）は対象外とさせていただく。 原因の1つはMi
Few willing to change lifestyle to save the planet, climate survey finds
People generally saw themselves as much more committed to the environment than others in their local community, or any institution. Photograph: Emanuele Cremaschi/Getty Images People generally saw themselves as much more committed to the environment than others in their local community, or any institution. Photograph: Emanuele Cremaschi/Getty Images
テレワーク環境の可視化 - sparkgene’s blog
2020年3月からテレワーク(Work From Home)が始まり、常時同じ部屋にいることも増えたこともあって、いくつかのデバイスを24/7で稼働させることを始めたけど、やりたかったとこまで一旦終わったのでブログにまとめてみました。 現在はこんな感じにモニターの下に置いて使ってます。 室温と湿度の可視化 まず最初にやったのが、M5StickCにFreeRTOSを入れて、DHT11センサーモジュールで室温と湿度を収集し、Raspberry Pi 3上で動いているAWS IoT Greengrass v1(v1.11.0)を経由してAWS IoTにデータを送っている。 IoT Coreで受け取ったデータはRuleの設定で、AWS CloudWatchのメトリックスとして登録され、その情報を使ってダッシュボード機能で可視化した。 ついでにAmazon QuickSightでも見れるようにしたか
製造業の働き方改革とは？改革すべき理由やポイントをわかりやすく解説 | 働き方改革ラボ | リコー
この記事は、見やすく再編集・資料化したPDFダウンロード版も配信しています。 法整備などの施策によって国が推進する働き方改革。人材不足や生産性向上といった課題を抱える製造業においても、働き方改革が必要とされています。その取り組みを進める上では、製造業独自の背景を理解することが不可欠です。そこでこの記事では、製造業の働き方改革についてわかりやすく解説。自社での施策を検討する際に、ぜひお役立てください。 ※2021年1月公開記事にダウンロード資料を追加しました 働き方改革とは働き方改革とは、生産性向上によって残業時間の短縮や有給休暇の取得を促し、働きやすい環境を実現すること。働く人が自分に合った働き方を選べる環境作りも推進されています。2019年4月には、職場環境改善や多様な働き方の推進を目的とする働き方改革関連法が施行。法整備を中心に政府が推進する取り組みを「働き方改革の三本柱」で説明します
[OSINT]shodanを使ってハニーマンションを探せ｜__aloha__
はじめに こんにちは。7月下旬、セキュリティベンダー等のBlogを巡回していた際、ちょっと面白いBlogを発見しました。それがマクニカさんのBlog「ハニーマンション」です。 Blogのタイトルも惹かれたのですが、さらに本文の一文にも。 そうですか、特定しろとよみました。これはマクニカさんが出したOSINT CTFなんですね、と即座の理解しました（そういうフリにしか読めないです）。ということでこれに挑戦したWriteUpを書きます。 １章 FLAGの設定 このBlogから、こんな課題を勝手に設定しました。 ①ハニーマンションのIP/ネットワークを特定せよ ②ハニーマンションの立地を特定せよ 山崎さんの部屋まで特定せよ、という課題にしようかと思ったのですが、答えを得るのは現地まで行って表札の有無から確認する必要がある＝刑法に触れる可能性もあり、難しいと考えて止めておきました。そして、今回使
![[OSINT]shodanを使ってハニーマンションを探せ｜__aloha__](https://cdn-ak-scissors.b.st-hatena.com/image/square/0a2bb7b36786021becc517c3f55a0929ba03c96c/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F33673739%2Fpicture_pc_e003d23297974f7772d42b078a100823.png)
(元)データサイエンティストらしく、見える化をしてみたって話 - ecbeing labs（イーシービーイング・ラボ）
この記事は前回（TSTSTS）の続きです。 前回の記事は ↓↓↓↓↓こちら↓↓↓↓↓ blog.ecbeing.tech はじめに ブンブンHello World. 最近はフロントエンドよりのコーディングにハマりつつある開発です。 どうせフロントエンドやるなら、見た目に凝った何かを入れたい。 だってフロントエンドだもの。 そんな感じで今回は、実行結果をグラフにしてそれっぽい感じにする方法をまとめたいと思います。 見える化、出来ていますか？ はじめに 前回までのあらすじ TS入門してみた 課題点 vue-chartjs Vue.js vue-chartjs 何はともあれ実装 環境構築 vue-chartjsのコーディング 合☆体 結果 おわりに 前回までのあらすじ 多くの方にご覧いただけいるようで、感謝の極みです。 前回の記事を簡単に一言で説明すると、TypeScriptに入門してみました。
Dockerでデータ分析環境を手軽に作る方法 - 天色グラフィティ
何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
水産養殖の自動化を目指すウミトロンは、やがて訪れる「タンパク質不足の時代」に挑む