Splunk 内部アーキテクチャ - Qiita
はじめに Splunkの内部で起こっていることをログ取り込み時の処理と検索時の処理に分け、解説してみます。 Splunkは大量のログでも非常に高速かつ柔軟に検索、データ加工ができます。この魔法は2段階の処理で実現しています。 1) 大量のログから欲しいキーワードを含む行(イベント)を抽出する 2) 得られたイベントからデータを取り出し加工する 今回 1)について解説し、2) についても一部触れます。 .conf 2016のイベント資料(Behind the Magnifying Glass: How Search Works)に基づいて解説します。 外観 Splunkは主に3つのコンポーネントから構成されています。 サーバーやネットワーク機器からログをIndexer(インデクサー)に飛ばすforwarder(図下)。 Forwarderから飛んできたログを受け取り、検索しやすいように加工す
Splunk: タグの使い方 - Qiita
実施環境： Splunk Free 8.2.2 Splunk での検索において、複数の値を1つのグループとして扱いたい場合があります。 例えば、ある部門に属するホスト群や、ある権限を持つユーザ群をまとめて検索する場合です。 このようなときに役立つのが、タグという機能です。 1. 概要 タグは、フィールドと値のセットに対して付与されます。1つのタグに対し、フィールドと値のセットは複数設定できます。 例えば、ユーザ「 taro 」と「 hanako 」がグループAに所属しているとします。 この場合、「 user=taro 」と「 user=hanako 」両方に「 GroupA 」というタグを付与すれば、「 GroupA 」というタグを指定するだけで「 taro 」と「 hanako 」両方を検索できます。 さらに、ユーザとタグは N 対 N の関係にあり、フィールドと値のセット1つに複数のタ
Splunk: tonumber関数とtostring関数の使い方 - Qiita
実施環境： Splunk Free 8.2.2 0. 概要 Splunk の評価関数には tonumber 関数と tostring 関数の2つの関数が存在します。 名前的には変数の型を数値や文字列に変換するもののようですが、実はそうではありません。 今回はそんな2つの関数について解説していきます。 1. Splunk における変数型 そもそも、 Splunk において変数の型は Splunk 側である程度柔軟に処理してくれるため、意識することはまずありません。 | makeresults count=1 | eval NUM = 1.2, STR = "1.2" | eval NUM_IF_NUM = if( NUM > 0, "OK", "NG"), STR_IF_NUM = if( STR > 0, "OK", "NG"), NUM_IF_STR = if( LEN(NUM) ==
Splunk: ワークフローの使い方 - Qiita
実施環境： Splunk Free 8.2.2 0. 概要 Splunk には、ワークフローという機能があります。 これは stats コマンド等を使用しない単純な検索時に使用できる機能で、フィールドの値を Splunk の内部/外部に受け渡すことができます。 この機能を利用すると、例えば発見したエラーメッセージをそのまま検索したり、問題のありそうなホストに絞ってログを調査したりすることが可能です。 今回はこのワークフローという機能について紹介します。 1. ワークフローの種類 ワークフローには大きくわけて3つの種類があります。 外部への受け渡し GET ： URL の末尾にパラメータを入れる POST ： 「メッセージボディ」にパラメータを入れる 内部への受け渡し Search ： SPL にパラメータを入れる GET / POST の細かい説明はここでは省きます。 詳しく知りたい方は、
Splunk: サーチマクロって何だ? - Qiita
実施環境： Splunk Free 8.2.2 0. 概要 Splunk には、マクロ(サーチマクロ)という機能があります。 この機能は、 SPL 文でよく使用するパーツを簡単に使いまわせるようにするものです。 今回はそのマクロ機能について紹介していきます。 1. 設定方法 まず、「設定」から「詳細サーチ」を選択します。 「詳細サーチ」画面で、「サーチマクロ」を選択します。 作成済みのサーチマクロの一覧が表示されます。 今回は新規作成となるので、右上の「新しいサーチマクロ」を押します。 マクロの作成画面が表示されます。 各項目の説明は次の通りです。 宛先 App (必須) : マクロを使用できる App 名 名前(必須) : マクロの名前、引数を使用する場合は特殊な規則あり 定義(必須) : マクロが対応する SPL パーツ eval ベースの定義を使用しますか?(チェックボックス) :
自作した時間割アプリが大学の公式アプリに採用された話 - Qiita
記事の概要 私（芝浦工業大学学部4年生）が大学２年時に1人で制作した、大学のポータルアプリ（ポータルサイトからスクレイピングして時間割などを表示する）が、大学に正式採用され、公式アプリ"ScombApp"としてリリースされるに至った経緯を時系列順に説明します。 ホーム画面 時間割画面 制作の動機 大学のポータルサイト使いにくいがち。 ポータルサイトのスマホアプリ版があれば便利そう。 他にやってる人いなさそうだし、最初に作ったらみんな使ってくれそう。 ポータルサイトの問題点 大学ポータルサイトで使いにくかった点を挙げていく。 とりあえずこれを克服することを目標にした。 ログインの時に自動補完が使えない 制作当時はBASIC認証で、スマホからだとログインの自動補完ができなかった。 毎回手打ちでパスワードを入力している人がほとんど ←！？ 次の授業や教室を確認するだけでも、毎回手打ちログインが必
退職ツイートした時の反応と感想をまとめてみた - Qiita
会社を辞めることにしたのですが、そのタイミングで退職ツイートをしました。その反応と感想を書いてみました。 現職のときには、エンジニアの採用担当として退職ツイートの当事者の体験に興味を持っていたのですが、今回は自分が当事者になる数少ない機会だったので、当事者が分かる情報や感情などをお伝えできればと思っています。 N=1の情報ですが、１つでも実例と具体的な数字や意見があると議論の仕方が変わると思うので、１つの事例としてエンジニアの採用担当の人やエンジニアの人の転職など、何かの機会の参考にしてもらいたいです！ 退職ツイートをした 対象のツイート 去年(2023年12月)にこのツイートをしました！ スタートアップの一部で流行している退職時にはオフィスのビルの写真を撮って載せるのもやりました。こういうミーハーなのも好きなんです。 いいね数も500近く付き、インプレッション10万も。凄い！ Xの端っこ
中途入社や部署異動で来た新メンバーを活躍しづらくするアンチパターン - Qiita
1. はじめに ソフトウェア開発のチームに、新しいメンバーが入ってくることはよくあります。 以前に新卒社員がチーム入ってきた場合の育成方法を紹介しました(こちら)。 今回は、新卒社員ではなく、他の会社から中途入社か同じ会社の部署異動で来る新メンバーの話です。 (エンジニアが数百人などで規模が大きい会社の場合、部署が違うと仕事のやり方が全く変わる場合があるので、今回は中途入社と他の部署からの異動を同じように「新メンバー」として扱います) 会社や部署が変わると仕事のやり方が大きく変わるため、仕事のやり方に戸惑うことが多いと思います。 本稿では、そのような「新メンバー」を活躍しづらくしてしまうアンチパターンとその対策を紹介します。 2. 中途入社や部署異動で来た新メンバーが適応することの困難さを理解する 中途入社や部署異動で来た新メンバーが組織に適応することは、新卒社員のそれとは別の難しさがあり
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その3 AWS固有の優位性について) - Qiita
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その3 AWS固有の優位性について)AWSAzureGoogleCloud はじめに 今年のはじめに書いた3大クラウドの比較シリーズに関して長いこと続編を書いてませんでした...。 最近、知人/友人のみならず取引先からも「AWSやGCPに関して続編書かないんですか？」と言われることが増えてきたので、今回はAWSを本番運用していて感じたAWS固有の優位性について感想を述べていきます。 AWS 固有の優位性 周知の事実ではありますが、AWSは長年クラウドベンダーとして世界トップシェアを維持し続けています。 AWSをクラウド基盤として利用しているサービスを一切利用せずに1日を過ごすことは不可能なんじゃないかというレベルで日本国内では利用されています。 もはや電気/ガス/水道等の社会インフラに近い状態です。 そして
ソルト付きハッシュのソルトはどこに保存するのが一般的か - Qiita
pictBLandとpictSQUAREに対する不正アクセスがあり、パスワードがソルトなしのMD5ハッシュで保存されていたことが話題になっています。 2023年8月16日に外部のフォーラムにpictSQUAREより窃取した情報と主張するデータ販売の取引を持ち掛ける投稿が行われた（中略）パスワードはMD5によるハッシュ化は行われているもののソルト付与は行われていなかったため、単純なパスワードが使用されていた29万4512件は元の文字列が判明していると投稿。（それ以外の26万8172件はまだMD5ハッシュ化されたままと説明。） 不正アクセスによるpictBLand、pictSQUAREの情報流出の可能性についてまとめてみた - piyolog より引用 これに関連してMD5ハッシュやソルトに関するツイート(post)を観察したところ、どうもソルトの理解が間違っている方が多いような気がしました。
AT Protocol (BlueSky Social)仕様解説 ～ W3C DID仕様を添えて ～ - Qiita
結論 まだMastodon以下の機能実現状況なので、SNS目的で参加するのはNostr以上に勧めしません。 API叩いて遊べる人や、自分で問題解決できる人向け ※現在、基本機能も完成していないためクローズドβ中です。 公式サーバーの作成には、既存ユーザーに発行される招待コードが必要です(2週間に付き1個) 有志の非公式サーバーもそちら用の招待コードが必要になりました。 まだまだ仕様も未完成！！！破壊的変更も色々起きるぞ！ ※コードを買ってまで参加するものではないと思います。開発やフィードバックに協力できる人のみ参加すべき。 はじめに Twitterの動乱に巻き込まれ、移住先にMisskeyやMastodonなど選ばれつつある今日このごろ、皆様いかがお過ごしでしょうか。 つい先日、BlueSkyのクローズドベータが開始されました。 BlueSkyは、Nostr同様Twitter創設者のジャッ
先輩にネガティブフィードバックしづらい問題 - Qiita
最近の若者、優秀すぎる問題 最近、優秀な新卒エンジニアさんが本当に多いです。 毎年どんどんレベルが上がっているように感じます。 それによって会社がパワーアップするのは素晴らしいのですが、逆に懸念事項もあります。 小中学生の頃からプログラミングをやっている 地頭も良い プログラミングに対するモチベーションも高い ↑こんな若者が多過ぎて、先輩よりレベルが高かったりします。 そうすると、タイトルのような問題が起きます。 先輩にネガティブフィードバックしづらい問題 私のような、40歳くらいのヘッポコプログラマーが先輩なのです。 そうすると若者たちにとっては、かなりやりづらいのです。 そこで、この記事では「40歳おじさんエンジニアに対してネガティブフィードバックを上手く伝える方法」を紹介します。 40歳おじさんエンジニアの生態 ドラゴンボールが好き 40歳おじさんエンジニアは全員ドラゴンボールが好き
Terraform v1.4でのTF_PLUGIN_CACHE_DIRと.terraform.lock.hclの挙動変更 - Qiita
はじめに Terraform v1.4がリリースされました。 上記のアナウンスでは特に言及されてないのですが、v1.4のUpgrade Guideに以下のような記載があり、TF_PLUGIN_CACHE_DIRと.terraform.lock.hclの組み合わせの挙動が若干変更になっています。 Provider caching during terraform init This change affects those who rely upon global provider caching and not the dependency lock file. terraform init now ignores entries in the optional global provider cache directory unless they match a checksum alr
ChatGPTで挑戦！週刊AWSを再現したら、AWSさんが涙目になりそうな件 - Qiita
1.はじめに 先日投稿した、以下ChatGPTにサーバレスAPIを作成させた記事は色々反響があり、その続編です。 週刊AWSの再現に挑戦 週刊AWSとは AWSは、日々サービスのアップデートが行われていて、AWSエンジニアのみなさんは、最新情報のキャッチアップが大変かと思います。 そんなAWSエンジニアの皆さん向けて、AWSソリューションアーキテクトの下佐粉さん・小林さんが毎週AWSのアップデート情報を週刊AWSという形でまとめられていて、ブログ掲載されています。 主要なアップデートをわかりやすく、コンパクトにまとめて頂いていて、この記事を中心に最新情報のキャッチアップしている人も多いのでは無いでしょうか？自分も大変お世話になっています。 ChatGPTの活用の一つとして、文章の要約に向いているという事をよく耳にしますが、もしかして週刊AWSも再現できるのでは？と思ってやってみました。 G
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その2 Azure固有の優位性について) - Qiita
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その2 Azure固有の優位性について)Azure 3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その2 Azure固有の優位性について) はじめに 前回記事で3大クラウドに関して、各々のクラウドのシェアと将来性に関して感想を記述したところ、トレンド1位になったりと大変大きな反響をいただきました。 長い記事であったにも関わらず、目を通してくださった読者の皆様ありがとうございます！ しかしながら、予想外のバズり方をしてしまってだいぶハードルが上がってしまったのと、ちょうど弊社でインパクトの大きい経営施策(シリーズBの資金調達/事業譲渡)が立て続けに執行されたことが相まって、記事第二弾の投下が遅くなってしまいました。 楽しみにしてくださっていた方々、申し訳ございません。 今
Ansible で vCenter 構築する日記 - Qiita
まえおき ある日、僕たちの使っていた vCenter が吹き飛びました。 頑張って復旧した結果、前と少し違うものが出来上がりました。 そのとき僕は思ったのです。ansible や terraform で構築できないのかなと これは ansible で vCenter、さらには vSphere cluster を構築できないか、検証した記録です サンプル実装はこちら。 １日目 - vCenter VM をデプロイする準備 まずは何はともあれ、vCenter がない状況から、vCenter を生み出さなければなりません。ansible でやるか、terraform でやるか迷ったので、どちらも少し試してみました。terraform は vsphere_virtual_machineモジュールの、ovf_deployを使ってできないかなと思ったのですが、このモジュールは既に vCenter があ
やはり俺の情報教科書はまちがっている。 - Qiita
目次 はじめに 個人を特定する情報が個人情報じゃない デジタル署名は暗号化しない TLS(SSL) は共通鍵を公開鍵で暗号化しない TLS(SSL) が使われていれば安全じゃない 変数は箱じゃない Python 等は「ソースコードを 1 行ずつ実行するインタプリタ方式」じゃない 日本語 1 文字は 2 バイトじゃない 動画が動いて見えるのは残像によるものじゃない 標本化定理は「2 倍以上の周波数」じゃない その他いろいろ はじめに 2022 年から高等学校で、プログラミング等を学ぶ「情報Ⅰ」が 必修 必履修科目になりました。1 さらには 2025 年入試から大学入試共通テストでも出題されるようになり、教科「情報」の重要性が高まっています。 これで 2030年に79万人不足すると言われる IT 人材 の問題が解決！…と言いたいところですが、先日も『課題感ある教科1位「情報」』という調査結果が
Athena（Presto）のエラーメッセージの原因の解決方法のまとめ（2022年版） - Qiita
弊社では各プロジェクトの大半がAWSに統一されているため、エンジニア以外の方が分析やログ確認などをされる際にAthenaなどを利用されることが多めです。 一方でAthena（Presto）ではエラーメッセージに対する解決策を調べようとするとStack Overflow上の英語のケースが多めだったり、エラー内容がエンジニア側からしても直観的ではない（瞬時に内容を把握してSQLの修正が効かない）ケースがあります。特にエンジニア以外の方からすると英語のStack Overflowなどよりも日本語で丁寧な解決方法があるとUXが良くなります（多分）。 弊社のAthenaをバックエンドで使ったBI上などでは英語のエラーメッセージに日本語のメッセージも併せて表示されたり解決策などを細かく表示したりしているのですが、その辺は世の中に記事として公開していた方がAthenaユーザーの皆さまにとって役立つのでは
AWS マネジメントコンソールで大事な情報を隠す動的マスキング - Qiita
はじめに AWS マネジメントコンソールには、ユーザー名や AWS Account ID やクレデンシャルなど、あまり他の方に見られたくない情報が表示されます。技術ブログに投稿するためのスクリーンショットやライブデモなどで、こういった情報を自動的にボカシ・モザイク・マスクを入れることが出来ます。 次のようなユースケースに便利です。 技術ブログの執筆のために、手動で AWS Account ID を隠すのが面倒 デモで画面共有を見せるときに、見られたくない情報をかくしたい 動画撮影したいけど、あとからマスク処理するのが面倒 次の URL で、ソラコムのテクノロジー・エバンジェリスト 松下さんが紹介されている方法を参考にしながら、AWS マネジメントコンソールでの動作を確認してみます。 https://blog.soracom.com/ja-jp/2021/08/12/dynamic-mask
AWSで2022に打破されたアンチパターン - Qiita
TLDR AWSで2022年の1月から9月までのアップデートが多数ありました。私（と、何人かのサポーター）が考えた、この期間内の打破されたアンチパターンを紹介します。32項目ありました！ アンチパターンって何よ？ 「AWSでこうしたい」という思いからAWSを使っていく方は多いはずです。 そのなかで、数多くのAWS使いこなしの工夫が生まれ、成功例が生まれていきました。AWSのサービスとして提供されていないことを工夫でなんとかした、そんな成功例たち。それが「秘伝のタレ」となり、「さわってはいけないもの」、あるいは「ロストテクノロジー」として、封をしたパターンとなっていないでしょうか？ 動作やプロセス、構造について、当初は妥当であったのに、最終的に悪い結果が繰り返されるパターンであり、リファクタリングするための方法が存在するパターンこそがアンチパターンです。サービスアップデートされれば、いままで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
