こんにちは、はてなでWebアプリケーションエンジニアをやっている id:polamjag です。 最近のはてなでは、若手エンジニアを中心として、いろいろな技術を見つめ直すワーキンググループをやっています。先日、id:onk も「デプロイ今昔」という記事を書きましたが、このエントリーはそのシリーズの続きで、ワーキンググループの「ログ」の回で議論したこと・話題になったことをまとめました。 Web開発におけるログを見つめ直す ログを4つの目的で分類する 目的ごとに求められる取り扱いの要求水準 いまどきのログフォーマットについて まとめ：どう実装するかを模索していく Web開発におけるログを見つめ直す Webサービス（Webアプリケーション）の運用には、多種多様なログがついてまわります。多くのミドルウェアは何もしなくてもそれなりの量のログを出力しますし、クラウド上のマネージドサービスも然りです。行

こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築するのか データ基盤が“壊れている”とはどういうことか 壊れてないだけでなく、壊れたら気付ける 前提とするシステム構成 壊れたことに気付けるよう監視する 1. バッチジョブが失敗したことに気付く 2. 投入されたデータの性質を監視する 3. ビューが壊れてないかを監視する 4. 利用状況を監視する そもそも壊れてない状態を保つ 1. データリネージを元に修正できるようにする 2. 使われていないテーブルやビューは定期的に掃除 おわりに 参

リアルタイムには情報を追っておらず、お知らせ一覧等から調べているため抜けがあるかもしれません。 ルールは以下。 公共性の高いものを載せています WGや研究会の純粋な活動報告書、個別のインシデント・脆弱性は載せていません 情報源はこの辺。 security.nekotricolor.com 政府機関 経済産業省 エネルギー・リソース・アグリゲーション・ビジネスに関するサイバーセキュリティガイドライン 2019/12/27 総務省 文書タイトル 公開日 我が国のサイバーセキュリティ強化に向け速やかに取り組むべき事項(緊急提言) 2020/01/28 IoT・5Gセキュリティ総合対策 プログレスレポート2020 2020/05/22 Wi-Fi利用者向け 簡易マニュアル（令和2年5月版） 2020/05/29 Wi-Fi提供者向け セキュリティ対策の手引き（令和2年5月版） 2020/05/29

こんにちは。きびです。ついにnoteをはじめました👏 この記事では、共創やイノベーションの場を研究している私が、素晴らしい！！と思った4つの事例を「パーパスモデル」を通じて紹介します。 というのも、先日Twitterで研究中の「パーパスモデル」について呟いたところ、予想以上の反響を頂いたので、なぜこのモデルを作ったのかも含めて少しまとめてみました。 事業やプロジェクトにおけるステークホルダーとその役割、個々の目的、そして共通目的を可視化するツールを図解総研と考えている〜〜〜 経済合理性だけじゃなく、目指す方向についての議論がもっとできるように💭 試しに3つ推し事例を分析してみた🙌#パーパスモデル pic.twitter.com/JoHm6eID3T — きびゆりえ｜人と場と目的をつなぐ (@kibiyurie) June 25, 2020 パーパスモデルの意味と図の見方PURPOSE

はじめに 最近、Next.jsを触っています。Reactベースのアプリケーションフレームワークで、React単体では難しいServer Side Renderingや、事前にコンテンツを生成するStatic Site Generation機能を持っているため、SEOを考慮したSingle Page Applicationを構築しやすいのが特徴だと考えています。 加えてDeveloper Experienceも高い印象です。具体的には、TypeScriptサポートがほぼ完璧な状態で組み込まれており、ほぼ設定不要でそのまま使えます。TypeScriptに限らず、npm installするだけで残るはNext.jsが設定類をまるごと面倒見てくれるため、ツールキットの習得に時間がかからないのが良いですね。 そんなNext.jsで色々アプリを作ったあと、コンテナで動かしたくなったため、Dockerf

今まで、バンクーバー→バルセロナ→シンガポール→香港で働いてきました。それでいろいろな職場を見てきたので、海外のゲーム会社であった制度について、列挙してみました。 日本の会社でも、既に同様の制度をやっていて、珍しくない場合も多くあると思います。 複数の会社のケースを混ぜて書いています。 ゲーム開発技術に関することは、ほとんど書いていません。 ご指摘がありましたら、修正したり詳細を追加しますので、お気軽にどうぞ（内容が後で変わる可能性があります） 人事（採用） 面接 ビザ リファラル採用 リファレンスチェック（照会） カンファレンス時の招待者限定パーティー 人事（評価） 相互評価制度 OKR（Objectives and Key Results） 人事（解雇） 解雇 PIP（Performance Improvement Plan） スタジオ閉鎖 人事（その他） 若手が海外スタジオで1年間働

こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社の吉井 亮です。 日本国内においても多くのシステムがクラウド上で稼働していることと思います。 俊敏性、拡張性、従量課金、IaS、セキュリティなどクラウドのメリットを享受しやすい所謂 SoE で多くの実績があるように感じます。 ここ1~2年は、社内基幹システム・情報システム、SoR 系のシステムのクラウド移行が本格化してきたというのが肌感覚であります。 クラウドでのシステムインフラ構築は従来のようにゼロから非機能要件定義を行っていくものではなく、ベストプラクティスをまず実装して少しずつ微調整を行っていくものと考えています。とはいえ、システムごとの要件は予め明らかにしておくことがインフラ構築においても重要になります。 クラウド上では出来ること出来ないこと

こんにちは。BASE BANK株式会社 Dev Division にて、 Software Developer をしている東口（@hgsgtk）です。 先日開催された July Tech Festa 2020 にて、「少人数でのアジャイル開発への取り組み実例 （一歩目の踏みだし方）」という表題で、発表させていただきました。 https://speakerdeck.com/hgsgtk/a-first-step-to-agile-movement 今回はその発表内容について、その思考過程で出会った書籍などを詳説として加えつつ、ブログとして書き下していきます。 発表資料 今回の発表資料は、Speakerdeck に公開しています。 発表内容を通じて解決したいことは、 率直に書くと、 数ヶ月前の自分が教えてほしかったことです。数ヶ月前の自分は次のような状況でした。 漠然とチーム開発に課題を持って

はじめに 先日、僕が担当する業務でECS/Fargate利用を前提にDevSecOpsアーキテクチャをデザインし、社内のAWS勉強会にて登壇する機会をいただきました。 本ブログでも内容をかいつまんでご紹介できればと思います。 AWSによらず、コンテナを利用されている方にとって、一つのプラクティス例としてご参考になれば幸いです。 ※コンテナ自体の説明や必要性に関する内容は省略していますm(_ _)m そもそもDevOpsとは？ DevSecOpsの導入意義をお伝えするた前に、まず軽くDevOpsの意義をお伝えします。 ※とは言え、この記事をご訪問されている方にとっては「何をいまさら...」な内容かもしれませんし、ググればDevOps自体の情報はたくさん見つかりますので、重要なポイントのみ述べることにします。 DevOpsとは、一言で述べれば、開発チームと運用チームが協力してビジネス価値を高め

正規表現でついつい頑張ってしまう人のための正規表現で頑張るどこかで見たことあるツールできた— k1LoW (@k1LoW) 2020年7月25日 tl;dr Fluentdのregexp parser pluginのCLI版っぽいツールを作りました（個人的に一番伝わりやすい言い方だと思っている）。 構造化されていないログを分析するとき面倒問題 最近のログは最初からJSONやLTSVなどの構造化ログになっていたり、Fluentdなどで構造化データに変換されたうえでRDBやElasticsearch、BigQueryなどに収集されていたりすることが多くなってきていると思います。 ログの分析をしたいとき、RDBに保存されているのであればSQLが便利です。 また、構造化ログにさえなっていればtrdsqlやgo-jsqliteなど、構造化ログに対してSQLクエリを実行する手段はあります。保存先がS3

本日は、JTF2020に参加しました。 とりあえず、とりいそぎ資料リンク集を作成しました。 別エントリで感想なども記載しております。 ■表形式のリンク集 コマ数 種類 A B C D E F G 1 資料 ■ ■ ■ ■ ■ ■ ■ - 動画 ライブ限定 ■ ■ ■ ■ ライブ限定 ■ 2 資料 ■ ■ ■ ■ ■ ■ ■ - 動画 ■ ■ ■ ■ ■ ■ ■ 3 資料 ■ ■ ■ ■ ■ ■ ■ - 動画 ■ ■ ■ ■ ■ ■ ■ 4 資料 ■ ■ ■ ■ 確認できず ■ 確認できず - 動画 ■ ■ ■ ■ ■ ■ ライブ限定 5 資料 ■ ■ ■ ■ 確認できず ■ ■ - 動画 ライブ限定 ■ ■ ■ ■ ■ ■ 6 資料 ■ ■ ■ ■ ■ ■ 中止 - 動画 ■ ■ ■ ■ ■ ■ 中止 Base 公式サイト(peatix) 詳細情報(Connpass) 講演リスト Yout

20200725の #JTF2020 セッションスライド。 （資料内で説明した資料へのリンク） ・昨年のJTF発表資料 https://speakerdeck.com/tzkoba/cloud-nativekai-fa-zhe-falsetamefalsedatabase-with-kuber…

1. データと向き合う。 2. 記録は大切、あるいは式年遷宮。 3. 管理部門と仲良く！！ 4. コードも書くよ！ 5. システムダウンもなんとかたのしく！ 6. 春の組織改編まつり。 7. その後のこと〜情シス経験はどうなった？

西澤です。みんな大好きAWS CLIに地味に嬉しいアップデートがあったのをたまたま見つけたのでご紹介したいと思います。 AWS CLIのリリース情報を確認していたところ、ちょっと気になる記述を見つけました。 1.13.0 feature:cli_history: Setting the value of cli_history to enabled in the shared config file enables the CLI to keep history of all commands ran. feature:history list: Lists all of the commands that have been run via the stored history of the CLI. feature:history show: Shows the important e

以降、それぞれの検知方法を紹介していきます。 検知方法①：サービスのランニングタスク数をメトリクスから検知 一番代表的な方法です。ECSコンテナエージェントは、タスク内のコンテナの状態をモニタリングしています。構成①と②においては、essential=trueのコンテナのみ含まれているので、コンテナの停止は即ECSタスクの停止となります。 あとは、ECSサービスにおけるDesiredTask Count（期待するタスク数）をしきい値としたランニングタスク数のCloudWatchメトリクスを用意しておき、しきい値を下回った時=タスクが異常終了したときにアラームを発火します。 一点、CloudWatch Alarmはある一定期間のメトリクスの状態からアラームを検知するものなので、検知までいくらかのタイムラグが有ることは注意しておきましょう。 基本的にECSのサービス運用においては、そのDesi

石井氏によると、国内のGovTechマーケットは「まだまだ黎明期」。政府・自治体のIT支出は年間約1.7兆円と、マーケット規模は大きいという。 しかし、プレイヤーは少ない。大手SIerやソフトウェアベンダーのほか、スタートアップとしては労務手続きでSmartHR、税務手続きでfreeeなどが電子化を推し進める程度だ。 株式会社グラファー 代表取締役CEO・石井大地氏 石井日本は、行政のDXがすごく遅れていると思います。よくエストニアが電子政府として引き合いに出されますが、それだけじゃない。たとえば、韓国と中国では行政手続きがほぼオンライン化されており、「日本は紙で手続きしなきゃいけないなんて、変ですね」と言われることもあります。 日本をはじめ、かつて「先進国」とされていたアメリカやヨーロッパは、総じて電子化が遅れている。近代的な官僚国家を築き上げ、紙や窓口ベースの行政フローが強固に整備され

SREは計測、自動化など取り組むことが多く、求められる知識量も少なくない。また周囲の理解が得られなければ、組織でSLI、SLOを定義してSREを実践するのも容易ではない。組織でSREに取り組む最初の一歩をどう踏み出せばいいのか。 企業がITを通じて新たな価値を提供することが必須要件となる中、顧客接点となるアプリケーションやサービスの重要性はさらに高まっている。価値提供を通じて競合優位性を保つには、新たなアプリケーションや機能の開発はもちろん、注目を集める「クラウドネイティブ技術」などを試していくことが不可欠だ。だが、その裏ではアプリケーションやサービスの安定稼働も求められる。 つまり、組織には新しい変化への取り組みが評価される開発者と、安定稼働を実現することで評価される運用管理者が存在する。相反する目標を持つ開発者や運用管理者に対し、「DevOps」という考え方も広まったが、実際にどう意思

特殊な話をします。 タイトル通り、技術カンファレンス運営の話なんですが、 おそらく世の中にあまり出ないような参考情報になると思うので "コミュニティベース" で技術カンファレンス を運営、開催したいといった人がいれば参考にしてください。 (コミュニティベース = "Community based organization" ( CBO ), 主催に企業は一社も入っていないコミュニティメンバーだけで形成された組織を指します) $ whoami 私はSREであり、会計専門家ではありません。 しかし納税も2020年に行った内容になります。 あまり聞けないネタだと思うので楽しんで読んでいただければと思います! :-) ※ ただし法は変わるものであり、もしもご心配なことがあれば税理士や税務署に確認することをお勧めします。 [最初に] どういったカンファレンス だったか 我々は日本初の SRE のカン