MySQL のデータを BigQuery にサクっとインポートしたメモ。 Big Query がサポートしている形式 Arvo ORC CSV Parquet JSON Arvo/ORC/Parquet は MySQL からそれぞれのデータ形式に簡単に変換する方法が見つからなかった。 CSVはカンマや改行などの特殊記号がうまく扱えるか不安があったので、JSONを選択。 MySQL Shell で JSON 形式で export する MySQL Shell を使うと、非常に簡単に、結果を JSON形式 で取り出すことが出来て便利でした。 --result-format=ndjson を指定して、SELECT結果をJSON 形式で出力します。 念の為、記号や改行を入れたデータで試してみましたが、問題なくインポートできてました。 $ cat exp.sql SELECT * FROM d1.t

はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回は以下のイベント「Security-JAWS DAYS」で登壇させていただきました。 以下のSpeakerDeckで資料を公開しました。今回話しきれなかった内容として、NIST SP-800 190の中で対象外として内容の紹介やコンテナランタイムという場合の種類などについて書いたのでよければご覧ください。 登壇のモチベーション 今回の登壇ではNIST SP800-190をベースにECS on Fargateだと何をやるべきか考えてみました。これを日本中のいろんな会社で個別にやっていると時間がもったいないので、自分なりに読み解いて関連部分を切り出して対応方法を話させてもらいました。ECS on Fargateには関連ない部分と判断したものは省いたりしています。もしこの部分はこの方がよいなどあればどんどん改善していきたいので、Twi

Blog X-Tech5エンジニアがお送りするテックブログ SREやDevOpsをはじめ、インフラエンジニアリングの実践情報を届けします。 困りごと NewRelicにCloudFrontのログを取り込むと、ログの日時が、取り込み処理を行った日時になる いまさら、、、とは思うので、もっと素敵な解決策があれば教えてほしいです。 ぱっと調べた範囲では、この前提条件において、解決している例を見つけられませんでした。 S3に保存されたCloudFrontのStandard logsを、New Relic公式手順に則ってLambdaで取り込む Forward Amazon CloudFront access logs | New Relic Documentation LOG_TYPE は cloudfront-web 解決して、、、いない様子：Hub Topic: Override New Rel

こんにちは。技術部技術基盤チームの@k1LoWです。 FUJI ROCK FESTIVAL '22のライブ配信で観ることができた Hiatus Kaiyote のアクトは最高でした。 また、配信はされなかったものの#fujirockのTwitter TLで知ることができた SMTK をヘビーに聴いています。最高です。 さて、本エントリーではGMOペパボにおけるAWS Security Hubのコントロールの統制・管理の取り組みについて紹介します。 AWS Security Hubのセキュリティ標準とコントロール AWS Security Hubとは、公式ドキュメントによると次のように紹介されています。 AWS Security Hub では、AWS のセキュリティ状態を包括的に把握することが可能で、セキュリティ業界標準およびベストプラクティスに照らした環境チェックを行うのに有効です。 Se

ハイブリッドイベント(現地開催&ライブ配信)は死ぬほど大変 ハイブリッドイベントが何故大変か オンライン配信は盛り上がらない (と錯覚する) でも実際のところ、参加者はライブ配信を求めている 何故オンラインのライブ配信が好まれるのか 情報収集が主であり、コミュニケーションはそこまで必要ではない コミュニケーションを取りたい気持ちはあるが、まずはオンラインで雰囲気を見て現地参加するかどうかを決めたい 他の地域に住んでいるので、距離の問題で参加できない 出来ることなら現地に行きたかったが、スケジュールや費用などの都合で断念 何故アーカイブ配信ではダメなのか それでも僕らがイベントのライブ配信を続ける理由 技術を普及させたいという想い ハイブリッド時代に向けて培ってきたノウハウ まとめ TwitterXを見ていたら、とある技術系イベントがライブ配信を取りやめ、現地開催とアーカイブ配信のみにすると

こんにちは、セキュリティエンジニアリングの西川です。息子が8歳なのですが、生まれてからずっと可愛いままで、いつまでこの可愛さは続いてしまうのでしょうか。 ということで、今日はセキュリティの文化の作り方について話をしていこうと思います。 セキュリティの文化の作り方ってなんなんだろう と言いますか、日々私自身、手探りなのですが、今日は取締役CTOの原トリ（以下トリ）からもらった金言とともにカミナシにおけるセキュリティの文化の作り方について書いていきたいと思います。 カミナシにおけるセキュリティの文化の定義 その前にセキュリティの文化を定義していかなければスタートラインにすら立てないわけですが、カミナシにおいては、セキュリティの問題をセキュリティ担当者の介在なしに、自分たちで気付き、セキュリティの問題をお互い注意し合えるようになるという定義を行っています。これは開発だけではなく、コーポレートでも

こんにちは、MackerelチームでSREをしている id:heleeen です。 2023年3月に実施したMackerelのメンテナンスでは、データベースをAmazon RDSからAmazon Auroraに移行しました。この記事ではAuroraを選択した背景や、移行で考慮したことについてお伝えします。 データベースのアップグレードを機に検討 Auroraへ移行することによるメリット パフォーマンスの改善 マイナーバージョンアップのダウンタイムが短く サイジングを適切にできリソース活用も効率的に リードレプリカの運用負荷も改善 Auroraのリードレプリカを利用した移行 RDSにAuroraのリードレプリカを作成する リードレプリカの昇格と切り替え 本番のAurora移行に向けて準備したこと 検証環境で移行して課題を確認 本番メンテナンス時のバックアッププランを用意 Mackerelのメ

こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあったので、移行することにしました。 Amazon Aurora バージョン - Amazon Aurora これからAurora MySQL8.0へ移行を検討されている方の参考になれば幸いです。 想定される読者 Aurora MySQL 5.7系を使っていて、アップグレードを検討している方 実際の Aurora MySQL 8.0 への移行手順を知りたい方 AWS インフラに興味がある方 前提 Aurora MySQL5.7互

コーポレートエンジニアリング部の id:sora_h です *1。今回は 3 ヵ月ほど前に実施した、Google Workspace テナントのプライマリドメイン変更について、記録を兼ねて説明します。 クックパッドは 2009 年頃 *2 より Google Workspace *3 を利用しています。当社の対外的なメールアドレスは cookpad.com ですが、Google ではプライマリドメインとして cookpad.jp が設定されています。各ユーザーには cookpad.com のアドレスを別名 (エイリアス) として登録されていて、メールアドレスとしては cookpad.com を利用、ただ Google へログインする時だけ cookpad.jp を利用する運用になっていました。想像が出来ると思いますが、これが様々な面で不便・混乱を発生させていました。どうしてこうなった… *

2023/06/22(木), 23(金) の2日間、AWS Dev Day 2023 Tokyoが開催されています。 aws.amazon.com みなさん、参加されていますか？ 私も CfP (Call for Proposals) を提出していたんですが、残念ながら落選してしまいました。6倍近い倍率でした。去年と比べても非常に応募数が多く、大盛況ぶりがここからもわかりますね...！（来年こそは登壇側で参加したいものです） github.com 自分は仕事の予定が被っていたこともあり一部だけ参加者として視聴してきました。リアルタイムでは拾いきれなかった・解釈しきれなかった情報も結構あったので、後から資料見つつ掘り下げたいなと思ってます。 そういうモチベで自分自身が後からゆっくり見返したいなと思ったので、まとめとして一般公募なブレイクアウトセッションを、2023/06/22 20:00 頃

背景 難しさ 利益相反になりがち 競合OSSの存在 コミュニティからのPull Request 競合サービスによる利用 レベニューシェアにならない 利用統計が取れない やっておくべきこと お金を払いたい機能を見極める 境界線を決める ライセンスについて考える 利用統計の取得方法について考える OSSから有償版へのスムーズな移行を考える まとめ 背景 弊社（Aqua Security）ではOSS開発をしており、そのOSSを組み込んだ有償サービスを売ることで利益を上げています。 自分はその中のOSS開発をフルタイムで担当しています。 会社は何を目的としてOSS開発をしているのか、というのは以前発表しました。 speakerdeck.com フルタイムOSS開発者をやってみての感想なども昔書いています。 knqyf263.hatenablog.com 今回はOSSをベースにしたサービス提供の難し

こんにちは。Mackerel開発チームエンジニアのid:arthur-1です。Mackerel Meetup #14 Tokyoの案内はご覧いただけましたでしょうか。 mackerel.io 4年ぶりとなる開催に向けて、本ブログでは「Mackerel Meetup復活記念連載」と題し、当日のMeetupをさらにお楽しみいただけるようなトピックをみなさまに共有いたします。 これまでもCREより定期的にMackerelの新機能などをご紹介しておりますが、本連載ではMackerelに携わる様々な職種のメンバーから、Mackerelの実践的活用方法、技術インサイド情報、そしてMackerelへの熱い思いをお届けします。 今回のMeetupでは、Mackerelチーフエンジニアのid:onkより「次世代Mackerelのアーキテクチャ」と題した発表を行います。すでに多くの方に興味を持っていただけてい

こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 日本時間 2023年06月14日 午前4時18分～午前7時42分 にバージニア北部リージョン(us-east-1)の複数のサービスにおいてエラーレートの上昇および遅延が発生していました。 AWS Health Dashboard に記載されたいた情報は以下の通りです。 Jun 13 3:42 PM PDT Between 11:49 AM PDT and 3:37 PM PDT, we experienced increased error rates and latencies for multiple AWS Services in the US-EAST-1 Region. Our engineering teams were immediately

SRE NEXT Logo はじめに SRE NEXTとは なぜSRE NEXT 2023を開催するのか Interactivity Diversity Empathy SRE NEXT 2023をどんなカンファレンスにしたいか 終わりに はじめに こんにちは！SRE NEXT 2023 Chair の gr1m0h（ぐりもお） です。SRE NEXT 2022では、チケットや動画管理周りを担当していました。 先日、SRE NEXT公式Twitterアカウント にてSRE NEXT 2023の日程を 9月29日（金） と発表しました！ 会場は 九段会館テラス コンファレンス＆バンケット です！ハイブリッド開催となるので、現地で参加の方もオンラインで参加の方も大いに楽しみましょう！！ また、スポンサー募集要項についても公開しました！ 6月14日（水）11:00 からスポンサー募集を開始します

記事を書く背景 ばんくしさんの「エンジニアとビジネスの距離感の難しさ」というブログを読みました。 経営とエンジニアリングをつなぐ立場であるCTOとしては永遠のテーマだと思います。 申し遅れましたが、私はファストドクター株式会社CTOの宮田 芳郎です。昨年、ファストドクターの開発組織は、大きな技術的意思決定を経営陣とともに実施できました。具体的には次の2点です。 アプリのFlutter化（意思決定は2022年5月） 新規のバックエンド開発時の言語をRubyからTypeScriptへ切り替え（意思決定は2022年6月末） いずれも一度の経営会議で、上記の方針について経営陣との合意を取っています。 5秒でわかる記事の結論 経営陣への提案資料は下記の5点をポイントとして記述すると良い 実施の意義（≒ 解決したい課題） 必要リソース（人・モノ・金 + 時間） 実現コンセプト リスク 手続きの妥当性

2023 年 4 月 18 日にリリースされた Node.js v20 の主な変更点を紹介します。 nodejs.org ファイルのアクセスやプロセスの起動を制限する新しいパーミッションモデル (experimental) --allow-fs-read でファイルの読み込みを許可する --allow-fs-write によるファイル書き込み許可 --allow-child-process による child_process の許可 --allow-worker による Worker Threads の許可 Permission Model 　の参考記事 V8 11.3 による新しい JavaScript の機能 テストランナー（node:test）が stable に昇格 Single Executable Application JSON の config を使った Blob が必要に

はじめに セキュリティサービス部セキュリティエンジニアの松原です。 昨年、セキュリティ関連の文書をまとめた記事を公開しました。サイバー空間をめぐる脅威の情勢は、毎年目まぐるしく変化しています。 そこで本記事では、最新のセキュリティ動向として 2022 年に、以下の 4 つの政府機関と 12 つのセキュリティ関連団体等が公開した、セキュリティ関連の文書についてまとめました。 政府機関 内閣サイバーセキュリティセンター (NISC) 警察庁 サイバー警察局 デジタル庁 総務省 サイバーセキュリティ統括官 セキュリティ関連団体 NICT サイバーセキュリティ研究室 CRYPTREC JPCERT コーディネーションセンター (JPCERT/CC) 情報処理推進機構 (IPA) 日本ネットワークセキュリティ協会 (JNSA) フィッシング対策協議会 セーファーインターネット協会 (SIA) 日本ク

Docker一強の終焉にあたり、押さえるべきContainer事情 を読んで漠然とDockerが終わるって思った人、素直に手をあげてください。別にDockerは終わりません。なんかむしろWASMとかんばるぞって息巻いてて可愛いので頑張って欲しいと個人的には考えています。 その昔、Kubernetes 1.20からDockerが非推奨になる理由 - inductor's blog を書いたら炎上しました。最初の記事の書き方が良くなかったという反省はあるにせよ、世間一般で「Dockerは開発環境で使うやつ」という認識があまりにも広がりすぎているというのが良くわかる勉強の機会になりました。 逆を言うと、みなさんがこれらの記事を読む時には、Dockerという言葉に含まれる意味に注意して読んでいただきたいと思っています。Dockerには大きく分けて以下の意味が含まれると僕は考えています。 Docke