Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 前提として、このブログの内容を踏まえたものです。 上述のブログの言を借りると、AWS CodeCommitにおいて7/28現在、以下の状況になっている様子です。 既存リポジトリがあるアカウントは特に制限無くCodeCommitを利用可能 これまでCodeCommitを使っていなかったアカウント(もしくは既存リポジトリが無いアカウント)は新規リポジトリ作成不可 これはCodeCommitのサービス終了を即座に意味するものではありません。ただし、リポジトリを新規に利用できなくなるということは、一般的にはCodeCommitとしての
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに はじめまして、セキュリティエンジニアのSatoki (@satoki00) です。今回はブラウザの開発者ツールのネットワークタブから隠れて、Webサイト内の情報を送信する手法をまとめます。所謂Exfiltrationというやつです。中にはCSPの制限をBypassするために用いられるテクニックもあります。CTFなどで安全に使ってください。 前提 発端はWeb上でテキストの文字数をカウントできるサイトが閉鎖する際の話です。カウント対象のテキストデータがサイト運営 (やサイトを改竄した攻撃者) に盗み取られていないかという議論が巻
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事の目的/背景と対象スコープ この記事には2つの目的があります。 まず1つ目にAWS Well-Architeted Frameworkと非機能要求グレードのリンク付けを行うことにより、従来のシステム構築のやり方に慣れている人たちがAWS Well-Architected Frameworkを有効活用できるようにすることです。 AWS上でシステム構築を行う際にAWS Well-Architected Frameworkを活用することは品質の高いシステムを作る非常に有効な方法ということはよく知られています。 また、日本のシステム構築で
本記事は、NTTデータ先端技術株式会社 デジタルソリューション事業部 データエンジニアリング担当が執筆するアドベントカレンダーの初日の投稿となります。 私たちは、名前の通り、データ活用によるデジタルトランスフォーメーションの実現のご支援をミッションに活動しており、このアドベントカレンダーもそういった観点を中心に記事を投稿していく予定です。 先頭バッターは言い出しっぺの私が責任を持って記事を書こうと思います。 。。。と言いつつ、忙しさにかまけてギリギリまでネタを作れなかったので、「データマネジメント国際認定」であるCDMPを1週間で準備して受験して来ましたので、そこで得られたものについて記載したいと思います。 データマネジメント国際標準 DMBOK 攻めのデータサイエンスに対して、守りとなるのがデータの運用を司るデータマネジメントです。 データマネジメントについては、DMBOK(the Da
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ついさきほど、DAMA CDMP Certification - Associate 認定を取得しました。 やった!DMBOK の CDMP Certification Associate 通ったっぽい! スコアは 78/100 だったので、Specialist をあと2つ通せば Practitioner 認定もらえるっぽい。 pic.twitter.com/qZGXzKNhh9 — TAC (@tac0x2a) March 6, 2021 日本語の情報が少ない気がするので備忘録として(2021/03/06 時点の)メモを残すことにしま
Pythonインストールできないんだけど! なんかいつもこれ同じ作業してるよな、自動化出来ないかな…よしやったる! ↓ みんなー!こんなツール作ったよー、使ってみてー! ↓ そして起こる「ちょっと、俺、.pyとかいう拡張子使えないんだけど」の声。 会社のPCって外部のアクセス禁止だったり新規ソフトウェアのインストール制限があったりと、色々制約がありますよね。この制約のせいで、作ったはいいが使えなかった、みたいな理不尽なハマり方したり、一方で試してみたら意外とこれ動いちゃうんだ!?みたいなこともあったりするので、ここではそんなずる賢い業務改善を必死に考える社員のみんなに、どれでやれば利用可能なツールづくりができるのか、その選択肢を載せていくよ。 Python + exe化ツール(Pyinstaller) やっぱ中身含めてファイル操作系でちょこちょこやるならPythonが楽だよね。ただ、Pyt
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DR 2024/06/26 実害が出ているようです、polyfill.ioを利用している場合は直ちに利用を止めましょう。 GIGAZINE: JavaScriptライブラリ「Polyfill.io」にマルウェアが混入され10万以上のサイトに影響 Codebook: Polyfill.io使ったサプライチェーン攻撃でサイト10万件以上に影響 polyfill.ioから配信されるスクリプトが汚染される環境下にあり、危険な可能性があります。利用している方がいらっしゃいましたら外しておくことをおすすめします。または安全なバージョンのものが
諸条件 ソースがMySQLの場合、Redshiftへの変換にSCTが利用できない DMSにはSCT(SchemaConversionTool)という、ローカルPCにインストールしてスキーマやストアドプロシージャ等を自動変換・診断してくれるツールがあります。このSCTはソースDBとターゲットDBの組み合わせごとに使用可否が決まっている点に注意が必要です。 以下のURLの通り、ソースがMySQLの場合、ターゲットにRedshiftを選択することができません。 https://docs.aws.amazon.com/SchemaConversionTool/latest/userguide/CHAP_Welcome.html そもそもターゲットがRedshiftの場合は、ソースの対応DBエンジンにOLTP系のものは少なく、多くがOLAP系です。 OLTP系:SQL Server, Oracle
はじめに 数年ぶりにSonarQubeを触ってみたくなり、試したところかなり簡単だったので、その感覚を残したく記事化してみました。 SonarQubeとは SonarSourceのプロダクトの一つであり、コード品質、コードセキュリティのチェックを実施するツールです。 さまざまな使い方ができるのだと思いますが、簡単に使うためにはJenkinsなどのツールと同じようにSonarQube用のサーバーとして1プロセス立ち上げ、その中でチェックと、チェック結果を確認・参照することができます。 今回やりたいこと MavenでビルドしているJavaプロジェクトに対して、ソースコードの品質が不安なので第三者チェックしてほしいと思うことがあると思います。その際に頼めるレビューアーがいないので最低限確認するためにツールにレビューをお任せしたい、ということがやりたいことです。 JenkinsのようなCI環境も手
#アンケートなんてするな アンケート(questionnaire)って多数決とるものだと思ってました。(小並感) アンケート調査して、そこからエビデンスになるものを見つけて、意思決定に使う。というところまでやりたいと考えた時に、「とりあえず多数決とりました」ってだけではあまりにもパンチ(説得力)が弱すぎると思って勉強し始めたのが始まりでした。 勉強してみるとアンケートって 質問文の聞き方だけで回答が偏る 質問で聞いたことしか収集できない 集めたいように設計することもできる などなど気にするべきところがたくさんありました。 中にはこのような注意点を「知らないor知っていて政治的に利用」する事に対して(正しく使えないなら)アンケートなんてするなと書いてある本もありました。 アンケートはPDCAのどの段階でも使うことができ、(結果に対応する因果に当たる)ユーザーの気持ち部分を定量化できるので、使
弊社では会社全体で1つのアカウントを共有していましたが「管理が面倒!どの部署がどれを使っているのかさっぱり分からん!」という苦情が増えてきたため、部署ごとにアカウントを分ける事になり Aurora 移行の作業を振られたため手順をまとめました。 AWS マニュアルを確認 マニュアル見てると手動スナップショットを共有するだけっぽいので簡単だな!と思っていましたが当然そんなに上手く行かず…デフォルトKMSキーで暗号化されていたため、別アカウントへの共有が不可になっていました。あと KMS キーも別途発行して別アカウントに共有しておく必要があるっぽい。 デフォルトの Amazon RDS 暗号化キーを使用しない、暗号化された手動スナップショットは共有できます。ただし、まず AWS Key Management Service (AWS KMS) キーを、スナップショットを共有するアカウントと共有す
この記事は、株式会社カオナビ Advent Calendar 2023 の3日目です。 はじめに 株式会社カオナビの高橋(@kunit)です。 今回は MySQL バージョンアップ(5.7 -> 8.0) で起きた問題とそれに対してどのように対処したのかを書いていこうと思います。 何が起きたのか MySQL 5.7 から 8.0 にバージョンアップをするにあたって、CI およびローカル環境でテストができるように MySQL 8.0 のイメージを作成し、それをつかって各機能の担当者にテストを開始してもらっていたのですが、以下のような事が起きました。 接続を MySQL 5.7 から 8.0 に切り替えただけでテストの時間が3倍くらいかかるようになった そこを変更するだけで3倍遅くなるってやばいぞということで報告してくれた担当者と同じテストを自分でも実施してみると再現性があり、それが以下のどの
静岡市でWeb開発しているkazuomatzです。 以前、こちらの記事で、Rails + MySQL で位置情報を扱う時に標準だったライブラリ activerecord-mysql2spatial-adapterについて書きました。 ライブラリの開発が止まってしまい、新しいRailsのバージョンに更新しようとすると対応されていないので、リポジトリをforkして、Rails6.0で何とか動かした話です。 今年、AWSのRDSのMySQL5.7系のサポートの終了がアナウンスされました。2024年2月以降、RDSでMySQL5.7を利用し続けるには、有償の延長サポートに入る必要があります。 というわけで今年は、MySQL5.7で稼働しているシステムをMySQL8に更新するお仕事が数件ありました(2023年12月現在、まだまだ絶賛実施中です)。 当然、MySQL5.7とMySQL8.0に移行するに
内容 RDS AuroraのMySQLのバージョンをAurora2(MySQL5.7) ⇒ Aurora3(MySQL8.0)にアップデートする際、先日のre:Invent 2022で発表された「RDSのBlue/Greenデプロイ」という新しい機能を使用してみました。 今回その手順と、詰まったポイントをまとめていきたいと思います。 添付画像の網掛けが多い点はご容赦ください。 目次 Blue/Greenデプロイの概要 手順 スナップショットを取得 Blue/Greenデプロイの作成 GreenのDBに変更を加える 変更を加えたgreenのdbをテスト GreenをBlueに切り替え 完了 後始末 トラブルシューティング Blue/Greenデプロイの概要 Blue/Greenデプロイとは 現在運用中の環境をBlueとして、レプリケーションしたステージング環境(Green環境)を用意します。
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 何を書いた記事か こんにちは。 みなさん、自分たちのシステムで使ってる製品・サービスの寿命(EOL)管理してますか? 大抵の場合気づいたころにはEOL迎えてたものが大量にあって何から手をつけたら・・という状態になっているのではないかと思います。 僕もそうだったので、今回大量の寿命切れに直面したときにどのように対応していくか、自分なりに考えたことをまとめていきます。 なぜEOL対応するのか そもそもEOLとは そのそも、EOLって何でしょうか。 EOLとは「End of Life」のことで、読んで字の如く、「寿命切れ」です。 (似た言葉に
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2020/3/14 追記 昨年、PureSec も加盟している Cloud Security Alliance の Israel Chapter から、The 12 Most Critical Risks for Serverless Applications 2019 が公開されました。 ※本記事の公開時点で既に TOP12 が最新でした・・・ 本記事で記載している既存の TOP 10 の内容に大きな変更はなさそうですが(SAS-9 は Serverless Business Logic Manipulation に改題)、新たに追加
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く