【ログ分離】 ログデータを DB に保存してはいけません
はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課
［速報］古いJavaや.NETのコードを最新のJavaにAIが自動変換する「Amazon Q Code Transformation」、AWSが発表。AWS re:Invent 2023
［速報］古いJavaや.NETのコードを最新のJavaにAIが自動変換する「Amazon Q Code Transformation」、AWSが発表。AWS re:Invent 2023 Amazon Web Services（AWS）は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、生成AIを用いて多様なAIサービスを提供する「Amazon Q」を発表。Amazon Qの機能の一部として、古いJavaや.NETのコードを最新のJavaや.NET対応に自動変換する「Amazon Q Code Transformation」を合わせて発表しました。 参考：［速報］AWS、Copilot対抗となる「Amazon Q」発表。生成AIによるシステム開発支援や業務支援など、多様なAIサービスを提供。AWS re:Invent 2023 Amazon Q Code
OCRの精度を担保するテスト基盤アーキテクチャ - LayerX エンジニアブログ
こんにちは！LayerXバクラク事業部 OCRチーム ソフトウェアエンジニアの秋野（@akino_1027）です。 この記事では、バクラクシリーズの機能であるOCRのテスト基盤について紹介していきます。 ※本記事は LayerX Tech Advent Calendar 2022 11日目の記事となります。 背景 バクラクでは手入力ゼロを目指すべく、 OCR機能（文書の読み取り機能）を提供しています。 以下、OCRで書類が読み取られる様子 www.youtube.com OCR機能は「手入力不要」という価値に直結するため、OCR精度を常に高い水準で保っておく必要があります。 安心してコード変更を取り込めるように 今まで読み取れてたのに読み取れなくなった書類はないか 新たに読み取れるようになった書類はどれか を確認する仕組みが必要でした。 OCRテスト基盤の開発 そこでOCR精度を担保するた
AWS Lambdaで300万円以上課金されてしまった怖い話 | LAC WATCH
各サービスに加え、サポート費用、消費税諸々含め300万以上の課金が発生しました。 幸い今回の事象はラックの検証環境上で発生した事象のため、お客様への影響はなかったものの、これが「もしお客様環境で起きていたら......」と考えると背筋が凍ります。 事象の原因 今回上記(A)(B)の仕組みを定期的に実行する想定で各々EventBridgeルールの設定をしましたが、(B)のEventBridgeルールの設定に考慮漏れがありました。 具体的には、以下のように記載をしていました。 EventBridgeルールの作成時、イベントパターンのフォームから生成したJSONとなります。 ※ S3にオブジェクトが配置されたら後続処理を実施するというテンプレートを使用しました。 テンプレートの内容を深く理解せず、そのまま流用したことが本事象の発端となっていました。 ※ ただ、EventBridgeでは、ルールが
サーバーレスのセキュリティリスク - AWS Lambdaにおける脆弱性攻撃と対策 - GMO Flatt Security Blog
はじめに こんにちは、株式会社Flatt Security セキュリティエンジニアの森岡(@scgajge12)です。 本稿では、AWS Lambda で起こりうる脆弱性攻撃やリスク、セキュリティ対策を解説し、サーバーレスにおけるセキュリティリスクについて紹介します。 はじめに AWS Lambda について サーバーレスにおけるセキュリティリスク AWS Lambda で起こりうる脆弱性攻撃 Lambda での脆弱性攻撃によるリスク 脆弱性攻撃による更なるリスク OS Command Injection XML External Entity (XXE) Insecure Deserialization Server Side Request Forgery (SSRF) Remote Code Execution (RCE) AWS Lambda におけるセキュリティ対策 セキュリティ
AWS、Java 17対応の無料Javaディストリビューション「Amazon Corretto 17」リリース。ただし長期サポート期間は未定
Java 17のリリースに合わせて、Amazon Web Services（AWS）からもOpenJDKをベースにしたJavaディストリビューション「Amazon Corretto 17」がリリースされました。 半年ごとにメジャーバージョンアップするJavaのなかで、Java 17は3年に一度登場するLTS（Long Term Support）版と呼ばれる、長期サポート対象のバージョンとなります。 AWSは過去のLTS版Javaについては長期サポート期間を明示しています。例えば、Java 8に相当する「Amazon Corretto 8」は2026年5月まで、Java 11に相当する「Amazon Corretto 11」は2027年9月までにサポート期間が設定され、ユーザーはこの日まで無償でAWSからセキュリティパッチなどを受け取ることができます。 参考：AWS、「Java 8」を202
オラクル、Oracle JDKを再び無料提供へ、本番環境でも利用可。昨日リリースのJava 17から
オラクルは、同社が提供している企業向けのJavaディストリビューションであるOracle JDKのライセンスを変更し、無料で本番環境などでの利用を可能にしました。 同社が9月14日付で公開したブログ「Introducing the Free Java License 」で、次のように説明しています（関連するプレスリリース「Oracle Releases Java 17」）。 Oracle JDKを無料で提供し、四半期ごとのセキュリティアップデートも提供する。 新ライセンス「Oracle No-Fee Terms and Conditions (NFTC)」は、商用利用や本番環境での利用を含むすべてのユーザーに対して無料での利用を許可する。 Oracle JDK 17から、この無料のリリースとアップデートの提供を開始する。これは次の長期サポート（LTS：Long Term Support）が
Announcing CDK for Terraform 0.1
Sign up for freeGet started in minutes with our cloud products TerraformInfrastructure as code provisioning
.NET Frameworkから.NET Coreへの移植を支援する「Porting Assistant for .NET」を、AWSがオープンソースとして公開
.NET Frameworkから.NET Coreへの移植を支援する「Porting Assistant for .NET」を、AWSがオープンソースとして公開 Amazon Web Services（AWS）は、.NET Frameworkで開発したアプリケーションのソースコードを.NET Coreへ移植する際に支援してくれるツール「Porting Assistant for .NET」をオープンソースとして公開したと発表しました。 New #AWSLaunches! AWS IQ now provides integrated access logs for expert activity AWS DataSync simplifies initial setup for online data transfers Porting Assistant for .NET is now o
「当時、AWSは大手に勝つための切り札だった」専業SIの歴史で振り返る2010年代のクラウド、次の10年の技術
「当時、AWSは大手に勝つための切り札だった」専業SIの歴史で振り返る2010年代のクラウド、次の10年の技術 Amazon Web Services（AWS）が日本に上陸する前からAWSのシステムインテグレーションで注目を集めてきたアイレット。常に次のニーズを探り続ける同社が今狙うのは何か。ヒントは 「スピード感」と「社会インフラ」にある。 国内でAWSのインテグレーターとして必ず名前が挙がるのがアイレットだ。同社が運営する「cloudpack」は、AWSの幅広いプロダクトを導入・設計から運用保守まで、フルマネージド型のサービスで提供する。 AWSのパートナーは世界で1万社を超える。その中でAWSパートナーネットワーク（APN）プレミアコンサルティングパートナーは世界で115社だけ。そしてアイレットは日本に9社しかないAPNプレミアコンサルティングパートナーの1社だ。アイレット創業者であ
AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in
設計サンプルで学ぶ、AWS構築の原則 - Webアプリ アーキテクチャのベストプラクティスを理解する - エンジニアHub｜若手Webエンジニアのキャリアを考える！
設計サンプルで学ぶ、AWS構築の原則 - Webアプリ アーキテクチャのベストプラクティスを理解する AWS入門者に向け、同サービスのエキスパートである、クラスメソッドの八幡豊さんが、Webアプリケーション開発のためのAWS構築の基本を解説します。広範な領域をフォローするAWSですが、広範ゆえに、なにをどのように選ぶべきか……。こんなお悩みを持つ方はぜひご一読を。 クラウドコンピューティングサービス・Amazon Web Services（以下、AWS）は、数多くの高機能なクラウドサービスを簡単に利用できることから、多くの企業が導入しています。AWSの知識を身につけることは、いまやエンジニアにとっての必修科目です。 そのサービス範囲は広範にわたることから、「なにを」「どうやって」使うかのかが重要な知識になってきます。AWSの各サービスのポテンシャルを引き出すためには、それぞれの長所・短所を
AWS Lambda LayersとRuntime API：公式にサポートされているランタイム以外もサポート
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
Amazon、AWSでのオンライン「機械学習大学」を無料で開講 - ITmedia NEWS
米Amazon.comは11月26日（現地時間）、社内エンジニア向けに提供している機械学習講座を、AWSトレーニング経由で無償で一般公開すると発表した。 コースには開発者向け、データサイエンティスト向け、データプラットフォームエンジニア向け、ビジネスプロフェッショナル向けがあり、各コースに入門編と上級編がある。全部で30件以上、合計で45時間以上のコースで、「Amazon Polly」や「Amazon Recognition」などを含む、機械学習全般を学べる。 関連記事 Apple、女性起業家養成キャンプへの参加者募集開始 Appleが、アプリ開発で起業を目指す女性のための養成キャンプ「Apple Entrepreneur Camp」を立ち上げた。本社キャンパスのテクノロジーラボで2週間、エンジニアや幹部の指導を受けられる。 Alexaスキルで使える音声増やす「Amazon Polly」
AWSが独自のOpenJDK「Amazon Corretto」発表。AWS内部で使っていたJavaを外部提供へ。Java 8は2023年まで、Java 11は2024年まで無償でLTSを提供
AWSが独自のOpenJDK「Amazon Corretto」発表。AWS内部で使っていたJavaを外部提供へ。Java 8は2023年まで、Java 11は2024年まで無償でLTSを提供 Amazon Web Services（AWS）は、OpenJDKのディストリビューション「Amazon Corretto」を発表しました。 Introducing Amazon Corretto – No-cost, multiplatform, production-ready distribution of OpenJDK! #corretto @Devoxx https://t.co/IFgyCXclRr pic.twitter.com/nIW5M6CIMX — AWS Open Source (@AWSOpen) 2018年11月14日 CorrettoはJavaでLTSが提供される2つのバ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミング言語「Rust」のための「Rust Foundation」設立--AWS、MS、グーグルらメンバー（ZDNet Japan） - Yahoo!ニュース
UMLを少しでも かわいく したかったのでAWSで解決した - Qiita
AWS/Azure/Google Cloudサービス比較 2023.12 - Qiita
サーバーレスパターン - アーキテクトのためのパターンカタログ
AWSのKubernetesでサービスを公開する最高の方法~ALB,ACM,Route53の自動作成~ - Qiita
