AWS Glue Data Catalog を理解する - Qiita
AWS Glue Data Catalog を理解するために 初めてクラウドサービスを使用する&初めてAWS Glue で ETL 処理のジョブを作って色々やってみようとするとき、不意に登場するのが AWS Glue Data Catalog ではないだろうか。 「何のために Data Catalog は存在するのだ？」 「Data Catalog はなくても ETL できるんじゃないの？」 こんな思いをした皆さんにこの記事が参考になれば幸いです。 本来はより詳細な Data Catalog の技術記事を紹介しようと思いましたが、今回は「Data Catalog は重要なのね」と理解することがゴールになります。また、ただのツール説明ではなく、データエンジニアリングやデータ基盤を構築するデータエンジニアとしての視点を交えて書いてみました。 とりあえず AWS Glue Data Catalo
【Python】S3にアップロードされたCSVファイルをAWS LambdaでJSONファイルに変換する - Qiita
本記事で目指す構成 S3にCSVファイルをアップロード → Lambda起動 → JSONファイルに変換 使用技術 言語: Python 3.8 AWS: S3、Lambda 下準備 まず最初にIAMユーザーやIAMロール、S3バケットなどの準備を行います。 IAMユーザーを作成 今回はAWS CLIを使って作業していくので、専用のIAMユーザーを作成します。 「IAM」→「ユーザー」→「ユーザーを追加」 ユーザー名: 任意 アクセスの種類: 「プログラムによるアクセス」にチェック 今回はS3バケットの作成、ファイルのアップロードや削除などS3に関する基本的な動作を行いたいので「AmazonS3FullAccess」ポリシーをアタッチしておきます。 作成完了すると アクセスキーID シークレットアクセスキー の2つが発行されるのでメモに控えておきましょう。 $ aws configure
AWS Step Functionsでサーバレスなデータパイプラインを作った話 - Qiita
こちらはAWS for Games Advent Calendar 2022 13日目の記事です。 はじめに 私は普段UBISOFT OSAKAでサーバーエンジニアとして働いています。 UBISOFT OSAKAではRocksmith+というギター学習ツールを開発しています。 私自身これまでギターを触ったことはありませんでしたが、入社をきっかけにRocksmith+でギターの練習を始めました。 練習のメニューが充実しており、初心者から上級者まで楽しめる内容になっています。 残念なのは今のところ日本ではプレイできないところでしょうか… ただいま（執筆時点）日本でのリリースは準備中です。 Rocksmith+の紹介はさておき、データパイプラインのお話です。 ゲームで楽曲が使われるまで大まかな流れは次の通りです。 ライセンサーから（楽曲の権利を持つ企業）から楽曲のメタ情報（タイトルやアーティスト
Amazon S3 Select を使ってS3オブジェクトの特定データを抽出する。 - Qiita
はじめに Amazon S3 Select がGAになりました。対象は全てのリージョンです。 ということで試してみました。 Amazon S3 Select とは S3バケット内に保存したオブジェクトに対し、SQL文を用いてデータの一部分のみを取り出すことができるサービスです。 アプリケーションが必要なデータのみ取得ができるので、パフォーマンスの向上が期待できます。 事前準備 まずは利用するためのデータを用意します。 適当にマラソンの大会名、距離、月、場所を記載したCSVデータです。 marathon,type,m,region honolulu,full,12,hawaii shonann,full,12,kanagawa okayama,full,11,okayama fukkou,full,10,miyagi fuji5lake,ultra,4,yamanashi yokohama,
Glueでcsvファイルをparquet形式に変換してみた - Qiita
AWS DASの勉強で初めてGlueを触ったのでメモ Parquet形式とは AWSドキュメントより Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parquet および ORC での述語プッシュダウンにより、Athena クエリが必要なブロックのみを取得できるようになり、クエリパフォーマンスが向上します。Athena クエリがデータから特定の列値を取得すると、データブロック述語からの統計 (最大値や最小値など)
ORC について最初に知っておきたかったこと - Qiita
数テラバイト越えあたり or パーティション数大量になったあたりで、ORC ファイルについて詳しくなったけど最初から知っておきたかった事。 がまとまったので書いておくけど、もう一桁増えると更に知っておきたかった事が増える気がする。随時更新。 BigData を扱うデータフォーマット ORC とは Hive / Spark / Presto 等と言った（以下 Hive 等）のビッグデータ基盤で使えるカラムナデータフォーマットだ。 MySQL では、実際のデータファイルは .idb ファイル等の形式で保存されるが、Hive 等ではフォーマットを複数選ぶことができ、ORC はデファクトスタンダートだ。次点に Perquet1 等がある。 HDFS に収納されて Hive 等 Query 対象となることが多い。 Reference Primary 公式サイト - https://orc.apach
AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
Amazon Macie （メイシー）の日本の制度や日本語への対応状況と活用方法【2023年6月時点】 - Qiita
Amazon Macie というサービスをご存じでしょうか？ 今回はこのサービスを日本環境で活用する方法についてご紹介します。 なお、記載内容は個人的なものであり、所属する企業や組織、団体を代表する見解その他ではありません。また、記事の内容は2023年6月時点の状況ですので、ご承知おきください。 １．Amazon Macie とは何ですか？ Amazon Web Services (AWS) のサービスの１つです。 Amazon Macieの公式FAQの記載を引用すると、「機械学習とパターンマッチングを用いて機密データを発見し、データセキュリティリスクを可視化し、そのリスクに対する自動保護を可能にするデータセキュリティサービス」になります。 Amazon Simple Storage Service (Amazon S3) には大量のオブジェクトが格納されています。docx、xlsx、tx
AWS Lake Formationの概要を図と用語で整理する - Qiita
AWS Lake Formationをざっくりと理解するために基本的な概念とコンポーネントを、図と用語で整理してみます。 AWS Lake Formationとは？ AWSでデータレイクを構築・運用するためのマネージドサービス 実体は、ほぼAWSの各種サービスをラップしたもの(Glue, IAM, S3, etc..) データレイク専用にアクセス制御を行うために、IAMとは別に独自の権限管理機構を持つ 実データも保持しセキュリティ向上と権限管理が簡単に行えるAWS Glueという印象 IAMやGlueを個別に駆使してデータレイクを構築・運用するよりデータレイクに特化していて扱いやすい ざっくりした概念図 図にするとかなりシンプル。 備考 公式ドキュメント (2020/02/04時点では英語のみ) 公式マンガがあるよ Lake Fromationの根っこにはAWS GlueがあるためAWS
LLMアプリ開発の必須ツール？！Langfuseがすごい！ - Qiita
2024/04/09 続編書きました。 LangChainを使って色々LLMアプリを作って遊んでいます。 体感速度が遅いけど、どこが遅いかわからない サンプルソースをコピペして作ったので、実は中身のことをわかってない 入力と出力だけじゃなくて、中間の状態も知りたい みたいなことってありませんか？そんなときに使えるツールを見つけましたのでご紹介します。 Langfuseとは LangfuseはLLMエンジニアリングプラットフォームです。LLMアプリからメトリクスやトレースを取得し可視化できます。また、評価、プロンプトの管理、データセットの作成なども行えます OSS開発が進められており、開発の主導はFinto Technologies GmbHというドイツの企業のようです。 公式サイト 主要機能（公式サイトより） LangSmithと類似したツールですが、OSSなのでセルフホストできる点がポイ
xzにバックドアが混入した件のまとめ(CVE-2024-3094) - Qiita
本記事は4月10日9:00（JST)時点で判明している事実をまとめたものです。誤りがあればコメントでお知らせください。 本記事には誤りが含まれている可能性があります。 新しい情報があれば随時更新します。 4/10 9:15 キルスイッチの動作について追記しました。 4/2 18:30 Q&Aを追加しました。 4/2 11:30 実際にバックドアが存在する環境を作成し、攻撃可能なこと、出力されるログ等について追記しました。また、攻撃可能な人物は秘密鍵を持っている必要があることを追記しました。 ところどころに考察を記載しています。 事実は～です。～であると断定し、考察、推測、未確定情報は考えられる、可能性があるなどの表現としています。 またpiyokango氏のまとめ、JPCERT/CCの注意喚起もご覧ください。 なお、各国のCSIRTまたは関連組織による注意喚起の状況は以下のとおりで、アドバ
CISSP CPEの稼ぎ方 - Qiita
(ISC)2が認定する情報セキュリティの国際資格CISSPのホルダーは，資格維持のために，継続的なセキュリティ学習を行った証跡となるCPEポイントをためる必要があります．1CPEは，1時間相当の学習で与えられるものとされていて，1年で40CPEの取得が目安となります．ちなみに，1年間で20CPEなければ，資格が保留状態になり，しばらくして失効します． 私は，CISSP資格取得後，このCPEの稼ぎ方がよくわからず困った経験がありますので，同じようなことで悩んでいる方が参考になればと思い，私の稼ぎ方をご紹介します． ※監査対象となった場合，(ISC)2に証跡を提出しなければならないため，認定書や領収書などはとっておくようにします． e-Symposium（無料） https://live.blueskybroadcast.com/bsb/client/CL_DEFAULT.asp?Client
3分でわかるXSSとCSRFの違い - Qiita
みなさんこんにちは。 FUJITSU その2 Advent Calendar 2018 17日目の記事担当は私 ゆきはらです。 前回14日目はkeiya-nobutaさんのSphinxの導入とLinux Kernelドキュメントのビルドで、 18日目はhasunumaさんの富士通サイバーセキュリティーワークショップ(FCSW)2018参戦記となっています。 はじめに なぜこのテーマにしたか Webアプリケーションに対する代表的な攻撃手法としてXSS（クロスサイトスクリプティング）とCSRF（クロスサイトリクエストフォージェリ）というものがあります。 しかしこの二つ、名前だけでなく攻撃手法も似ていて違いがとてもわかりづらいです。かつて私がセキュリティを勉強していたときもよく混同していました。 そこで、この記事ではXSSとCSRFの仕組みとそれらの違いについてまとめることにしました。 対象とす
業務でAWSを利用する時に知っておくべきポイント10選 - Qiita
2024年1月時点のAWSベストプラクティスに従って作成しました 好評でしたら続編も検討します 1. 環境ごとにアカウントを分離する 本番、検証、開発ごとにアカウントを分割しましょう ✕良くない例 ◎良い例 最初にアカウント分割しておかないと、後で分割するのはとても大変です アカウントを分割することで「検証と思って作業したら、実は本番だった」のような事故を減らすことができます コストがアカウント単位で集計されるため、環境ごとのコストを簡単に算出することができます AWS Organizationsを使用することで、各環境に応じた権限設定が簡単にでき、ガバナンスを強化することができます AWSアカウントはAWS Control TowerのAccount Factoryを使用することで、クレジットカード情報を都度入力することなく簡単にアカウントの払い出しが可能です また、AWS Contro
htmxとは何なのか？ その背景にある思想について - Qiita
先日、Qiitaに投稿された一つの記事が注目を集めました。 元記事では、htmxというJavaScriptライブラリが英語圏で認知を獲得しているとして、インストールの仕方から使い方について公式のドキュメントの全体にわたって簡単に説明が行われています。 さまざまなプラットフォームでこの記事に対する反応を観察してみると、どちらかというと懐疑的な見方のほうが優勢のように見受けられます。ただ、多くのコメントは誤解に基づいているように見受けられました。「JSが要らない」といった元記事のミスリードによるところも大きそうですが1、なぜhtmxが大きく支持を得つつあるのかを理解するには、背景情報を含めて理解することが必要です。 htmxは、最近の複雑化するフロントエンド技術に対する単なる逆張りではありません。これまで30年ほどのあいだウェブ上のシステムを支え続けた「ハイパーメディア」の持つ強力さに今一度目
コストをかけずにWebサービスを公開するための構成例 - Qiita
はじめに 個人でフロントエンド(react)、バックエンド(node.js)、データベース(postgreSQL)を利用したWebサービスを公開したいと考えていました。 まずはテスト的に無料で外部公開できるサービスがないか調査しましたが、2022年8月に有料化されたHerokuの記事ばかりヒットしてしました。 結果的には無料で使用できる構成があり、実際にテストプログラムを動作させることができましたので構成例として記載しておきます。 ※無料なので比較的厳しい条件も含まれていたりするのでそれぞれのサービスを確認お願いします。 例えばsupabaseは数日間利用がないとインスタンスが一時停止して手動で起動させないといけないなどがあります。 今回試したサービス できるだけ同じサービスに集約したいと考えていましたが、実際にはフロントエンド、バックエンド、データベースはそれぞれ異なるサービスになってし
AutoHotKey v1->v2への移行 ～Emacs-likeなキーバインド設定編～ - Qiita
AutoHotKeyのバージョンがv2に正式に移行になり、スクリプト内で使える文法が変更になりました。v2対応に必要な変更点が多いので、変更メモを残しておきます。最後に、Emacs風なキーバインド用の設定ファイルも掲載しておきます。 公式サイト：Changes from v1.1 to v2.0 https://www.autohotkey.com/docs/v2/v2-changes.htm ■AutoHotKey v1->v2への変更点 自分の使ってるスクリプトで、主に必要になった変更点は下記の通りです。 ①変数代入式「a = 10」が「a := 10」に変更。
Emacsからの安全なシェルコマンド実行 - Qiita
どうも、Emacs Lispアドベントカレンダーです。嘘です。 Emacsから外部コマンドを起動する方法として、大別すると「コマンドラインシェルで実行したい文字列(コマンド名と引数をまるごと含む)を渡す関数」 (shell-command系) と、「コマンドとコマンドライン引数を個別の引数として渡す関数」 (process系) の二種類の機能に分類できます。 シェルコマンドの方が使用方法がおてがる、かつポータブル(後述)なので私は特別な理由がない限りは前者のshell-command系の使用を勧めるのですが、これは同時に典型的なバグや脆弱性の温床なので注意が必要です。 用語 いろいろややこしい コマンド キーを入力したり、M-xを押してコマンド名を入力すると実行されるEmacsの機能のこと コマンドは関数の一種で、Emacs Lispから関数として利用することもできる シェル ／ コマンド
JavaScriptの小技集 - Qiita
はじめに 初投稿です。 知ってたら便利になる小技が無かったのでまとめました。 「小技が知りたい...だけど検索しても出てこない...！」 そういう時に役立ちます。 比較的古いバージョンのJSでは一部の小技が使えないかもしれません。 随時追加予定です。他に小技をご存じの方はコメント欄にGO。 おことわり この記事は、あくまで"こんなやり方もあるよ"と紹介しているだけなので、何でもかんでもこれらの小技を使うと、かえってコードの可読性を下げる可能性があります。コードサイズと可読性を天秤にかけてどちらが良いかを都度確認しましょう。 記事内の間違った部分の指摘等はこの記事のコメントや編集リクエストでして下さい。 当方コードゴルファーなので、バイト数短縮小技も入れていることをご了承ください（一応該当する節には＊をつけています）。 配列 配列の重複した値を削除1 const meta = ["foo",
sudo apt --fix-broken install時のエラー - Qiita
$ sudo apt upgrade Reading package lists... Done Building dependency tree Reading state information... Done You might want to run 'apt --fix-broken install' to correct these. The following packages have unmet dependencies: libhdf5-openmpi-dev : Depends: libopenmpi-dev but it is not installed mpi-default-bin : Depends: openmpi-bin but it is not installed mpi-default-dev : Depends: libopenmpi-dev bu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
