AWS Step Functionsでサーバレスなデータパイプラインを作った話 - Qiita
こちらはAWS for Games Advent Calendar 2022 13日目の記事です。 はじめに 私は普段UBISOFT OSAKAでサーバーエンジニアとして働いています。 UBISOFT OSAKAではRocksmith+というギター学習ツールを開発しています。 私自身これまでギターを触ったことはありませんでしたが、入社をきっかけにRocksmith+でギターの練習を始めました。 練習のメニューが充実しており、初心者から上級者まで楽しめる内容になっています。 残念なのは今のところ日本ではプレイできないところでしょうか… ただいま（執筆時点）日本でのリリースは準備中です。 Rocksmith+の紹介はさておき、データパイプラインのお話です。 ゲームで楽曲が使われるまで大まかな流れは次の通りです。 ライセンサーから（楽曲の権利を持つ企業）から楽曲のメタ情報（タイトルやアーティスト
Glueでcsvファイルをparquet形式に変換してみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS DASの勉強で初めてGlueを触ったのでメモ Parquet形式とは AWSドキュメントより Apache Parquet や ORC は、データを高速に取得できるように最適化された、AWS 分析アプリケーションで使用されている、列指向ストレージ形式です。 列指向ストレージ形式には以下の特性があるため、Athena での使用に適しています。 列のデータ型に合わせて選択された圧縮アルゴリズムによる列ごとの圧縮で、Amazon S3 のストレージ領域を節約し、ディスク容量とクエリの処理中における I/O を削減します。 Parque
ORC について最初に知っておきたかったこと - Qiita
数テラバイト越えあたり or パーティション数大量になったあたりで、ORC ファイルについて詳しくなったけど最初から知っておきたかった事。 がまとまったので書いておくけど、もう一桁増えると更に知っておきたかった事が増える気がする。随時更新。 BigData を扱うデータフォーマット ORC とは Hive / Spark / Presto 等と言った（以下 Hive 等）のビッグデータ基盤で使えるカラムナデータフォーマットだ。 MySQL では、実際のデータファイルは .idb ファイル等の形式で保存されるが、Hive 等ではフォーマットを複数選ぶことができ、ORC はデファクトスタンダートだ。次点に Perquet1 等がある。 HDFS に収納されて Hive 等 Query 対象となることが多い。 Reference Primary 公式サイト - https://orc.apach
AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
メッセージの順序を厳密に保ちたい場合や、重複不可の場合には、FIFOキューの使用を推奨します。それ以外の場合は標準キューの使用を推奨します。 SQSのアーキテクチャと処理の流れ SQSの仕様と処理の流れを以下の図に示します。これはSQSのクライアントライブラリであるProducer/Consumerを使用した場合の例となります。 SQSに書き込むメッセージは、一意なID、最大10件のメタデータ属性、最大256KBのテキストデータのペイロードから構成されます。 書き込み側のアプリケーションは、SQSのProducerライブラリを使用してキューにメッセージを送信します(Sendリクエスト)。このとき最大10通または256KBのメッセージを一度に送信可能です。メッセージはキューに保存され、単一リージョン内の複数AZに複製されます。保存期間は1分～14日間 (デフォルト: 4日)で設定可能で、保存
Amazon Macie （メイシー）の日本の制度や日本語への対応状況と活用方法【2023年6月時点】 - Qiita
Amazon Macie というサービスをご存じでしょうか？ 今回はこのサービスを日本環境で活用する方法についてご紹介します。 なお、記載内容は個人的なものであり、所属する企業や組織、団体を代表する見解その他ではありません。また、記事の内容は2023年6月時点の状況ですので、ご承知おきください。 １．Amazon Macie とは何ですか？ Amazon Web Services (AWS) のサービスの１つです。 Amazon Macieの公式FAQの記載を引用すると、「機械学習とパターンマッチングを用いて機密データを発見し、データセキュリティリスクを可視化し、そのリスクに対する自動保護を可能にするデータセキュリティサービス」になります。 Amazon Simple Storage Service (Amazon S3) には大量のオブジェクトが格納されています。docx、xlsx、tx
AWS Lake Formationの概要を図と用語で整理する - Qiita
AWS Lake Formationをざっくりと理解するために基本的な概念とコンポーネントを、図と用語で整理してみます。 AWS Lake Formationとは？ AWSでデータレイクを構築・運用するためのマネージドサービス 実体は、ほぼAWSの各種サービスをラップしたもの(Glue, IAM, S3, etc..) データレイク専用にアクセス制御を行うために、IAMとは別に独自の権限管理機構を持つ 実データも保持しセキュリティ向上と権限管理が簡単に行えるAWS Glueという印象 IAMやGlueを個別に駆使してデータレイクを構築・運用するよりデータレイクに特化していて扱いやすい ざっくりした概念図 図にするとかなりシンプル。 備考 公式ドキュメント (2020/02/04時点では英語のみ) 公式マンガがあるよ Lake Fromationの根っこにはAWS GlueがあるためAWS
LLMアプリ開発の必須ツール？！Langfuseがすごい！ - Qiita
2024/04/09 続編書きました。 LangChainを使って色々LLMアプリを作って遊んでいます。 体感速度が遅いけど、どこが遅いかわからない サンプルソースをコピペして作ったので、実は中身のことをわかってない 入力と出力だけじゃなくて、中間の状態も知りたい みたいなことってありませんか？そんなときに使えるツールを見つけましたのでご紹介します。 Langfuseとは LangfuseはLLMエンジニアリングプラットフォームです。LLMアプリからメトリクスやトレースを取得し可視化できます。また、評価、プロンプトの管理、データセットの作成なども行えます OSS開発が進められており、開発の主導はFinto Technologies GmbHというドイツの企業のようです。 公式サイト 主要機能（公式サイトより） LangSmithと類似したツールですが、OSSなのでセルフホストできる点がポイ
xzにバックドアが混入した件のまとめ(CVE-2024-3094) - Qiita
本記事は4月10日9:00（JST)時点で判明している事実をまとめたものです。誤りがあればコメントでお知らせください。 本記事には誤りが含まれている可能性があります。 新しい情報があれば随時更新します。 4/10 9:15 キルスイッチの動作について追記しました。 4/2 18:30 Q&Aを追加しました。 4/2 11:30 実際にバックドアが存在する環境を作成し、攻撃可能なこと、出力されるログ等について追記しました。また、攻撃可能な人物は秘密鍵を持っている必要があることを追記しました。 ところどころに考察を記載しています。 事実は～です。～であると断定し、考察、推測、未確定情報は考えられる、可能性があるなどの表現としています。 またpiyokango氏のまとめ、JPCERT/CCの注意喚起もご覧ください。 なお、各国のCSIRTまたは関連組織による注意喚起の状況は以下のとおりで、アドバ
CISSP CPEの稼ぎ方 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? (ISC)2が認定する情報セキュリティの国際資格CISSPのホルダーは，資格維持のために，継続的なセキュリティ学習を行った証跡となるCPEポイントをためる必要があります．1CPEは，1時間相当の学習で与えられるものとされていて，1年で40CPEの取得が目安となります．ちなみに，1年間で20CPEなければ，資格が保留状態になり，しばらくして失効します． 私は，CISSP資格取得後，このCPEの稼ぎ方がよくわからず困った経験がありますので，同じようなことで悩んでいる方が参考になればと思い，私の稼ぎ方をご紹介します． ※監査対象となった場合，
3分でわかるXSSとCSRFの違い - Qiita
みなさんこんにちは。 FUJITSU その2 Advent Calendar 2018 17日目の記事担当は私 ゆきはらです。 前回14日目はkeiya-nobutaさんのSphinxの導入とLinux Kernelドキュメントのビルドで、 18日目はhasunumaさんの富士通サイバーセキュリティーワークショップ(FCSW)2018参戦記となっています。 はじめに なぜこのテーマにしたか Webアプリケーションに対する代表的な攻撃手法としてXSS（クロスサイトスクリプティング）とCSRF（クロスサイトリクエストフォージェリ）というものがあります。 しかしこの二つ、名前だけでなく攻撃手法も似ていて違いがとてもわかりづらいです。かつて私がセキュリティを勉強していたときもよく混同していました。 そこで、この記事ではXSSとCSRFの仕組みとそれらの違いについてまとめることにしました。 対象とす
業務でAWSを利用する時に知っておくべきポイント10選 - Qiita
2024年1月時点のAWSベストプラクティスに従って作成しました 好評でしたら続編も検討します 1. 環境ごとにアカウントを分離する 本番、検証、開発ごとにアカウントを分割しましょう ✕良くない例 ◎良い例 最初にアカウント分割しておかないと、後で分割するのはとても大変です アカウントを分割することで「検証と思って作業したら、実は本番だった」のような事故を減らすことができます コストがアカウント単位で集計されるため、環境ごとのコストを簡単に算出することができます AWS Organizationsを使用することで、各環境に応じた権限設定が簡単にでき、ガバナンスを強化することができます AWSアカウントはAWS Control TowerのAccount Factoryを使用することで、クレジットカード情報を都度入力することなく簡単にアカウントの払い出しが可能です また、AWS Contro
htmxとは何なのか？ その背景にある思想について - Qiita
先日、Qiitaに投稿された一つの記事が注目を集めました。 元記事では、htmxというJavaScriptライブラリが英語圏で認知を獲得しているとして、インストールの仕方から使い方について公式のドキュメントの全体にわたって簡単に説明が行われています。 さまざまなプラットフォームでこの記事に対する反応を観察してみると、どちらかというと懐疑的な見方のほうが優勢のように見受けられます。ただ、多くのコメントは誤解に基づいているように見受けられました。「JSが要らない」といった元記事のミスリードによるところも大きそうですが1、なぜhtmxが大きく支持を得つつあるのかを理解するには、背景情報を含めて理解することが必要です。 htmxは、最近の複雑化するフロントエンド技術に対する単なる逆張りではありません。これまで30年ほどのあいだウェブ上のシステムを支え続けた「ハイパーメディア」の持つ強力さに今一度目
コストをかけずにWebサービスを公開するための構成例 - Qiita
はじめに 個人でフロントエンド(react)、バックエンド(node.js)、データベース(postgreSQL)を利用したWebサービスを公開したいと考えていました。 まずはテスト的に無料で外部公開できるサービスがないか調査しましたが、2022年8月に有料化されたHerokuの記事ばかりヒットしてしました。 結果的には無料で使用できる構成があり、実際にテストプログラムを動作させることができましたので構成例として記載しておきます。 ※無料なので比較的厳しい条件も含まれていたりするのでそれぞれのサービスを確認お願いします。 例えばsupabaseは数日間利用がないとインスタンスが一時停止して手動で起動させないといけないなどがあります。 今回試したサービス できるだけ同じサービスに集約したいと考えていましたが、実際にはフロントエンド、バックエンド、データベースはそれぞれ異なるサービスになってし
Emacsからの安全なシェルコマンド実行 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? どうも、Emacs Lispアドベントカレンダーです。嘘です。 Emacsから外部コマンドを起動する方法として、大別すると「コマンドラインシェルで実行したい文字列(コマンド名と引数をまるごと含む)を渡す関数」 (shell-command系) と、「コマンドとコマンドライン引数を個別の引数として渡す関数」 (process系) の二種類の機能に分類できます。 シェルコマンドの方が使用方法がおてがる、かつポータブル(後述)なので私は特別な理由がない限りは前者のshell-command系の使用を勧めるのですが、これは同時に典型的なバグや脆
JavaScriptの小技集 - Qiita
はじめに 初投稿です。 知ってたら便利になる小技が無かったのでまとめました。 「小技が知りたい...だけど検索しても出てこない...！」 そういう時に役立ちます。 比較的古いバージョンのJSでは一部の小技が使えないかもしれません。 随時追加予定です。他に小技をご存じの方はコメント欄にGO。 おことわり この記事は、あくまで"こんなやり方もあるよ"と紹介しているだけなので、何でもかんでもこれらの小技を使うと、かえってコードの可読性を下げる可能性があります。コードサイズと可読性を天秤にかけてどちらが良いかを都度確認しましょう。 記事内の間違った部分の指摘等はこの記事のコメントや編集リクエストでして下さい。 当方コードゴルファーなので、バイト数短縮小技も入れていることをご了承ください（一応該当する節には＊をつけています）。 配列 配列の重複した値を削除1 const meta = ["foo",
sudo apt --fix-broken install時のエラー - Qiita
$ sudo apt upgrade Reading package lists... Done Building dependency tree Reading state information... Done You might want to run 'apt --fix-broken install' to correct these. The following packages have unmet dependencies: libhdf5-openmpi-dev : Depends: libopenmpi-dev but it is not installed mpi-default-bin : Depends: openmpi-bin but it is not installed mpi-default-dev : Depends: libopenmpi-dev bu
use-packageからの移行のすゝめ - leaf.elでバージョン安全なinit.elを書く - Qiita
はじめに この記事は Emacs Advent Calendar 2018 - Qiita の21日目の記事です。 前日は@hyaktさんの「Dashboardで起動画面を素敵にしよう✨」でした。 翌日は@gongoさんの「Emacs で NES エミュレータを実装している話」です。 モチベーション 私は8月から.emacs.d/init.elの大改革を行っており、その副産物としての成果物をEmacs Advent Calendarで共有させていただいていました。 まず「.emacs.dの理想的なディレクトリ構造」(7日目)について考え、一番カオスになっていた「[Org-Modeのエクスポート関連の設定] (https://qiita.com/conao3/items/f81cf964198d4da93a05) - (orglyth.el)」(14日目)を見直し、「use-packageの
Pythonのパッケージ管理ベストプラクティス - Qiita
※おすすめの基準には上記「導入の手軽さ」「学習の手軽さ」「パッケージ依存関係の解決」以外に、「対象OSとの相性」「検索による情報の見つかりやすさ」を考慮しています。詳しくは後述します 筆者の主観が入りますが、概ね以下のフローチャートのように選択すると良いかと思います (詳しくは後述します) なお、実用上ハマりやすいプロキシ環境での使用方法についても、以下の記事に別途まとめました 必要知識 ここから先は、Pythonのパッケージ管理が何をやっているかを解説します。 「御託はいいから早く使いたい！」という方は、「3種類の方法比較」の項目まで飛んでください まず、一般的に「パッケージ管理」と呼ばれている要素を、以下の4つの機能に分割して考える必要があります。 A. インタプリタ切替 (Pythonのバージョンを切り替える) B. パッケージ切替 (パッケージのバージョンを切り替える) C. パッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3 Select を使ってS3オブジェクトの特定データを抽出する。 - Qiita
AutoHotKey v1->v2への移行 ～Emacs-likeなキーバインド設定編～ - Qiita
