GlueのCustomClassfierの使い方 - goodbyegangsterのブログ
Glueのデータカタログ機能て、すごい便利ですよね。 Glueデータカタログとは、DataLake上ファイルのメタ情報を管理してくれるHiveメタストア的なやつで、このメタストアを、AthenaやRedshift Spectrumから簡単に参照出来ます。マネージドサービスとなるので、メタ情報を格納用データベースはAWS側が用意してくれており、メタ情報に関しても、自動的に取得する機能(Glue crawler機能)を持っています。ファイル単位で、Hive DDL文を書かなくとも、S3上ファイルのメタ情報を管理/更新できるのです。便利だ。 ただし、ファイルのメタ情報を正確に読み取るには、厳格なフォーマットがあります。たとえば、以下のようなCSVファイルの場合(カンマ後に半角スペースがあり、値がダブルクォーテーションで囲まれている)、 "voiceroid_id", "name", "japan
「GDPRとかいろいろあるけど、それでも個人でWebサービス開発やっていこうよ」という話 - えいのうにっき
前回のエントリ↓のつづき。 blog.a-know.me Pixelaを作り、運用するにあたって、「今までやったことなかったけど、今回は絶対にやってみよう」と思っていたことがあって、それが「利用規約の整備」と「GDPRにちゃんと向き合うこと」だった。 なお、以下の文章は「ごく最近に "利用規約" というものに向き合い始めたばかりのド素人」が書いているものであり、その正確さ等については一切保証できません。が、「今回僕はこうやった」ということについて書いてあるため、もし誤解や不足、問題点などがあればぜひご指摘いただきたいです。プログラミングといっしょで、問題点をひとつずつ直していくことを通じて "安心して使ってもらえる・運用していけるWebサービス作り" を上達していきたい、という気持ちがあります。 なぜ取り組もうと思ったか？ 僕はとにかく意識が低くて、GDPRが施行されるという今年の5月下旬
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
