カラムナフォーマットのきほん2017/05/18 BigData-JAWS 勉強会での発表資料です。 Explanation of Columnar format such as Parquet and ORC in japanese.
Pythonで大量データ処理！�PySparkを用いたデータ処理と分析のきほん
PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark
メルカリ社内ドキュメントツールの Crowi を Kubernetes に載せ替えました | メルカリエンジニアリング
最近、SRE になった @b4b4r07 です。今回は、直近のタスクだった社内アプリを Kubernetes に載せ替えた話をします。 前置き メルカリでは全社的 1 に Crowi という Markdown で書ける Wiki アプリケーションをナレッジベースとして採用しています。 site.crowi.wiki 以前は、プロダクトチームは Qiita:Team、コーポレート系は Google Sites と言った具合に、各部署ごとに異なるドキュメントツールを使っていました。これではよくないと、エンジニアに限らず誰でも書きやすく参照しやすい Wiki のようなサービスが必要とされ、Crowi の採用に至りました。 まずはみんなに使ってもらうために広めていこうと、試験的に導入が始まったため、今回の移行話までは 1 台の EC2 インスタンスにアプリケーションサーバと Nginx、Mongo
S3のバケット毎の使用量が欲しいんです ｜ Developers.IO
最近、S3のバケット毎の使用量が欲しくてたまらない菅野です。 aws-cliを駆使して取得する必要がでてきたのでスクリプトを作成しました。 今回の目標 全てのS3バケットのバケット毎の使用量を取得する では早速スクリプト作成開始です。 バケットの一覧を取得 不採用になったスクリプト 最初はこのようにしてみました。 # バケット一覧を取得 bucket_list=`aws cloudwatch list-metrics --namespace AWS/S3` # バケット名だけを取り出し bucket_list_json=`echo "${bucket_list}" | jq -r '.Metrics[] | select(.MetricName == "BucketSizeBytes") | .Dimensions[] | select(.Name == "BucketName") | .
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
中国が狙う原油指標の座 - 日本経済新聞
平均値動きを指数に - 日本経済新聞
