Apache Drill 1.0がリリースされたのでAmazon S3と連携してみた | DevelopersIO
はじめに Apache Drill 1.0がリリースされました！ Drill 1.0 Released Apache Drillは、NoSQL向けのSQLクエリエンジンで、ファイルシステム上のJSON/CSV/Parquetなどのファイル、Hiveソース、HBase、MongoDBなどに直接SQLクエリを投げることが出来ます。 何はともあれ、触ってみないとどんなモノなのかわかりません。早速試してみました！ やってみた 試した環境はEC2(on Amazon Linux 2015.03)です。 セットアップ Drillの動作にはJDK 7が必要になりますので、インストールされていることを確認します。 $ java -version java version "1.7.0_79" OpenJDK Runtime Environment (amzn-2.5.5.1.59.amzn1-x86_64
修行おわりました＋画像変換サーバーSharaq : D-7 <altijd in beweging>
月曜からいきなりとほほな話ですが。Kuradoを全ホストに突っ込み監視体制ができた。 で、それの使い方等を説明して修行を終えたので、先日からHDE incでお世話になっております。修行期間は３ヶ月、プー期間は５日でした！自慢できませんね！ とりあえず「あ〜あ」は本人が一番思っていますので、とほほなブクマはいりません。もしあれでしたら砂でも送ってく… いや、やめて。あたたかい言葉かビールの一杯をよろしくお願いいたします。しかしまぁ、このブログを公開しようと思った瞬間に土下座して復職みたいなエントリが炎上しててタイミング悪いったらありゃしないですね。まぁ僕はいつでも自分のこの手の決断について後悔したことはありません。 ともあれ、自分の今後していくことは前のエントリで書いたのとほぼ一緒です。がんがん朝早く出勤してすごい早く帰宅して子育てしてるし、がんがんコード書くし（最近明らかにGoが業務コード
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
IaaS型クラウド「さくらのクラウド」 | さくらインターネット
ビジネス規模や成長にフィットする さくらのクラウド クラウドはもちろん、物理も併用して最適なインフラ構成を実現 圧倒的なコストパフォーマンスデータ転送量無料！ データ転送量による従量課金がないため、コスト算出が容易で、想定外の出費となることがありません。
Amazon Web Services S3+Glacierに写真ををアーカイブ - ジテツウは楽し
2013-07-21 Amazon Web Services S3+Glacierに写真ををアーカイブ Amazon Web Services (AWS)にデジカメ写真、ムービーをアーカイブしはじめた。 過去からのデジカメ画像やムービーは絶対に消失できない財産。特に1998年以降、息子が生まれてからのものは宝物。 なので、これまで３重に保管していた。 １）iMac本体 ２）外部HDDにTimeMachineで自動バックアアプ ３）適宜、クラウド(Flickr)に手動バックアップ 昔はビデオ編集しDVD-Rに焼いたりもしてたけど、面倒なのでそれは止めた（^^。 パソコン内部だけでは、内蔵ドライブが逝っちゃったらアウトなので、外部HDDへの保管は当然。それでも家の火事や局所災害時には同じ場所にあったら意味ないので、クラウドにも保管する。自動化や戻すときの容易性を確保しつつ、念のためクラウドにも
1GB/1円のAmazon Glacierを個人でも活用する方法 - ku-sukeのブログ
先日1GB/1円 衝撃のAmazon Glacierを早速使ってみた - ku-sukeのはてなダイアリーという記事を書きました。ブコメとかで結構気軽には使えないよね―という意見があったのですが、先日S3経由での利用オプションができたので、割りと個人でも簡単に使えるようになったということでそのやり方を紹介してみようと思います。 S3経由でGlacierを使う新機能とは？ 普通の速度で使える方のクラウドストレージであるAmazon S3にファイルを保存すると、勝手にGlacierにファイルを送ってS3上にはショートカットのようなものだけを置く感じにしてくれるサービスです！ 一度S3に保管しますが、S3の利用料はほとんどかからず激安価格でGlacierに保管することができます。もちろん取り出しには数時間かかるという点は変わらないのですが、S3上でファイルの一覧が管理されているので、安心して利用
社内Gyazoの画像をAmazon S3に逃がしてスケーラブルに運用する - 酒日記 はてな支店
Gyazo、便利ですよね。大変便利なので、社内でプライベートなGyazoサーバを用意して使っている会社も多いと思います。 うちでもサーバのパフォーマンスは特に必要ないので社内に適当なVMを立てて運用していたのですが、数年単位で運用していると画像ファイルが増えていくためdiskをなんとかする必要に迫られました。 ここでどんどん増えるファイルはAmazon S3に逃がそう、という自然な発想に至るわけですが、Gyazoサーバアプリが投稿を受けたときにS3にアップロードするような改修をするのは年末の忙しい時期に面倒。楽したい。 ということで S3 と nginx を組み合わせていいかんじに運用できるようにしてみました。 Gyazoに限らず、 ローカルに書き込んだファイルをhttpで閲覧する 一度書き込まれたファイルには変更がない ファイルは消えないでどんどん増える ようなものには応用できると思いま
MimicDB
>>> c = S3Connection(KEY, SECRET) >>> bucket = c.get_bucket('bucket_name') >>> start = time.time() >>> bucket.get_all_keys() >>> print time.time() - start 0.425064992905 >>> c = S3Connection(KEY, SECRET) >>> bucket = c.get_bucket('bucket_name') >>> start = time.time() >>> bucket.get_all_keys() >>> print time.time() - start 0.000198841094971 Works with Python and Boto MimicDB wraps every S3 API cal
CORS(Cross-Origin Resource Sharing)によるクロスドメイン通信の傾向と対策 | DevelopersIO
CORS(Cross-Origin Resource Sharing)って何？ CORS(Cross-Origin Resource Sharing)は、その名の通り、ブラウザがオリジン(HTMLを読み込んだサーバのこと)以外のサーバからデータを取得する仕組みです。各社のブラウザには、クロスドメイン通信を拒否する仕組みが実装されています。これは、クロスサイトスクリプティングを防止するためです。Aというサイトに訪問したのに、Bというサイトに向けて個人情報を送っていたというのは困りますよね。例えば、オリジンから読み込んだHTML内のJavaScriptでJSONデータを読み込むとしましょう。JSONデータが同じサーバにあれば普通に読み込めますが、別のサーバにある場合は読み込めません。まぁ実際のところはJSONPという仕組みを使ってできちゃったりしますが、抜け道的なやり方で使われていました。CO
開発メモ#6 : ログの取り扱い : GrowthForecast, Amazon S3, Treasure Data で心労ゼロ - naoyaのはてなダイアリー
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
Amazon S3から自動的に安価なAmazon Glacierへアーカイブする新機能が登場
Amazon S3に保存しているデータを、自動的に1GBあたり月額約1円というきわめて低価格な「Amazon Glacier」へアーカイブしてくれる。Amazonクラウドが発表したAmazon S3とAmazon Glacierが連係する新機能は、データアーカイブを非常に簡単に低コスト化できるソリューションとして使えるものです。 【AWS発表】Amazon S3がさらに便利に! データをAmazon Glacierに自動アーカイブできるオプションが追加! - Amazon Web Services ブログ Amazon Glacierの最大の魅力は、数百ギガバイトや数テラバイトにおよぶ大規模なデータをサポートするアーカイブサービスを、きわめて低価格で提供してくれている点です。ただしその利用には、Amazon S3とは別に用意されたAmazon Glacier用の操作をしなければならず、また
橋本商会 » s3cmdでAmazon S3にファイルをアップロード
s3cmdをインストールした。Homebrewやaptにある。 大量でなければ各言語のs3のライブラリ使うよりもs3cmdのほうが楽なかんじ。 AWSにサインアップしてs3を使えるようにする。 次に、access keyとsecret access keyを手に入れる。 https://portal.aws.amazon.com/gp/aws/securityCredentialsで作成できる。このページいつもどこにあるかわからなくて辿りつけない。 初期設定 s3cmd --help s3cmd --configure バケット作ってファイル置く。 shokaiってバケット作ったけど、バケット名は全ユーザーでユニークなので自分で適当な名前を考える。 s3cmd ls s3cmd mb s3://shokai s3cmd put shokai.jpg s3://shokai/icon s3c
Rakuten LeoFs - distributed file system
This talk will introduce TeraCache, a new scalable cache for Spark that avoids both garbage collection (GC) and serialization overheads. Existing Spark caching options incur either significant GC overheads for large managed heaps over persistent memory or significant serialization overheads to place objects off-heap on large storage devices. Our analysis shows that: (1) serialization increases exe
S3 の画像をリアルタイムにリサイズするServer書いた - Tomohisa Oda
S3に配置した画像をURLから指定したサイズにリサイズできるリアルタイムリサイズサーバをnodeで書いた。 Featuresスケーラブルでハイパフォーマンス。導入はとっても簡単。複数のバケットが使える。賢いキャッシュ。（ファイルサイズと更新日から304を返す）Architecture1台構成 +---------+ +------------+ +------------+ +----+ | Browser | <--> | CloudFront | <--> | EC2 (hose) | <--> | S3 | +---------+ +------------+ +------------+ +----+スケールアウト +------------+ | EC2 (hose) | +---------+ +------------+ +-----+ +------------+ +---
EC2インスタンス上でnginxのログをfluentd経由でS3へ飛ばしてみる - nozaq's diary
このエントリでEC2インスタンスにfluentdをインストールした続き. EC2インスタンスのAMIはUbuntu Server Cloud Guest 11.10 64Bitを使用. nginxをインストール 公式ドキュメントを参考に, apt-get用リポジトリにnginxを追加. > cd work_dir # 適当な作業ディレクトリへ異動 > wget http://nginx.org/keys/nginx_signing.key > sudo apt-key add nginx_signing.key > sudo vi /etc/apt/sources.list ファイル末尾に下記リポジトリを追加. deb http://nginx.org/packages/debian/ squeeze nginx deb-src http://nginx.org/packages/debi
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS上で使えるストレージ十番勝負
GitHub - weavenet/gosync: Experiment - Sync files to S3, fast. Go package and CLI.
TechCrunch | Startup and Technology News
Cloud Backup for Mac and Windows | Encrypted Online Backup | Arq Backup