AWSのログで遊ぼうシリーズ第1弾 – ELB x Redshift。 今回はELBのアクセスログを対象に、Redshiftにロードしてみます。 前提知識 ELBアクセスログの有効化 方法は下記のドキュメント参照。 アクセスログの有効化 – ELB開発者ガイド ELBアクセスログの格納場所 ELBのアクセスログは、指定したS3の下記のパスに5分毎あるいは60分毎に(設定依存)出力されます。 {Bucket}/{Prefix}/AWSLogs/{AWS AccountID}/elasticloadbalancing/{Region}/{Year}/{Month}/{Day}/{AWS Account ID}_elasticloadbalancing_{Region}_{Load Balancer Name}_{End Time}_{Load Balancer IP}_{Random Stri

メディアデザイン研究科ではTim Brown氏をお招きし、特別公開講演を開催致します。ご関心のある方はこの機会に是非ご参加頂きますようお願い申し上げます。 タイトル：　Design thinking at a crossroad How will design thinking in education, business and society evolve in the future? 講演者：　Tim Brown　（CEO and President of IDEO） アメリカ合衆国に拠点を置くデザインコンサルタント会社IDEOの最高経営責任者。インダストリアルデザイナーとして数々の賞を受賞し、現在東京Axis Gallery、ロンドンデザインミュージアム、ニューヨーク近代美術館などで彼の作品が展示されています。また世界経済フォーラムやTEDへの出演など、多くの場で活躍をしています

IT Leaders トップ ＞ テクノロジー一覧 ＞ 海外事情 ＞ 韓国ICT事情 ＞ 韓国金融業界のビッグデータ活用、カード業界や保険業界が意欲的 海外事情 海外事情記事一覧へ [韓国ICT事情] 韓国金融業界のビッグデータ活用、カード業界や保険業界が意欲的 2014年11月17日(月)李 東源 リスト 電子政府の推進などを筆頭にICT活用を積極的に進める韓国。現地メディアの報道から、韓国の官民の最新動向をピックアップして紹介します。 韓国金融業界のビッグデータ活用 カード業界や保険業界が意欲的 ──ファイナンシャルニュース　2014年10月5日 ビッグデータ関連市場は拡大を続け、目下の年平均成長率は27.9%。韓国放送通信電波振興院によると、2020年には約9億ドルに達すると見込まれている。そうした状況下、韓国の金融業界もビッグデータ活用に動き始めた。 昨年、業界で初めてビッグデータ

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

ども、大瀧です。 AWS re:Inventで発表された新サービスAWS CodeDeploy、皆さん触ってますか?シンプルな設定と柔軟なローテーション機能で、EC2のアプリケーション管理が楽になるのでは、と期待しています。今回はCodeDeployのユースケースとして、最近サポートされたEC2(Windows)でのCloudWatchカスタムメトリクス設定の自動化をご紹介します。 「CloudWatchカスタムメトリクス設定のどこかアプリケーション管理なんだ?」とツッコまれそうですが、CodeDeployはインスタンスへのファイル転送とコマンド実行のオペレーションができるので、純粋なアプリケーション管理以外に今回のようなシステム/サービス構成にも応用することができます。 CloudWatchカスタムメトリクス設定とは CloudWatchカスタムメトリクスは、ユーザーが用意した統計情報を

これからご紹介する私の試みはなかなか難しい側面があり、物議をかもすかもしれません。また、お見せするのは初めてなので完璧とは言えないかもしれません。私はソフトウェアエンジニアのスキルとその影響力を評価するシステムを開発しようとしています。少なくとも、プログラマが成長していく理想的な成長過程を大まかに描いてみようと思います。評価スコアは0.0から3.0まであり、それぞれの数字は専門能力を開発していく際の出発点を表しています。 このシステムは主にビジネスの観点から見た、ソフトウェア業界が求めるものに基づく 実務的な スケールです。数学的な才能や高速アルゴリズムを書く能力、Linuxカーネルの内部構造に関するプログラマの理解の深さなどを評価するスケールではありません。もちろんこうした能力は重要ですし、通常、エンジニアのスキルとともに伸びていく能力ですが、私のシステムが焦点を当てたいのはそこではあり

この記事は AWS re:Invent 2014のARC304 - Designing for SaaS: Next-Generation Software Delivery Models on AWSのレポートです。 レポート 次世代のSaaS設計に関する内容です。 なぜSaaSか？ SaaSの採用が急速に伸びている SaaSが可能な物 新市場にリーチ 既に存在しているものを基に成長する 既存企業を崩壊させる 新プロダクトのリリースと採用が加速している SaaSソリューション設計のベストプラクティス プログラムからプラットフォームを分ける 抽象化を通じた将来性 マルチ-マルチ-テナントのための設計 あなたのデータのライフサイクルを知る 全てを集めて、そこから学ぶ コストと性能の最適化 安全と隔離 データライフサイクル管理の例 時間軸によってデータを変換、集計/集約を行い、データストアを入

AppSpec AppSpec は AWS CodeDeploy (以下、CodeDeploy) で実行するデプロイ処理の内容です。デプロイでどのようなことを処理させるか、具体的な内容を記述していく YAML フォーマットで構成されたファイルです。 CodeDeploy を利用する上で、AppSpec でどのような設定を記述するかがとても重要になってきます。 ということで、本記事ではこちらのドキュメントを意訳していきたいと思います。 はじめに Application Specification File (AppSpec file) は、CodeDeploy があなたの EC2 インスタンスに対して、Amazon S3 または GitHub にあるアプリケーションのリビジョンをどのようにインストールするか決定する、YAML フォーマットのファイルです。また同様に、デプロイの様々なライフサイ

Cloudfrontの動作確認を行っていたところ、HTTPS通信周りでハマったのでメモ。 1.ユースケース 今回の構成は以下の通りです。 ①：アプリケーションとしてのエンドポイントはCloudfrontに統一 ②：キャッシュさせたいbahavior、キャッシュさせたくないbehaviorを持つ ③：CloudfrontとOrigin間の通信はHTTPSにする このパターン自体はよくあるユースケースだと思います。 ■構成例 この構成で問題となったのは、「キャッシュさせたくないbehavior」の設定です。 2.キャッシュ対象外のbahavior設定（Forward Headers = ALL） Cloudfrontでキャッシュさせたくない設定を実現する場合は、 Forward Headers = Allにするのが手っ取り早い設定になります。 実際、アプリケーションがどんなheaderを使って

Covering Scientific & Technical AI | Saturday, September 28, 2024 The idea behind cloud computing, as pioneer Amazon Web Services believed when it launched its first utility compute and storage products eight years ago, is to abstract away the underlying hardware and provide raw resources to programmers for applications to run on. This hardware is a competitive advantage for AWS, as it has been fo

ラスベガス出張（re:Invent 2014、5泊）に持っていった風呂敷包みについて Facebook で公開したところ、中はどうなっているのか、中身はバラバラにならないのか、などの声が聞かれたので、せっかくなのでコンテンツにしてみます。 えっと、何の話だっけ？洋服を持っていかず、着物だけで過ごすのがメインテーマだったのですが、どうせならネタが多いほうが、と思い、スーツケースを使わずに風呂敷だけ持って行きました。出発したときの外観はこんな感じでした。写真の風呂敷は180cm角の風呂敷です。 風呂敷は空港のカウンターで、預け入れ荷物としてチェックインしました。 「この大きさなら機内に持ち込めばいいじゃん」といろんな方に指摘をいただいたのですが、仮に荷物が多くなった場合でもチェックインできるのか？というのが一つの疑問だったので、この機会にあえて試してみました。 羽田→ロス、ロス→ラスベガスの２

ラスベガス出張（re:Invent 2014、5泊）に持っていった風呂敷包みについて Facebook で公開したところ、中はどうなっているのか、中身はバラバラにならないのか、などの声が聞かれたので、せっかくなのでコンテンツにしてみます。 えっと、何の話だっけ？洋服を持っていかず、着物だけで過ごすのがメインテーマだったのですが、どうせならネタが多いほうが、と思い、スーツケースを使わずに風呂敷だけ持って行きました。出発したときの外観はこんな感じでした。写真の風呂敷は180cm角の風呂敷です。 風呂敷は空港のカウンターで、預け入れ荷物としてチェックインしました。 「この大きさなら機内に持ち込めばいいじゃん」といろんな方に指摘をいただいたのですが、仮に荷物が多くなった場合でもチェックインできるのか？というのが一つの疑問だったので、この機会にあえて試してみました。 羽田→ロス、ロス→ラスベガスの２

(BDT402) Performance Profiling in Production: Analyzing Web Requests at Scale Using Amazon Elastic MapReduce and Storm | AWS re:Invent 2014 Code profiling gives a rich, detailed view of runtime performance. However, it's difficult to achieve in production: for even a small fraction of web requests, huge challenges in scalability, access, and ease of use appear. Despite this, Yelp profiles a nontri

(BDT403) Netflix's Next Generation Big Data Platform | AWS re:Invent 2014 As Netflix expands their services to more countries, devices, and content, they continue to evolve their big data analytics platform to accommodate the increasing needs of product and consumer insights. This year, Netflix re-innovated their big data platform: they upgraded to Hadoop 2, transitioned to the Parquet file format

(PFC302) Performance Benchmarking on AWS | AWS re:Invent 2014 In this session, we explain how to measure the key performance-impacting metrics in a cloud-based application and best practices for a reliable benchmarking process. Measuring the performance of applications correctly can be challenging and there are many tools available to measure and track performance. This session will provide you wi

(SDD404) Amazon RDS for Microsoft SQL Server Deep Dive | AWS re:Invent 2014 Come learn how to turbocharge your application development with useful tips and tricks for Amazon RDS for SQL Server. We will cover practical and useful topics such as migrating your data to an Amazon RDS for SQL Server instance and as well as detailed guidance for taking advantage of Multi-AZ deployments to architect high

This document provides a summary of best practices for high reliability data loading in ClickHouse. It discusses ClickHouse's ingestion pipeline and strategies for improving performance and reliability of inserts. Some key points include using larger block sizes for inserts, avoiding overly frequent or compressed inserts, optimizing partitioning and sharding, and techniques like buffer tables and

(SDD414) Amazon Redshift Deep Dive and What's Next | AWS re:Invent 2014 Get a look under the covers of Amazon Redshift, a fast, fully-managed, petabyte-scale data warehouse service for less than $1,000 per TB per year. Learn how Amazon Redshift uses columnar technology, optimized hardware, and massively parallel processing to deliver fast query performance on data sets ranging in size from hundred

AWS Config is a new cross-resource service that allows you to discover new resources, how they're configured, and how these configurations changed over time. The service defines and captures relationships an dependencies between resources, helping you determine if a change to one resource affects other resources.Read less

(SDD415) NEW LAUNCH: Amazon Aurora: Amazon’s New Relational Database Engine | AWS re:Invent 2014 Amazon Aurora is a MySQL-compatible database engine that combines the speed and availability of high-end commercial databases with the simplicity and cost-effectiveness of open source databases. Starting today, you can sign up for an invitation to the preview of the service. Come to our session for an

こんにちは。日本食って本当に美味しいなと感じているセールスの永淵（@Nagafuchik）です。 今回は、AWS re:Invent 2014 Day3(Thursday)にありましたセッション「Architecting for End-to-End Security in the Enterprise」のセッションに参加しましたので様子をレポートします。 このセッションではAWS上でユーザーが実施すべきセキュリティ対策とその事例としてBoeingの事例が公開されました。 セキュリティの脅威は年々高まっており、ユーザーは必ず対策をとる必要があることがわかります。 1.共有責任モデル AWSは「共有責任モデル」という責任モデルをとってサービスを提供しています。 AWSが管理、責任をとるセキュリティレイヤーとユーザーが自身で管理、責任を取る必要があるセキュリティレイヤーを正しく理解し、対応をと

cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 先週はAWS re:Inventが開催されたので、そちらでの新サービスなどを中心にまとめています。 実に10種類の発表がありました。 AWS発表 1. AWS Lambda AWS News Blog 受け取ったトリガを元にLambda functionを実行することでワーカーアプリケーションをフルマネージドなプラットフォーム上で実行可能です。 Lambda functionはNode.jsで記述します。 実行環境の設定ではIAMでInvocation role(許可するfunction)とExecution role(functionがアクセス可能なAWSリソース)を定義する必要があります。 2. Amazon RDS for Aurora AWS News Blog 従来のRDSと全く違うQuorumベ

cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 (SDD416) Amazon EBS Deep Dive | AWS re:Invent 2014 from Amazon Web Services 以下のAWSの発表のとおり、SSDベースのAmazon EBSの最大容量およびIOPSが近々強化される予定だそうです。 AWS News Blog 変更点 従来からの変更点は以下のとおり GP2 (General Purpose SSD) 最大容量：1TB→16TB 最大IOPS：3,000 IOPS→10,000 IOPS スループット：非公開→160MB/s PIOPS (Provisioned IOPS SSD) 最大容量：1TB→16TB 最大IOPS：4,000 IOPS→20,000 IOPS スループット：非公開→320MB/s また、この明確

はじめに 先日、Consul Templateという便利そうなツールがHashiCorpから発表されました。 Introducing Consul Template - HashiCorp 何かおもしろいこと出来ないかなっと思ってちょっと考えていたら、Registrator(progrium/registrator · GitHub)と相性が良さそうだったので組み合わせて使ってみた、というはなしを本エントリでまとめました。 Consul Template について Consul Templateは、Consulに登録されているサービスやK/Vの内容を元に、ミドルウェア等の設定ファイルを生成するためのツールです。 また、Consulを常に監視し、内容が変化するとリアルタイムに設定ファイルを更新して指定したコマンドを発行することができます。 ユースケースとして、HAProxy配下にWebサーバ

ゲームについての雑文をちょくちょく。 モガベーID：60916219 PSN ID：rikzen_zero nintendo ID：rikzen メール：rikzzeroあっとgmail.com

インヴェンティット株式会社は、「IoTを当たり前にする」を ビジョンに掲げ、デバイスとデータを活用したサービスを 展開するSaaS企業です。

アメリカのミルウォーキー在住のトラックメーカーMelvvが新曲”Glide"を公開していました。ピアノと弦楽をうまくつかったエレクトロでちょっとトロピカルハウス感もある素晴らしい曲ですね。フリーダウンロードです。Melvvはエレクトロニカとか聞いてた人にもうける気がします。EDM BananaがEDMにハマる前はエレクトロニカ聞いてというだけですが（笑　Kettelとか好きな人にはうけるんじゃないですかね。あと、Owl Cityとか好きな人もハマるかも？ちなみにですがMelvvも17歳です。すごい。 ちなみにこの曲Melvvがfacebookで、Monstercat（カナダのレーベル）からリジェクトされた、と書いていたので音源を送ったけどリリースはされなかったということでしょうか。 他にも良曲があるので紹介してみます。 Cashmere Cat - Mirror Maru (Melvv B

二日目もKeynoteとsessionがありました。メモを残しておきます。 参加したセッション SPOT305 -- Event-Driven Computing on Change Logs in AWS BDT401 -- Big Data Orchestra - Harmony within Data Analysis Tools APP303 -- Lightning Fast Deploys with Docker Containers and AWS GAM404 -- Gaming DevOps: Scopely's Continuous Deployment Pipeline SDD424 - Simplifying Scalable Distributed Applications Using DynamoDB Streams 新サービス類 気になったものだけ。 ECS:

モデル MacBook Air (13-inch, Late 2008) 事象 電源ボタンを押すと、しばらくグルグルした後、電源OFFになり起動しない 対処 fsckでファイルシステム修復 電源ボタンを押した後、「Command (Apple ⌘) 」と「S」キーを同時に押す fsck -fy を実行する。 # fsck -fy (中略) ** Checking Catalog File. Invalid key Length (4,11485) ** Volume check failed. /dev/rdisk0a2 (hfs) EXITED WITH SIGNAL 8 ボリュームのチェックに失敗、次の手を考える… 停止する # shutdown -h now fsck_hfsでファイルシステム修復 USB外付けCD/DVDドライブを接続し Mac Book Air のインストールディ

なぜやるか AWS OpsWorksは強力なクラウドアプリケーション管理ツールです。 ただ、一つ難点があるとすれば、AWS上にしか環境を作れないことです。なので、chefもAWS上でしか試せません。また、chefの魅力の一つであるローカルにも同じ環境を作ることができるという利点が失われています。なぜ、AWS上にしか環境を作れないのかというと、OpsWorkを機能させるためのOpsWorks Agentというモジュールが各インスタンスにプリインストールされていて、また、それと連携して動作するOpsoWorks独自のレシピがインスタンス作成時に起動して色々なOpsWorksの設定をする仕組みになっているからです。 AWS上でしか環境を含めた試験ができないとなると、試験をする度にいちいちインスタンスを生成して課金されることになってしまいます。課金が嫌だというのと、普段から本番と同じ環境で開発をす