サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
買ってよかったもの
www.totalsolution.biz
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 RDSのログをダウンロードするには、REST APIで取得しますが、一日経過したログはローテーションされて削除されます。 長期保存するには、定期的にS3にダウンロードする仕組みが必要。 そのまま使えるLambda functionが下記に公開されていました。 AWS Lambda function to export Amazon RDS MySQL Query Logs to S3 上記は差分更新に対応していない、圧縮対応とか改良してくれるスクリプトが公開されていました。(python 3対応) https://github.com/om732/rdslogs2s3 Clou
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 Cloud Functions でLINE Botサーバーを立ててみました。 LINE BOTアカウントの作成、LINE@MANAGERの設定は以下を参照 http://qiita.com/saitoryc/items/9f5833495d1e0453e052 AWS Lambdaの場合API Gatewayと併用しないといけないが、Google Cloud FunctionsだとHTTP Triger (HTTPS)でFunctionsを実行できるので、便利です。 LINE BOTサーバーはHTTPS通信できることが必要ですが、Cloud functions HTTP Tri
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 BigQueryで公開データとして公開されているNOAA Global Historical Climatology Network の天候データを、エクスポートして、Amazon Athenaで使用してみました。 Column-oriented フォーマットにカテゴリ分けされる Parquetに変換して検証してみました。 ParquentへのConvertはApache Drillを使用 0: jdbc:drill:zk=local> ALTER SESSION SET `store.format` = 'parquet' . . . . . . . . . . . > ;
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 AWS LambdaライクなEvent Driven なサービスがGoogle Cloud Platformにも、以前書きましたが、 Google Cloud Functionsが使えるようになりましたので、レポートします。 まずは、プログラムコードをアップロードするGCSバケットを作成しておきます。 $ gsutil mb gs://BUCKET/ $ mkdir helloworld; cd helloworld まずは、お約束なhelloworldから $ vi index.js exports.helloworld = function (context, data)
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 Google Cloud Datalabは、ワンクリックで開始できる大規模データの探索、分析、可視化が行えるツールです。 過去途中でOut Of Memoryでデプロイに失敗していましたが、昨日試したところ、正常にデプロイできるようになっていました。アップレートされたのでしょうか。 Cloud Datalabを始めるには、https://cloud.google.com/datalab/?hl=ja から Deployをクリックすれば、必要なインスタンスとかを作成してくれます。完了まで10分程度かかります。 デプロイが成功すると、下記画面が表示できるようになります。 変数定義
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 re:Invent 2015で発表されたAmazon Inspectorのpreviewが通りましたので、実際使用してみました。 Amazon Inspector Agentが対応するOS Amazon Linux AMI 2015.09 Ubuntu Server 14.04 LTS Agent Limits 500 concurrent agents まず素のAmazon LinuxをLaunchを行い、Inspector Agentをインストールします。 curl -O https://s3-us-west-2.amazonaws.com/inspector.agent.
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 Datadogで、Fluentd、nginxについても監視が可能。 Nginxのモジュールngx_http_stub_statusが有効である必要があります。組み込まれているかどうかは、nginx -Vで確認が可能です。 /etc/nginx/conf.d/virtual.conf location /nginx_status { stub_status on; access_log off; } datadogの設定ファイルを作成します。.exampleでサンプルがおいてあるので、コピーして作成すればstatus urlを変更すれば完了。 /etc/dd-agent/conf
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 http://blog.cloudpack.jp/2014/04/server-news-vm-import-virtualbox-hvm.html で紹介されていたVirtualBoxの仮想マシンをEC2インスタンスにインポートしてみました。 VirtualBox上に、仮想ディスク VDI(8GB)、メインメモリ1Gで、CentOS 6.5 最小構成で構築。 まずは、構築したCentOS 6.5を、VirtualBoxにVBoxManageコマンドで、RAWフォーマットに変換。 VBoxManage internalcommands converttoraw CentOS6.
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 昨日 niftyセミナールームで行われた第4回 コンテナ型仮想化の情報交換会@東京に参加しました。 コンテナ技術についてインプットが得られた一日でした。 Cgroupあれこれ コンテナのリソース管理のキモのCgroupについての話でした。 dockerなどのコンテナではコンテナごとにリソース制御が重要 ※AmazonLinux 2013.02、t2.microでリソース Limitを試してみました。 sudo yum install libcgroup リソース Limitを以下のファイルに記載して、cgconfigサービスを再起動します。CPUをMax 25%に制限する設定に
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 nginx用のWeb Application Firewallであるnaxsiを導入してみました。 カスタムrpmを作って、naxsi-coreを入れてみました。 nginx最新版のソースRPMをまずインストール。 rpm -ivh nginx-1.4.1-1.el6.ngx.src.rpm 次に、naxsiのソースを展開。 zcat naxsi-core-0.49.tgz | tar xvf - nginxのSPECファイルを編集。 vi nginx.spec –with-debugがないconfigureの引数に「–add-module=/root/naxsi-core/n
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 CentOS 6.5 64bitにOTNでダウンロードできるOracle11gRelease2をインストールしてみました。 CentOS 6.5はESXi 5.1上に構築済、各種パッケージは最新化済とします。 必要なパッケージをもろもろインストールします。 yum install compat-libstdc++-33.x86_64 binutils elfutils-libelf elfutils-libelf-devel yum install glibc glibc-common glibc-devel glibc-headers gcc gcc-c++ libaio y
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 イメージは、CentOS6(centos-6-v20140619)を、 マシンタイプは、n1-standard-1 (vCPU 1個、メモリ 3.8GB、標準永続ディスク10GB) ※m3.medium相当 インスタンスは同じネットワークに属して行いました。 同一リージョン内 まず、GCEの東アジアリージョンで、iperf3を使って、スループットを計測してみました。 asia-east-1-a <-> asia-east-1-a(同一ゾーン) :1.7Gbps asia-east-1-a <-> asia-east-1-b(異なるゾーン) :1.6Gbps asia-east-
クラウドインフラ構築記 現在AWSの構築支援に携わっております。今注視しているのは、GKE、BigQuery、Google Dataflowなどサービスを展開しているGoolge Cloud Platformです。 Cloud Days Tokyo 2013に昨日行ってきました。 AWS,nifty クラウド,biglobe クラウドなどのブースを主に回りました。nifty クラウドのブースで、「nifty クラウドのネットワークがAWSより上」という話がありましたので、PINGのレイテンシを実際比較してみました。niftyクラウドの契約がありませんので、さくらのVPS、AWS各リージョンの比較になります。 下記条件のもと、利用しているプロバイダー(OCN)からAmazon Web Serviceのレイテンシを計測してみました。 インスタンスタイプ t1.micro AMI Amazon
このページを最初にブックマークしてみませんか?
『https://www.totalsolution.biz/』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く