【登壇資料】運用担当者にやさしいサービス設計について話してきました #cm_osaka | DevelopersIO
2017/05/26（金）に クラスメソッド株式会社 大阪オフィスにて【 大阪オフィス開設1周年勉強会 】開発者のための楽しいAWSのサービス運用 in 大阪 2017/05/26 #cm_osakaが開催されました。 オンプレもAWSも変わらない運用についてお話させていただきました。 勉強会の概要については以下を参照ください。 【 大阪オフィス開設1周年!! 】クラスメソッドの開発を知る！全7回勉強会開催 登壇資料 運用設計はなるべく早期に実施しよう リスクを考慮した上で自動化しよう ログ設計はとっても大事だよ といった内容で、運用設計は非機能要件が多く後回しにされがちですが、怠ると後々響いてくるというお話をしました。 懇親会 懇親会では参加いただいた方々と、運用にまつわるお悩みや運用あるあるについて楽しくお話させていただきました。 次回(6月9日)は、今話題のDockerについての勉強
[アップデート] AWS CodeCommit が東京リージョン対応 | DevelopersIO
渡辺です。 開発者に待望のアップデートです。 CodeCommitが東京リージョンで利用できるようになりました。 早速リポジトリを作成してみます。 リージョンがap-northeast-1（東京）になっていますね。 CodePipelineからCodeCommitのリポジトリを参照してみましょう。 バッチリです。 これで開発系サービスのCodeDeploy, CodeBuild, CodePipeline, CodeCommitが東京リージョンで利用できることになります。 これまでは東京リージョンでCodeDeployを利用する時にS3を利用せざるを得ませんでしたが、今後はCodeCommitを利用することでスムーズな連携が可能になるでしょう。 残るはCodeStarのみです。 CodeStarは各開発系サービスを連携するサービスですから、遠くない時期には対応されるのではないでしょうか？
![[アップデート] AWS CodeCommit が東京リージョン対応 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/13935a4e593b03d16999ca4cb4f253480dea8a3f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fcodecommit.png)
AWS Price List APIがリージョン別価格を提供するようになりました | DevelopersIO
2017/04/20 のサービスアップデートにより、サービスごとのプライスリストを提供する AWS Price List API がリージョン別のプライスリスト提供に対応しました。 全リージョンでサービス展開しているわけではなく、東京リージョンなど、特定のリージョンで重点的にサービス展開しており、そのリージョンでのプライスリストが欲しいケースにおいて、プライスリストファイルのデータサイズが大幅に減ります。 例えば 10 リージョンに対応したサービスの場合、リージョン別ファイルを利用すると、取得するファイルサイズはほぼ 1/10 になります。 サービスアップデート前後での通知文の違い プライスリストの変更は SNS を購読すると受け取れます。 サービス変更前の本文 サービス別にプライスリストを受け取るSNS(arn:aws:sns:us-east-1:278350005181:price-l
[AWS]認証情報レポートを出力してIAMユーザーの棚卸しをする | DevelopersIO
コンニチハ、千葉です。 IAMユーザを棚卸して安全なAWSアカウント管理を！、こちらにIAMユーザーの棚卸しが書かれていますが 今回は認証情報レポートという機能を使って、IAMユーザーのアクセスキー、パスワードの棚卸しをしてみました。アカウントが大量にある場合は、かなり有用ではないかと思います。 AWSアカウントの認証情報レポートとは AWSアカウント内の全てのユーザーとユーザーの認証情報ステータス(MFA、最終ログイン時間、パスワード利用有無等)をCSVでダウンロードできます。 レポートは4時間ごとに1回作成となります。 レポート作成 レポートダウンロード(1から4時間は1で作成されたレポートがダウンロードされる) 4時間後にレポート作成した場合は1に戻る のような感じになるかと思います。つまり、追加直後のIAMユーザーはレポートに出力されない場合もあるので注意となります。 やってみた
![[AWS]認証情報レポートを出力してIAMユーザーの棚卸しをする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7ba1034b9360dd6b5d9f1c5c3fa68ed286fc549d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FIAM.png)
AWS LambdaによるRDSの自動削除スクリプト | DevelopersIO
はじめに DI部のおおたきです。今回AWS Lambdaを使ってRDSの削除スクリプトを書いてみました。 pythonコードは初めて書いてみましたので、色々突っ込みどころがあるかもしれませんがご了承ください！ 作成したLambdaはCloudWatchでruleを作成して決まった時間に実行するようにしました。 ロールを作成する Lambdaを実行するにはロールが必要になりますので、最初にロールを作成します。 Management ConsoleのIAMからRolesから「Create new role」をクリックします。 「AWS Service Role」から「AWS Lambda」を選択します。 次に「Attach Policy」で「AmazonRDSFullAccess」を選択しロールを作成します。 Lambda関数を作成する CloudWatchの設定 Management Con
AWS CLI S3 Configurationを試したら想定以上にaws s3 syncが速くなった話 | DevelopersIO
設定方法は、公式ドキュメントの通りですが、~/.aws/configに直接記載するか、aws configure setコマンドを利用して設定します。 $ cat ~/.aws/config [profile default] s3 = max_concurrent_requests = 20 max_queue_size = 10000 $ aws configure set default.s3.max_concurrent_requests 20 $ aws configure get default.s3.max_concurrent_requests 20 $ aws configure set default.s3.max_queue_size 10000 $ aws configure get default.s3.max_queue_size 10000 AWS CLI S
Scalaで関数型プログラミングをする#2 純粋関数型プログラミング言語とScala | DevelopersIO
純粋関数型プログラミング言語とScala Ⅰ.はじめに 前回確認したように、関数型プログラミングを行うには、 1.副作用がない（参照透過性が高い） 2.言語内において関数が第一級の身分を持つ（ファーストクラスとして扱うことが可能） という条件を満たす必要があります。 ２番目の条件に関しては言語がそういった機能を持つしかないのですが、 １番目の条件については、実装次第で副作用を排除することも持つこともできます。 しかし副作用を言語の機能から一切排除した言語もあります。 それが「純粋関数型プログラミング言語」とよばれるプログラミング言語です。 Ⅱ.純粋関数型プログラミング言語 HaskellやConcurrent Cleanというのが代表的な純粋関数型言語のようです。 ここではHaskellがどういう特徴を持っているか見てみましょう。 1.最近の言語で使用できる便利な機能をサポート 高階関数や
【新機能】インメモリ型キャッシュクラスタで超高速化！Amazon DynamoDB Accelerator (DAX) のプレビュー版で速さを体験してみた | DevelopersIO
【新機能】インメモリ型キャッシュクラスタで超高速化！Amazon DynamoDB Accelerator (DAX) のプレビュー版で速さを体験してみた DynamoDB 高速化のための新機能「Amazon DynamoDB Accelerator(DAX)」 Amazon DynamoDB Accelerator (DAX) は、先日 AWS Summit 2017 San Fransisco で発表された DynamoDB の高速化のための新機能です。 Amazon DynamoDB Accelerator(DAX) – Read heavyなワークロード向けインメモリ型キャッシュクラスタ | Amazon Web Services ブログ DynamoDB 専用のインメモリ型のキャッシュクラスタを構築し、キャッシュからのレスポンスをミリ秒単位からマイクロ秒単位になるように高速化する
DynamoDBにおけるスループット超過対策 〜 Fallback-Queueingパターン | DevelopersIO
よく訓練されたアップル信者、都元です。今日はAmazon DynamoDBのちょっと厄介な特性とその対処方法について。 DynamoDBの課金モデル 今さら説明することでもないかもしれませんが、DynamoDBはプロビジョニングされたスループットに対して課金されます。 意味わかりますか？ さっぱり伝えられてる気がしませんｗ 「provisioned throughput」ってどう訳せばいいんですかねぇ。 おっと、いきなり脱線してしまいましたが。つまり「どのくらいの頻度でどのくらいのデータ量を読み書きをする予定なのか」というユーザからの事前申告に基づいて、Amazonがその処理能力を確保し、その確保分に対して料金が発生します。具体的には1秒あたり1KBのデータを100回書き込みたければ、100ユニットの書き込みスループットを設定し、この100ユニットに対する課金を支払います。実際にどの程度読
[新サービス] 一撃でCI環境を作れる AWS CodeStar | DevelopersIO
渡辺です。 2017/04/19開催(日本時間:2017/04/20)の『AWS Summit in San Francisco』で発表された新サービス『AWS CodeStar』についてお知らせします。 一言で言えば、CodeCommit, CodePipeline, CodeBuild, CodeDeployとそれらに付随する実行環境を一撃で構築・管理できます（2017年4月の時点で、東京リージョンでは利用できません）。 実行環境もカバーする最強のスキャホールド AWS CodeStarが何者か、一言で言えば、一時期に流行ったスキャホールドの類です。 Ruby on Railsが登場した時、コマンドひとつでウェブアプリケーションの雛形ができることに衝撃を覚えた人は多いでしょう。 ベース部分をスキャホールド（足組）として作り、肉付けをしていくというスタイルが流行ったかと思います。 AWS
[EMR小ネタ] ディスクサイズにご用心 | DevelopersIO
こんにちは、小澤です。 今回は、EMRを利用する際にちょっと気をつけておいたほうがいい小ネタを紹介します。 EMRでのディスクサイズ EMRを利用するときは多くの場合、S3などを入出力先として利用するかと思います。 そのため、主にHDFSとして利用されるインスタンスのディスクサイズってそれほど関係ないんじゃないの？と思われる方も多いかと思います。 しかし、実はHadoopでは、必ずしも入力と出力意外に何も生成しないかというとその限りではありません。 いくつか例を挙げると Hadoopのログ出力 Mapperの中間出力 Hiveのscratchdir Sparkのキャッシュ などが考えられます。 これらはHDFSや各ノードのローカルディスクに保存されることになります。 平均的なディスク使用率としてみたときはたいしたことないけど、 ジョブ実行中などで一時的に上がるという状態は考慮しておいたほう
![[EMR小ネタ] ディスクサイズにご用心 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/46fafde613a125aacd21cca3f78d3bb8d8855101/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_EMR.png)
超簡単！今すぐ使える「クロスアカウントアクセス」 | DevelopersIO
こんにちは！ももんが大好きの小山です。 きょうは、「便利なんだろうなあ」と思いつつ試したことがなかったクロスアカウントアクセスを設定してみました。本当に簡単にできたので、まだ試したことがないという方はぜひやってみてください! クロスアカウントアクセスとは あなたは、今まで所有していたアカウントA (123423453456) に加えてアカウントB (654354324321) のリソースを管理することになりました。そこであなたはアカウントBに新しいIAMユーザーを作成しましたが、これによって管理すべきログイン情報が増えてしまいました。しばらくすると、こんな不安が生まれます。「今は構わないけど、もっとアカウントが増えたらどうなるんだろうか...」 そこでクロスアカウントアクセスの出番です! クロスアカウントアクセスを使うと、「アカウントAのプリンシパル」から「アカウントBのリソース」を操作で
[小ネタ][git] 日本語ファイルの文字化けを回避する | DevelopersIO
gitで日本語ファイルが文字化けする こんばんは。小室です。gitを使っていて日本語のファイル名を入れるとファイル名の表示が崩壊するという経験をしました。 割と今までは放置していたのですが、きちんと日本語ファイル名を表示するコマンドを教えてもらったため、備忘録として記録しておきます。 若干人を小馬鹿にしたようなファイル名のファイルを配置したディレクトリをサンプルとして用意しました。 $ ls -la total 8 drwxr-xr-x 4 komurohiraku staff 136 Mar 25 19:09 . drwxr-xr-x 22 komurohiraku staff 748 Mar 25 19:08 .. drwxr-xr-x 10 komurohiraku staff 340 Mar 25 19:08 .git -rw-r--r-- 1 komurohiraku staff
![[小ネタ][git] 日本語ファイルの文字化けを回避する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/449a6ff1c4f7545a1c9c8678f784a4711116a965/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F01%2Fgit.png)
S3 Transfer AccelerationをAWS CLIを使って試してみた | DevelopersIO
西澤です。S3 Transfer Accelerationの利用を検討する為、みんな大好きAWS CLIから試してみたのでご紹介したいと思います。 S3 Transfer Accelerationとは？ S3 Transfer Accelerationとは、海外リージョン等の送信元から遠く離れたS3へのデータ転送を、AWSのエッジロケーションとネットワークプロトコルの最適化を利用して高速化するサービスです。詳細については、下記の「よくある質問」がわかりやすいかと思います。 よくある質問 - Amazon S3 Transfer Acceleration S3 Transfer Accelerationを有効にする S3 Transfer Accelerationは、バケット単位で有効にすることができます。設定そのものでは課金は発生しませんが、GBアップロードあたり$0.04が課金対象となり
BigData-JAWS 勉強会#2 参加レポート（Embulk/DigdagとRedshift）#bdjaws | DevelopersIO
はじめに データインテグレーション部 大矢です。 2016年9月26日開催のBigData-JAWS 勉強会#2に参加してきました。 この記事はその前半、弊社川崎の発表した「EmbulkとDigdagで作るRedshiftデータマート」のレポートです。 EmbulkとDigdagで作るRedshiftデータマート 資料はこちらです。 発表者はクラスメソッド株式会社 川崎照夫。 参加者の比率の確認（挙手で） OLTP系の人 2名 情報系、DWH系の人 多数 ビッグデータの勉強会なので、やはり情報系の人がほとんど。 データマネジメント概説書 JDMC（日本データマネジメント・コンソーシアム）という団体があり、（川崎も）以前参加していた。 JDMC知っている方？（挙手で確認） ほぼゼロ 残念ながら、知名度が低い。 JDMCでは「データマネジメント概説書」という書籍を出版している。 「DMBO
Digdagのアーキテクチャとコンセプトを理解する #digdag | DevelopersIO
Treasure Data社によってOSSワークフローエンジン『Digdag』はその発表以後多くの反響を呼び、社内外を含め良く利用されるようになってきていますが個人的には下記の『試してみた』エントリ以降、あまり触って来ていませんでした。ちょっと個人的にも腰を据えて取り掛かってみようかという感じになってきましたので、仕組みや使い方を把握するという意味で一番参考になるであろう公式ドキュメントの一部を読み進めてみた記録をブログエントリとして残しておきたいと思います。 Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag ｜ Developers.IO Digdagのアーキテクチャ Digdagによるワークフローの自動化 ワークフローを使って、手動で行なっているあらゆる操作を自動化出来ます。一連のタスクを『ワークフロー』として定義し、Digdagを使
Digdagのワークフロー定義について理解する #digdag | DevelopersIO
先日の投稿でDigdagの『アーキテクチャ』に関する部分を読み解いて行きましたが、今回はその続き、『ワークフロー定義』に関する部分を読み進めてみたいと思います。 Digdagのアーキテクチャとコンセプトを理解する #digdag ｜ Developers.IO ワークフローは拡張子『*.dig』のファイルとして作成する Digdagのワークフローは拡張子*.digを持つファイルとして作成します。ファイルの名前＝ワークフローの名前、となります。例えば、hello_worldというワークフローを作るとします。その際のファイル名はhello_world.digとなります。中身はこんな感じの記述内容となります。 hello_world.dig timezone: UTC +step1: sh>: tasks/shell_sample.sh +step2: py>: tasks.MyWorkflow
S3保管したCloudTrailログに別アカウントのLambdaからアクセスする | DevelopersIO
こんにちは、虎塚です。 今回は、S3バケットに格納したCloudTrailログに、別のアカウントのAWS Lambdaからアクセスする方法をご紹介します。 前提となる構成 2つのAWSアカウントがあるとします。 アカウントA: AWSアカウントID 000000000000 アカウントB: AWSアカウントID 111111111111 アカウントAではCloudTrailログを有効にしていて、gz形式のログファイルをアカウントAのS3バケット に保管しています。アカウントBのLambdaファンクションから、このログファイルへアクセスして、getObjectでファイルを参照しようとしています。 S3バケットには、CloudTrailログの保存先として必要なバケットポリシーが設定されているものとします。次の公式ドキュメントにあるポリシーをそのまま使っていると考えてください。 参考: Amaz
10分でわかる！Key Management Serviceの仕組み #cmdevio | DevelopersIO
こんにちは、虎塚です。 先日のCM re:Growth Developers.IO Meetup 11 Tokyo で「10分でわかるKey Management Serviceの仕組み」という発表をしました。今日は、イベントに参加されなかった方がご覧になっても内容が伝わるように、発表内容を記事に起こしてみました。 はじめに Key Management Service（KMS）は、先月開催されたre:Invent 2014で発表された新サービスです。すでに全リージョンで利用できます。このサービスを使うと、データの暗号化/復号用の鍵をAWS上で管理できます。 ところで、KMSのAPIドキュメントを流し読みすると、マスターキーとデータキーという言葉が出てきます。そうです、KMSが扱う鍵は2種類あるんですね。 2つの鍵の違いは何か？ どう使い分けるのか？ などが、ぱっと見ではわかりづらいかもし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[GitHubとクラスメソッドの勉強会]DevOpsとAWSについてお話しました。資料をアップします。 | DevelopersIO![[GitHubとクラスメソッドの勉強会]DevOpsとAWSについてお話しました。資料をアップします。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/faf3334bbe958772b09453f1a088d21cca899bfd/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Fdevops.png)
