サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
WWDC24
qiita.com/uzresk
はじめに 急遽必要になりまして、SendGridでメール受信するのを試してみました。 ちなみにこんなことしなくてもAmazon WorkMailを使うのが一番簡単な手段だということに後から気づきました。 今回の構成 SendGridにはInboudParseWebhookという機能がありまして、メールが入ってきたら裏側にHTTPリクエスト投げてくれるようです。SES→Lambdaと同じですね。 HTTPリクエストを受ける部分をFunctionで構成してログを出力するところまでやってみたいと思います。 弾力性が足りないぞ。とお叱りを受ける場合はこんな感じの構成になるんじゃないでしょうか。 SendGridから受けたらServiceBusでキューイングして、そのあと処理させます。 Functionの部分はAppServiceでも構わないですがOutputBindingやInputBinding
はじめに カタカタカタカタ できたできた!さぁ動かすぞっていうときのUnknownHost・・・・ またか・・・とため息をつきながらぐぐる 設定する 1へ戻る プロキシが憎い! だけど、頑張ってくぐらないといけない!そんなあなたの為のプロキシ設定まとめです。私が良く使うものを随時更新していきます。 追加して欲しいものがあればコメントいただければ追加しますので編集リクエストください。 尚以下のような記述はご自分の環境に合わせて変更をお願いします。 環境 Windows,CentOSを前提としています。 Ubuntuは会社ではあまり使わないので・・・ ブラウザ 書かなくてもいい気がしたが一応書いておく。社内サーバ系は除外リストに入れとこ。 IE インターネットオプション ⇒ 接続 ⇒ LANの設定 Chrome Chromeのプロキシ設定はIEの設定を見ます。Chromeから開く場合は以下の手
はじめに EC2インスタンスの自動起動停止は、2016年頃はLambdaFunctionを使って実現してました。 LambdaFunctionが出たばかりで楽しくて書いてみたんですけど、まじめに実現しようとすると仕組みが複雑化したり、バグがでたりすることなどが少し悩みでした。 その後SystemManagerのオートメーションが発表され、CloudWatchEventsからSSM Automationの組み込みのドキュメントを使って実現していました。 バグで動かないなんてことも無くなったのでよかったのですが、対象とするEC2インスタンスが増えてくると自動停止・起動対象のEC2インスタンスIDをCloudWatchEventsのパラメータに設定するのが厳しくなってきました。 さてどうしたか ゴリゴリ書かずにAWSの機能だけでタグベースで自動起動・停止を実現できないかを考えていたのですが、Au
東日本にきたAKS(Azure Kubernetes Service)とACR(Azure Container Registry)入門AzureDockerkubernetescontainer はじめに 昨日かな?AKS(Azure Kubernetes Service)が東日本で使えるようになりましたね。 早速動かしてみたいと思います。 仕事で使う上ではpublicなイメージではなく、ビルドした独自のイメージをprivateなリポジトリで管理することが多いと思います。 今回はACRにpushしたprivateイメージを使ってKubernetesにデプロイしてみようと思います。 ACRへのデプロイは少し工夫が必要ですので参考にしてみてください。 ACRへのpush こちらの記事を参考にACRにpushしてみてください。 AzureContainerRegistryにprivateイメージ
はじめに 画面はJava(SpringBoot) + DynamoDBでWebアプリケーション、クライアントツールはGo、API部分はAPIGateway+Lambda(Python)とかなり節操がない構成で構築しています。 今回はそのアーキテクチャの中でSpringBoot + DynamoDBを使ったWebアプリケーションのテストとデプロイの自動化をどのようにやっているかについて一部ですがご紹介してみたいと思います。 Javaエンジニアじゃなくても参考になる部分があるかな。と思いますので良ければ記事のサマリだけでも読んでみてください。 記事のサマリ 何を自動化しているのか どんな技術を使っているのか WEBアプリケーション SpringBoot 1.5.6 + Thymeleaf DBはDynamoDBだけ使っています。DynamoDBアクセスのフレームワークは自前で実装しました。 D
はじめに AWS FargateはContainerインスタンスの管理をAWSにお任せすることができるサービスです。 現状、ECS(LaunchType EC2)を使っているのですが、JenkinsからECSにBlueGreenDeployするときにecs-deployを使っています。 ecs-deployはaws cliとjqには依存していますがshellだけで書かれてるので持ち運びが便利なんですね。 ecs-deployはFargateに対応していないので対応させてみました。 使い方 1. aws cliはFargateに対応しているバージョンをお使いください。 ちなみに私の環境はこちら
はじめに Amazon Alexaってご存知でしょうか。 残念ながら現在は日本語には対応していませんが、EchoやTapなどのデバイスに喋りかけると、あらかじめ紐付けておいたスキルに応じて色々な処理を動かすことができます。 「今日の東京の天気はどんな感じ?」 「明日の東京は晴れですよ!」 というステートレスでオープンな簡単な応答もできますし、Alexaとの会話を通じて難しい応答を返すことも作りこみ次第では可能です。 私「旅行に行きたいなぁ」 Alexa「どこに行きたいですか?」 私「アジアがいいなぁ」 Alexa「アジアのどの辺ですか?」 みたいなやり取りから旅行プランをおすすめしてくれて、チケットを予約してくれる日も近そうです。 この「スキル」は自分で作って公開することもできますし、公開しないでクローズドに動かすこともできます。 今回は入門編ということでAlexaのサンプルを動かしながら
はじめに モニタリングサービスMackerel、DataDog、NewRelicについて簡単にまとめてみました。 サーバのリソース監視、ログ、プロセス監視ができれば良かったので、今回はAWSインテグレーション機能などについてはあっさりとしか触れてません。 どのサービスも、監視対象のサーバーを用意した状態で、15分あれば無料でサーバのリソースがモニタリングできるところまでいけます(そしてクレジットカードなどの登録は不要)ので、是非はじめてみてはどうでしょうか。 サービスの紹介 Mackerel(マカレル) 「株式会社はてな」が提供しているサーバ管理・監視ツール 監視/メトリクス デフォルトで様々なメトリクスが取得されており、閾値を設定して監視することができる。(CPU,Network,Disk,Memory) プロセスやログ監視などはサーバー上の設定ファイルに設定を追加することでとても簡単に
GoogleCloudPlatform ContainerEngine(Kubernetes)でコンテナ管理入門(基本的な使い方、Registry、Blue/Green Deployment、ResizeCluster、MultiZoneClusterとか)DockerkubernetesGoogleContainerEngineGoogleContainerRegistrygooglecloud はじめに 先日GoogleCloudOnBoardという大きなイベントに参加しまして、色々と感動したわけです。私もGCP布教に一役買おうと思いContainerEngineについて書いてみました。 前回はAWS ECSを書きましたけど、やっぱりコンテナ管理といえばKubernetesですよ。 今回も前回とだいたい同じシナリオでやってみたいと思いますが、Autoscalerだけはベータでの提供との
AWS ECSでDockerコンテナ管理入門(基本的な使い方、Blue/Green Deployment、AutoScalingなどいろいろ試してみた)AWSDockerECS はじめに Dockerを本番環境で利用するに当たり、私レベルではDockerのクラスタを管理することはなかなか難しい訳です。凄くめんどくさそうだし。 ということでAWS ECS(EC2 Container Service)ですよ。 記事書くまでも無いかなと思ったんですけど意外と手順がWEBにない(気がしました)。ということで、今回は社内でハンズオンでもやろうかと思って細かく書いてみました。 こんな感じのシナリオをやってみたいと思います。 Dockerのイメージを用意する ECSの使い方の基本 コンテナのリリース Blue/Green Deployment AutoScaling/ScaleIn 前準備:Docker
はじめに SIerで働いてます。周りを見渡すとまだまだオンプレだけのシステムが多いですね。 少し前はクラウドは選択肢にすら入ってきませんでしたが、今はどんなに固いシステムでも必ずクラウドが選択肢に入ってくるようになりました。そして、この1~2年くらいはクラウド、特にAWSを利用したシステムの構築案件が増えてきたなぁと実感しています。 社内の人と話していても、「AWSなにそれ?」とか「AWS安くなるらしいから使おうよ。」という人もさすがに減ってきて、オンプレ脳から徐々にクラウド脳にシフトしていってるのかなと感じます。 この記事は、社内のAWSのイベントでLTで話した内容をベースに書いています。ただSWFについてはマニアックなので避けました。少しでも若手や興味を持っていただいた方の勉強になればと思いまして、その考えに至った背景などをかなり寄り道しながらできるだけやさしく書いてみました。 なぜ自
AWSでLinuxしか触ったことない人が、AWSでWindowsServerを利用するときに知らないと損することWindowsLinuxAWSWindowsServer はじめに AWSでLinuxばかりやってたんですがWindowsServerを触らないといけない機会が凄く増えててビビってます。 WindowsServer利用するときも、まぁ大体Linuxと一緒なんでしょ!?と思ってたら火傷しますのでしっかりと抑えておきましょう。 他にもWindowsだと気をつけないといけない!なんてことがあればご指摘ください。 ライセンスはどうなってるのか?押さえておこう。 WindowsServerのライセンス EC2の費用に含まれている。 OSにCALの料金が含まれているのでCALの購入は不要 WindowsServerのライセンス持ち込みについて 可能だが占有ホストで実行する必要がある 以下の既
はじめに 2016/8/3 Serverspecでのテストを追記 ansibleも2.1になってWindows Serverのサポートも強化され、そろそろ手を出しても良さそうな感じになってきました。 ということで、ansibleを利用する前のWindowsServer側の設定とIISのインストール、Windowsグループ、ユーザの設定を自動構築し、serverspecでテストするところまでやってみたいと思います。 記事中で使ったplaybookのサンプルはGithub uzresk/ansible-serverspec-windows-samplesからどうぞ。 前提となる環境 以下の環境で動作確認をしています。 尚、本文中ではansible自体のインストール手順は割愛しています。 ansible実行ホスト CentOS6.7 ansible2.1.0 serverspec 2.36.0
はじめに Solrを使ってPDFなどのドキュメントをインデクシングする要件があるとのことで、手順についてまとめておきます。 ドキュメントのインデクシングではApacheTikaを取り込んで実装されたSolrCellを利用しています。 ApacheTikaは節操ないくらい色々なものがパースできます。具体的にはPDFだけではなく、Word、Excel、HTML、画像、動画、圧縮されたファイル、クラスファイルなど色々なものがサポートされています。詳細についてはこちらを読んでみてください。 ドキュメントを読み込む前の設定 SolrConfig.xml SolrConfig.xmlでsolr.extraction.ExtractingRequestHandlerが有効になっていることを確認します。 uprefixとは、取得できたフィールド名の中でschema.xmlのフィールド定義にないものの先頭に
はじめに 認証に必要な情報は不正利用されてしまうと、大事故(ものすごい請求額)に繋がります。 事故がおきないようにどうするべきか。予兆をどう検知するか。おきてしまった時にどう追跡するのか。を考えておく必要があります。 AWSのサービスを早速バリバリ使ってみるぜ!という気持ちをぐっとこらえてやっておきたい設定をリストアップしました。 新しいAWSアカウントを利用する機会があったので、この記事を書きながらやってみましたが長めにみても30分あれば設定は終わります。 ルートアカウントのMFAの有効化 rootアカウントは超強力なので絶対にMFAを有効にすること。 ハードウェアデバイスで実施し、金庫に保管するくらいの勢いが良いと思います。 ハードウェアデバイスは$20くらいで購入が可能です。参考:Multi-Factor Authentication 最低でも仮想MFAを設定しておきましょう。私がい
はじめに windowsってなんか苦手。なんでだろう。けど仕事だ。調べなきゃ。 2時間かけて試したことを二度と時間かけて調べたくないのでパフォーマンスデータの取得の仕方をまとめてみます。 windowsサービスであげたtomatに対してデータをとることを前提としています。 これが結構ハマりポイント。
はじめに AWS SES(simple email service)を使うときに監視したい項目と監視手段についてまとめてみました。 CloudWatchのカスタムメトリクスに登録するときのツールを用意しましたので参考にどうぞ - github/uzresk/cloudwatch-scripts SESを使い始めるのは簡単ですが、1日の送信数、1秒あたりの送信数に制限があることと、信頼性の低いメールを送信し続けると利用停止になる可能性があります。そうなっては手遅れですのでCloudWatchなどを使って定期的に監視&アラートを設定しておきましょう。 SESとは? SESとはSimple Email Serviceの略で、メールを送受信できるようにするためのマネージドサービスです。 送信の場合、SMTPサーバとして使うこともできますし、aws cli/sdkを使ってメール送信することもできます
はじめに vagrant 1.8.0からansibleのプロビジョナが追加されました。 ansibleプロビジョナはvagrantでOS起動するときにansibleが入っていなければゲストOSにインストールしたうえで、指定されたplaybookを実行してくれます。 今回はvagrant起動時にlocaleとtimezoneの設定を行ってくれるものを作りましたが、みんな多分似たようなことやってんだろうと思ってソースは公開しておきました。 使用方法 1.VirtualBoxとVagrant1.8.0以降をインストールする。 vagrantのバージョンだけ気を付けましょう。 2.ソースを取得する vagrantfileの中身はお好みに合わせてhost名やIPアドレスなどを編集してください。 ちなみに今対応しているOSはCentOS6系と7系です。
fluentdを導入時にまず知っておいたほうがよさそうなこと(インストール、監視、HA構成、チューニングなど)CentOSFluentdElasticsearchtd-agent fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境
はじめに Elasticsearchを仕事で使うことになったので導入前に考えるであろうことを調査・検証し、まとめてみました。 記載されている内容はほぼ公式ドキュメントから引っ張ってきています。それぞれの章にリンクを付けてありますので、記載されていること以外に気になる部分があればそちらを参照されるとよいと思います。 インストールについて ここで設定している内容はすべてansibleのスクリプトに落としてあります。 5分あればcurl,javaのインストール、Elasticsearchのインストール・初期設定、プラグインのインストールが終わるはずです。 https://github.com/uzresk/ansible-elasticsearch2 環境 CentOS6.7 Java1.8.0_45 Elasticsearch 2.1.1 HeapSizeの設定 Elasticsearchが使
はじめに AWS Datapipelineについて思ったよりWeb上に記事がないので、試してみた結果をまとめてみました。 細かいパラメータについてはおいおいまとめていこうと思います。 情報源 AWS Data Pipeline Developer Guide AWS Black Belt Tech シリーズ 2015 - AWS Data Pipeline んで、結局何ができるのか? BlackBeltの資料内ではETLと書かれていますが、AsteriaやDataspiderのようなデータのマッピングツールを兼ね備えているわけではありません。S3からRedshiftにデータをロードしたり、RDSからデータを抽出してS3にエクスポートするなどができます。SQLレベルでの変換は可能ですが、細かい変換や集計に関しては、EMRを使ったりShellを起動してそのなかで呼ばれるプログラム内で実装する必
はじめに 少し前まで業務でSeasar2 FWを使っていたためコネクションプールはSeasar2のものを利用していました。S2のコネクションプールの実装はシンプルだったし業務で利用していても特にそこがボトルネックになることはありませんでした。 別のプロジェクトに移ってDBCPを触っていたのですが、実装になんとなく疑問を感じたので調べてみました。 tomcat jdbc connection poolとは? tomcatで実装したConnectionPoolの実装です。(DBCPとは異なります。) tomcat 7.0.19から利用できます。 tomat-jdbc.jarに含まれています。 DBCPからの切り替えはfactoryを変更するだけです。 tomcatのdefaultではDBCPが選択されていますので明示的に変更が必要です。 どこに違いがあるのか。 パフォーマンス DBCPよりパフ
はじめに JMXを使うことでjava内部の情報を丸見えにできます。GUIではjconsoleを使えばよいのですがログ出力する方法について書いてみました。 思ったより簡単にできそうだったので勢いで機能を追加した版を作ってみました。色々便利になっています。 ダウンロードはこちらからどうぞ あ。ちなみにタイトルで誤解してほしくはないのですが、JMXはtomcatに限った話ではないです。 準備:JMXポートを開放する Linuxの場合 setenv.shをbinの下に作って、CATALINA_OPTSに設定します。 Windowsの場合 tomcatXw.exeを起動し、Javaタブ、Java Optionに設定します。 設定内容 -Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.port=7085 -Dcom.s
AWSでセッションをクラスタリングする方法について考えてみた結果、DynamoDBがよさそうなので試してみた。JavaTomcatDynamoDBSpringBoot はじめに EC2上のtomcatにデプロイされたウェブアプリケーションのセッション情報をどうやって永続化するかを考えてまずはそれをまとめてみました。 次に、DynamoDBとAWSが提供しているTomcatSessionManagerを使ってSpringBootからDynamoDBにセッションを永続化する方法をご紹介します。 SpringBoot内ではEmbeddedTomcatを使っており初期化処理時にSessionManagerを差し替えれば実現できます。EmbeddedではないTomcat上のウェブアプリケーションであればcontext.xmlに設定を書けば実現することができます。後者についてはあっさり触れたいと思いま
AMIからインスタンスを起動するとSSHのPasswordAuthentication yesがnoになりパスワード認証ができなくなるAWSEC2ami はじめに 小ネタです。 パスワード認証が可能なインスタンスのAMIが必要になりました。パスワード認証を有効にしてAMIを作成後インスタンスを新たに起動するとパスワード認証ができなくなりました。 え?ってなってから気づくまでAMIを3回も作り直すハメになったので記事を残しておきます。 ひょっとしてこれって常識なのかなぁ。 はじめに試した手順 /etc/ssh/sshd_configでパスワード認証をyesにします。
はじめに 今更ながらかもしれませんが、EFK(ElasticSearch+Fluentd+Kibana)を試してみてます。 ちょっと試したいだけなのに一杯インストールせねばならんのですね。。。ということでEFK構成を構築するansibleのplaybookを作ってみました。良ければ使ってください。 Forwarder - https://github.com/uzresk/ansible-td-agent.git EFK - https://github.com/uzresk/ansible-efk.git 3分で構築する前提事項 ansibleが使えること gitが使えること(yum -y install gitとかで突っ込んでおいてください) サーバを2台(sshで接続できればなんでもいいです) こんな環境を作ります。 左側はfluentdのforwarder。右側はログを集積するag
はじめに S3のWebホスティングを使った場合のあるある設定をまとめてみます。 書き途中ですがちびちび公開します。 ステージング環境の限定公開 ステージング環境を用意した時に公開前のコンテンツはもちろん公開したくありませんが、S3ではBasic認証はサポートされていないため、別の手段でなんらかのアクセス制御を行う必要があります。 ここではそのやり方について紹介します。 ここで紹介していないリファラを使ったアクセス制御などは下記を参照してください。 http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/AccessPolicyLanguage_UseCases_s3_a.html IPアドレスで制限 開発者ガイドでも紹介されていますが、IPアドレスを使って制限するのが一番簡単で且つ詐称しにくいのでお勧めです。 ポリシーはこんな感じで書きます
はじめに 非常に短いエントリですが同じことで困っている人もいるかも。と思いましてメモしておきます。 serverspecでsshのログインテストをやりたかったのですが、みなさんどうやってやっているのでしょうか。 よいアイディアがあれば教えてください。 私はこうやってやってみました。 expect使ってもよかったのですがshellを用意するのも面倒だったので、sshpassを使いました。 ansibleでいうlocal_actionがなかったので、systemを使ってローカルでコマンドを実行し、実行結果の比較はrspecの構文で実装してみました。 ソース describe 'ssh login test' do stdout = system("sshpass -p 'infrainfra' ssh -t #{ENV['TARGET_HOST']} -l infra hostname") i
はじめに 大体使うモジュールっていつも一緒だったのでまとめてみました。 また、ansibleでスクリプトを作るときのちょっとしたノウハウなども書いていますので参考にして頂ければと思います。 環境 ansible 1.9.1~2.2.0.0-1 target OS CentOS6.6,RHEL6.6 インストールの仕方 基本的にはこちらのエントリを参考にしていただければすんなりインストールできるはずです。 windows7 32bit / Proxy環境下でVagrant+Ansibleの環境を構築する。 また、Ansible Tutorialをたどることでapacheのインストールとserverspecの使い方まで簡単に知ることができます。 情報源 慣れてくると公式サイトくらいしか見なくなりますので、Module Indexをブックマークしておきます。 コーディング規約 こちらのエントリー
次のページ
このページを最初にブックマークしてみませんか?
『@uzreskのマイページ - Qiita』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く