第１回 Elastisearch 入門 インデックスを設計する際に知っておくべき事 | DevelopersIO
今回、第1回目の Elasticsearch 入門という事で、今回は「インデックスを設計する際に知っておくべき事」というテーマにしてみました。ここでのインデックスの設計とは RDB のデータベースとかテーブル、ビューの設計に当たるところです。 Elasticsearch は RDB など他のデータベスに比べ、その設計方法も結構独特です。（と言うか同じ事を実現するにしても色々な方法が用意されていて、さらにアプリケーション要件〜システムアーキテクチャ、運用面など広い範囲が関わってくる）RDB との比較も交え解説していきます。 Index で分けるか？ Type で分けるか？ 例えば、商品情報を保存するインデックスの設計を考えてみましょう。いわゆるRDBの設計で言うところのテーブル設計ですね。おそらくRDBではアプリケーション要件のみが、その設計の中心になるはずです。例えば、商品名や説明、価格情
実際のAWS構成をインポートして3D構成図が描けるCloudcraft Liveがスゴい | DevelopersIO
ども、大瀧です。 以前森永がご紹介した、AWSのかっこいい構成図が簡単に描けるCloudcraftに実際のAWS構成をインポートする「Cloudcraft Live」が追加されました！ Cloudcraft Liveとは Cloudcraftは、以下のようなAWSの3D構成図を気軽にモデリングできる素敵Webアプリです。 十分楽しめるツールなのですが、既存のAWS環境に合わせて一つずつ設定していくのは規模が大きくなってくると辛いものがありました。公開され、現在ベータリリースとなっている今回のCloudcraft Liveは、AWSアカウントのReadOnlyロールをCloudcraftに渡すことで、実際のAWS環境の構成をインポートし自動でコンポーネントの登録やそれらの情報を表示する機能を持ちます。例えば､以下のEC2のように。 お遊び感覚だったこれまでのCloudcraftから、一気に実
AWSで優れた設計をしているか？の質問と回答（信頼性編）「AWS Well-Architected Framework」 | DevelopersIO
AWSで優れた設計をしているか？の質問と回答（信頼性編）「AWS Well-Architected Framework」 「AWS Well-Architected Framework」 昨年、AWSより「AWS Well-Architected Framework」というドキュメントが公開されました。この文書は、みなさんがより良いクラウドベース設計を評価改善し、設計によるビジネスへの影響についてより良い理解をするためのものです。AWSで良い設計をしているかを定義する柱として、4つの分野におけるベストプラクティスとガイドを定義し、一般的な設計指針について取り組みます。 今回は、セキュリティ編の続きとして、信頼性についての確認事項をご紹介します。 前回のセキュリティ編はこちらです。 AWSで優れた設計をしているか？の質問と回答（セキュリティ編）「AWS Well-Architected Fr
［ACM］AWSの無料SSL証明書サービスCertificate Manager について調べてみた | DevelopersIO
はじめに AWSチームのすずきです。 無料で使えるSSL証明書発行サービスとしてリリースされたAWSのACM、 テスト環境での動作や、公式ページのドキュメント、FAQなどの確認を通じて確認できた仕様などについて、 紹介させて頂きます。 ACMで出来ること SSL証明書の発行 証明書の仕様 鍵の暗号化方式はRSA、鍵長2048ビット、SHA-256 証明書の認証局（CA）はAmazonになります ルート証明はStarfield Services（Go Daddy系列、業界シェア上位）です。 料金 証明書の発行費用は無料です。 証明書を利用するELB、CloudFrontの実費のみで利用です。 対応環境 99％のOS、ブラウザに対応するとされています。 Windows XP SP3、Java 6 以降の対応 OSベンダのサポート対象となる現行OS、ブラウザ環境であればまず問題なく利用出来る事が
[新機能]Amazon SES でメール受信が出来るようになりました！ | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先ほどAmazon SESのアップデートで、メール受信が可能になったので検証してみました。SESはメール送信専用のサービスでしたが、受信も出来るようになったので様々なユースケースに対応できるのではないかと思います。 2015/09/29 11:50 JST追記：Lambda Action、SNS Actionでメール本文が取得できないことを記述 SESでメール受信 先日SendGridを使ってAPI Gateway＋Lambdaでメール受信を行う方法について紹介しましたが、AWSサービスで可能になりました（息の短いブログだった、、、でも、シンプルなWebhookだったらSendGridの方が良いかもしれません）。 以下の図のように、受信専用のSESのSMTPエンドポイントでメールを受信して、後続処理を行えます。 試してみる 実際にSES
![[新機能]Amazon SES でメール受信が出来るようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7affdbacfca51d8e9f05f3dcd19d05c7013d15e7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_SES.png)
Amazon EC2を(なるべく)使わずにシステムを構築してみる | DevelopersIO
こんにちは、せーのです。AWSは現在40以上のサービスがあり、なかなか把握しきれないことも多いかと思います。そこで今日は現在のサービスを組み合わせたシステム構築の一例をご紹介致します。 最もコストがかかるのはEC2 そもそもオンプレではなくクラウドサービスを選ぶ理由は安価で簡単にサーバーやストレージを調達でき、障害対策や電源管理等をAWS側が行ってくれるから、という方も多いかと思います。 ではAWSの各サービスでコストを抑える秘訣はなんなのでしょう。それは「EC2を使わないこと」です。例えばDBとしてmySqlを使いたいとします。時間あたりの単価を考えるとEC2の中にmySqlをインストールするよりもRDSでmySqlを立てたほうがお得です。また障害が起きてダウンした際にEC2は自分でフェールオーバー等の対策を打つ必要がありますが、RDSはmulti-AZの設定をしておくだけで後はAWSが
第2回Webスクレイピング勉強会@東京 に参加してきた #東京スクラッパー | DevelopersIO
第2回Webスクレイピング勉強会@東京（全3回） - connpass 2014/08/17 第2回Webスクレイピング勉強会@東京 #東京スクラッパー - Togetterまとめ お仕事の都合上、ビッグデータ周りの『環境』については割と頻繁に作成したり関連する情報を調べたりしているのですが、環境に取り込む『データ』についてはお客様の要件によって様々。お客様個別のデータに絡める場合然り、また業務とは別に、個別に何か独自のネタを使ってビッグデータ的な取り組みを行いたいとなった際には、選択肢のひとつとして『Webからデータを収集して分析に使う』というものも考えられるかと思います。 では、そのデータはどうやって取得してくる？となった時にひとつの案として浮上してくるのが、今回のブログテーマにもなっている『Webスクレイピング』。イベントについては情報を把握していたものの前回は都合により参加出来ず、
Amazon CloudSearchで日本語文書を検索する | DevelopersIO
Amazon CloudSearchが大幅アップデート 先日、CloudSearchが大幅アップデートされたということでニュースになっていました。日本語を含む多くの言語に対応し、自動補完、位置情報、フィールドタイプ、MultiAZ、IAM対応など盛りだくさんです。そこで、今回はCloudSearchの使い方や使いどころをご紹介します。 基本的な使い方 CloudSearchの使い方は3ステップです。ドメインの作成、文書のアップロード、そして検索です。順番に見て行きましょう。 ドメインの作成 管理コンソールからCloudSearchを選んでドメイン作成を選択してください ドメイン名、インスタンスタイプ、レプリケーション数を決めます。まずはお試しとして最小構成を指定します。 次にドメイン内に定義するインデックスのフィールドを指定します。自分でゼロから定義することもできますが、文書をアップロード
よくわかるAmazon CloudSearchに行ってきました #cloudsearch | DevelopersIO
5月15日 AWSプロダクトシリーズ｜よくわかるAmazon CloudSearchに行ってきました。 Build a Scalable Search Engine With Amazon CloudSearch by Jon Handler CloudSearchの開発者であるJonさんのセッションです。前半は検索エンジンシステムの概要について、後半はCloudSearchについての説明でした。最初は英語が聞き取れるか不安だったのですが、アマゾン篠原さんが通訳しつつ進めてくれたため、Jonさんの非常に聞き取りやすい英語を聞き逃しても安心という万全の体制のセッションでした。本編はボリュームが多いため、スライドに載っていないQAについて書いておきます。 Q. ランキングはパーティション全体で横断検索になるか？ A. パーティション全体で横断検索する。 Q. 横断検索できるようにしているという
AWSで構築した環境にありがちなシェルスクリプトたち まとめ ｜ DevelopersIO
AWSでサーバを運用する際にはEC2からAWS CLIを使って他のAWSのサービスと連携したりすることがあると思いますが、AWS環境ならではのシェルスクリプトを集めてみました。AWS CLIのバージョンは1.7.13、Pythonのバージョンは2.6.9を使っています。私はAmazon Linuxで動作を確認しています。 目次 準備する AWS CLIのインストール AWS CLIのアップデート aws configureでセットアップする IAM roles for EC2 instancesに関して 監視系 CloudWatchでカスタムメトリクスを設定する ZabbixからCloudWatchの値を取得する プロセス監視する バックアップ系 AMIとEBSのバックアップを作成する RDSのスナップショットを作成する S3のフォルダを削除する 便利スクリプト系 Route53の自動登録
Amazon EC2再入門 2015年1月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
【Excel改造】AWS環境定義書自動生成【SecurityGroup編】 | DevelopersIO
この記事は下記AWS環境定義書自動生成記事の続編です。 【Excel改造】AWS環境定義書自動生成【EC2編】 AWS環境構成仕様書の作成 今回はSecurity Groupの一覧を作成したいと思います。 他のSecurity Groupの仕様作成記事としては下記があります： Ruby編: SecurityGroupの逆引きをするスクリプト書いた AWS CLI編: [小ネタ] セキュリティグループ毎に関連付いたEC2インスタンスの一覧を表示する 開発環境 Windows 8.1 Visual Studio 2012(C#) Excel 2013 AWS SDK for .NET 2.3.5 フランクフルトリージョンが追加されたこともあり、AWS Toolkit for Visual Studioを今回最新版にバージョンアップしてみました（記事の内容には関係ありません） EC2のSecur
Amazon S3における「フォルダ」という幻想をぶち壊し、その実体を明らかにする | DevelopersIO
よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している
目指せ脱オフィス！ Apache HTTPDで社内フォワードプロキシを立ててみた | DevelopersIO
はじめに こんにちは植木和樹です。本日は社内フォワードプロキシサーバー構築手順の備忘録になります。 お客様と案件のやりとりをする際にクラスメソッドではredmineやBacklogなどチケット管理システムを使うことが多いです。redmineを使う際には弊社グローバルIPからしか繋がらないようIP制限をかけています。redmine以外にも開発中・検証中のサーバー環境にはIP制限をかけてクローリングや第三者からの閲覧を防ぐことも多いです。 社内LANからこのredmineにコメントを書き込む際には問題ないのですが、出先や在宅勤務中はコメントが書き込めず困ってしまいます。そのためクラスメソッドにはVPN環境が用意され、社内LANに接続して作業ができるようになっています。 しかしVPN経由でIP制限のかかったサイトに繋ぐには下記のような手順をふむ必要があります。 Macbookに入っているVMwa
CSS には vw, vh, vmin, vmax という単位がある | DevelopersIO
例として以下の様な HTML 構造があったとします。 <body> <!-- 画像解像度: 100 x 100 (px)--> <img src="images/thumbnail.jpg" /> </body> img { display: inline-block; margin: auto; width: 10vw; } img の幅を 10vw と指定しています。基準となるビューポートの幅を vw で表すと 100vw となります。iPhone 5S のビューポート幅をピクセルで表すと 320px な訳ですが、10vw はその 1/10 ということで32px が img の幅となります。つまり 1vw は 1% と同じ長さになります。もちろんリキッドレイアウトにも対応した動きを持っています。 Demo - viewport lengthを開く（このサンプルはChromeブラウザでの
【AWS】非エンジニアのための初めてのAmazon Web Services 資料をまとめてみた | DevelopersIO
はじめに こんにちは植木和樹です。2013年2月2日は私がAWSに初めて触れた日で、本日が1周年となります。JAWS-UG北陸（金沢）の勉強会でアマゾンデータサービスジャパンの堀内さんによるハンズオン（実際に画面を操作しての体験会）が開かれ、そこでEC2やRDSを触れたのが初となります。 実際にはその3ヶ月ほど前から、ネットに流れてくるAWS関係のニュースをみたり、自分のクレジットカードを使ってアカウントを作ったりはしていたのですが、マネージメントコンソールを用いた操作をちゃんとしたのがこの日が初めてだったわけです。 さてAWSを始めた方の多くは、まずEC2にApache＋PHPを起動しRDSでMySQLを用意して・・・というエンジニア向けなところから入ってくる場合が多いようです。上記の通り私もその口で、それまで10年程やっていたインフラ（サーバー）エンジニアの延長としてAWSと関わり始め
【AWS】Amazon S3をFTP/SFTPサーバーのように使ってみた | DevelopersIO
今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的
Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO
はじめに 初めまして、ブロガーとして出張してきました@smokeymonkeyです。 今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能 等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe
【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみる | DevelopersIO
よく訓練されたアップル信者、都元です。今回のお題は久しぶりにVPCです。 この記事は、アップデート版が存在します。最新情報は【AWS】VPC環境構築ノウハウ社内資料 2014年4月版を参照してください。 VPCを利用する理由 弊社で構築するAWSのサーバ環境は、一部の例外を除いて全てVPCを利用しています。 突然ですが、筆者はあまり大規模なシステムに携わった経験がありません。大規模なプロジェクトだと「数百数千台のサーバがラッキングされ、それが論理的なネットワークで区切られていて」「複数のデータセンターが冗長化された専用線で結ばれて」等、正直ちょっと想像つかない世界があるんだと思います。よくわかんないですが。 (c)John McStravick. (CC BY 2.0 Licensed) 逆に、小さなシステムであれば、月々数万円でレンタルサーバを借りて「1台のマシンの中にWebサーバとDB
Modern UI のようなフラットデザインを目指して使いづらくなっている件について | DevelopersIO
Windows 8 がリリースされてだいぶ日が経ちました。最大の特徴と言ってもよい Modern UI *1。モバイル端末をはじめとしたタッチデバイスに特化した大きめのタイル（ボタン）とタイポグラフィが一際目を引くデザインで、OS X や iOS のそれとは一線を画しています。 一方の Android。2011年2月にバージョン3.0である Honeycomb がリリースされ、それまでの 2.x から刷新したデザインになりました *2。2013年4月現在の最新バージョンである4.2（Jelly Beans）もこの流れを踏んでいます。 両者ともそれまでの Web2.0 と呼ばれていた頃に流行ったグラデーションやドロップシャドウをふんだんに使ったデコラティブなデザインに対し、平面的で装飾要素の極めて少ないミニマルなデザインが特徴です。これらは主に Flat UI と呼ばれ、2012年頃から現在
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
