第５回 Elasticsearch 入門 Elasticsearch の使いどころ | DevelopersIO
今回は少し、思考を変えてシステムを開発する際にどんなところで Elasticsearch を使えるのか？という視点で説明したいと思います。 最近のシステムの特徴 最近のシステムは、ビッグデータの重要性の認知、ソーシャルデータの活用など、１つのシステムでも様々な種類のデータを管理し活用するようになってきました。また、クラウドサービスやオープンソースが当たり前に使われるようになり、データを管理し活用するためのシステムやサービスも様々な選択肢があります。 そのため、最近のシステムではデータの利用目的によってデータストアを使い分けることが多くあります。 例えば、商品情報など構造化されたデータは、ビジネス要件を満たすためにデータを矛盾なく永続化する必要があるため、MySQL などのリレーショナル・データベースに保存されます。 また、更新や参照トラフィックが多くデータ数も多いゲームやモバイルアプリケー
AWSの負荷テストについて ｜ Developers.IO
はじめに AWSでは負荷テストを実施する際に事前申請は不要でしたが、 意図した負荷であってもトラフィック量によってはDoS/DDosとして検知されネットワークが遮断されることがありました。 そこでネットワーク遮断の回避の方法や負荷テストの可否について、 AWSへ確認しましたところ現在は負荷テストを行う際は実施前に承認を受ける必要があることがわかりました。 英文 (AWSより) All AWS users are required to receive approval before any load testing. Please send detailed plans of the testing including expected peak bandwidth to the simulated events email address listed on the AWS Penetr
エウレカ x クラスメソッド 夜の合同勉強会 ~Go言語開発の実際のところ~ in 大阪 2017/8/18 #cm_osaka | DevelopersIO
お申し込みはこちら 今回のテーマは「Go言語開発実際のところ」 今話題のGo言語。その速さ、シングルバイナリのみというデプロイの容易さ、並行処理のサポートなど様々な利点があり、利用を検討されている開発者も多いと思います。 コマンドやAPIなどで実際に導入された情報もネット上でよく見かけるようになってきました。 クラスメソッドではGo言語の導入が徐々に進んでおり、実際に開発の現場で使われております。 また、エウレカ様では Pairs をほぼ全てGoで開発されています。 参考: eureka Go ~PairsのGo言語フルスクラッチの舞台裏~ を開催しました！ 今回はそのエウレカ様をゲストにお招きし、クラスメソッド × エウレカ でGo言語を使った開発についての 実際のところの あれこれをお話しさせていただきます。 Go言語の利用を検討されている方、Go言語を使って実際に今開発されている方、
Amazon LightsailでLAMP環境を簡単に立ち上げてみた #reinvent | DevelopersIO
こんにちは、城内です。 AWS re:Invent 2016で発表されたAmazon Lightsailが、とてもシンプルなUIで簡単にサーバを立ち上げられてしまうので、今回はLAMP環境をサクッと立ち上げてみようと思います。 Lightsail ｜ 特集カテゴリー やってみた セットアップ 「Create instance」から「LAMP Stack」を選択します。 次に、SSHの鍵を設定します。 スペックはミニマムで設定します。 「Create」ボタンをクリックで出来上がりです。 動作確認 早速SSHでアクセスしてみます。 Welcome to Ubuntu 14.04.5 LTS (GNU/Linux 3.13.0-100-generic x86_64) ___ _ _ _ | _ |_) |_ _ _ __ _ _ __ (_) | _ \ | _| ' \/ _` | ' \|
Amazon AthenaでETLした結果をRedshiftにロードしてみる | DevelopersIO
先日の Black Beltオンラインセミナー「Amazon Athena」で、Athenaの想定ユースケースとして「開発者が、大規模でない生データに対して、低頻度でETL処理をする」という話を聞き、実際に Athena で ETL して Redshift にロードしてみることにしました。 サンプルデータ サンプルデータは下記データをダウンロードし、対象シートを[Orders]のみをS3ファイルに保存して、Athenaで orders_jp テーブルとして定義したものを利用します。 Superstoreサンプルデータ（不具合修正版） |Tableau Community シナリオ 日本国内の売上情報が含まれるデータファイルがS3上に存在する。データファイルから製品カテゴリ〜製品毎の売上と利益率のデータマートを作成して、BIツールから参照できるようにこのデータマートをRedshiftにロード
【祝】Amazon Athena が東京リージョンにやってきました | DevelopersIO
おはようございます。藤本です。 本日、うれしいアップデートがありました。ついに Amazon Athena が東京リージョンにやってきました。東京リージョンリリースを待っていた方も多いのではないでしょうか？ Amazon Athena is now available in Asia Pacific (Singapore) and Asia Pacific (Tokyo) Amazon Athena Amazon Athena は S3 にある CSV、JSONなどのテキストファイルから SQL によってデータの抽出や集計を行えるサービスです。弊社ブログでも色々なことを試していますので是非ご覧ください。 Athena – 特集カテゴリー – 東京リージョンにやってきたことで何が嬉しい？ 今までは US、ヨーロッパの 4リージョンでサービス提供されていました。Amazon Athena は別
【レポート】AWS Summit Tokyo 2017: PlayStation™Network のフレンド機能「Friendlist」の AWS 移行事例 #AWSSummit | DevelopersIO
『AWS Summit Tokyo 2017』が2017年5月30日(火)〜6月2日(金)、グランドプリンスホテル新高輪 品川プリンスホテル アネックスタワーで開催されています。 当エントリではDay3の導入事例トラックから「PlayStation™Network のフレンド機能「Friendlist」の AWS 移行事例 」をレポートしたいと思います。 AWS Summit Tokyo 2017（2017年5月30日～6月2日）｜AWS セッション概要 当セッションの登壇者及び概要は以下の通りです。 スピーカー： 坂東 聖博 株式会社ソニー・インタラクティブエンタテインメント システム/ネットワークエンジニアリング&オペレーション部門 NPS運用部 システムオペレーション課セッション概要： 2006 年にサービスが開始された PlayStation™Network ですが、当初はもちろん
Redisのsetnxを使ってマルチサーバ環境での Web API ロック機構を実現する | DevelopersIO
「これ、同時にリクエスト飛んできた場合って、どうなるの？」 「2つ登録されちゃいますね…」 はじめに Web APIは、リクエストを受け、処理を終えた後レスポンスを返します。モバイルアプリやウェブアプリとセットで開発しているとつい忘れがちになってしまいますが、同時に同じリクエストが飛んできた場合にどういう挙動をするか ということは常に考慮しておかなくてはなりません。「UI上同時にリクエストが送れないから問題なし」では Web APIの設計が不十分です。別の端末から同時に同じリクエストを送ることも可能ですので、UIとは切り離して考えるべきです。 さて、この状況、GETリクエストについては大きな問題にはならないでしょう。いくらリクエストが来てもサーバ側の状態に変化はないので、負荷対策だけしておけば大丈夫そうです。問題はPUTリクエストやPOSTリクエストといった、サーバ側のリソースに変化を及ぼ
LightSailの中身を見てみた。 | DevelopersIO
こんにちは、東京研修5日目の岩本です。 うさぎロスです、わさびちゃんに会いたいです。もふもふ。 さて、先日リリースされたLightSail（Wordpress）インスタンス内にインストールされている 各ミドルウェアについて確認してみました。LightSailについての、他の記事はこちらをごらんください。 インスタンスへの接続 LightSailで立ち上がったインスタンスへは、SSHでの接続が可能です。 自動で生成されるSSH-Keyか自分で登録したSSH-KeyにてSSHクライアントにて行うか、ブラウザより接続が可能です。 EC2インスタンスと同じように[sudo]コマンドが有効でした。 OS OSは[Ubuntu14.04.5]がインストールされています。 # cat /etc/issue Ubuntu 14.04.5 LTS \n \l インスタンスの紹介にある通り、 Marketpl
[新機能]Amazon Auroraで高速にクローンを作成できます | DevelopersIO
大栗です。 Amazon Auroraでデータベースのクローンを作成できる機能がリリースされました! Amazon Aurora Introduces Database Cloning Capabilities Release: Amazon RDS on 2017-06-12 データベース・クローン データベースのクローンはre:Invent 2016でアナウンスされていたのですが、既存のAuroraクラスタを素早くコスト効率よく複製する機能です。データベースのクローンではCopy-on-Writeプロトコルを使用しており、ソースデータベースかクローンデータベースで書き換えが発生した時にデータがコピーされます。 Copy-on-Writeプロトコル Copy-on-WriteはOSのメモリ管理などでよく使用されますが、データの複製を行う時に実際にはコピーせずに同じデータを共有して複製時か
![[新機能]Amazon Auroraで高速にクローンを作成できます | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8c3ba401311c59d61029fd394159ea54ce784937/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_RDS.png)
【レポート】 8K映像配信におけるクラウドの活用 #AWSメディア業界シンポジウム #AWSSummit | DevelopersIO
はじめに 清水です。2017/05/30(火)に行われましたAWS Summit Tokyo 2017 Day1 Dive Deep Day AWSメディア業界シンポジウム「8K映像配信におけるクラウドの活用」のセッションレポートになります。 スピーカーは菅原 賢司 氏（株式会社NHKメディアテクノロジー 放送技術本部 ビジネス開発部）です。 4Kの先にある8Kでの映像配信にクラウドを活用するということで、実際のパブリックビューイングにおける実証実験でのAWS活用例を紹介しながらのセッションでした。また大きな企業でのAWS導入におけるコンプライアンス面の検討項目についても紹介がありました。 レポート クラウドを利用するにあたりメディア業界の悩み NHKはコンプライアンスが厳しいので、クラウド利用は2,3年まえまで門前払い状態だった クラウドにコンテンツ置いてて大丈夫なの？ 大きな企業やエン
MySQL のサブクエリって、ほんとに遅いの？ | DevelopersIO
こんにちは、みかみです。 今日のクラスメソッドのAWSおみくじ、RDS（t1.micro）でしたー！（昨日は Aurora！＠＠ｖ はじめに 前職＠アプリ開発時、MySQL のクエリチューニングをさせていただく機会がありました。 ユーザー入力のキーワードで全文検索 → 見つかったレコードを返すのですが、所要時間、約3分。。 Apache タイムアウトして画面真っ白。。。（泣きそうでした＞＜。 EXPLAINで実行計画を調べた際に、select_typeにはクエリの種類が表示されるのだが、代表的なサブクエリには次の3つのパターンがある。 SUBQUERY DEPENDENT SUBQUERY DERIVED 結論から言おう。遅いのは2番目、DEPENDENT SUBQUERYである。DEPENDENT SUBQUERYとはいわゆる相関サブクエリに相当するもので、サブクエリにおいて外部クエリの
[速報] RDSインスタンスの起動/停止 | DevelopersIO
渡辺です。 待望の機能「RDSインスタンスの起動/停止」がリリースされました！ 制限も多いようです（20:30頃、追記しました）。 さらに制限について追記しました（2017/6/2 8:00） RDSインスタンスを停止してみる AWS CLIを最新バージョンにしてからstop-db-instanceコマンドを実施します。 $ aws rds stop-db-instance --db-instance-identifier test ステータスが「停止中（Stopping）」になりました。 しばらくすると、「停止中（Stopped）」になります。 もちろん、マネジメントコンソールからも実施できます。 RDSインスタンスを起動してみる 先ほど停止したインスタンスをstart-db-instanceコマンドで起動します。 $ aws rds start-db-instance --db-ins
Amazon Redshift：Redshift Spectrumの概要／仕様／制限事項など #awssummit | DevelopersIO
2017/04/19開催(日本時間:2017/04/20)の『AWS Summit in San Francisco』で発表されたAmazon Redshiftの新機能『Redshift Spectrum』。S3のデータをRedshiftから直接クエリ出来るという代物ですが、リリース時点での仕様や制限事項等のドキュメントは発表と同時に既に公開されています。当エントリではその内容を読み解き、現状どんな風に使えるのかについて理解・把握してみたいと思います。 【速報】Amazon Redshift：S3のデータを直接検索出来る新機能『Redshift Spectrum』が発表されました！ #awssummit ｜ Developers.IO 目次 Redshift Spectrum：概要 Redshift Spectrum：制限事項 Redshift Spectrum：IAMポリシー Redsh
GitHubの docker/docker は moby/moby になりました。 | DevelopersIO
ども、大瀧です。 昨日から開催されているDockercon 17では、Docker関連の多くの発表がありました。 その中のひとつにMobyプロジェクトがあり、プロジェクト発足に合わせてGitHubのdocker/dockerリポジトリがmoby/mobyリポジトリに移動しました。今後Docker CE(Community Edition)のソースやIssueなどを見るときは、こちらのリポジトリにアクセスしましょう。 このブログでお伝えしたいことは以上なのですが、「Mobyってなんだよ?!Dockerが名称変更したの?」と言われそうなので、ちょっとだけ解説します。経緯についての一次情報は、以下をご覧ください。 Transitioning to Moby by shykes · Pull Request #32691 · moby/moby ほどなくちゃんとした説明がDocker社のブログなど
Amazon Auroraのバージョン1.12で高速DDLが実装されました | DevelopersIO
大栗です。 先程Aurora 1.12がアナウンスされました。目玉機能として高速DDLがあるのでご紹介します。 Announcement: New Aurora Release 1.12 Now Available Amazon Aurora Supports Fast DDL Operations AWS Database Blog Amazon Aurora Under the Hood: Fast DDL バージョン1.12は必須のアップグレードではありません。バージョン1.12はクラスタの全ノードに対して同時に適用されるクラスタパッチモデルになっていますので、既存のクラスタをアップグレードする場合はご注意下さい。 高速DDL re:Invent 2016でオンラインDDLの高速化がアナウンスされていましたが、今回のバージョンで実装されました。なお有効化するにはLab Modeを設定
Scala Matsuri 2017 の振り返り会を開催しました #ScalaMatsuri | DevelopersIO
3/7(火)にScala Matsuri 2017に参加したメンバーによる振り返り会を実施いたしました。 ある程度資料も公開されたので、その資料を元に振り返り会を実施しました。 今回はその振り返り会について雑多にまとめてみました。 Readable Scala gakuzzzzさんのReadable Scalaを振り返りました。 Readableなコードに書くためのエッセンスを共有しました。 gakuzzzzさんは他にも主要な型クラスの紹介などの資料も公開されているとのことでした。 Akkaに関するセッションの振り返り Akka Streamに関するセッションを振り返りしました。 最初に ストリームデータ処理入門 を振り返りました。 発表資料はもとより、登壇者のkimutanskさんがQiitaにまとめられた記事が参考になったとこのことで、そちらも共有しました。 ストリーム処理とは何か？＋
[速報]Amazon Linux AMI 2016.09 がリリースされました！ | DevelopersIO
こんにちは、せーのです。先程Amazon Linux AMI 2016.09がリリースされました！ Amazon Linux AMI 2016.09 RELEASE NOTES ということで早速触っていきたいと思います。 特徴 マネージメントコンソールを開いてみると、一番上に新しいバージョンが載っていますね。 ログインしてまず気づくのはSSHの速さです。Release Noteによると2016.03より20%パフォーマンスがアップしたようです。 バージョンを確認してみます。 cat /etc/system-release Amazon Linux AMI release 2016.09 $ uname -srv Linux 4.4.19-29.55.amzn1.x86_64 #1 SMP Mon Aug 29 23:29:40 UTC 2016 カーネルは4.4.19です。 それでは特徴を
オンラインミーティングサービスAmazon Chimeを試してみた | DevelopersIO
ども、大瀧です。 本日、AWSよりオンラインミーティングサービスのAmazon Chimeがリリースされました。Amazon.co.jpアカウントを持っていればすぐに試せるので、その様子をレポートします。 Amazon Chimeとは Amazon ChimeはAWSが提供するオンラインミーティングサービスです。組織内外のユーザーに対して、高品質なビデオ、音声、テキストチャット、スクリーン共有などのオンラインミーティング機能を提供します。 プランはBasic(無料)、Plus(1ユーザー月額2.5ドル)、Pro(1ユーザー月額15ドル)の3つですが、複数人のチャットはProしか利用できないため、企業で利用する場合はProを検討することになるかなと思います。 Plans and Pricing | Amazon Chime 初回登録時は自動でProプランで30日の試用期間に入りその後Basi
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] 神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バック
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
