こうした膨大なデータ処理にはバッチ処理が用いられるが、サーバクラスタのプロビジョニングやバッチ処理ソフトウェアのインストール、ジョブの管理やスケジューリングなど、困難が多いとVogels氏は指摘。 そこで発表されたのが「AWS Batch」です。どんなスケールのバッチ処理もフルマネージドで提供するサービス。 動的にリソースを配分し、スポットインスタンスを利用したコストの最適化、キューの管理やスケジューリングなどを行ってくれます。
こうした膨大なデータ処理にはバッチ処理が用いられるが、サーバクラスタのプロビジョニングやバッチ処理ソフトウェアのインストール、ジョブの管理やスケジューリングなど、困難が多いとVogels氏は指摘。 そこで発表されたのが「AWS Batch」です。どんなスケールのバッチ処理もフルマネージドで提供するサービス。 動的にリソースを配分し、スポットインスタンスを利用したコストの最適化、キューの管理やスケジューリングなどを行ってくれます。
今日のre:InventでDeep Learningを使った音声合成サービスのAmazon Pollyが発表されました。 正直、DLを使ったの音声合成が話題になったのなんて今年に入ってからだと思っていたのに、もう商用化したんか!という気持ちでいっぱいです。 Amazon Polly – 文章から音声へ、47の声と24の言語 | Amazon Web Services ブログ Amazon Polly – Lifelike Text-to-Speech [2016/12/02追記] PollyがDLベースという話は https://aws.amazon.com/jp/polly/ に、"Polly is an Amazon AI service that uses advanced deep learning technologies to synthesize speech that so
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね? 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます(今のところ、他のサイトでそこまでの例は見ていません)。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか? 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
Amazon Web Services ブログ AWS Shield – DDoS攻撃からアプリケーションを保護 オンラインの世界は時として不愉快な場所です!あなたがウェブサイトを公開するや否や、問題を起こしたり、サイトを停止させようとする多くの種類の攻撃の標的にされます。DDoS (分散型サービス妨害) 攻撃は非常に一般的な問題の一つです。攻撃者はウェブ上のあらゆる侵害されたリソースを利用し、活動を特定の標的に集中させます。 DDoS攻撃には一般的に3つの種類があります。 アプリケーション層攻撃 はアプリケーションのリソースを消費するように設計された、整形式かつ悪意のあるリクエスト(HTTP GETやDNSクエリが一般的)からなります。たとえば複数のHTTP接続を開き、数秒または数分かけてレスポンスを読むことで、過剰にメモリが消費され、正当なリクエストが処理されなくなります。 State
2016 - 12 - 02 Mac版Sparkがとうとう正式リリース!これが最強アプリです ITスキル ITスキル-mac スポンサーリンク シェアする Google+ Pocket とうとう待ちに待ったアプリが正式リリースしました。 そうです。 Mac版Spark がついに登場です。 このアプリをいち早くあなたに届けなければいけない。 そんな使命感に駆られている今日このごろです。 【目次】 Sparkとは? おすすめポイント 簡単にMac版Sparkの紹介 メール画面 設定画面 スワイプ設定 アカウント設定 署名設定 ショートカットキー設定 最大のおすすめポイント まとめ Sparkとは? Sparkというのはメールアプリのことです。 iPhone版は昔からあり、その使い勝手やカスタマイズの多さに私が惚れ込んだアプリです。 iPhone版についてはこんな記事を書いています。 良かった
こんにちは!株式会社LITALICOでエンジニアをしております石田です。 『LITALICO Engineers Advent Calendar 2016』 2日目の記事となります。 1日目は弊社CTOの岸田がサービス開発は9割が失敗する - 5つの診断パターンからみるサービス設計がうまくなるコツ(導入編)としてサービスを開発する際に考慮すべき事が記事でした。 2日目は、実際にサービスをリリースしたあとに、ユーザの行動を分析し改善するための、分析基盤&BIツールをLITALICOはどのように構築しているかを説明します。 サービスを運用する上での課題 Webサイトやアプリを運営していると、数値分析するのにGA(Google Analytics)では物足りなくなってくることがあります。特に、無料のGAでは生ログが扱えるわけではないのでユーザごとの細かい数値やJOINした数値などが取りにくいです
今年は非常にうれしいことが Azure と AWS 両方でありました。Azure Functions と .NET Core on AWS Lambda です。 これまで多くの AWS Lambda関数 (Node.js) と Azure Functions (C#) を書いてきましたがこれでようやく AWS Lambda に完全に寄せることができます。 早速 AWS Lambda で C# (.NET Core) を触ってみましょう。 目次 目次 Lambda 上は Java と同じく dll をアップロード C# (.NET Core) でコードを書いてみる .NET Core 環境を用意する Visual Studio Integration BluePrint の選択 もしも project.json のパッケージ復元でエラーが生じる場合 サンプルコードの記述 アップロード 実行
Speeeアドベントカレンダー 2日目の記事です。 前日の記事は@hiragramのTravisCIでiOSの依存ライブラリの更新を自動化する - TECHNICA Speee engineer blog エンジニアの@hatappiです。 前年度のアドベントカレンダーでこんな記事書いてました。 hatappi.hatenablog.com 要するに定期処理をうまいこと実現したい!そのためにAirflowを使ってはどうかっていう記事です ※ Airflowはデータパイプラインのスケジュールとかモニタリングできるツールです。簡単にいうとジョブ管理ができるシステム Airflowを使うと 定期実行したい 成功、失敗において通知したい 画面上から再実行したい logを画面からおいたい といった定期処理でやりたいことを実現できるので、あれから実際に会社でも導入して 現在稼働しておりディレクターの方
この記事はなんたらAdventCalendarとは関係のないただのメモです。 このへんの分野はあんまり強くないものの、手探りでやってみてなんとかできたのでその学びを。 基本的にはこのリンクを参考にしたけども、内容を理解するまでにいろいろ壁があったので・・。 Let's Encryptで複数サブドメインの証明書を発行して自動更新を設定する - Qiita 環境は、 CentOS 6.8 nginx 1.0.15 nginxのバージョンは後であげた。 はじめに そもそも気になってたことなので改めて書いておきます。 Let's EncryptってサブドメインもまとめてHTTPS化できるの? できます! ワイルドカードできる証明書じゃないのでちょっと手間はかかるができる。 というわけでざっくり手順 certbot いれる acme-challenge用のlocationを作る 既存のser
クソアプリ Advent Calendar なるものを見つけたので投稿してみます. クソアプリという言い方はあまり言葉遣いはよろしくないですが,ご容赦ください. この記事は,クソアプリ Advent Calendar 2016の2日目です. qiita.com クソアプリ作成は基礎的な技術を身につけるには最適 素晴らしいサービス・プロダクトって,基本的には単純なことの組み合わせなんです. 例えば,iPhoneは,素晴らしい製品です. しかし,とてもざっくりいうと「ミュージックプレーヤー」と「電話」を組み合わせなわけです. はてなブックマークも,「ストックする」という機能と,「コメントを残す」という機能の組み合わせです. このように,サービス・プロダクトを作る際には,なにかを組み合わせるということがキーになってくるわけです. つまり,その根底にあるのは基礎的な技術です. クソアプリとは,ここ
この記事は feedforce Advent Calendar 2016 - Adventar の2日目の記事です。 1日目は 源義経のシンプルな考え方が好き - Marketing book でした。良い話だ。(ちなみに大河ドラマが平清盛だった年は、我が家では後白河院の評価が高かったです。懐かしい。) RubyCriticのご紹介 rubyエンジニアなのでrubyのことを書きます。 RubyCriticはrubyコードを静的解析するツールです。rubygemで提供されています。 単純な使い方としては、$ gem install rubycritic するなりbundler使うなりしてインストールし、 $ rubycritic . を実行します。$ rubycritic ./app ./lib のように、指定のディレクトリだけを対象にして実行することもできます。 実行すると./tmp/ru
こんにちは、新米ディレクターのid:yashigani_wです。 この記事ははてなディレクターアドベントカレンダー2日目の記事です。昨日はid:moretのそろそろ5年生なので右も左もわからない新卒のころの自分にアドバイスする - el cineでした。 私は8月にアプリケーションエンジニアからディレクターになりました。 はてなではディレクター職には担当するサービスの成長に責任を持つプロダクトオーナーとしての役割と、担当するチームの成果を最大化するマネージャーとしての役割が求められます。 マネージャーというと、多くのエンジニアはあまりなりたがらないとおもいますが、それはマネージャーに求められる責任を具体的にイメージできないことや未知の仕事に対する不安からではないでしょうか? この記事は私の経験から、これからマネージャーになるエンジニアに向けてマネージャーがまず意識すべきことと、最初に陥るで
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
Early Warning Detectors Using AWS Access Keys as Honeytokens この発想はなかった。 AWSのアクセスキーはハニートークンとして使える。 ハニートークンとは、普段使用しないものが使用されたことを検知して、意図しない利用を検知するトリックである。例えば、通常ならば使われないメールアドレスをパスワードとともに、自分しかアクセスできないストレージに格納しておく。その状態で、もしメールサーバーにログインされた場合は、自分しかアクセスできないはずのストレージに他人がアクセスして、マヌケにもメールアドレスとパスワードをストレージ上に保存しているのを発見して、利用を試みたということになる。つまり、侵入を検知できる。 AWSのアクセスキーは、ハニートークンに使うことができる。AWSに権限を持たないユーザーを追加して、そのユーザーでアクセスキーを発行
テスト計画をどう立てていくか、ふつうのシステムエンジニアにとって分かりやすく考えてみたいと思います。 テスト工程は、一番ざっくりした分類で単体テスト、結合テスト、システムテストに別れるのが一般的です。 この工程は、あくまでもV字モデルに対応したインプットがどの前工程で作られたものを検証するかの基準であって、実際にどういう観点をどういう手順でテストするか、はそれぞれのプロジェクトで計画します。それがテスト計画になっていきます。 しかし、ただの工程の話と、実際におこなうテストの内容の違いが分かっていないと、テスト計画何するものぞ状態になって、ろくなテストが実施されないことになりますし、そのようなプロジェクトも多く存在します。 テストの世界標準には、ISO/IEC/IEEE 29119があり、これを見るとテスト工程(Test Level/Phase)とテスト種別(Test Types)の組で、テ
Amazon Web Services ブログ Amazon Lightsail – AWSの力、VPSの簡単さ 部品から複雑なシステム(家、コンピューター、家具)を組み立てるのを好む人がいます。彼らは、計画プロセスを楽しみ、慎重に各部品の調査を行い、望ましい力や適応性のバランスを与える部品を選択します。邪魔にならないに計画することで、彼らは最終品に向けて、部品を組み立てるプロセスを楽しみます。他の人々は、このdo-it-yourself(DIY)が魅力的で価値があると思っていませんし、途中であまりに多くの決定を下す事なく、できるだけ早く結果に到達する事に興味があります。 聞き覚えありませんか? 私は、このモデルはシステムのアーキテクチャとシステム構築にも同じ様に当てはまると思います。時々、個々のAWSコンポーネント(サーバー、ストレージ、IPアドレスなど)を手動で選ぶ事に時間をかけ、あな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く