AWS Batch ベストプラクティスまとめ | Amazon Web Services
Amazon Web Services ブログ AWS Batch ベストプラクティスまとめ この記事はプリンシパル HPC ソリューションアーキテクトの Pierre-Yves Aquilanti、AWS Batch のプリンシパルプロダクトマネージャの Steve Kendrex とプリンシパル HPC アプリケーションエンジニアの Matt Koop によるものです。 更新: 2021 年 10 月 5 日 セクション 2 に於けるサブネット CIDR ブロックのガイドラインを修正。 AWS Batch は、科学者や技術者が複雑なシステム構成を管理する必要なく、自由にスケールできる計算環境を提供するサービスです。2017 年に登場して以来、疫学、ゲームシミュレーション、大規模機械学習といった諸々のワークロードを稼動させる様々な業種や組織といったお客様に採用されてきました。 この投稿で
Rust で Web バックエンド開発をはじめる | CyberAgent Developers Blog
こんにちは。サイバーエージェント AI 事業本部 Dynalyst にて、ソフトウェアエンジニアをしている豊田（@helloyuki_）です。また、Rust 領域における Next Experts も務めています。 先日、CA BASE NEXT という CyberAgent が開催する20代が中心のカンファレンス[^1]に、私も一応20代ということで登壇させていただきました。 内容は Web アプリケーション開発を Rust で行った体験談を語るというものでした。実際に2018年〜2020年頃に Rust をとあるチームのアプリケーションに導入し、引き継ぎのために何をしたかという内容をお話させていただきました。 セッション自体は25分しかなく、またコード例をスライドからかなり削るなど、CG スタジオ仕様への対応が必要でした。というわけで、十分に伝えたいことを盛り込めたわけではありませんで
W3C、パスワードを不要にする「Web Authentication」（WebAuthn）を勧告として発表。Chrome、Firefox、Androidなど主要ブラウザですでに実装済み
W3C、パスワードを不要にする「Web Authentication」（WebAuthn）を勧告として発表。Chrome、Firefox、Androidなど主要ブラウザですでに実装済み W3Cは3月4日、FIDOアライアンスのFIDO2仕様の中心的な構成要素であるWeb認証技術の「Web Authentication」（WebAuthn）が勧告になったことを発表しました。 W3Cが策定する仕様はおもに、草稿（Working Draft）、勧告候補（Candidate Recommendation）、勧告案（Proposed Recommendation）を経て正式仕様となる「勧告」（Recommendation）に到達します。今回、WebAuthnが勧告となったのに合わせて、W3CとFIDOアライアンスはWebAuthnの仕様が正式版になったことも発表しました。 WebAuthnは2018
FRESH! Web パフォーマンス改善 〜クライアントサイド編〜 | CyberAgent Developers Blog
You can read this post in English. みなさんこんにちは、FRESH! でフロントエンドの開発している鈴木(sutiwo)です。 前回は、FRESH!におけるPCブラウザのFlash脱却という HLS の Web プレイヤーについて記事を書きました。 今回はスマートフォン・ PC でのブラウザに関するパフォーマンス改善の取り組みとその結果についてお知らせします。 まずクライアントサイドのパフォーマンス改善を行うにあたり、弊社の Web Initiative Center* から 1000ch 氏に加わっていただきどのようなことを目標とするか議論しました。 * Web プロダクトの品質向上とWeb技術を使ったチャレンジを目的に設立された弊社の組織 議論の様子 議論を行った後、今回の改善で以下のことに取り組むことが決まりました。 Service Worker で
グーグルの世界では「コンテンツイズキング」ではなく「コンテンツイズプア」である - P系リンク乞食スペシャル
ウェルク問題で盛り上がっているので、 現状インターネットメディアを自称するほとんどの会社がやっていることは、実質メディア運営ではなく、検索エンジンを占拠するビジネスである 検索エンジン占拠ビジネスにおいては、コンテンツにお金をかける、特に一記事にコストを掛けることは経済的に不合理である と考えている理由について、気分転換がてら書いていきます。 最初に断っておくと、これから書くことはメディア運営をしている一個人の感想であると同時に、メディア運営者の一人として自分も完全にブーメラン案件であり、誰が正義とか悪いとかそういうことを話したくて書くわけではありません。 よくも悪くもインターネットというのはこういう仕組みになっているので、短期的な経済的成功だけを目指すのであれば、ウェルクを始めとする昨今のキュレーションサイトのようなやり方は合理的である というの旨の話となります。 今回のウェルク炎上で比
CPU使用率100％のWebサーバをOSのチューニングだけでCPU使用率20%まで改善する - 人間とウェブの未来
こんばんは、 @matsumotoryです。 hb.matsumoto-r.jp 上記エントリにおいて、プロセスの大量メモリ確保に伴うページテーブルサイズとベージテーブルエントリ数の肥大化によるcloneやexecveの性能劣化とCPU使用時間の専有問題、および、それらの解決方法についてシステムコールレベルで確認しました。 そこで今回は、システムコールやそのカーネル内部の処理の性能、というよりは、より実践的な環境であるApache httpdとmod_cgiを用いて、phpinfo()を実行するだけのCGIに対してベンチマークをかけた時にどれぐらいCPUのidleが空くか、システムCPUの使用量が変わるかを、前回示した解決方法の1つであるHugePagesを使うかどうかの観点で比較してみましょう。 特定条件下のWebサーバ環境のシステムCPUに起因する高負荷問題から、システムコールやカーネ
HTTPSにまつわる怪しい伝説を検証する - Google I/O 2016のセッションから - Qiita
今年はGoogle I/Oに初めて社員ではない立場で参加しました。全体の感想は Google I/O 2016まとめ（Web的視点） で公開していますが、今回はその中で、気に入ったセッションの1つである"Mythbusting HTTPS: Squashing security’s urban legends"について書いてみたいと思います。 セッションは大変良くまとまっていますので、YouTubeにあがっている動画を見れる人は動画を見て貰えれば良いのですが、時間が無いという人のために、その内容をまとめました。基本的には文字起こしに近いものです。 重要だとわかっているけど、なかなか導入に踏み切れない人も多いHTTPS。これについて、最新の状況が理解できるコンテンツとしてお役に立てるならば嬉しいです。 TL;DR HTTPSはPWAppなどWebにとって必須。 しかし、パフォーマンス悪化する
WebエンジニアがTensorFlowで機械学習に入門しながら顔識別アプリを作ってみた / 2016-05-20 Machine Learning Kotohajime
https://78b88514d287ef16c8a41cdbf4.doorkeeper.jp/events/43887
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
WEB+DB PRESS にてメルカリSREチームによる大規模インフラ運用の連載が始まります | メルカリエンジニアリング
SREチームの @kazeburo です。2016年4月23日(土曜日)に発売される WEB+DB PRESS Vol.92より、メルカリSREチームメンバーによる連載が開始されます。 gihyo.jp 連載1回目は @kazeburo が書かせていただきました。 連載タイトルは「大規模インフラ運用最前線 〜 増え続けるデータをどう処理し、活用するか」となります。ユーザからの大量のリクエストを受ける大規模Webサービスでは、そのレスポンスを構築する過程で膨大な量のデータを生み出し、処理しています。メルカリも例外ではなくサービスが急成長する中で増え続けるデータをどのように扱い、常にパフォーマンスよくリクエストに応えるかが常に課題となっています。さらに今では、大量のデータを分析したり、機械学習に活用することで新しい価値を生み出すことがWebサービスの発展に欠かせなくなってきています。 連載の1
「次世代 Web カンファレンス」を開催します #nextwebconf
Intro 2015/10/18(日) に、「次世代 Web カンファレンス」を開催します。 名称: 次世代 Web カンファレンス 日時: 2015/10/18(日) 場所: 法政大学 hash: #nextwebconf 公式: connpass 参加費: 無料 Motivation 「Web について話す場」 というか「Web そのものをテーマにした場」というのが、意外と少ないなとずっと思っていました。 (もちろん、結果として Web について話しているカンファレンスや勉強会はたくさんありますが。) そして、スライドなどを用いて何かを「発表する」ニュアンスではなく、進化の早い Web で「今何が起こっているか？」と「これからどうなっていくのか？」という、答えの無いもの、でもみんなが気になり考えていること、今だからこそ考えないといけないことを真っ向から議論する場というのが、もっとあって
MozillaのWebAssemblyとは何か？ : よりパワフルなWebアプリ | readwrite.jp
Mozilla Firefoxのエンジニア主導の下、様々なブラウザメーカーによって先週驚くべき改革がなされた。Webに次の革命をもたらすための共同プロジェクトは秘密裏に進められていた。 「MozillaがChromium、Edge、そしてWebKitのエンジニアたちと新しい標準規格、WebAssemblyを作り上げるために協力し始めたことが報告できてうれしい」と、プロジェクトリーダーの一人であるルーク・ワグナーはブログに投稿している。 WebAssembly（略して「wasm」）の影響が即座に現れるのはブラウジングが早くなることだが、これは数ある利点の中で最もエキサイティングではないポイントだろう。 この標準規格により、開発者はかつてデスクトップ向けソフトだけが可能だったCPUパワーを必要とするエクスペリエンスをオンラインで実現することが可能になる。 WebAssemblyにより開発が複雑
Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ
先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ
ここ最近のWeb地図周辺の動向をまとめてみた
Web地図の歴史というのは Google Maps 登場以前と登場後に分けられるのですが、2015年現在、まさにGoogle Maps登場と同じぐらいの変革がWeb地図の世界に訪れているのではないか？ と勝手に思っているので自分の観測範囲内でまとめてみました。 概要 簡単に要点をまとめると、CanvasとかSVGとかWebGLとかブラウザ周りの表現力の進化がWeb地図にも影響を及ぼしていて、そこにGeoJSONのようなそれまでGISなどに疎かったフロントエンドエンジニアにも気軽に扱うことができるフォーマットが普及し始めたことと、降って湧いたようなデータビジュアライゼーションブームなどによって爆発的にエコシステムが増殖し、さらにフロントエンド回りの新技術、仮想DOMとか Web Components とかFRPだとかもろもろいろいろ絡まってよくわからないけど地味に凄いことになっています。 G
伊藤直也氏が語る、モダンなWebテクノロジーに共通する傾向とは？（前編） Chef、Docker、MicroservicesからReact、FRPまで。QCon TOkyo 2015
伊藤直也氏が語る、モダンなWebテクノロジーに共通する傾向とは？（前編） Chef、Docker、MicroservicesからReact、FRPまで。QCon TOkyo 2015 最新のITと関連技術をエンジニアの視点で掘り下げるイベント「QCon Tokyo 2015 Conference」が4月21日に都内で開催されました。 そのセッションの1つとしてKAIZEN platform Inc.の伊藤直也氏が行ったのが、「モダンWebシステム開発」と題して、最近のWebアプリケーションに関する技術に共通する傾向を探った講演です。 ChefやPuppetなどによるInfrastructre as CodeからImmutable Infrastructureなどのインフラ周りからReactなどのフロントエンドにまで共通する考え方とは何か、示唆に富むその内容をダイジェストで紹介します。 モダ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webエンジニアに知ってほしいRDBアンチパターン
Webアプリケーションのキャッシュ戦略とそのパターン / Pattern and Strategy of Web Application Caching
ウェブ最大の「フォント問題」を巡ってアップル、グーグル、MS、アドビが団結
https://e-algorithm.xyz/vulnerability/
Webアプリケーションにおけるパスワードの管理について
