AWS モダンアプリケーション開発
AWS モダンアプリケーション開発 AWS におけるクラウドネイティブ モダンアプリケーション開発と設計パターン 2019 年 10 月 注意 お客様は、この文書に記載されている情報を独自に評価する責任を負うものとします。 本書は、(a) 情報提供のみを目的としており、(b) AWS の現行製品とプラクティスを 表しますが、予告なしに変更されることがあり、(c) AWS およびその関連会社、サプ ライヤーまたはライセンサーからの契約義務や確約を意味するものではありません。 AWS の製品やサービスは、明示または暗示を問わず、いかなる保証、表明、条件を 伴うことなく「現状のまま」提供されます。お客様に対する AWS の責任は、AWS 契約により規定されます。本書は、AWS とお客様の間で行われるいかなる契約の一部 でもなく、そのような契約の内容を変更するものでもありません。 © 2019 A
第688回の「eBPFのコンパイラーに対応したツールでさまざまな挙動を可視化する」ではBPF Compiler Collectionに付属の各種サンプルツールの使い方を紹介しました。今回はコンパイラーを活用して、自分でeBPF用コードを書くための基礎を学んでみましょう。 BCCのインストールとドキュメント 第688回も紹介したように、カーネル3.15で追加されその後拡充を続けている「eBPF」は任意の外部プログラムをカーネルの中で、より安全に実行できる仕組みです。カーネルモジュールを作る代わりに、独自のバイトコードをコンパイラーで生成し、それをカーネル内部にロード・実行することになります。これを使えばシステムコールの先のカーネルの状態を、プログラマブルに解析可能になります。 eBPF自体はカーネルの仕組みであり、ユーザーランドから使うためには、eBPF用のバイトコードにコンパイルする必要が
ISUCON10予選を3位で通過しました (vs descending index) - Lを探す日常
2020年9月12日に行われたISUCON10予選にチーム FetchDecodeExecWrite で参加し、3804点、3位で通過しました！やったことを書いていきます。 要点 Descending Index が効いていると思い込み、その誤りに最後まで気付かなかった。 椅子に似合う物件検索を色々分割して頑張った。大きい変更で苦労したがそこそこ役に立った。 追記 2020/9/14 過去のISUCONの参加記 cookies.hatenablog.jp cookies.hatenablog.jp akouryy.hatenablog.jp ISUCON9本戦は書いてない 12:20 競技開始 この記事を見てマニュアルを印刷しようと思ったため、競技開始時はコンビニにいた。 印刷後部屋に戻り、サーバーからの initial commit が終わるまでマニュアルを読んだ。今回は簡潔で嬉しかった
お題を3つ並べましたが、記事は逆順で書いていきます！というわけで、UniTask v2.2.0を出しました。改めてUniTask v2とはUnityのためのゼロアロケーションasync/awaitと非同期LINQを実現するライブラリで、とv2リリース時の解説記事を貼っつけましたが、ちょいちょい細かい改善を続けてまして、今回v2.2.0になります。 PlayerLoopへのループ挿入のカスタマイズ対応 現状のUnityはPlayerLoop上で動いていて、Unity 2020.1のリストをここに置いておきましたが、デフォルトでは120個ぐらいのループがエンジンから駆動されています。UpdateループだけでもScriptRunBehaviourUpdate, ScriptRunDelayedDynamicFrameRate, ScriptRunDelayedTasks, DirectorUpd
コンニチワ！サブカルおじさん改めリコールウォッチおじさんTISM!です！今日は署名提出期限だった4日のお話です！想像をはるかに下回る杜撰でデタラメな高須先生とリコール会のドタバタをご覧ください！ 公開開票11月3日。次の日は署名の提出期限。この日、高須克弥先生と河村たかし名古屋市長、及び愛知100万人リコール会は「公開開票」をYouTube Liveで行いました。 余裕を見せていた高須先生ですが、これがリコール会の公開大失態の始まりでした。「明日中」(4日)の記者会見は行われることもなく、「正確な数の発表」は未だにありません。 僕や他のリコールウォッチャー達も様々な想定をしていましたが、まさかこんなことになろうとは…。想定をはるかに下回ることが起きました。 徹夜で開票想定より時間がかかったのか、4日の朝8時になっても追い込みをしています。 今日(4日)に届けないといけないのに！そもそも提出
はじめに 先日、初めてのVリーグ、久光スプリングスvsトヨタ車体クインシーズを観戦し、バレー観戦にハマったと記事にしましたが。 mogumogumo.jp 実はもうちょっと広い意味としても“スポーツ生観戦”にハマってしまいまして。なのでその熱量のまま前々から気になっていたバスケ・佐賀バルーナーズの試合を観に行ってきました。元々はバルーナーズが出来た頃から嫁がすごく注目していたのですがその嫁は娘ホノカのバレーボールの送迎で観戦できず、今回は息子ミツナリと2人での観戦です。 試合情報 Bリーグ 2022-23 B2リーグ戦 佐賀バルーナーズ vs 香川ファイブアローズ 開催詳細 日時：2022年11月13日(日)14時00分 会場：SAGAプラザ総合体育館 スターティング5 佐賀バルーナーズ 香川ファイブアローズ レイナルド・ガルシア 久岡幸太郎 西川貴之 飯田遼 岸田篤
では、なぜこのようなことが起きてしまうのでしょうか。具体的な脆弱性の解説に移る前に、まずはReDoSのしくみについて説明します。 ReDoSのしくみ ReDosの脆弱性を理解するためには、そもそも正規表現によるマッチングを行う処理系である、正規表現エンジンのしくみについて知る必要があります。 正規表現エンジンの概要 正規表現エンジンとは、簡単に言えば「ユーザーから受け取った文字列（入力文字列）が、正規表現で表される文字列と合致するか否か」を判定するプログラムです。そしてこのプログラムのキモとなる「正規表現文字列の解釈」と「入力文字列が合致するか否かを判定する部分」は、「有限オートマトン」を利用して実現しています。 具体的には、正規表現の文字列を有限オートマトンに変換後、入力文字列を有限オートマトンの入力として与え、文字列中に正規表現にマッチする部分があるか否かを、有限オートマトンの状態を
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
isucon9q_bench.md
isucon9q_bench.md ISUCONのベンチマーカーとGo catatsuy メルカリSRE mercari.go #11 - connpass https://mercari.connpass.com/event/148913/ ISUCONとは http://isucon.net お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトル 競技者は与えられたWebアプリケーションを高速化する 複数の言語による実装（ISUCON9予選ではGo/Perl/PHP/Ruby/Node.js/Python）を運営側が用意する ベンチマークを実行するとアプリケーションに対して仕様確認・負荷走行をしてスコアが出力される 私とISUCON ISUCON4：2位（初出場） ISUCON5：8位 ISUCON6：運営（本選） ISUCON7：予選敗退 I
JSer.info #529 - JavaScript performance beyond bundle size | Read the Tea Leavesという記事では、JavaScriptのパフォーマンス測定について書かれています。 最近では、Bundle SizeについてはBundlePhobiaやWebpack Bundle Analyzerなど分かりやすく測定するツールがありますが、それ以外のJavaScriptのパフォーマンスのメトリクスについて書かれています。 ランタイムのCPUコスト、電力消費量、メモリ使用量、ディスクの使用量などのBundle Size以外のメトリクスをどのように見るのかについてまとめられています。 CORS 完全手冊というCORSについての連載記事では、 CORSの概念、対応方法、よくある間違い、CORB/CORP/COEP/COOPなど最近のオリジ
はじめに こんにちは、ECプラットフォーム基盤SREブロックの織田と、カート決済SREブロックの遠藤です。 本記事では、Istio Rate Limitの概要とZOZOTOWNでの導入事例を2つご紹介します。 目次 はじめに 目次 現在のZOZOTOWN Istio Rate Limitの概要 Istio Rate Limitとは？ 仕組み どのような制限ができるのか？ Circuit Breakerとの違い 導入事例 事例1. マイクロサービスから外部APIへのリクエスト制限 構成 設定と計測のポイント 1. レイテンシの計測 2. 1つのAPIに対して2重の制限を設定 事例2. オンプレミス環境のリクエスト制限 構成 設定と計測のポイント 1. 商品別の注文リクエスト数制限 2. 閾値決定のための負荷試験 今後の展望 感想 最後に 現在のZOZOTOWN ZOZOTOWNではオンプレミ
ISUCON 13 参加記 (白金動物園)
白金動物園の sorah です。優勝した ISUCON 9 以来 Writer や Admin (アドバイザー), ポータルのメンテナ係として運営に幽閉されていて長いこと選手をやっていませんでしたが、今回ひさびさに選手として参加したのでその参加記。 結果としては 18 位で 103,838 点で終了。10 万点到達の着順ではわりと早かったチームになれたものの、その後伸ばせず、かなり悔しい。 https://isucon.net/archives/57993937.html 一方で Ruby を利用して NameError や NoMethodError による fail を高速に繰り返していたため「ベンチマーク Fail 回数の多い 3 チーム」として 53 回で TVer からスポンサー賞をもらいました。我々より Fail 数が多いチームは Go だと思うんだけど、コンパイラがそこそこ怒
AWS 上で Google Cloud ワークロード向けのディザスタリカバリサイト構築 (Part 1) | Amazon Web Services
Amazon Web Services ブログ AWS 上で Google Cloud ワークロード向けのディザスタリカバリサイト構築 (Part 1) ディザスタリカバリ (DR) 戦略を有することはビジネスの継続性やお客様のワークロードのレジリエンスの面において重要な要素です。レジリエンスとは、お客様のアプリケーションとそれを支えるインフラストラクチャが一貫して意図された通りに正しく実行し続ける事を意味します。 プライマリワークロードをクラウドで稼働させているお客様が DR のために別のクラウドプロバイダーを使用する場合があります。その理由としては、コンプライアンスや規制要件、あるいはお客様の組織でマルチクラウド戦略の採用を義務付けているためかもしれません。 この2部構成のブログシリーズでは、1例としてGoogle Cloud Platform (GCP) でホストされているサンプルア
PythonのORMライブラリsqlalchemyで利用可能なコネクションプーリングの実装について調べてみた | DevelopersIO
CX事業本部@大阪の岩田です。Python向けのORMライブラリsqlalchemyは標準でコネクションプーリングの実装が組み込まれており、create_engine()を呼出す際の名前付き引数poolclassの指定によってコネクションプーリングの実装を切り替えることができます。先日コネクションプーリングの実装について調べる機会があったので、内容をご紹介します。 環境 今回利用した環境です。 OS X 10.14.6 Python 3.8.2 sqlalchemy 1.3.16 pymysql 0.9.3 利用できるコネクションプーリングの実装 sqlalchemyは標準で以下のコネクションプーリングの実装を提供しています。 QueuePool NullPool SingletonThreadPool StaticPool AssertionPool 例としてNullPoolを使う場合は
マイクロサービスアーキテクチャ 第2版
2014年にThoughtworksのマーチン・ファウラーとジェームス・ルイスによって提唱された「マイクロサービス」は、いまではすっかり市民権を得て、さまざまな手法やツールが開発されています。著者は、マイクロサービスに「賛成」でも「反対」でもないという中立的な立場から、マイクロサービスの仕組み、特徴、長所、短所、課題を丁寧に説明しています。Thoughtworks在籍中から数多くのマイクロサービスプロジェクトに携わっていた著者が共有する、自身の実体験から得た多くの知見は、システム設計、開発、デプロイ、テストといった技術的側面のみならず、人材をどのように活かし、生産性を上げるかといった組織面にも多くの示唆を与えてくれるものです。組織に適したアーキテクチャを選択し、信頼性が高く、堅牢性、安全性、柔軟性に優れたシステムを設計する上で指針となる一冊です。 はじめに 第Ⅰ部 基礎 1章 マイクロサー
こんにちは。チャージ式プリペイドカードと家計簿アプリがセットになったサービス、B/43のサーバサイド開発をしている@ohbaryeです。 はじめに 唐突な問ですが、読者諸兄はECサイトでカード決済を行う際に本人認証を求められたことはあるでしょうか？弊社のようなカード会社のブログを読まれる方であれば人生で一度は経験しているのではないかと推察します。 この仕組みは3Dセキュアと呼ばれる本人認証サービスで、カードの盗用やなりすましなどの不正利用の防止を目的としてつくられたものです。近年では不正利用防止だけでなく消費者の利便性向上に寄与するシーンも増え*1、B/43にも多くのユーザーさんから3Dセキュア対応の要望がありました。B/43はその要望にお応えして2022年の6月に3Dセキュアに対応したカードをリリースしました。 本記事では筆者が3Dセキュアの開発・運用を通じて学んだ、3Dセキュアの仕組み
Amazon Web Services ブログ 単一アベイラビリティーゾーンでのアプリケーション障害からの迅速な復旧 2023 年 5 月 3 日のアップデート このアップデートにより、Amazon Route 53 Application Recovery Controller のゾーンシフトは、以下の AWS リージョンでも利用できるようになりました。 詳しくは、更新された What’s New ポストまたはゾーンシフトのドキュメントでご確認ください。 本日は、Elastic Load Balancing (ELB) に組み込まれた Amazon Route 53 Application Recovery Controller (Route 53 ARC) の新機能であるゾーンシフトをご紹介します。ゾーンシフトを実行することで、単一のアベイラビリティゾーン (AZ) 内のアプリケーショ
Slack Enterprise Gridで動くSlack App開発の悩みどころ | BLOG - DeNA Engineering
こんにちは、 IT 戦略部システム開発グループの岸です。 DeNA では、Google Workspace (旧 G Suite) で利用できるサービスの 1 つである Google グループを多く活用しています。Google グループはメーリングリスト用途に使われる場合が多いですが、社内では独自に JIRA や Confluence といったツールと連携し、グループのメンバーに適切な権限を自動で付与する仕組みを作成しています。 この機能により、新規メンバーが増えた場合でも 1 つのグループにユーザを追加するだけで、自動で複数のツールへ招待されるように設定できます。また、逆にグループから削除することで権限の剥奪ができるので、適切な権限管理の一端も担っています。 先日この考え方を拡張し、コミュニケーションツールとして利用している Slack Enterprise Grid に、Slack の
私は、ta-sanのpapa 弱虫シングルファーザーです ta-sanは、今、15才 特別支援学校へ通う 重度知的障害児の高校1年生、男の子 拘り、不安、強めです 文字や数字は、理解していない様ですが 名前の漢字は、マークとして自分の物と 分かっている様です 後は、絵のカードじゃないと わかりません 数字も、字は分かって無い様ですが 10ぐらいまでの、数は、操作ができる様です お散歩などで、「車は、何台」と聞くと 10台までなら、指を出し、合っています 「飴を、二つ取って」と頼むと 二つ、持ってきます 自閉症で 睡眠障害、夜驚症、てんかん持ち 薬物治療、調整中です 現在、てんかん、夜驚症は落ち着いています また 親の過ち、環境の悪さで、5年前に 沢山の、二次障害も持ちました 他害、自傷、強い破壊行為 さまざまな精神障害、統合失調症などなど 強度行動障害です こちらも、薬物治療、調整中 現在
社内システムで生成AIを活用するコツは業務理解と事前準備 - 弁護士ドットコム株式会社 Creators’ blog
こんにちは。税理士ドットコム事業部の @komtaki です。 ChatGPT が 2022 年 11 月 30 日に出て一年が経ちました。みなさんも生成 AI を本番サービスで活用できてますか。 弁護士ドットコム株式会社でも実運用の壁を乗り越えて、実際にビジネスを変革するため本番サービスへの活用が進んでいます。「Developers Summit 2024」で市橋がプレゼンしていますので、よろしければご覧ください。 GenAI in Production～生成AIに君がみた光と、僕がみた希望～ / 20240215_devsumi2024 - Speaker Deck その事例を踏まえて、社内システムで生成 AI を組み込む流れとその勘所についてお話しします。生成 AI のカスタマイズに関する専門的な話（ファインチューニングや RAG など）には一切触れず、プロンプトエンジニアリングだけ
新機能 – Lambda関数の共有ファイルシステム – Amazon Elastic File System for AWS Lambda | Amazon Web Services
Amazon Web Services ブログ 新機能 – Lambda関数の共有ファイルシステム – Amazon Elastic File System for AWS Lambda 本投稿は AWS の Chief Evangelist (EMEA)であるDanilo Pocciaによる寄稿です。 AWS Lambda関数がAmazon Elastic File System（EFS）をマウントできるようになったことを非常に嬉しく思います。EFSは、高可用性と耐久性のために複数のアベイラビリティーゾーン（AZ）にまたがってデータを格納するスケーラブルでエラスティックなNFSファイルシステムです。このように、使い慣れたファイルシステムインターフェイスを使用して、関数単体、および複数のLambda関数のすべての同時実行環境にわたってデータを保存および共有できます。 EFSは、強力な整合性
Llamaindex を用いた社内文書の ChatGPT QA ツールをチューニングする - GMOインターネットグループ グループ研究開発本部
D.M.です。Llamaindex で ChatGPT と連携した社内文書の QA ツールを構築した際にハマったことを書いていきます。 ChatGPT に追加でデータを与える課題へのアプローチ 今回やりたいこと つくったもの システム構成 ユースケース はじめに書いたソースコードLlamaindex 処理フロー Llamaindex チューニング課題 元ネタのテキストファイルをベクター検索のチャンクに収まるように意味の塊にする 課題１ ベクター検索の2番目のドキュメントが正解だったりする問題 課題２ 複数のドキュメントを読ませると間違える確率が上がる問題 課題３ 失敗している理由がよくわからない問題 課題４ ときおり英語で返してくる問題 課題５ OpenAI API がタイムアウトする問題 Tips１ ローカルファイルを小さくしたい Tips２ 回答をもっと厳密にしたい ChatGPT に
こんにちは！コンサルティング部のキムです。 私は韓国で昔から「晴れ男」によく呼ばれましたけど、東京来てからはあまり晴れた日が少なかった気がします。 ですが、直近の天気は良さすぎて毎日ハイパーになっています。さすがに東京の空は綺麗ですね！（韓国の空は微細ホコリのせいで綺麗な日が少ないです） あ、「晴れ男」や「晴れ女」という表現は韓国語ではないものですが、面白いし、とても良い表現だと思います :D さて、今日は先日小規模で試してみた「Developers.IO ブログで日本語の辞書を作ってみた」の内容をDevelopersIOブログの全体の規模で実装してみましたので、そのお話をしたいと思いました。 さすがにある程度の規模では小規模とは異なり、考えすべきなことがたくさんありました。こんなに簡単な作業（1つのLambda関数実行）を大規模で実装しながら私がハマったこと・わかったことを本記事にて纏め
イーロン・マスク氏は4月14日（現地時間）、TED 2022に登壇し、TED代表のクリス・アンダーソン氏と米Twitterへの買収提案などについて語った。 アンダーソン氏はまず「数時間前、あなたはTwitterに買収提案しました。なぜ？」と尋ねた。マスク氏は口に手を当てる絵文字のような仕草をし、「知らない」と答えたが、その後「言論の自由のための包括的な場の存在は非常に重要だと思う。Twitterはもう、一種のタウンスクエア（町の広場、誰もが自由に発言できる場という意味）になっており、人々が合法な範囲で自由に話せることが非常に重要だ」と語った。 アンダーソン氏がコンテンツモデレーションについて尋ねると、「グレイゾーンのツイートは存在させる。論争がある場合は、そのツイートを目立たせる必要はない。ツイートを削除するのは気が進まないし、アカウント凍結にも慎重だ。タイムアウトの方がましだ」と語った。
AWS Compute Optimizer を使用した AWS Lambda のコストとパフォーマンスの最適化 | Amazon Web Services
Amazon Web Services ブログ AWS Compute Optimizer を使用した AWS Lambda のコストとパフォーマンスの最適化 本投稿は AWS Compute Optimizer のシニアプロダクトマネージャーである Brooke Chen、AWS Compute Optimizer のプリンシパルプロダクトマネージャーである Letian Feng、Amazon EC2 のプリンシパルデベロッパーアドボケイトである Chad Schmutzer による寄稿です。 コンピューティングリソースの最適化は、あらゆるアプリケーションアーキテクチャにとって重要な作業です。計算処理リソースの過剰なプロビジョニングは不要なインフラストラクチャコストにつながる一方で、不足すると、アプリケーションのパフォーマンスの低下につながります。 2019年12月に開始された AWS
2021年1月7日に、バスケ漫画の金字塔として輝く『SLAM DUNK』の新作アニメ映画化の制作が発表されました。『SLAM DUNK』と言えば、90年代の『週刊少年ジャンプ』を牽引して人気絶頂のままに完結した漫画であり、レジェンドオブレジェンドですから、この記事を読んでいる人にその概要について改めて説明する必要は特に無いことでしょう。ただ、そこまでの作品なのにアニメについては完結まで作られておらず、インターハイへ向かう前までで終わってしまっていました。 このたび新作アニメ映画が作られると発表されたことで、『SLAM DUNK』という漫画の最後の試合にして最高の面白さだったと今なお語り継がれる、インターハイ2回戦・山王工業戦を多くの人が期待していることでしょう。しかし！ インターハイで行われた試合は山王工業戦だけではありません！ みなさん、湘北高校の全国デビューとなったインターハイ1回戦・
PHP標準のアプリケーションサーバー「PHP-FPM」から「NGINX Unit」に乗り換えるだけで約8倍も応答速度が改善したというテスト結果
NGINX Unitはさまざまな言語で動作可能なオープンソースの動的アプリケーションサーバーです。PHPのアプリケーションを動作させる際にNGINX Unitを使うと、PHP-FPMを使う場合に比べて約8倍も応答速度が改善するというテスト結果をエンジニアのstraykerwlさんが報告しています。 Comparing PHP-FPM, NGINX Unit, and Laravel Octane / Habr https://habr.com/en/articles/646397/ サービスメッシュ基盤構築～NGINX Unit - NGINX https://www.nginx.co.jp/products/nginx-unit/ GitHub - nginx/unit: NGINX Unit https://github.com/nginx/unit NGINX UnitではPHPのほ
AWS CloudShell を Serverless Framework × Python のデプロイ環境として使ってみた - サーバーワークスエンジニアブログ
AWS CloudShell がリリースされ、ブラウザ上でシェル環境が使えるようになりました。 aws.amazon.com このアップデートによって、「ローカルを汚さないCLI環境」が簡単に手に入るようになりました。 GCP では以前から "Cloud Shell" という名称で存在していたサービスですね。個人的な検証でたまに GCP の Cloud Shell を触ることがあり、ちょっとした作業や検証をするには便利だなと思っていました。なので、今回 AWS が追随して AWS CloudShell をローンチしたことにとてもテンションが上がっています。 紹介記事はすでに弊社の保田が記事（下記）を出していますので、私の方では実作業に使ってみての所感などシェアしようと思います。 blog.serverworks.co.jp 前置き 使用感 デプロイ時に気をつけること 実行環境に関連する話
AbortSignal.any(), AbortSignal.timeout(), そして addEvnetListener() の Signal | blog.jxck.io
Intro 最近 AbortSignal.any() が提案され、急速に実装が進んでいる。 すでに定義されている AbortSignal.timeout() や addEventListener() への Signal なども含め、非同期処理の中断を実装する際の API はかなり整備されてきた。 これら API のモチベーションと設計を中心にまとめる。 Abort 後のリソース解放 AbortSignal によって、非同期処理のキャンセルが可能になった。例として、 Server 上での Fetch のタイムアウトの例を考えよう。 app.get("/entries", async (req, res) => { const perRequestController = new AbortController() const perRequestSignal = perRequestCont
「膨大な量のトラフィックを扱えるLINEの環境は魅力的」Kafkaスペシャリストが語る仕事の醍醐味
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEで働くエンジニアに色々と話を聞いていく「LINE Engineer Insights」。LINEの技術組織で働く個々人に、何を重視して技術者としてのキャリアを歩んでいるのか、今LINEで何に取り組んでいるのか、今後実現していきたいことなどを聞いていきます。 今回登場するのは、LINEのMessaging Platform IMFチームのApache Kafka（以下、Kafka）スペシャリストである岡田遥来です。IMFチームは全社的に利用されるマルチテナントKafkaプラットフォームの開発・運用を行っています。最も大きなKafkaクラスターが処理するトラフィックは秒間1,500万メッセージ・7.5GBにのぼり、単一クラ
はじめに こんにちは、業務委託でサーバーサイドエンジニアとしてスマートバンクにジョインしているakshimoといいます！ ソフトウェア開発は「作って終わり」という訳にはいかず、その後の運用も重要かと思います。その中でもエラーの監視とその通知システムは不可欠です。この記事では、私たちのチームのエラー監視にて起こった問題とその対策、そして普段行っている運用業務の流れについて書きたいと思います！ 前提・課題 リリースに伴いエラーが多発 私たちのチームでは、機能改善の一環としてある外部サービスを新しいものに移行するプロジェクトを進めていました。しかし、移行後に予期しない問題が多数発生してしまいました… 具体的には以下のような問題が発生していました。 外部サービスの各エンドポイントでのタイムアウト サプライズ的な想定外の仕様 実装の不備によるバグ これらのエラーには放置するとユーザー体験を大きく損な
【はてな無料版2020】Googleアドセンスに初心者雑記ブログで合格！審査で2回落ちた時の対策 - ゆずいろ幸福論
ずぶの素人が毒にも薬にもならない雑記ブログを始めて1か月半、Googleアドセンスの登録審査に挑戦したところ、3度目の正直で合格を勝ち取ることができました！ 新型コロナの影響で結果が出るまでに時間がかかると聞いていましたが、実際にかかった日数は、最初の申請から11日間でした。 こんにちは、ユズリハです。 普段の仕事ではワードとエクセルくらいしか使わない私ですが、広いネットの海からみなさまの経験や教えの書かれた記事を拾い上げて結集させ、なんとか私のもとにも、あの幸運の女神を呼び込むことに成功しました。 申し込み開始時のこのブログの状況や、2度の不合格で行った修正、その他推奨されている対応をお伝えしようと思います。 ここに書かれていることが正しいのか、再現性があるのかどうかは不明です。 これから申請される方は、ご自身のブログ状況をよく観察の上でお試しください。 今回の記事内容は、「アドセンス審
HTTP通信では、数字3桁を使用して通信の意味を伝える「ステータスコード」という仕組みが存在しています。そのうち「103 Early Hints」というレスポンスで広告ブロックを検知する仕組みが考案され、「103 Early Anti Adblock」という名前で概念実証が公開されました。 GitHub - Mechazawa/103-early-anti-adblock: Detect adblockers without Javascript by abusing early hints https://github.com/Mechazawa/103-early-anti-adblock 「103 Early Hints」は、サーバーがレスポンスを準備する前に先にブラウザに対してリソースをプリロードできるようにURLを伝えるため、主にLinkヘッダーと共に使用されます。 今回の概念実
アソビュー流、SWRの使い方。可読性・保守性の高いhooks活用法 - asoview! Tech Blog
はじめに アソビュー！ Advent Calendar 2022の8日目です。 2019年ごろから基本的にReact hooksを使用しており、REST APIを呼ぶ際も以前紹介したこちらのようにhooksベースで行っています。今回はその中でSWRに着目してご紹介したいと思います。tech.asoview.co.jp SWRとは？ SWRとはstale-while-revalidateの考えに基づいたデータ取得用のライブラリのことで、stale-while-revalidateは直訳すると「再検証している間は古いまま」というようなニュアンスの意味になります。 公式ドキュメントにも記載されておりますが、APIリクエストがされたら、まずそのAPIのキャッシュを返却し、APIのレスポンスが返ってきたらその最新の取得結果をキャッシュと置換するというのが、一番基本的な機能です。 SWRを使用すること
こんにちは。虎の穴ラボのH.Hです。 今回はWebサービスの自動テストを試作したので、作ったアプリケーションについて書こうと思います。 なぜ作ろうと思ったか 虎の穴ラボでは、とらのあな通販やFantiaなど多くのWebサービスの開発を行っています。 日々様々な機能の追加や変更が行われています。 変更した機能は関連する既存機能を含めてテストを行い、本番の環境にリリースしていきます。 既存部分のテストに関して、簡略化できないかと考え自動でテストを行うツールを作ろうと思いました。 そもそもWebサービスのテストはなぜ簡略化が必要か テストは機能追加をしていくと、次に挙げる問題のためにテストにかける時間が増えていきます。 【問題１】機能追加を行う毎に確認項目が増える 何かの検索を行うサービスを考えると、１つの検索機能は様々な条件を元に該当するデータを取得します。 何か変更があれば既存の検索結果に影
この記事はMerpay Advent Calendar 2021 の23日目の記事です。メルペイPayment Platformチームの @foghost がお送りします。 本記事は決済システム開発の観点でリコンサイルを通して防ぎたいリスクについて説明した後、メルペイでリコンサイルについての取り組みについてご紹介します。 リコンサイルとは リコンサイルで検索するとwikipediaではリスク管理の手法の1つと書かれています。人間の様々の活動においてミスが必ず発生するので、リコンサイルはそれら活動の結果が期待通りになっているかどうかを再度確認することで、誤差を検知して様々なリスクを回避することができます。 定義だけ説明してもピンと来ない方が多いかと思いますが、実は普段の生活でも広い意味でのリコンサイルが必要となる場面が多いです。例えば以下の売店で買い物するときの流れを考えてみましょう。 お客
QUICの活用を改めて考える
ジェフ・ヒューストンのブログより。 数か月前の2022年7月、インターネットにおけるQUICの使用度合を測定する私たちの取り組みについて書きました。この測定を「正しく」行うことは興味深い課題であり、ここで関連づけたいと思う学習体験でした。前回の記事の終わりから始めて、そこから続けていきます。 QUICが少なすぎる! 私たちは、オンライン広告スクリプトを埋め込んだAPNIC Labの測定プラットフォームを使用しました。広告スクリプトは、ユーザにいくつかのURLフェッチを実行するように指示し、参照オブジェクトを提供するサーバは、サーバのアクションからクライアントの機能と動きを推測できるよう、測定されます。 この場合、クライアントは基本的なURLオブジェクト(最小の1x1ピクセルの「ブロット」)を読み込むよう指示され、URLのドメイン名部分は個々の測定値に固有となります。QUIC測定をセットアッ
Dissecting Performance of Production QUIC の備忘録 - neko--suki’s blog
twitterで見かけた、「Dissecting Performance of Production QUIC」という論文の備忘録 Nice paper on how QUIC being faster in theory doesn't always make QUIC faster in practice, due to implementation details:https://t.co/j4EbEkgPwZ BTW, this kind of thing is why I often find high-level design discussions that don't really dig into the details to be overrated. pic.twitter.com/xPkChrZVVp— Dan Luu (@danluu) 2021年8月7日 htt
▼ 2024 ( 248 ) ► 08/25 - 09/01 ( 2 ) ► 08/18 - 08/25 ( 7 ) ► 08/11 - 08/18 ( 8 ) ► 08/04 - 08/11 ( 8 ) ► 07/28 - 08/04 ( 7 ) ► 07/21 - 07/28 ( 7 ) ► 07/14 - 07/21 ( 8 ) ► 07/07 - 07/14 ( 7 ) ► 06/30 - 07/07 ( 7 ) ► 06/23 - 06/30 ( 7 ) ► 06/16 - 06/23 ( 7 ) ► 06/09 - 06/16 ( 7 ) ► 06/02 - 06/09 ( 7 ) ► 05/26 - 06/02 ( 7 ) ► 05/19 - 05/26 ( 9 ) ► 05/12 - 05/19 ( 7 ) ► 05/05 - 05/12 ( 8 ) ► 04/28 - 0
本選の問題作成を担当したさくらインターネットの江草です。 ISUCON9 本選参加された皆様、本当にお疲れさまでした。また、優勝したチーム「白金動物園」の方々、おめでとうございます！ 今回は予選両日ともに学生一人チームがトップで予選通過する快挙など、イベント的には良い意味で波乱が巻き起こり運営一同大変興奮しておりました。 1. 問題の公開今回の本選問題のソースコード、データ、および本選では非公開だった決済APIやベンチマークなど全ての要素を公開しております。本選問題についてはdockerで簡単に展開出来るようになっておりますので、ぜひ復習や学習にお役立てください。 https://github.com/isucon/isucon9-final 2. 課題アプリケーション概要今回出題した内容は、開業を間近に控えた鉄道の座席予約を題材とした「ISUXPRESS予約」です。 2020年1月1日に
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第690回 BCCでeBPFのコードを書いてみる | gihyo.jp
neue cc - C#のasync/await再考, タイムアウト処理のベストプラクティス, UniTask v2.2.0
【悲報】大村リコール署名提出日にありえないミス！選管にゴネる高須先生
20221113 佐賀バルーナーズ 初めてのBリーグ観戦 - mogumogumo.jp
第2回 Pythonの脆弱性 ～ReDOS～ | gihyo.jp
2021-03-02のJS: Bundle Size以外のJavaScriptパフォーマンス、CORS 完全手冊
Istio Rate Limitを活用した流量制限の取り組み - ZOZO TECH BLOG
3Dセキュア入門 -B/43の3Dセキュア開発・運用の裏側- - inSmartBank
単一アベイラビリティーゾーンでのアプリケーション障害からの迅速な復旧 | Amazon Web Services
逸れず泳ぐ、2匹の鯉のぼりかな？ - 重度知的障害、自閉症のta-sanと二人で貧乏脱出
【サーバーレス】18,570本のブログの形態素分析をやってみた | DevelopersIO
イーロン・マスク氏、TED 2022でTwitter買収提案について語る
おい、新作アニメ映画の前売券買っとけよ！『SLAM DUNK』豊玉高校について語り尽くした | マンバ通信
機能リリース後のカオス！荒れたSentryのアラート通知をどう立て直したか - inSmartBank
広告ブロッカーをJavaScriptオフでも検知する「103 Early Anti Adblock」
Puppeteerを使ってWebサイトの自動テストツールを作ってみた - 虎の穴開発室ブログ
マイクロサービスにおけるリコンサイルの話 | メルカリエンジニアリング
キュビズムアートって意味不明だけど素人でも楽しめるの？の科学
ISUCON9 本選問題の解説と講評 : ISUCON公式Blog