https://martinfowler.com/articles/branching-patterns.html 最新のソース管理システムには、ソースコードのブランチを簡単に作成できる強力なツールが用意されています。しかし、最終的にはこれらのブランチをマージしなければならず、多くのチームは混み合ったブランチに対処するのに膨大な時間を費やしています。複数の開発者の作業をインテグレーションし、本番リリースまでの道筋を整理することに集中して、チームが効果的にブランチを利用できるようにするためのパターンがいくつかあります。全体的なテーマとしては、ブランチを頻繁にインテグレーションし、最小限の労力で本番環境に展開できる健全なメインラインを作ることに注力すべきだということです。 ベースパターン ソースブランチング ✣ メインライン ✣ 健全なブランチ ✣ インテグレーションパターン メインラインイン
0から始めるNode.jsパフォーマンスチューニング
近年の Node.js は API のサーバとしてはもちろん、Nuxt.js や Next.js といった SSR や BFF などフロントエンドのためのバックエンド言語としての人気が高まっています。 フロントエンドエンジニアがコンテキストスイッチ少なくバックエンドの整備ができることは非常に大きな利点です。 ですが、フロントエンド（ブラウザ側）とバックエンド（サーバ側）ではパフォーマンスチューニングで見るべき点が大きく違います。 しかし Node.js アプリケーションのパフォーマンスイシューの見つけ方などがまとまっている資料は少ないです。 そこで、本記事ではフロントエンドエンジニアが Node.js でパフォーマンスイシューを見つけ、改善するため自分が普段パフォーマンスチューニングを依頼されているときにみている基礎的なポイトをまとめていきます。 1. 計測ステップlink Node.js
PayPayの1秒あたり1000決済への道のり
パフォーマンス・チューニングに関するブログの第１回目です PayPayは、日本でもっともよく知られているQR決済サービスとなりました。2018年10月5日のローンチ後、2018年12月より実施した100億円あげちゃうキャンペーンは、その後のプロダクトの急成長に合わせたシステムのスケール拡張という長い道のりのスタート地点でもありました。 ここ数ヶ月の新規ユーザーの増え方[1]を見るにつけても、PayPayが驚異的な成長を続けていることは間違いありません。スタートアップ企業はまるで竹のように成長するとはこのことではないでしょうか。（竹は24時間で最大約90cmも伸びるそうです） PayPayの成長速度は？ ユーザー数の伸び 2018年10月に初めてユーザーが増え、キャンペーンや日々メディアで報道されることによるユーザー数の増加もあり、1年後には1500万人を突破しました。2020年5月現在、サ
対話型AI「ChatGPT」は人間の言葉を受けて自然な文章を返してくれますが、人間が求める答えをうまく引き出すにはちょっとしたコツが必要です。ChatGPT開発元のOpenAIは「GPTのベストプラクティス」と題し、ChatGPTに使われるモデル「GPT」からより良い結果を得るための6つの戦略をまとめて公開しました。 GPT best practices - OpenAI API https://platform.openai.com/docs/guides/gpt-best-practices OpenAIが提唱する戦略は以下の6つです。 ・明確な指示を書く ・参考テキストを提供する ・複雑なタスクをよりシンプルなサブタスクに分割する ・GPTに考える時間を与える ・外部ツールを利用する ・パフォーマンステストを実施する ◆1：明確な指示を書く 関連性の高い答えを得るには、ユーザーは文章
ローコードテスト自動化ツールの mabl がすごい
というのを使っていて思ったのでレポを書いていきます。 mabl とは - 基本的な機能 ざっくり言うと E2E テストをお手軽にメンテできるツールです。 こんな感じでポチポチ画面を操作していくと、それで実行したアクション(ボタンやリンクをクリックするなど)を自動で記録してくれて、E2E のテストを作成することが出来ます。 コードを書かずに E2E テストをサクッと作れちゃうのが魅力な訳ですが、それだけではありません。そんなすごいところを紹介していこうと思います。 mabl のここがすごい Auto Healing 何やら回復魔法みたいな感じでかっこいいですが、何かというと E2E テストがコケるようになった時に自動で修復してくれる機能です。 例えばボタンの位置が変わってしまっても、同じ文脈であろうボタンを自動で探して修復したりしてくれます。 E2E での辛さといえば、やはりテストのメンテナ
テストとは人によって反応が分かれるものの1つであり、大喜びする人もいれば、見ないようにして去ろうとする人もいます。あなたがどちらの側であるにせよ、ここではフロントエンドのテストは皆のためのものであるということを説明します。実際、テストには多くの種類があり、それがテストに対して初めに恐れや混乱を感じる一因なのかもしれません。 この記事では、特に有名で広く利用されている種類のテストを扱います。なかには目新しいものはないと感じる読者の方もいらっしゃるかもしれませんが、少なくとも復習にはなるでしょう。どちらにせよ、筆者の目標は、この記事を通じて世の中のさまざまな種類のテストについて理解を深めてもらうことです。ここではユニットテスト、統合テスト、アクセシビリティテスト、ビジュアルリグレッションテストなどを一緒に見ていきます。 さらに、Mocha、Jest、Puppeteer、Cypressなど、各種
Merpay Advent Calendar 2019 の2日目は @1000ch (id:hc0001) がお送りします。この記事は2019年11月16日に福岡で開催された Frontend Conference Fukuoka 2019 のセッション、HTML Optimization for Web Performance の書き起こし記事です。 docs.google.com なぜ HTML の最適化が重要なのか 先日公開された Chromium Blog: Moving towards a faster web をご覧になられたでしょうか。Google は Web ページのパフォーマンスの重要性を様々な形で啓蒙してきましたが、この記事では Chrome のもとになっている Chromium に、Web ページのパフォーマンスをブラウザ UI として表示する機能を追加し、ユーザーが
はじめに エンジニアとして成長し、「つよつよエンジニア」と呼ばれて周囲から評価されるエンジニアになりたいという若手エンジニアや学生の方は多くいると思います。 私は今までで数百人以上のエンジニアと一緒に仕事をしており、その中にはベンチャーや上場企業でCTO/VPoT/テックリードといった役職についている「つよつよエンジニア」も多くいます。 (かくいう私も組織マネジメント力よりは技術力を評価されてCTOをしていますし、今もコードを書いています)。 「つよつよエンジニアになるためにはどのようなアクションをとればいいか」という視点で述べられていることは多くても「成果物にどのような特徴があるのか」という観点で述べられていることはあまり無い印象です。 成果物の特徴さえわかれば、まだ自身がそのレベルまで到達できていなくても、成果物のレベルを引き上げることができます。 （世阿弥の「風姿花伝」でも「真似る」
5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
「レベル感の違いがすごい」78歳のIT担当相が爆誕→台湾の38歳天才プログラマーIT大臣が話題に もうね。日本がっかりだよ。前回はパソコンも使えない、USBも知らない人がIT担当相で、今回は「自分でInstagram投稿できるから平気」の78歳の人。俺だってIT担当大臣やれって言われたら、いやいやもっと若くて優秀なのがたくさんいますっていうのに、80手前でInstagramに投稿できるから平気ですっ！って、引き受ける方も引き受けるほうだよね。 IT担当相・竹本直一氏のオフィシャルサイト、アクセスできず → 理由は「おそらく数カ月前からドメインロック」 自分のサイトも管理できない人が国のITを担うとかなんかのギャグ??? 公式HPが見られないようになっているというご連絡を数多く頂いております。ご心配をおかけし大変申し訳ございません。 現在、https://t.co/Qg0k9lwbiCのドメ
検査仕様書なしでシステム開発するとどうなるか？
検査仕様書なしでシステムを開発するとどうなるのか? ある炎上プロジェクトの建て直しを通じて嫌と言うほど思い知らされた。 そのプロジェクトの顧客が一番怒っていたのは「一体どういうテストをしてリリースしてるんだ?」という点だった。 プロジェクトの建て直しはやり慣れているのでまずは検査仕様書をレビューして検査項目の強化だな、とか軽く考えていた。 でもプロマネに検査仕様書を見せてくれと言っても整理できてないから待ってくれ、の一点張り。 まずは社内の人間で見るだけだから整理なんていらないよ、と説得しても頑固に出さない。 なんとそいつは検査仕様書なしでテスト(うちの会社の定義ではそんなもんはテストと言わないけど)して顧客にリリースしてた。 全く動かないシステムをリリース顧客は「全く動かない」と怒っていたが僕はいくらそれはないだろ、顧客が話を盛っているんだろうと甘く考えていた。 しかし、プロジェクトの自
このたびエックスサーバー株式会社は、 分散型SNSのオープンソースソフトウェア(OSS) 「Misskey」の開発を支援することとなりました。 開発環境の提供や開発資金の援助を通じて、「Misskey」の開発・運営をサポートし、 弊社運営のVPSサービス『Xserver VPS』のインフラサービスとしての、利便性の向上へも取り組んでまいります。 ---------------------------------------------------------------------- ■開発支援の目的 エックスサーバー株式会社は、日本のインターネットの未来を支えることを理念に掲げ、 国内シェアNo.1（※1）のレンタルサーバーサービス『エックスサーバー』をはじめとした、 インターネットサービスを展開してまいりました。 「Misskey」は、「X（旧Twitter）」に替わるSNSとして昨今
普段何気に使っているPostman。最近まで「手軽にGUIで疎通を試せて、設定を共有できてべんり〜」くらいで使っていました。 けどふと「実はもっと便利な機能があるのでは？」と思って調べてみたところ、色々出てきたのでせっかくなのでシェアしたいと思います。 たまたまですがちょうど10選！ 地味に便利な機能10選 VSCode拡張 PostmanにはVSCode拡張機能があります。 インストールするだけで、VSCodeのサイドバーから利用可能です。 日本語設定 日本人なので日本語で使いたい。 右上の歯車→Settingsから以下の通り選択することで日本語化が可能です。 変数の定義 複数のAPIで同じ値を使いたい場合があるとします。例えばテスト用のユーザーIDなどです。 Postmanではそんな値をAPIファイルに逐一ハードコードする必要はなく、変数に保存することが可能です。 Postman Ec
架空プロジェクトを通してシステム開発とドキュメント作成を体験してみる（2022 Late） - Qiita
このコンテンツ作成の背景 プログラミングを体験できるコンテンツは沢山存在していますが、開発プロジェクト全体を通した流れを体験したり、実務では不可欠となるドキュメント作成を体験（学習）できるコンテンツは少ないので作ってみました。 とはいえドキュメント作成についてはテンプレート見ながら「こんなもんです」と解説する感じになります。。。 免責事項（いいわけ） 元々は社内の非技術系な人向けに研修用資料として作っていたものを、どうせなら公開するかな。という感じで再編したものなので、足りない部分やオレオレな部分、ゆらぎ、不整合、誤字脱字とかも多いと思います。「間違い」や「こうしたほうがいいよ」というのがあれば、コメント等で"優しく"教えていただけると助かります。少しずつ修正していこうと思ってます。 オレオレな情報だけでは申し訳ないので、一般社会ではプロジェクト関連のドキュメントはどう書くのか？については
品質やテストといった活動が「本質的にアジャイルになって変わらなければならない」といった問題を定義し、その解決手段を提案する「今、全エンジニアに求められる『アジャイル開発での品質視点の変化』」。ここで株式会社デジタルハーツホールディングスの高橋氏が登壇。最後に、あらためて参加者からの質問に回答します。前回はこちらから。 どうすればうまくリファクタリングができるか 高橋寿一氏（以下、高橋）：じゃあここでもう1回Q&Aタイムを取ります。 高木陽平氏（以下、高木）：ありがとうございます。今Q&Aにまだ質問が上がっていないみたいなので、ちょっと私から質問します。リファクタリングをしなければいけないところって、逆に手をつけられないようなけっこう複雑怪奇な部分だと思うんです。そこらへんはどうすればうまくリファクタリングができるんでしょうっていう（笑）。 高橋：まず、日本人がすごくリファクタリングが嫌いな
嘘、大嘘、そして (Cloudflare の) 統計 : Cloudflare のパフォーマンステストの欠陥を証明
嘘、大嘘、そして (Cloudflare の) 統計 : Cloudflare のパフォーマンステストの欠陥を証明 数週間前、Fastly の競合企業の一つである Cloudflare が、自社のエッジ・コンピューティング・プラットフォームは Compute@Edge と比べて約3倍も高速であると 自社のブログ記事で断言しました。しかし Cloudflare によるこの見当違いな主張は、事実とは異なる印象を与えるために統計が利用されるリスクについて学ぶ良い機会でもありました。この記事では、Cloudflare のテスト手法を分析するとともに、より有用で科学的な比較による結果をご紹介します。 世の中には「嘘、大嘘、そして統計」の3種類の嘘が存在すると言われています。これは統計の説得力を皮肉った言葉であり、統計の中には信用できるものもありますが、今回 Cloudflare が公開した統計は明ら
こんにちは、テストが好きなsilverbirderと申します。Webフロントエンドのテストは実施していますか？ユニットテストやビジュアルリグレッションテストは広く知られていると思います。しかし、パフォーマンステストのためのテストコードはありますか？また、カオスエンジニアリングテストやアクセシビリティテストはありますか？ 今回、私はWebフロントエンドにおける網羅的なテストパターンを調査し、その結果をここで紹介したいと思います。これらを理解することで、読者の皆さんが適切なテスト戦略を策定する際の参考になれば幸いです。 前提 今回、テスト対象として取り上げる題材は、TodoMVCというTODOアプリです。フレームワークとしてReactを使用しますが、紹介するテストパターンはフレームワークに依存しないものです。ただし、使用するライブラリはReactに関連しているため、その点についてはご了承くださ
Khawaja Shams Tony Valderrama Erika Tharp TL;DR 2024年3月20日Redis社は、これまでオープンソースとして開発してきたRedis 7.4ソースコードのライセンスを、Redis Source Available License (RSALv2)とServer Side Public License (SSPLv1)のデュアルライセンスに変更すると発表しました。この変更によりRedis社の許可なくRedisを用いたマネージドサービスなどを提供することができなくなります。 2009年1人の情熱的なエンジニアAntirezが作り出したRedisですが、2013年のGarantia Data社の介入により様々なドラマが勃発し2020年にAntirezはIPそしてトレードマークを同社に譲渡します。その後、Redisのコアコミュニティメンバーを中心に
こんにちは！SmartHRで基本機能の開発を担当している、エンジニアのwakasaです。2023年の1月から半年かけて、自チームのテストフロー見直しを行い、実装時間を大幅に増やすことができました。今回はその取り組みをご紹介します。 見直し前のチームの状態 私の所属するEチームは、SmartHRの基本機能の中でも、従業員情報やマスターデータの履歴データ管理周りの機能開発を主に担当しています。2023年8月現在、エンジニアが6名、プロダクトマネージャーが1名、プロダクトデザイナーが1名所属しており、QAエンジニアは所属していません。以前はQAエンジニアがチームに所属していましたが、2022年10月にチームを離れました。QAエンジニアがチームを離れたあとはエンジニアがテスト業務を兼務しています。 今回の取り組みを始めるきっかけとなったのは、2022年の年末に実装にどのくらい時間を使えているのか計
Scenery Illustration by J.HUAこちらの記事は、2018年12月に公開された『 2019 UI and UX Design Trends 』の和訳になります。 はじめに私たちは去年、モバイルUIデザインのトレンドについての予測をまとめました。今年はモバイルだけを対象とせずに、さらに深く掘り下げていきます。 モダンなデザインの一番のトレンドは前後関係のあるつながりの中にあります。そのため、一般化することができません。 この記事を読むことであらゆるツール、技術の進歩、またユーザー向けのプロダクトが実際にどのように機能なのか開発者が理解し、全てが上手くいくように感じるでしょう。 近いうちに、販売だけでなく、生産するものすべてを網羅するユニバーサルデザインの考え方を発展させて行くでしょう。自分で何か物事を行うためには、より良いデザインの選択が必要です。 国家としての印象さ
2016年頃「サービスメッシュ」という用語は、マイクロサービス、クラウドコンピューティング、DevOpsの分野に登場しました。楽天的なあるチームは、2016年にこの用語を使用して彼らの製品である Linkerd を説明しました。コンピューティングの多くの概念と同様に、実際には、関連するパターンとテクノロジーの長い歴史があります。 サービスメッシュの登場は、主に IT ランドスケープの最悪の状況によるものでした。開発者は、複数言語 (ポリグロット) アプローチを使用して分散システムの構築を開始し、動的なサービスディスカバリーを必要としていました。運用は一時的なインフラストラクチャの使用を開始し、避けられない通信障害を適切に処理し、ネットワークポリシーを適用したいと考えていました。プラットフォームチームは、Kubernetes などのコンテナオーケストレーションシステムの採用を開始し、Envo
先日、とても面白い動画がYouTubeにアップされていました: スライド: Flutterがどのように現在の形になったのか、Flutterと名前が付く前の歴史を、当時のFlutterの開発者であるEric Seidel氏とAdam Barth氏が振り返った動画です。 これがとても面白く、前史を理解することで、Flutterが実はどのような位置づけにいるのか、Flutterが何であって何でないのか、よくわかる内容だったため記事にまとめたいと思います。 （筆者は英語がそこまで得意ではありません。解釈違いなどあればコメントで教えてください。また、分かりやすさのために沢山省略しています。ぜひ元動画も併せてみてください。） 全ての始まり: WebKitからBlinkがフォークされた 2013年4月3日、GoogleはChrome/Chromiumに使用するブラウザエンジンを、WebKitからフォーク
概要 速さが正義 LINE Botの開発でCloudflareとHonoを使う理由 Cloudflare Workersの応答速度が速いから PoPについて CloudflareはAWSのlambdaに比べてポイントオブプレゼンス（PoP）の数が多く、処理が実行される場所がよりユーザーの近くにある可能性が高い。 そのため、パフォーマンステストではAWS Lambda、AWS Lambda@Edgeよりも応答時間が小さいという結果になった。 コールドスタートがない Cloudflare Workersはコールドスタートがなく、LambdaとLambda@EdgeのようにEventBridgeで1分おきにツンツンしなくていい。 Service bindingsが便利だから Cloudflare WorkersのService bindingsを使用することで、worker間の通信はパブリックに
オンラインセミナー「RDS+Lambda が始まる。過去のアンチパターンはどう変わるのか」 資料および QA 公開 | Amazon Web Services
「Amazon RDS Proxyのご紹介」の資料において下記の部分を当日のセッション資料から修正しております。 ・P.12 DDLステートメントの動作に関し MySQL の動作だけの記載だった部分をMySQL / PostgreSQL 個々の動作を記載する様に修正 当日ご参加頂いた皆様、大変申し訳ございませんでした。また、ご指摘頂いたお客様、ありがとうございます。 Q. RDS Proxy 自体は単一障害点にはならない構成、という理解で良いでしょうか? A. はい。RDS Proxy はインフラストラクチャの障害から保護されるために複数のアベイラビリティゾーン (AZ)にデプロイされますので、単一障害点にはならない構成になっております。 Q. Proxy はVPCを意識しないサービスでしょうか?VPCに何か制限がありますでしょうか? A. RDS Proxy はVPCを意識するサービス
カオスエンジニアリング
ソフトウェアをはじめとするあらゆるシステムは、発展するにつれて必然的に複雑性が増していきます。 本書は、カオスエンジニアリングの基本となる理論と原則を説明し、組織が複雑性を受け入れながら、システムにおける弱点を発見するとともに、自信を持って障害に対処する力をつけるための実践方法を解説します。 ソフトウェアがビジネスの根幹を担う企業であるSlack、Google、Microsoft、LinkedIn、Capital Oneでの事例を紹介し、ゲームデーを中心としたカオスエンジニアリングプログラムの実践、実験の選択や自動化にあたっての課題、継続的ベリフィケーションの設計と実施、さらにはデータベースやセキュリティ分野への応用例などについて説明します。 Netflixでカオスエンジニアリングチームを立ち上げた先駆者である著者に加え、さまざまな組織のリーダーたちがカオスエンジニアリングについて多角的に
中華の怪レいPC(R86S)を買った。一通り遊んだのでレポートする。 なにこれ R86Sの名称でＡｌｉｅｘｐｒｅｓｓやAmazonで販売されている謎のシングルボードコンピュータ。 本体や箱にも公式ドキュメントにもそれっぽい記述が無いため製造元は謎であるが、結構な数が出回ってるみたい。販売サイトにはGuowei Technology社製と記述があった。 公式サイト? 販売サイトの一例 (注：2024/03リンク切れ) Amazon.co.jpでも売ってます スペック 色んな構成がある。 (販売サイトから引用, 執筆時閲覧) アッシが購入したのはG2モデル。これだけついて6万円弱なんでとってもお買い得。 CPU: Celeron N5105 (4C4T、2.0GHz, 最大2.9GHz) RAM:16GB NIC: 2.5G Base-T(マルチレート) x3 10G SFP+ x2 HDMI
「アジャイルテストの4象限」はアジャイル開発を補完するソフトウェア開発手法である - mtx2s’s blog
従来のプロジェクトにおける「テスト」は、リリースや納品前の最終工程として行われるものだ。多くのケースでそれは、前工程までの遅れと、それでも固定されたままのリリース日に挟まれ、予定された期間を食いつぶされた中で実施される。その上、時間に追われる中で実装されたソフトウェアは、動作確認も十分にされない状態でテストフェーズをむかえることになる。こうして品質の保証は、テスターに丸投げにされるというのが実態ではないだろうか。もちろんここでテスターに丸投げされているのは外部品質、特に機能面での品質の保証のみだ。非機能面での品質の保証は手薄になり、内部品質は顧みられることはない。 これは、ウォーターフォール開発を採用するプロジェクトで私が頻繁に経験した失敗パターンであるが、アジャイル開発でも遭遇する。その理由は、そのままのテストモデルがアジャイル開発の中でも用いられるために、同様の失敗パターンに陥りやすく
初めまして、システム部の劉（りゅう）です。 今はGMOリサーチのクラウドパネルのシステム連携などを対応しています。2014年入社以来、海外リモートワークや産休育児休など経験して、現在も時短で勤務させていただいています。 先日4/2（金）、GMOリサーチのオンラインテックカンファレンスが開催されました。 私は「Zoomが安定したサービスを提供している方法」についてのLT（Lightning talk）を発表しましたので、今日はブログのほうでも同じ内容を共有させていただこうと思います。 Zoomの利用者は約5ヶ月で30倍に 2020年、新型コロナウイルス の影響で、世界中で在宅勤務のニーズが急増しました。 そこで色々なオンラインツールやウェビナーが大活躍しています。 その中で、Zoomは特に注目されており、プライベートの繋がりから、仕事の場面まで広く活用されています。 弊社でも、日々Zoomミ
ISUCONとはLINEヤフー株式会社が運営窓口となって開催している、お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトルです ISUCON10 予選において発生していた、競技開始の遅延をはじめ、ベンチマーカーの不具合、ポータルの 50x エラー等、度重なるトラブルについて詳細を説明させていただきます。 運営チーム一同として、様々な要因から複合的なトラブルに発展させてしまったという認識です。これらの反省点を踏まえ、同種のトラブルを起こさぬよう、次の運営チームへ反省点やデータを引き継いでいきたいと考えています。その観点において、以下に ISUCON10 予選で発生していた各種トラブルの背景・原因について振り返ります。 競技時間の延期についてまずは ISUCON10 予選の競技時間が、当初予定の 10:00 開始から 12:00 、さらに延期して 1
表1(翻訳者により追加) MLOpsにおいて、DevOpsから追加された項目 以下では，予測サービスとして機能するMLモデルのトレーニングと評価の代表的な手順を説明します． MLのためのデータサイエンスの手順 どのMLプロジェクトでも、ビジネスユースケースを定義して成功基準を確立した後、 MLモデルを本番環境にデリバリする過程には次の手順が含まれます。 これらの手順は手動で完了することも、自動パイプラインで完了することもできます。 データ抽出： MLタスクのさまざまなデータソースから関連データを選択して統合します。 データ分析： 探索的データ分析 （EDA） を 実行して、MLモデルの構築に使用可能なデータを把握します。 このプロセスにより、次のことが起こります。 モデルが期待するデータスキーマと特性を理解します。 モデルに必要なデータの準備と特徴量エンジニアリングを特定します。 データの
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINE System Development Team インフラエンジニアの松本氏が、「LINEにおける数万台の物理サーバーを管理する仕組み」というテーマで、日々のサーバー運用や今後の取り組みについて共有。前半は、5万台以上ある物理サーバーでインシデントが発生したときの対応について紹介しました。 本日のアジェンダ 松本幸大氏：このセッションでは、LINEが構築・運用を行っている数万台の物理サーバーについて、このような膨大な数のサーバーをどのように運用しているのかについて紹介したいと思います。 まず簡単に自己紹介させてください。私は松本といいます。2019年にLINEに新卒として入社しました。現在はLINEの
この1年すすめていた「プロジェクトの健康状態の可視化と予防」と「自動テストの適用範囲の拡大」という施策についての話 - DeNA Testing Blog
SWETグループの平田（@tarappo）です。 早いもので2021年度もとうとう終わりをむかえようとしています。 ふりかえりということで、ここ1年ほどの間に私も関わって進めていた次の2つの施策についてかんたんに紹介したいと思います。 プロジェクトの健康状態の可視化と予防（dev-vital） 自動テストの適用範囲の拡大 今回紹介するこれらの施策は、SWETメンバーの今までの経験などを元に議論した中で出てきた課題から決めています。 プロジェクトの健康状態の可視化と予防（dev-vital） 私がSWETに所属してある程度の期間がたちますが、いろいろなプロジェクトに関わってきました。 その中で感じたのは、あるプロジェクトで出会った課題は他のプロジェクトでも起きていたりするということです。 今までのSWETの取り組みはプロジェクトですでに起きた課題に対してアプローチをとることが一般的でした。
MySQLの約30億レコードをRedshiftにDMSでニアリアルタイム同期した - クラウドワークス エンジニアブログ
概要 こんにちは。クラウドワークス SREチームの@kangaechuです。最近好きなラジオ番組は空気階段の踊り場です。 企業にとってデータは非常に重要です。さまざまなデータを組み合わせて分析を行うことにより、ユーザをより深く知ることができ、それによりサービスやビジネスモデルを継続的に変革することが可能になります。 クラウドワークスでも同様に、施策やマーケティング、新サービスの開発など、さまざまな取り組みの源泉としてデータを活用しています。 crowdworks.jpではマスタデータベースにAWS RDSで稼働するMySQLを使用し、分析系のデータベースにはAmazon Redshiftを使用しています。Redshiftに同期されたテーブルは約270テーブル、レコードにして約30億件あり、1か月に1.5億件のレコードが同期されています。 今回はMySQLからRedshiftへの同期の仕組み
はじめに みなさん、こんにちは。高校生エンジニアのRaioです！ 平日は公立高校に通いながら、放課後や休日はIT企業のエンジニアとして働いています🧑🏻💻 ↓筆者について↓ 今回の記事では、0円で読めるPythonの技術書5選を紹介します！ 無料で読む方法も紹介してるので、是非最後まで見て頂けると幸いです👍🏻 技術書を無料で読む方法 KindleUnlimitedを使うことで、沢山の技術書を無料で何冊でも読むことが可能です🙌 200万冊以上の書籍が何冊でも読み放題 月額980円が今なら1ヶ月無料 場所に囚われず、様々な端末で使用可能 勿論、技術書以外にもビジネス書や漫画など種類豊富です！ 今回の記事で紹介する技術書も、KindleUnlimitedで読むことができるので是非🥳 ↓入会したい方は画像をクリック↓ Python×Excelで作る かんたん自動化ツール 本書では、プ
今回のミッションと問題 テスト環境 テストの方針 全体像を知ったからできたこと テストを通じてあるべき姿を知る まとめ こんにちは。モノタロウで開発担当している竹原です。 皆さんは、EOL対応についてどのようなイメージをお持ちでしょうか？ EOL（End Of Life）とは、ハードウェアやソフトウェア製品の販売や生産、ベンダーのサポートや修正・更新プログラムの提供終了を意味します。EOLを放っておくと脆弱性や不具合を抱えたまま運用することになりかねないため、基本的には対応必須です。 とは言いつつも、不具合を出すリスクもあり作業内容としては広範囲のテスト作業となるため、入れ替えるハードウェアやソフトウェアに劇的な機能向上が無ければ、コストに見合う価値が得られません。しかし、確認範囲が広いという点を逆手にとるとシステム全体を見直す良い機会でもあります。 今回、私のチームでPythonのEOL
AlloyDB for PostgreSQL の仕組み: カラム型エンジン | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 5 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は最近、Google I/O にて AlloyDB for PostgreSQL を発表いたしました。これは、要求が厳しいエンタープライズ クラスのトランザクション / 分析ワークロードに使用できる、PostgreSQL 対応のフルマネージド データベースです。弾力性のあるストレージとコンピューティング、インテリジェントなキャッシュ、AI / ML による管理といったクラウドの優れた特徴を、PostgreSQL に統合できるようになります。さらに、AlloyDB は圧倒的なコスト パフォーマンスを実現します。パフォーマンス テストでは、標準の PostgreSQL と比較してトランザクション ワークロードで 4 倍以上、分析クエリで最大 100 倍も高速に
この記事は Brendan Conoboy による How RHEL is Made の翻訳です。 今週、Red HatはCentOS Stream 8に全力を注ぐ計画を発表し、その結果、1年後にはCentOS Linux 8が廃止されることになりました。 CentOS Streamはもともと2019年9月に発表されたもので、開発や検証が進むとすぐにアップデートを提供するRHELの継続的なリリースです。 現在CentOS Linuxを使用している多くの人は、CentOS Stream 8が自分の使用に適したディストリビューションになるのかどうか、テストされているのか、安定しているのか、などを疑問に思っています。 CentOS Stream に何が期待できるかを知るには、Red Hat Enterprise Linux がどのように構築されているかを知ることが一番の出発点となります。 それで
リアルタイムマーケティングシステムにおける行動ログの活用方法とログ収集機能を移行した話 - ZOZO TECH BLOG
こんにちは、MA部MA開発1ブロックの齋藤（@kyoppii13）です。 ZOZOTOWNではユーザ行動に基づくキャンペーン配信を実施しています。この配信はリアルタイムマーケティングシステム（以降、RTM）と呼ばれるシステムによって実現しており、RTMでは配信トリガーや配信タイミングの最適化等にユーザの行動ログを利用しています。 この行動ログは、ユーザがZOZOTOWNのページへアクセスした際に、HTTPリクエストをRTMが直接受信する形で収集していました。しかし、RTMの既存のログ収集機能はシステム要件や運用などの課題を抱えていました。また、その一方で全社的にログを収集・蓄積する基盤も並行して運用されており、RTMはこのログ基盤を活用できていませんでした。そのため、RTMでもこの全社ログ収集基盤を利用することで既存の課題を解決しました。 本記事では、RTMにおける行動ログの活用方法と、全
みなさん、こんにちは！プロダクト開発部の西原です。 現在、JMDCが保有している医療ビッグデータを活用して生活者や医療に新しい価値を提供する新規プロダクト開発チームのバックエンドを担当しております。 皆さんは普段プロダクト開発の際にパフォーマンステストはどのツールを使用していますでしょうか。私が所属する新規プロダクト開発のパフォーマンステストでは「Ddosify」というツールを使用しました。 今回はこちらの基本的な使い方についてご紹介致します。 Ddosifyとは Ddosifyは、Goで書かれたパフォーマンステストツールになります。 JSONファイルを使用してシナリオを作成することができます。シナリオを定義することで、異なるリクエストパス、ヘッダー、ボディを持つ複雑なテストケースを作成できます。 加えてDdosifyはDdosify Engine、Ddosify Self-Hosted、
※2022-06-07 システムアーキテクチャの画像を修正しました。 はじめに こんにちは、MA部MA基盤ブロックの齋藤（@kyoppii13）です。 ZOZOTOWNではアプリ向けのキャンペーンやセール情報などの配信でプッシュ通知を利用しています。プッシュ通知で配信するキャンペーンはセグメントに向けたマス配信のみで、ユーザごとにパーソナライズして配信するためのパーソナライズ配信には利用していませんでした。また、パーソナライズ配信の中にはリアルタイム性が求められるキャンペーン配信も含まれます。そこで、リアルタイムキャンペーンでプッシュ通知するための配信基盤を作成しました。 本記事では、リアルタイムなプッシュ通知を実現するために作成したシステムの紹介と、安定した配信を実現するために行った工夫について紹介します。 はじめに 従来のプッシュ通知と課題 従来のプッシュ通知 問題点 導入した配信基盤
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソースコードブランチ管理のパターン - Martin Fowler's Bliki (ja)
「ChatGPT」に使われる言語モデル「GPT」からうまく答えを引き出すためのOpenAI公式ガイド
フロントエンドのテストは皆のためのもの | POSTD
Web パフォーマンスのための HTML 最適化 | メルカリエンジニアリング
つよつよエンジニアの成果物にある5つの特徴 - Qiita
悲報!! 爆誕した78歳のIT担当相は、行政サービスの100%デジタル化に反対する議員団体代表!!!
分散型SNS「Misskey」への開発支援に関するお知らせ
Postmanを使い始めた時に知っておきたかった地味に便利な機能10選 - Qiita
「まともに単体テストを書ける人は実はすごく少ない」 市場バグを発生させない“単体テストで対処する”という考え方
Webフロントエンドにおける網羅的テストパターンガイド
Redisよ安らかに眠れ: Garantia Dataが引き起こしたオープンソースの歴史上最大の強盗とは
チームのテストフローを見直して、実装時間を2倍に増やした話 - SmartHR Tech Blog
【2019年版】UIとUXデザイントレンド - baby-degu - Medium
サービスメッシュ必読ガイド - 第2版: 次世代のマイクロサービス開発
Flutter前史: ChromeがFlutterになるまで
LINE Botの開発でCloudflareとHonoを使う理由
SFP+が付いている怪レいミニPC R86Sをレビューする
Zoomが安定したサービスを提供している方法について調べてみた - GMO RESEARCH Tech Blog
ISUCON10 オンライン予選で発生したトラブルについて : ISUCON公式Blog
MLOps: 機械学習における継続的デリバリとパイプラインの自動化 を翻訳してみた - Qiita
5万台以上の物理サーバーをどのように管理するか インフラ環境でインシデントが発生したときの仕組みづくり
【2023年9月】0円で読めるPythonの技術書5選 - Qiita
EOL対応はシステム見直しを行うベストタイミングである - MonotaRO Tech Blog
RHELはどのようにして作られるか - 赤帽エンジニアブログ
パフォーマンステストツール「Ddosify」を使ってみた - JMDC TECH BLOG
リアルタイムなプッシュ通知を可能にした配信基盤の紹介 - ZOZO TECH BLOG