ランニングコストほぼゼロから始めるスケーラブルな本番環境
はじめに 私は個人開発で一山当てたいと常々思っていて、そのためにいくつかヒットしそうなサービスのアイデアがあります。エンジニアであればアイデアを具現化することに躊躇してはいけないと思うわけですが、一度リリースしてしまうとランニングコストが発生するわけで、仮に全く人気がでなかったとしたらランニングコスト分の赤字を垂れ流すことになります。 一方、個人開発者というのはおそらく誰しも夢見がちなので、リリース後バズったりしてユーザーが大量に押し寄せてきてしまってサーバーダウンする可能性も考えてしまいます。 その結果、「全く誰も来なくてランニングコストが赤字になったらどうしよう」という不安と「めちゃくちゃバズってしまってサーバーダウンしてチャンスを逃したらどうしよう」という不安が、心の中でせめぎ合うことになります。 そこで、今回はその2つの不安を一気に解消する「使われなければランニングコストが限りなく
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
予算30万円台の深層学習用PCの買い方｜shi3z
深層学習をまじめにやるなら、どう考えても専用のPCが必要になる。 僕は現在、Memeplexというサービスを運営していて、これはさくらインターネットさんから大量のGPUを借りている。借りたGPUは、さくらインターネットの石狩データセンターで動いている。 さらに、ABCIは企画の段階から立ち会って、実際に仕事ではよく使っている。ABCIは5000以上のGPUを擁するGPUクラウド基盤で、その実態はスーパーコンピュータである。 ABCIを使えば、ほとんどの難しいタスクを恐ろしく安い料金で行うことができる。GoogleやAmazon AWSのようなサービスを展開することができない本邦においては、国家が設立し、民間利用可能なABCIは国民にとっての天叢雲剣あめのむらくものつるぎである。 それでもなお、手元には深層学習用のPCが必要だ。しかも一台では足りない。 ABCIがいかに安くても、PCほどの利
個人開発した賃貸物件検索サービスのシステム構成と使用技術
本記事で紹介している賃貸物件検索サービス Comfy は 2021/07/30 13:48 をもって閉鎖いたしました。使用していた物件データに関して、データの掲載元より利用許諾を得られなかったためです。本記事で紹介しているサービスが閲覧いただくことができなくなってしまい、大変申し訳ございません。本記事は、サービスに関する一部の内容を削除した上で、使用技術等に関する内容についてはいったんそのまま残しておきますが、近いうちに記事自体を削除するかもしれません。 ※ 2021/07/30 19:00 頃追記 こちらを見に来ていただいた方に、サービスが動いていた頃の動画を下記ツイートにアップロードしています。 サービスを直接お試しいただけない状態で申し訳ございませんが、少しでもサービスの雰囲気が伝われば幸いです。 下記、元の記事の内容です 個人開発で 賃貸物件検索サービス Comfy (上記サービス
重い金属元素「ドブニウム（Db）」の性質を調べた結果、周期表から予想できる性質に反して金属的な性質を失っていることが分かった──日本原子力研究開発機構が、7月7日にこんな研究結果を発表した。この元素の化合物を分離して調べたのは世界で初めてのことで、今回分かった性質から、いまだに完成していない周期表の理解が進むことが期待できるという。 ドブニウムは1967年に発見された、原子番号105番の元素。核融合反応で人工的に生成できるが、生成率が5分当たり1個と低いことと、寿命（半減期）が約30秒と短いため、実験で扱うのが難しく、その化学的性質は明かされていなかった。 研究チームは、同機構の加速器を使ってドブニウムを合成し、独自に開発した分離装置によってドブニウムの純粋な化合物を分離。この化合物と、ドブニウムと同じ周期表第5族の元素（ニオブやタンタル）の化合物について、気体になりやすさを比較したところ
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで - エンジニアHub｜Webエンジニアのキャリアを考える！
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで GitHubが公式に提供するGitHub Actionsは、後発ながらよく使われるワークフローエンジンとなっています。本記事では、藤吾郎（gfx）さんが、典型的なCI/CDのユースケースに即したワークフローの設定と管理について解説するとともに、注目されているGitHub OIDC（OpenID Connect）の利用についても紹介します。 GitHub Actionsは、GitHubが提供するCI/CDのためのワークフローエンジンです。ワークフローエンジンは、ビルド、テスト、デプロイといったCI/CD関連のワークフローを実行し、定期実行するワークフローを管理するなど、開発におけるソフトウェア実行の自動化を担います。 ▶ GitHub Actions - アイデアからリリースまでのワーク
いまNext.jsで新規サービスを立ち上げるときの観点（Router・CSS・認証・監視など/2023年末）
免責事項 社内向けに展開するように雑にまとめました Next.jsの知見が深くない人がリードしてPoCを立ち上げなきゃいけなくなったが、社内的にはNext.jsを推奨しているみたいな場面を想定しています なので自信ないところも多いですが割と断言するように心がけて書いています PoCの立ち上げ想定なので、jest/Storybookなど内部品質面についてあまり深く書くことを避けています ほぼ自分の知識だけで書いており私見も多いですし、そもそも自分自身がトップクラスの知識や視座を有しているわけでもないので、まずは以下の話を理解はした上で、踏襲するかどうかは別途他記事やGitHub、公式ドキュメントなどを漁って判断することを推奨 App RouterかPages Routerか 2023年末現在まだApp Routerは技術記事が足りてきている印象ではないため、社内でノウハウを積極的に貯めていく
6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
Elastic社のブログをきっかけに、最近見かける新しいライセンスについて個人的に調べてみた。私は専門家ではないので要注意。公開情報も隅々まで追えているわけではないし。 なお一部ライセンスはOpen Source Initiative (OSI)による承認を受けていないので、ここではオープンソースライセンスではなく単に「ライセンス」と書くことにする。 新しいライセンスが誕生している背景 従来のオープンソースライセンスが再頒布以外の利用をあまり想定していなかった。 Open-core modelないし完全オープンソース戦略を採る企業が自衛策を必要とした。 既存のライセンスが難解なため、理解しやすいライセンスが求められた。 OSS活動を収入に繋げるためのモデルが試行錯誤されている。 新しいライセンスを導入しているプロジェクト（一例） プロジェクト ライセンス Elastic SSPLと独自ライ
データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle
長年運用されてきたモノリシックアプリケーションをコンテナ化しようとするとどんな問題に遭遇するか？ / SRE NEXT 2022
2022年5月15日(日)に開催されたSRE NEXT 2022 Day 2の登壇資料です。 ▼SRE NEXT 2022オフィシャルサイト https://sre-next.dev/2022/ ▼発表の概要 https://sre-next.dev/2022/schedule#jp20
アプリケーションをユーザに公開する場合, それがGUIであってもCUIであってもインタフェースが必要になります. Webアプリケーションを公開する場合にはWeb APIを利用するのが一般的であり, AWSもAPIをフルマネージドで活用するためのAPI Gatewayを提供しています. 非常に簡単に活用できるのですが細かい機能などを今一度洗い直す機会があればと思っており, 社内勉強会の機会があったのでAPI Gatewayについて話しました. 今回の記事では社内向け勉強会で登壇した内容をブログ向けに再編しています. 資料はSpeakerDeckで公開していますが, 内容についてより細かくこのブログで説明しますので, 是非ご閲覧ください. What is API まず最初にAPIが何かを確認します. 大雑把に伝えるとアプリケーションが呼び出せば予期した結果を返されるような仕組みです. 名前にあ
来年こそ年収1000万以上狙いたいなら自分はこうする 面接の種類多すぎるので全部準備すると時間かかるので同じ面接タイプの企業を複数受けるのがコツです。 同時に勉強する勉強する大半給料の高い面接はコーディングテストあるのでleetcodeは必ずやる。leetcodeの練習は続くのが大事で1ヶ月に300問をやるぞというより1ヶ月に30問をやった方が覚えるしモチベーションが続く。 leetcodeの軌跡一日中leetcodeやるのは効率悪くなるのでドメイン知識のインプットしながらやっていく。学校の授業も一日中ずっと数学をやるのではなく複数科目をやっているのと同じ理由です。Spaced and Interleaved practiceの意識が大事 LeetCode最低限100問やってIDE補完やdocumentationなしでLeetcode mediumを解けるぐらいにしとく。 シニアレベルをも
2020年のフロントエンドエンジニアの技術スタックの一例 | potato4d D(iary) この記事と、TLで「これのバックエンド版が見たい」という発言に触発されたので書いてみます。口語体と文語体が入り乱れてるのは許してください。 冒頭のグラフはwakatimeで生成した今年1年間のプログラミング言語使用率です。2位はTypeScript、3位はTerraform、4位はYAMLでした。 立場 フリーランスで、主にRailsやAWSを使用しているサービスの運用、開発に関わっています。いくつもの会社を見てきた訳ではなく、数社に深く関わっている1都合上、視野が狭いかもしれません。 公開している成果としては クラウドゲーミング最新開発事例 - #CEDEC2020 - Speaker Deck があります。 長年RubyとRailsを書いてきたので、技術スタックがそのあたりに偏っています。
米マイクロソフトが、クラウドサービス向けのサーバーとパソコンの「サーフェス」に、自社で設計・開発したＣＰＵ（中央演算処理装置）を搭載する計画を進めていることが分かった。写真はニューヨークで２０１５年に撮影（２０２０年 ロイター/Mike Segar） ［１８日 ロイター］ - 米マイクロソフトが、クラウドサービス向けのサーバーとパソコンの「サーフェス」に、自社で設計・開発したＣＰＵ（中央演算処理装置）を搭載する計画を進めていることが分かった。事情に詳しい関係者が明らかにした。
2020/07/14 Cybozu Tech Meetup #3
LocalStackを利用することで実際のAWSにアクセスすることなくローカルの環境で開発やテストを行えるようになるため、迅速な開発サイクルの実現やAWSの利用コスト削減などが期待できます。 LocalStackはオープンソースですが、無料で使える「Community」版では基本的なAPI群が利用可能、月額28ドルからの有償となる「Pro」版では全てのAPIが利用可能。さらに上位の「Team」版と「Enterprise」版も用意されています。 AWSの主要サービスをエミュレート LocalStackでエミュレートできるAWSのサービスは、Amazon S3、SQS、SNS、DynamoDB、Route53、AWS Lambdaなどをはじめとする80以上の主要なサービスです。 AWS Command Line Interface（AWS CLI）、AWS Cloud Development
はじめに としが明け、2023年になり、2022年を振り帰ったり、今年の目標を立てている頃でしょうか？ みなさんは2022年どんな1年でしたか？ この記事では、2022年に話題になったWebサイトをまとめて、 みなさんの振り返りや今年の目標や勉強することの参考にしてみてはいかがでしょうか？ POLA https://www.pola.co.jp/wecaremore/mothersday/ 母の日に合わせて公開された↑この特設サイトは、スクロールに合わせて、だいぶスムーズに花がアニメーションしていくサイトです。 一回サイトに訪れると、その没入感にサイトから抜け出すタイミングがなくなるでしょう。 Pokémon Online Gallery https://onlinegallery.pokemon.co.jp/ja/ ポケットモンスター スカーレット・バイオレットの発売を記念して公開された
即戦力人材と企業をつなぐ転職サイト「ビズリーチ」は2009年にサービスを開始し、スカウト可能会員数は190万人以上（2023年1月末時点）のユーザーにご利用いただくサービスに成長しました。 今回、その「ビズリーチ」の認証基盤としてIDaaS（Identity as a Service）のOkta Customer Identity Cloud（Powered by Auth0）（以下Auth0という）の導入を行いました。 本記事では認証基盤を刷新するに至った背景とAuth0を用いて100万を超えるユーザーをログアウトさせることなく移行した方法についてご紹介いたします。 前提 本記事で得られる情報 本記事を読むことで以下のような情報を得ることができます。 IDaaSを選ぶ理由 IDaaSを用いて認証・認可を運用中のプロダクトに組み込んだ事例 運用中のプロダクトに組み込む際に発生しうる課題と対
【新機能】Google Cloud 純正の構成図ツール Architecture Diagramming Tool が発表されました | DevelopersIO
【新機能】Google Cloud 純正の構成図ツール Architecture Diagramming Tool が発表されました Google Cloud のアーキテクチャ図を書く純正のツール Architecture Diagramming Tool が発表されました。Google Cloud の構成図ツールの決定版になると思います。 ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程 Google Cloud 純正のアーキテクチャ図作成ツールである Google Cloud Architecture Diagramming Tool が発表されました。 Introducing a Google Cloud architecture diagramming tool Google Cloud Architecture Diagramming Tool 今まではGoogle S
他社にない「買い切りプラン」で一生使い放題も もっと早く知りたかったスイス発のオンラインストレージ「pCloud」の特徴に迫る
写真などのデータを保存できるオンラインストレージを探す場合、容量や価格、機能といったさまざまな条件を比較して決めるのが一般的だ。しかし、最終的には知名度だけで決めてしまい、いざ使ってみるとしっくり来ない、そのようなパターンも多いのではないだろうか。 今回紹介する「pCloud」（ピークラウド）は、マルチプラットフォームに対応した、スイス発祥のオンラインストレージサービスだ。定番の機能はもちろんのこと、他のオンラインストレージにはない数多くの特徴を備えており、ユーザー数は世界中で約2千万人にも及んでいる。そんなpCloudの他にない機能の数々を紹介しよう。 また、ページの最後には期間限定で最大54％オフとなるお得なセール情報も併せて紹介しているので、是非チェックしてほしい。 全世界に2千万のユーザーをもつ「pCloud」の魅力とは pCloudは、サービスインから10周年を迎えたオンラインス
前にも似たようなこと書いたなと思ったけどもう一年半も前のことになるのか t-cyrill.hatenablog.jp ご存知の通り昨日 2021/02/19 23:20頃 AWSにて東京リージョンの一つ apne-az1 にて大規模な障害が発生。多くのAWSを利用していたサービスで影響があった。 そんな私はいつものように アラストリリィ アサルトリリィ ラストバレット というゲームを呑気にプレイしていたのだけど、23:25 から緊急メンテに入ってしまった。 どうしたんだろうと思っていたら、社内SlackにてAWSを利用しているサービスがたまに応答しなくなる、Elasticacheが切り替わったなどなどの報告が入り、もしかすると面倒ごとかなと思いながら対応することになった。 起きていたこと 既にAWSからも公開されていることであるが、今回は2019年8月に起きた障害と類似するタイプの障害だっ
転職サービス「doda」などを提供するパーソルキャリア株式会社が運営するIT・テクノロジー人材のための社会人コミュニティ「TECH Street」＜ https://www.tech-street.jp/ ＞は、日本全国のITエンジニア403名を対象に「理想の開発環境に関するツール・サービス調査」を行いましたので、結果をお知らせいたします。 ▼調査結果詳細 https://www.tech-street.jp/entry/research-devenvironment ■ITエンジニアが使いたいのはどちら？Mac／Windows 「Q.ビジネスやプロジェクトにおいて、自分に決定権がある場合、どちらのPCを使いたいですか？」（n=403）と質問したところ、「Windows」と回答した方が90.1％、「Mac」と回答した方は9.9％という結果となりました。 また、「Q.PCを選ぶ上で最も重要視
自分でサービスをつくって自由に生きていきたい、そう思ってフリーランスになってから10年、気がつけば受託開発に追われる日々。たしかに売上は順調に伸びていくものの、物足りない日常が過ぎ去っていく。 「...このまま受託開発をずっと続けるのか？...いや、やっぱり自分でサービスをつくって生活できるようになりたい」 心の声に従うまま、受託を完全にやめることを決意。思い切った決断でしたが、新しい仕事も断り、退路をたってサービス開発に専念。結果、オンラインメンターサービスMENTAがヒットし、M&Aにてランサーズグループにジョイン。いまもサービス成長させるべく、がんばっている毎日です。 自分で考えたものがたくさんの人に使われて、サービスがあってよかった！と言っていただける。サービスをつくる毎日は最高です。 この記事は僕のこれまでの個人開発で学んだ失敗や気付きなどの知見を網羅的にまとめたものになります。
こんにちは、主に検索周りを担当しているエンジニアの伊藤です。 この記事は Enigmo Advent Calendar 2020 の 17 日目の記事です。 みなさんは適切なDockerfileを書けていますか？とりあえずイメージのビルドが出来ればいいやとなっていませんか？ 今回は自戒の意味も込めて、改めてDockefileのベストプラクティスについて触れつつ、 そもそもDockerfileを書かずにコンテナイメージをビルドする方法とコンテナセキュリティに関する内容についてまとめてみました。 Dockerfileのベストプラクティス イメージサイズは極力小さくしよう ビルドキャッシュを活用しよう Dockerfileに関する悩みどころ Dockerfileを書かないという選択肢 Buildpack Cloud Native Buildpacks CNBの仕組み デモ CNBのメリット セキ
毎年開催されているデブサミが2020/2/13(木)、14(金)で開催されましたね。 現時点で公開されている資料のリンクをまとめました。 よろしければご活用ください。 はじめに 公式サイト - Developers Summit 2020 登壇者名は敬称略させていただいています。 Twitterアカウントについては、多くの方はデブサミ公式サイトの紹介ページに記載がありましたので、そちらから引用させていただきました。記載がなかった方については、調べて分かった方のみ記載しています。 資料について、見つけられなかった or 元々資料を使用していない 方についてはレポート記事を見つけられた方のみ、そのリンクを記載しています。 なお、こういったリンクまとめをQiitaに投稿するのは初めてなので何か問題がある場合や、リンクの間違い等ありましたらコメントいただけると助かります。 2/13 13-A-1
2024年に読んだほうがいいエンジニアな書籍10冊+α - CloudとSREそしてキャリア本 - Lean Baseball
Google Cloud Partner Top Engineer 2024を頂いた者です. 仕事はエンジニア系のコンサルとSRE, 趣味（と前職以前の仕事）で機械学習や生成AI*1をやっとります. この記事は当ブログの名物かつ人気シリーズである, 主に技術書を中心としたオススメ書籍（元々はPython本メイン）の紹介エントリーです. ※去年の記事はこちら. 本年のこのエントリーは, 2024年の推し本4冊 CloudおよびSREな4冊 いい感じな技術書2冊 この三本立て（+私の完全なる趣味チョイスで数冊）でご紹介できればと思います. というわけで, 本年のラインナップは以下の通りです. この記事の著者 2024年の推し技術書10冊 特に推したい4冊 クラウドストラテジー 世界一流エンジニアの思考法 仕事に役立つ新・必修科目「情報Ⅰ」 キャリアづくりの教科書 CloudおよびSREな4冊
をぢ @Woggieeee Adobe Creative Cloud更新時期になったので、また解約する振りしたら、今年も半額に値引きしてくれた。 pic.twitter.com/xFBcPmU49T 2022-06-02 11:52:16
日本電子計算は2019年12月16日、自治体向けIaaS「Jip-Base」を利用中の自治体でシステム障害が発生している問題について記者会見を開き、山田英司社長が「大変申し訳なく思っている」と謝罪した。同社によると、15％のデータはIaaS内のバックアップも見つからず、単独での復旧が不可能。残りの70％は復旧、15％は復旧作業中であることが明らかとなった。 これまで「50自治体」としていたのは、正確には47自治体と、6の広域事務組合や図書館であることも説明された。バックアップが見つからない15％には、このうち33自治体のデータが含まれるという。システム構成も一部が明らかにされ、仮想環境で1318の仮想OSが稼働していたことが判明した。 日本電子計算は復旧作業に当たって、IaaS内からOSやアプリケーション、業務データを含む仮想環境のイメージデータを復旧したり、イメージデータを同社のバックア
当社社員が翻訳協力した「ChatGPTのセキュリティへの影響」が公開されました | NTTデータ先端技術株式会社
一般社団法人 日本クラウドセキュリティアライアンス（以下：CSAジャパン）にて、「ChatGPTのセキュリティへの影響」が公開されました。 CSAジャパンは、Cloud Security Alliance（以下：CSA）の日本法人で、日本のクラウドセキュリティの向上を目的とし、クラウドのセキュリティに関する啓発・情報発信等の活動を行う任意団体です。 「ChatGPTのセキュリティへの影響」は、CSAが公開している「Security Implications of ChatGPT」の日本語訳で、ChatGPTのような大規模な言語モデルがサイバーセキュリティ産業の未来をどのように形作るかを包括的に理解することを目的としています。 原本である「Security Implications of ChatGPT」の日本語化において、当社サイバーセキュリティ事業本部 石井 英男が、翻訳メンバーの一員と
一部のお客様へ影響しているアトラシアンサービスの停止について | Atlassian Japan 公式ブログ | アトラシアン株式会社
本ブログは、こちらに掲載されている英文ブログの意訳です。万が一内容に相違がある場合は、原文が優先されます。 2022年4月18日 23:57 UTC時点で、サービス停止の影響を受けたお客様サイトの復旧を完了しました。 2022年4月4日(月) PTに、アトラシアンクラウドをご利用の約400社のお客様が、アトラシアン製品全体を通してサービスの停止を経験されました。2022年4月18日現在、影響のあったお客様サイトの復旧を完了し、各サイトの窓口ご担当者宛てにご連絡申し上げました。 当社のサポートチームは現在、個々のお客様に合わせたサイト特有のニーズに対応しています。支援を必要とする事象のあるお客様は、当該サポートチケットへその旨ご返信ください。至急エンジニアリングチームより対応させていただきます。 今回のインシデントはサイバー攻撃や、システムの拡張に問題があったものではありません。また、一部の
技術記事を書くまでのステップについて順にコツを解説していきます。 特に、技術記事を書きたくてもテーマ選定が難しい、文章が苦手だ、なぜか筆が進まない、うまくまとめられないといった方に読んで欲しい記事です。 一応、エンジニア歴としては数年以内のジュニアレベルの方を想定しています。 以下のように技術記事を企画して、書いて、公開するためのプロセスごとにちょっとしたコツをまとめています。気になるセクションだけでも読んでいただければ幸いです。 テーマを決めよう 対象読者を決めよう 章立てを決めよう 書こう タイトルを決めよう 【余談】技術記事を書く理由とは 筆者について QiitaとZennにて6年以上の記事発信経験があり、 Qiitaでは5,942Contributionsを記録、 Zennでは3,253Likesをいただいています。 テーマを決めよう コツ：テーマのカテゴリによって執筆のポイントや
Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
【解体新書】Notion編 ~ 社員数たった50人の会社がユニコーンになれた秘密 ~｜Tomo Shikata @ WiL
『解体新書』と題し、急成長するスタートアップ企業を徹底解剖するシリーズの第1回としてNotionについて書こうと思います。 （このシリーズが面白いと思ったり、別の企業について書いてほしいという方はぜひこのnoteへのスキや、Twitterのフォロー、シェアをなにとぞ🙇♂️） Notionを知らない方にざっくりとした説明をすると、なんでもできる超多機能情報管理ツール。昨年くらいからものすごい熱量の高いファンがいるサービスだなーと思っていて、自分も年初から使うようになり、今では個人で課金して使ってます。 そんなサービスが昨年7月に$20M、今年4月には$50Mを調達してユニコーン企業になり、ユーザーは400万人を突破するなど、昨今のコロナはどこ吹く風という勢いの実績を積み上げています。 名実ともに破竹の勢いで成長を続けるNotionは、実は創業してから会社が一度死にかけていたり、創業者はな
「The Twelve-Factor App」を15項目に見直した「Beyond the Twelve-Factor App」を読んだ - kakakakakku blog
2012年に Heroku のエンジニアによって提唱された「The Twelve-Factor App」は素晴らしく，アプリケーションをうまく開発し，うまく運用するための「ベストプラクティス」として知られている．2020年になった現在でもよく引用されていると思う．日本語訳もある． 12factor.net Beyond the Twelve-Factor App とは？ クラウド化が進むなど，提唱された2012年と比較すると技術的な変化もあり，今までの「The Twelve-Factor App」で宣言されていた観点以外にも必要な観点やベストプラクティスがあるのでは？という意見もある．そこで，2016年に Pivotal のエンジニアが「Beyond the Twelve-Factor App」を提唱した．The Twelve-Factor App にあった「12項目をアップデート」し，新
「Amazonでさえサーバレスやマイクロサービスを理解できない」とDHH氏が主張する一方で、「進化可能なアーキテクチャこそ重要」とAmazonのVogels博士
Ruby on Railsの作者として知られるDavid Heinemeier Hansson（DHH）氏が自身のブログに5月4日付けで投稿した記事「Even Amazon can't make sense of serverless or microservices」（Amazonでさえサーバレスやマイクロサービスを理解できない）が話題になっています。 これはAmazon Prime Videoの技術部門が3月に自社ブログに投稿した記事「Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%」（Prime Videoの音声映像監視サービスにおけるスケールアップと90％のコスト削減の実現）で紹介された、AWS Lambdaのサーバレスで作られたPrime Videoの監視サービス
23新卒技術研修で実施したセキュリティ研修の講義資料です。 資料の利用について 公開している資料は勉強会や企業の研修などで自由にご利用頂いて大丈夫ですが、以下の形での利用だけご遠慮ください。 ・受講者から参加費や授業料などを集める形での利用（会場費や飲食費など…
Linux OSのUbuntuなどを提供しているCanonicalは、Ubuntuに対して10年間のメンテナンスの提供を約束する新サービス「Ubuntu Pro」を発表しました。 Ubuntu Proはサーバ向けとデスクトップ向けを含むすべてのUbuntuのディストリビューションに対応するのに加えて、Apache Tomcat, Apache Zookeeper, Docker, Drupal, Nagios, Node.js, phpMyAdmin, Puppet, WordPressなどの主要なLinuxアプリケーションもメンテナンスの対象として含まれています。 また個人には最大で5台のマシンまでUbuntu Proが無料で提供されることも発表されました。 We're pleased to announce that Ubuntu Pro, the expanded security
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSでバッチ処理を実装する際の選択肢とサービス比較
GitHub Copilot · Your AI pair programmer
元素の「周期律」にほころび？ 金属元素「ドブニウム」が金属の性質持たず
最近見かける新しいライセンスについて - Kengo's blog
Amazon API Gateway は何をしてるのか | DevelopersIO
2023に給料を上げたいソフトウェアエンジニアの勉強方法｜gaijineers
サーバーサイドエンジニアとして2020年に使った技術 | うなすけとあれこれ
Microsoft、「Python in Excel」を発表 ～Windows向けベータ版でテスト開始【6月18日追記】／Windows版「Excel」のCurrent (Preview)チャネルに順次配信中
マイクロソフト、半導体を自社設計へ サーバーやＰＣに＝関係筋
インフラ自動化の落とし穴と宣言的アーキテクチャ
AWSの主要サービスをローカルでエミュレート、「LocalStack」が1.0に到達
【まとめ】2022年に話題になったWebサイト - Qiita
100万ユーザーをログアウトさせずに新認証基盤に移行した話
AWSでAZ障害が起きたので困ったことを書いておく - なんかかきたい
ITエンジニアの理想の開発環境に関するツール・サービス調査 90.1％のITエンジニアがWindowsと回答
30個以上の個人開発を失敗。そこから自分のサービスで生きていけるようになるまでの話。｜入江 慎吾 🚀
Dockerfileのベストプラクティスとセキュリティについて - エニグモ開発者ブログ
Developers Summit 2020 資料リンクまとめ - Qiita
Adobeに税金を払うとき、解約する素振りを見せると減税される、という仕組みに賛否両論
「33自治体のデータがIaaSから消失」、日本電子計算がシステム障害の詳細明かす
なかなかアウトプットできないあなたが技術記事を書くときのコツ
セキュリティ研修【MIXI 23新卒技術研修】
Ubuntuが10年間のメンテナンスを約束「Ubuntu Pro」を発表。個人には5台まで無料提供