Sidekiq のワーカーノードをオートスケールさせてEC2の稼働コストを60%削減させるまで - Qiita
「Sidekiq のワーカーノードが稼働する EC2 インスタンスをオートスケールしたい」という依頼人の願いを、匠が叶えます。 このストーリーの登場人物は以下の2人です。 依頼人 = アプリケーションエンジニア or マネジメント層（適宜文脈によって読み替えてください） 匠 = インフラエンジニア Before まずは依頼人が抱えるお悩みについて話を聞いてみることにします。 インフラ構成 依頼人のサーバ構成は、 Sidekiq では標準的な構成を採用していました（図1, 2）。 Web ノードでタスクを Redis 登録し、 Worker ノードで Redis からタスクを取り出し実行します。 Web ノードは API として外部に公開されているほか、 Sidekiq の GUI として利用しています。 各ノードは AutoScalingGroup を構成していますが、台数固定で稼働してい
M1 MacでARMとIntelのターミナルを切り替えて使う (Homebrew 3以降の場合) - Qiita
M1 MacではRosetta 2を使って x86, x86_64 (以下x64) のIntelアプリやライブラリを実行できるのは有名だが、ターミナルを切り替えて使うことで、ARM非対応のツールやライブラリを使ってIntel版の開発を進めることができ、かつARM版と共存させることができる。 ARMとIntelのターミナルを切り替えて使う記事は既にあるものの、2021/2/5にARMに正式対応したHomebrew 3.0.0以前の記事しか見当たらず、Homebrew 3.0.0以降の正式対応後の手順と設定を改めてまとめてみることにした。 iTermをインストール デフォルトのターミナルでも良いのだけれど、後述の見た目を分けることができなかったり、名称変更後のターミナルがSpotlightで呼び出しにくいなどで不便が多いので、iTermをインストールしている前提で以下説明する。 Intel版
CDK Pipelines を導入した複数人開発のススメ - Qiita
みなさん、こんにちは。horsewinです。 AWS CDK Advent Calendar 2021 9日目の記事となります。 CDKのCI/CD化を手助けしてくれるConstructの1つである、CDK Pipelines（@aws-cdk/pipelines module）に触れていきます。 複数人でCDKを利用したCI/CDを導入する上でぜひ検討の1つにしてみてください。 今回触れること、触れないこと 本記事では次の内容について触れていきます。 CDK開発にCI/CDを組み込むモチベーション CDK Pipelinesとはなにか CDK Pipelinesを利用する上でのTips 次の内容には触れません。ただしAWS公式のドキュメントやリンクをリファーはしますので適宜参考にしてください。 CDK Pipelinesの作成の流れ（ハンズオンなど） CDK/CFnで悩むリソース参照方式
技術ようつべチャンネル集 - Qiita
役立つYouTubeのチャンネルまとめ 数学、物理、アルゴリズム、プログラミング、などなど自分が使う技術に役立ちそうだな、困ったときによく見たなと思うチャンネルを紹介する。 取っ掛かり、ハマりがち、コツみたいな物が拾える。数学がメイン。随時更新していくつもり。 当たり前だけどちゃんと本も読んで勉強するんだぞ。 背景 YouTubeは視聴する登録チャンネルの数が増えると、チャンネルが埋もれて発掘困難になりがち (chrome拡張でできるチャンネルのフォルダ分け機能は、ぽちぽち登録するのも面倒で、そのフォルダの中から掘り出すのも難しい) モチベが上がる(おべんつよしたい)チャンネルを探してるうちに湧いてくる、わんにゃんコンテンツ(だいちゅき)に流され一日が終わるため、 モチベが上がる有用なチャンネルにすぐにたどり着くために、よく使うQiitaに列挙しておくことにした Streamや大学専用サイ
スケールする要求を支える仕様の「意図」と「直交性」 - Qiita
はじめに どんなソフトウェアエンジニアも拡張しやすくメンテナンスしやすいソフトウェアを作りたいと思っているはずです。また、どんなプロダクトマネージャも同様に拡張しやすいシンプルな要求を作りたいと考えているはずです。 しかし、将来の不確実性や発展性に対して見通しを立てるのは難しいものです。そのため、開発チームの思いとは裏腹にソフトウェアの複雑性はどんどんと増大していきます。気がついたら技術的負債と呼ばれるような手もつけられない泥団子になってしまうということもしばしばです。誰もが生産性を下げるために機能を追加したいわけではなく、ビジネス価値を提供するために機能を追加したいだけなのにです。 このような状況を避けるためにはどうしたらよいのでしょうか。今回はその一つの手段として、要求には隠れた「意図」があり、それを発見していくことの重要性についてまずはお話しします。さらにわかりやすい要求が持つ仕様の
日本語で学べるベイズ統計学の教科書10冊 - Qiita
東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強する上で個人的にオススメな日本語の教科書10冊を簡単に紹介したいと思います． 一般的な方法論・基礎理論 中妻照雄『入門ベイズ統計学』 簡単な例と実践的な例を使ってベイズ推論の考え方が導入された後，マルコフ連鎖モンテカルロ法(MCMC)の基礎的な事項がまとめられています．基本的な数理統計学が理解できていれば十分読める内容になっている印象です．この本の続編である中妻照雄『実践ベイズ統計学』では，ファクターモデルやそのポートフォリオ選択への応用，ベイズ的線形回帰モデル，モデル平均化法などのより発展した内容について丁寧に解説されています． 伊庭幸人・種村正美・大森裕浩・和合肇・佐藤整尚・高橋明彦『計算統計II』 かなりボリュームのある内容の本です．基本的な話題として，MCMCの基礎や標準的な統計モデルにおけるベイズ推論に関して数
初学者からの統計学10冊（社会科学向き） - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です． 今回は，初学者レベルから学部上級レベルの統計学関連の教科書を，順を追って紹介していきます．普段，経済学をはじめとする社会科学（経済学・経営学や政治学など）を学ぶ学生に教えているので，タイトルに「社会科学向き」と入れてみましたが，これから紹介する多くの本は，他の応用でも役に立つものが多いはずです． 入門書 大屋幸輔『コア・テキスト統計学』 厳密さと初学者に対する分かりやすさのバランスのとれた本です．演習問題を集めた副読本もあるので，こちらと併せて学習すると効果的だと思います． 久保川達也・国友直人『統計学』 入門書としては，やや硬派な教科書ですが，しっかり学びたい人にはお勧めの教科書です．「1.記述統計」「2.確率」「3.推測統計」と標準的な構成をしている中，最後の第4部では社会・経済データとして標本調査や時系列分析の話題にも触れてい
計算機統計学・ベイズ統計学周辺でのお勧めの教科書10冊 - Qiita
はじめに 千葉大学/Nospareの米倉です．今回は僕が専門にしている計算機統計学・ベイズ統計学周辺で僕が勝手にお勧めだと思う教科書を10冊簡単なコメント付きで紹介したいと思います．初学者向けといより，修士・博士課程位のレベルのが多いので，ややプロ向けです． お勧めのプログラミング言語 僕は普段Julia言語を用いています．特徴は非常に高速なのと，可読性の高さでしょうか．個人的にはPythonやRより優れていると感じていて，僕の周りの専門家でも使っている人が多いです． Robert and Casella "Monte Carlo Statistical Methods" この分野のバイブルと言えばバイブルみたいな感じですが，そう呼ぶにはちょっと頼りない感じもします．けどモンテカルロ法に興味がある人はマストバイです．色々な種類のモンテカルロ法が網羅的に紹介されています． Efron and
[翻訳] Shopifyにおけるモジュラモノリスへの移行 - Qiita
こんにちは、食べログシステム本部長の京和です。 本エントリでは Shopify の Engineering Blog から、Kirsten Westeinde による「Deconstructing the Monolith: Designing Software that Maximizes Developer Productivity」を翻訳して掲載します。 食べログではユーザーや飲食店に価値を届けるスピードを最大化するべく、マイクロサービス化などをはじめとしたこれまでの組織やアーキテクチャを刷新するための取り組みを始めています。しかし、マイクロサービスはアプリケーションアーキテクチャとインフラアーキテクチャが複雑に絡み合ったシステムで技術的難易度が非常に高く、適切に構築できなければ「分散されたモノリス」と呼ばれるアンチパターンに陥ります。1 Shopifyではマイクロサービスではなく、
![[翻訳] Shopifyにおけるモジュラモノリスへの移行 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/15ef8078be3e3da04452bb61b549b0c2e924abfb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwU2hvcGlmeSVFMyU4MSVBQiVFMyU4MSU4QSVFMyU4MSU5MSVFMyU4MiU4QiVFMyU4MyVBMiVFMyU4MiVCOCVFMyU4MyVBNSVFMyU4MyVBOSVFMyU4MyVBMiVFMyU4MyU4RSVFMyU4MyVBQSVFMyU4MiVCOSVFMyU4MSVCOCVFMyU4MSVBRSVFNyVBNyVCQiVFOCVBMSU4QyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MGZmMDEzOTY1NDhkMDNjYThjYTVmMWFlZGZkMjNkN2U%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB0a3lvd2EmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWZiZDJlOGIzYmQzMjk3ZDIxOTA4MjFhZDlkMGI0NTE2%26blend-x%3D120%26blend-y%3D445%26blend-mode%3Dnormal%26txt64%3DaW4g6aOf44G544Ot44Kw%26txt-width%3D972%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25233A3C3C%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D134%26txt-y%3D546%26s%3D82e163327a6dfc81be1ea9d983b95f9d)
技術選定/アーキテクチャ設計で後悔しないためのガイドライン - Qiita
はじめに 本稿は、ソフトウェア開発を進める際に直面する様々な技術的な意思決定やライブラリ・フレームワーク・XaaS等を選択し正しく活用していくのかについての考え方をサポートすることを目的としています。「すべてにおいてこのようなワークフローを通じて検討すべきである」という主張ではありません。読者の抱える問題領域に応じて、必要な箇所を取捨選択するための１種の考え方を提供するものです。 そもそもアーキテクチャ・技術選定に時間をかけるべきか まず第一に伝えておきたいことは、技術選定やアーキテクチャ設計に常に慎重であるべきではないということです。ソフトウェアの規模やライフサイクルに応じて、そもそも時間をさく必要がないということも多くあります。書き捨てのシェルスクリプトにも読みやすいコードを求めて書くことは非常に重要ですが、だからといって組織だって議論・検討するようなものでもないのです。一方で、５年も
SQLたったの2行で機械学習！BigQuery MLを用いたコロナ分析 - Qiita
はじめに 令和にもなるとSQLを2行書くだけで機械学習できてしまうようです。本記事では、表題の技術BigQuery MLの概要と使い方を調べ、世を騒がせているコロナの分析をしてみました。 「SQLで機械学習」や「コロナ分析」に興味がある方は覗いてみてください。 本記事の対象者 SQLだけで機械学習したい人 コロナ分析に興味ある人 機械学習を簡単に試してみたい人 機械学習はよく分からんけどデータベースはよくいじるという人 本記事の対象でない人 データとか機械学習とか難しいから興味ない人 機械学習モデルのアルゴリズムとか詳しく知りたい人 機械学習つよつよだから自分で独自モデル作って幅広い分析したい人 BigQuery ML概要 BigQueryとは BigQuery MLはBigQuery上のサービスです。BigQueryを知らない方のために簡単にBigQueryについて説明します。BigQu
【保存版】データサイエンティスト転職を決めるポートフォリオのガイドライン【書籍化決定】 - Qiita
書籍化されました 本記事をベースに監修者の村上さんが１冊の本にまとめてくれました（感謝） データサイエンティストのキャリア面やポートフォリオの細かい部分をさらに追加・ブラッシュアップした内容になっています。 まえがき はじめに 皆さん、「データサイエンティスト」という職種をご存知でしょうか？ この数年間で、AIやディープラーニングといったバズワードと共にデータサイエンティストというワードも、よく耳にするようになりました。最新の技術を扱えて、年収も高い非常に魅力的な職業なため、データサイエンティストへの転職を検討されている方もいらっしゃるのではないでしょうか？ 実際、データサイエンティスト職への就職・転職希望者は年々増加しています。しかし、未経験の人材を育成できる会社はまだまだ少なく、未経験からの転職は転職希望者の増加に伴い高まっています。 データサイエンティストは求められるスキルの幅が広く
Ruby/Railsでの高速化の際に使うgem達 - Qiita
1. ベンチマーカー プロファイルすると、プロファイル自体に時間がかかるので正しく速度が測れない。そのためベンチマーカーも使うと良い。 ただし、ベンチマーカーはどこが遅いか等の解決の糸口は教えてくれない。 benchmark-ips 2. プロファイラ 実際に速度のボトルネックを見つける際に使う。 stackprof どのメソッドに多くの時間を費やしているかがわかる これを入れても速度にさほど影響がない rblineprof 行ごとにかかっている時間を出してくれる peek-rblineprofを使うとブラウザで結果が見れる ただしプロファイリングに結構時間がかかる (3. NewRelic) 実際、これらのことを手元でやらなくても、特にstackprof的なことや、どこのページやどのSQLクエリが特に遅いかなどは、 New Relic がやってくれます。お金を払うと結構詳細な部分も見れま
プロジェクトリーダーというお仕事 - Qiita
概要 そろそろ年度末だし、新年度からプロジェクトリーダーとしてやっていく人もいるかと思うので、プロジェクトリーダーはどういうことをしないといけないかと、心得的なものを投稿しようと思います。今業界全体的にリーダー不足になってるんで、プロジェクトリーダーという役割について興味持ってくれる人が増えると嬉しいです。 ※ここでのプロジェクトとはシステム開発等IT関連のプロジェクトを指すものとします。 軽く自己紹介 2013年頃から7年くらいプロジェクトリーダーとして請負業務などの仕事をしてきました。最近はプロジェクトマネージャーも兼ねてやっていたり、うまくいっていないプロジェクトにコンサルとして入って立て直すというようなこともしています。 レジュメ https://www.resume.id/branch まずは結論から プロジェクトリーダーの使命 「担当するプロジェクトを成功へと導く」 「プロジェ
SendGrid サポートから得た知見を可能な範囲で公開してみるよ - Qiita
ご存知だと思われる SendGrid を、オズビジョンのメインプロダクト「ハピタス」でもメール送信の一部に利用しています。運用を外出しできるメリットはありますが、自前のメールサーバと比べると基本的にブラックボックスなので、サポートを活用するシーンは多いです。 今回、サポートとのやりとりを (機密にあたりそうなところは伏せて) いくつか紹介してみたいと思います。 サポート問い合わせの前に オズビジョンは SendGrid を本家ではなく、日本のリセラーパートナーである構造計画研究所経由で利用しています。そのため、対象アカウントを契約しているメールアドレス以外からの問い合わせの場合には、本人確認情報を問い合わせ時に共有する必要があります。 これを忘れると「本人確認情報下さい」と言われて問い合わせ対応が 1 日くらい延びてしまうので、最初から提示するのがベターと思われます。 本人確認について 上
メール運用がロストテクノロジーになっていく話
クラウドワークス Advent Calendar 17日目担当のSMTPおじさんの記事です。 時間の無い人のために3行でまとめますと以下のコンテンツでお送りします。 大規模なメール配送を安全に行うには特別なノウハウがあり罠も多い SendGrid便利です 当たり前になった技術は空気のように見えなくなってインフラ化する。それがある日突然失われたときの被害は甚大。インフラ技術をキャッチアップして備えよう メール配送今昔 さて、メール配送といえば古くはSendmailを使っていました。多くのUnixディストリビューションに標準でインストールされており、使うのが当たり前で選択肢も少なかった時代です。 Sendmailは開発が重ねられることで複雑化しセキュリティホールが頻発しました。また設定ファイルのsendmail.cfはチューリング完全であるほど高機能で複雑でまた長くなりがちでもあり今でも書きた
SendGridでSPFやDKIMを設定する - Qiita
これはSendGrid Advent Calendar 2016の17日めの記事です。 空いていたのでピンチヒッターで埋めます。 メール送信前にやらなければならない設定の代表的なものであるSPF/DKIMについてSendGridではどう設定するかを取り上げたいと思います。 SPF/DKIMって結局何？ それぞれの概要は以下のSendGrid公式ブログを読んでみてください。 SPFとは? DKIMとは? いずれも送信ドメイン認証という仕組みの代表的なものですが、簡単に言うと以下を保証するための仕組みであるといえます。 SPF: 送信元のIPアドレスはそのドメインから送ることを許可されている DKIM: 署名されたドメインから送られてきたこと、および配送の途中で改ざんされていないこと これらの２つを利用したDMARCという仕組みの導入も進んでいますが、その話を進めると長くなるので興味がある人は
SendGridのメール送信前チェックリスト - Qiita
SendGridエバンジェリストの@nakansukeです。クリスマスイブにはぶりしゃぶを堪能しました。 これはSendGrid Advent Calendar 2016最終日の記事です。 昨日は@NagafuchikさんのMautic × SendGrid連携してみたでした。 このアドベントカレンダーも沢山の方々のご協力のお陰で無事最終日までつなぐことが出来ました。ありがとうございます。 最後の最後になりましたがSendGrid送信時に確認すべきことをチェックリストにまとめてみました。簡単に送ることができるせいで、よく設定周りを確認せずいきなり大量送信して問題が発生してしまう、というのを結構見かけます。 本番で使う前に一つ一つ確認しておきましょう。 事前準備 リストのクリーニング はい、いきなりでました。これが一番重要です。 SendGridでは異常なアクティビティを検知したときにアカウ
ブラックリスト(DNSBL)の仕組みと掲載を防ぐ方法 - Qiita
これはSendGrid Advent Calendar 2016の16日めの記事です。 昨日は@shibayanの、SendGrid のアカウントを環境ごとに使い分けるでした。サブユーザはまじ便利なので絶対使った方がいいです。 レピュテーション、エンゲージメント、IPアドレスに続いて、今日はブラックリストについて説明します。 そもそもブラックリストってなんぞ 「ブラックリスト」、よく聞く言葉だと思いますが、のってしまうとメールが届かなくなるやばいリスト、というなんとなくイメージを持っているだけという方は多いのではないでしょうか。大きく分けて以下の2種類が存在します。 一般的にブラックリストと言うとDNSBLのことを指し、スパムの送信元のIPやドメインをリスト化して保有しているISPとは別の第三者サービスのことを意味しています。メールの送信リクエスを受けた宛先サーバは、DNSBLに問合せをし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【SRE Next 2020】発表資料まとめ - Qiita
