ようやく涼しくなってきましたね。もう少し漸進的に気温が下がってほしい。プロダクト開発部部長の塚本@hihats です。 前置き この二、三年くらいは個人的にシステム思考への傾倒があり、以前ここに書いた変化に適応するソフトウェアアーキテクチャと組織構造への道程も、Qiitaに書いたソシオテクニカルアーキテクチャ概要もその系譜の記事だった。今回は、エレガントパズルという書籍を読んでいて、そこかしこにドネラ・メドウズ公の話が出てくるので改めて私もシステム思考について記事を書こうと考えていた。 そんな折、他社のCTOと話す機会があってそこで「自社の開発組織や開発力にそこまで特別さを感じていないんですよね」という話を聞いた。実は過去にもそれはあって、自社のWebプロダクトで会社の利益を上げているにも関わらず、開発の責任者がそう思っているケースは少なくないのかもしれない。 一定の市場シェアを獲得してい

Aurora MySQL Zero ETL Integrations クラウドワークスのSREチームに所属しています@ciloholicです。 2023年11月にAurora MySQLとRedshiftのゼロETL統合がGAされました。この度、ゼロETL統合が本番導入可能かを検証する機会があったので、その検証結果を記載します。 aws.amazon.com 2024年7月時点での検証結果ですので、時間経過によって内容が変わっている可能性があります。その点は十分ご注意ください。 背景 まず、ゼロETL統合の検証しようと考えた背景について軽く説明したいと思います。クラウドワークスでは、MySQLのテーブルをDMS経由でRedshiftにニアリアルタイムで同期し、データ分析を行なっています。3年前は約30億レコードでしたが、現在では古いレコードの削減を行なったため、約25億レコードになりました

VPoTの岩本 (iwamot) です。 100以上のLLMが使えるSlackbot OSS、Collmboを公開したのでご紹介します。 github.com 要点： ENECHANGEではChatGPT-in-Slackを便利に使ってきた ChatGPT-in-SlackでチャットできるLLMはGPTのみ 他のLLMも使えるよう、forkしてLiteLLMを組み込んだ ENECHANGEではChatGPT-in-Slackを便利に使ってきた ENECHANGEでは、LLMとチャットできるSlackbotとしてChatGPT-in-Slackを便利に使ってきました。Slack (Salesforce) のseratchさんが開発されたOSSで、さすがのUXです。 github.com Slackbotを社内に公開した2023年5月9日から、もう1年あまりになります。 その間、ユーザーとして

こんにちは。crowdworks.jp SREチームの田中です。 最近じわじわと円安が進み、AWSの料金が気になるこの頃です。 今回はAWS Configで急に料金が増加した件と、その対応についてご紹介します。 朝、AWS Cost Anomaly Detection（AWSコスト異常検知）からお知らせが来てました。 AWS Configが増えてるAWS Cost anomaly summary 4/18からAWS Configで1日あたり約10USDの増加。結構なお値段ですね。 参考までに、AWS ConfigはAWSリソースの設定を監視、評価、監査し、設定変更を追跡するためのサービスです。 調査 AWS Configの配信先 AWS Configで何もわからなかったので、まずはAWSの記事を参考に配信先のS3をAthenaでクエリし、該当日でリソースタイプ・リソースごとのレコード件数を

この記事は クラウドワークス Advent Calendar 2023 シリーズ2 の 14日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 この記事を読んでいる方はGoogle/Yahoo.comから出されたメール送信者のガイドライン対応を絶賛対応中かと思います。 support.google.com support.google.com Postmaster @ Yahoo & AOL — More Secure, Less Spam: Enforcing Email Standards... みなさん、DNSにDMARCの設定を追加しましたか？ ひとまずDMARCで設定したレポート送信先メールアドレスに大量のレポートが届いているものの、次になにしたらいいんだろう？と思っている方も多いかと思います。 DMARCレポートを解析し

この記事は クラウドワークス Advent Calendar 2023 シリーズ2 の 7日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 2023年は生成AI、特にLLM（大規模言語モデル）が盛り上がりを見せた年でした。皆さんもChatGPTやGitHub Copilotなどにより、その恩恵にあずかった1年だったかと思います。 自分も流行りに乗り、OpenAIのAPIを使用してチャットボットを作りましたが、うまくいかなかったためお蔵入りしました。 今回はその供養のため、どのようなことをやったかを書き残そうかと思います。 背景 LLM (大規模言語モデル) LLMブームの始まりは2022年11月30日にOpenAIがリリースしたChatGPTでした。 openai.com ChatGPTは大量のテキストデータを用いて訓練された事前

この記事は クラウドワークス Advent Calendar 2023 シリーズ1 6日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 この記事では crowdworks.jp の SRE チームが2023年にやったことを記載していきます。 やっていることは色々で、まとまりはありませんが、そこら辺はご容赦ください。 2022年の振り返り 2023年にやったこと CircleCI インシデント対応 RundeckのECS化 Railsで使用しているMemcachedをRedisに寄せる 課題 1. Memcachedでは停止時にデータが揮発する 2. Memcached単体ではマルチAZ構成でデータのレプリケーションができない 3. Memcached/Redisともにバージョンアップをしていない 4. MemcachedとRedi

この記事は クラウドワークス Advent Calendar 2023 シリーズ2 2日目の記事です。 こんにちは。crowdworks.jp SRE チーム 田中（@kangaechu）です。 年末といえば大掃除ですね。 皆さんのデータベースにも使っていないインデックスが溜まっていませんか？ お掃除してきれいな新年を迎えましょう。 手順 1. MySQLで使っていないインデックスの一覧を取得 未使用のインデックスは sys.unused_indexes ビューで確認できます。 dev.mysql.com しかし、このビューの元データである performance_schema テーブルは起動時から終了時までのデータしか保持していません。 Tables in the Performance Schema are in-memory tables that use no persistent

こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。 crowdworks.jpでは、2023年8月にAWS RDS MySQL 5.7から8.0へのアップデートが完了しました（ようやく！）。 今回はMySQL 8.0へのアップデートの手順と対応が必要な変更点について書いていきます。 MySQL 8.0にアップデートした理由 MySQL 8.0にアップデートした理由はAWS RDS MySQLのEOL対応のためです。 AWS RDS MySQL 5.7のEOLは2023年10月（のちに2023年12月に変更されました）であり、8.0へのアップデートが必要でした。 crowdworks.jpで使用している他のMySQLデータベースは8.0へのバージョンアップを完了していました。 しかしcrowdworks.jpのマスタデータベースは30億行を保持し、1日に約

はじめに 先日、Terraform v1.5.0がリリースされました v1.5の目玉はなんと言っても import ブロックと terraform plan -generate-config-out によるtfファイルの生成ですよね〜。これで既存のリソースもimportし放題だと巷で話題です。 ところで、Terraformの特徴として、「インフラをコード化することで環境が再現できる」などと一般的に謳われています。また、Terraformには「既存リソースをimportする機能」があります。別にそれぞれ単独では間違ってはないのですが、これらを組み合わせて、「既存リソースをimportしてplan差分が出なければ元の環境を再現できる」と言えるのでしょうか？ 残念ながら現実にはそうとも言い切れません。なんとなく経験上わかってる人もいるとは思いますが、意外と気づいてない人も多そうな気がしたので、ち

なおRetrieverModeは、後述するas_query_engineでQueryEngineを作成する際に与えることができます。 Contextについて IndexとRetrieverは密接に関連しているものですが、それとは別に依存する処理クラスをContextとして与えます。 このContextは具体的には、Storage ContextとService Contextの２種類です。 冒頭のサンプルでは、デフォルトで動作しているためContextが見えないのですが、明示的に書くと以下のようになります。 from llama_index import StorageContext from llama_index.storage.docstore import SimpleDocumentStore from llama_index.storage.index_store import

こんにちは。crowdworks.jp SREチームの田中（kangaechu）です。先日RubyKaigi2023に参加するため、松本に行きました。街を歩いていると目線の先に山が見えたり、温泉が近くにあったりなど松本の自然が近くにある感じがとてもよかったです。ちょっと住みたくなって不動産屋さんで家賃を眺めたりしておりました。 今回は小ネタとして、AWSのCloudWatchの料金が高くなったことで見つけたCloudTrailの設定についてです。 あなたのCloudWatch LogsとCloudTrailの料金、高くないですか？ 先日、AWSのコスト異常検知サービスのCost Anomaly Detection からCloudWatchとCloudTrailのコストが跳ね上がっているとの通知が来ました。 Cost Anomaly Detectionで通知されたCloudWatchとClo

2022年12月11日から使えなくなったIRKitを延命処置する方法です。 目的 IRKitは2014年に発売されてから8年が経過しました。 開発者から2022年11月末にIRKitのサーバが停止し、サービスを終了するとのお知らせがありました。 IRKitがサーバに接続できなくなると、ローカルのみの使用もできなくなるとのことです。 自宅では寒い日にリビングのエアコンをONにするために使われており、今年も使用する予定だったのでどうしようかと思ってました。 ただ、お知らせに修正したファームウェアを書き込むと継続して使用できるそうなので、作業の記録をまとめてみました。 環境 Macbook Air 2020 (Apple M1) macOS: Ventura 13.1 準備するもの IRKit USB Micro-Bケーブル カスタムファームウエアのインストール作業 Arduinoのインストール

こんばんは。 私は自社内でエンジニアブログを立ち上げ運営しているのですが、運営にあたって寄稿者の「巻き込み」に悩みを感じTwitterでつぶやいたところ、多数のコメントを頂戴しました。 素晴らしい意見を多数頂戴したので、今後の参考になればと思い記事としてまとめたいと思います。 ぶっちゃけ、みんな 「エンジニアブログなんて書いている余裕は無い」 って思っているんだろうなーと… これへの対応策ってあるの？ — t.kizawa (@kizawa2020) October 13, 2022 背景の説明 上記ツイートだけでは状況の説明が難しいので、補足します。 私は昨年(2021年)に自社のエンジニアブログを立ち上げました。 （本記事では敢えて社名・サイト名は伏せたいと思います） エンジニアブログ立ち上げについて エンジニアブログ立ち上げの目的は、以下のような感じです。 自社クラウド事業の認知度を

For each permission granted to a GitHub App, these are the REST API endpoints that the app can use.

こんにちは。crowdworks.jp SREチームの@kangaechuです。 先日開催されたイベント HashiTalks: Japanを見ていましたが、Terraformのドリフト検出に関する発表が多く、Terraform運用において重要なポイントなんだなと感じました。 流行りに乗ったわけではないですが、今回はTerraformのドリフト検出をAtlantisで行った方法をご紹介します。 この記事は以下環境で検証しています。 Atlantis: 0.19.8 Terraform: 1.2.8 ドリフト検出 Terraformはインフラストラクチャを安全かつ期待通りに構築するために使用する、Infrastructure as Codeのソフトウェアです。 crowdworks.jpではAWS、GitHub、GCPの管理をTerraformで行っていますが、今回はAWSに絞って話します。

「HTMLの前提についてはざっと知った、ステップアップできるHTMLの勉強がしたい」「人に勧められるHTMLにまつわる書籍はあるだろうか」「令和でHTMLを学ぶならこの1冊、というものがほしい」―――そうした人々のニーズを叶えてくれる書籍が販売された。 その名も「HTML解体新書」だ。 本ブログ記事は、レビュアーとして関わり本書を読んだ＠okuto_oyamaによる感想と、HTMLのこれからについて考えていることをまとめたものである。 本の内容については、著者によるブログ記事にまとまってあるのでそちらを参考にしてもらいたい。 creators.bengo4.com まだまだHTMLについて知らないことがあった 私がHTMLについて始めて触れたのは、とあるブログサービスのHTML編集機能からだ。その頃は HTMLの仕様というものを知る由もなく、どういったタグを使うと画面上にどのように表示され

こんにちは。SREチームの田中 （@kangaechu）です。リモートワークで座ってばかりの生活に危機感を感じ、昨年11月頃からランニングを始めました。最初は1キロ走っただけでヒイヒイ言っていたのですが、最近は10キロくらい走れるようになりました。運動は嫌いな方だったのですが、走るのが楽しいと思えるようになったのが一番の収穫かなと思っています。 今回はALB（Application Load Balancer）のログ検索について紹介します。 ３行で説明するよ AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できない 正規表現をいい感じにすることで過去ログも検索できるようになった Athenaのテーブル作成、Terraformでできるよ crowdworks.jpのシステムログ検索: Athena システムのイベントを適宜記録し、利用状況の把握や障害時の調査、シ

2022年3月26日に待望のCircleCI OIDCサポートがリリースされました。 よーしブログ書くぞと思ったらクラメソさんが先に記事を投稿していたので、実際に自分が試したところをTipsとして記載します。 Terraformでの実装 OIDC Provider まずはOIDC Providerの定義から。 resource "aws_iam_openid_connect_provider" "circleci" { url = "https://oidc.circleci.com/org/${local.circleci_org_id}" client_id_list = [local.circleci_org_id] thumbprint_list = [ "9e99a48a9960b14926bb7f3b02e22da2b0ab7280", ] } locals { circlec

ふと気になって調べたことの備忘メモです ✍ （2022/4/2追記）Twitterやはてブで色々とご指摘やコメントを頂いたので、それに基づいて加筆と修正をおこないました 特に、幾つかの技術については完全に誤った説明をしてしまっており、大変助かりました…ありがとうございました🙏 （2024/8/13追記）今年に入って、実務で使える メール技術の教科書という本が出版されています🎉 私も買って読みましたが、電子メールに関するトピックについて広くカバーされていました パブリッククラウドに関する記述は少な目ですが、メールサーバーを自身で構築する方法が紹介されていたりなど、より基礎的な内容に主眼をおいている本だと思います なぜ調べたか メール送信機能のあるWebアプリケーションを開発・運用していると、 特定のアドレスに対してメールが届かないんだが とか MAILER-DAEMONなるアドレスからメ