こんにちは！freee enabling sre teamに所属しているhamaa(濵田雄太)です。 この記事はfreee Developers Advent Calendar 2023 - Adventar 1日目です。 自分はfreeeにjoinし、おおよそ１年がたちました。この１年間で主にterraform state再設計、移行について取り組んでいました。 今回はterraform project, stateをどのような観点を元に設計するのかについて記事を書いていこうと思います！ 対象読者 これからterraform stateを設計、再設計する人 terraform stateをリファクタリングを考えている人 話さないこと terraform stateの基礎的な話 話の結論 terraform stateは以下の観点で設計することが必要と考えています。 ステークホルダー、設計
動機 Pythonはグラフ描画系のライブラリが豊富です。例えば、 matplotlib / seaborn pyqtgraph plotly bokeh vispy などがあります。それぞれ長短あるのはまあ言うまでもないですが、統一的なAPIが欲しくなりますよね...ということで統一1 2したのがこちらになります。今後、ちょっとした解析、デスクトップアプリ、ウェブブラウザなど、様々な場面で同じコードで動かせたらきっと楽しいですね。 ラッパーを作るということは、APIの設計をより理想的にできるということでもあります。これまでのPlot系ライブラリの悪いところを一掃しましょう。 既存のPlot系ライブラリのダメなところ 1. IDEの型チェック・補完が効かない matplotlibはplt.subplotsやplt.errorbarなど、返り値が引数によって変ったり、*argsや**kwarg
S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent | DevelopersIO
S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent 「Kubernetesで大型のファイル扱うの面倒くさい。NodeのAMIに埋め込むとかじゃだめ？」 「やりたいことはわかるけど、運用めっちゃ面倒くさいでしょ、それ」 大型のファイルを扱う場合、ストレージの料金や運用に手間がかかるため、オブジェクトストレージ（S3）に格納することはよくあるシチュエーションだと思います。 今回のアップデートで、S3のマウントポイントがCSI（Container Storage Interface）に対応し、Kubernetesの永続ボリュームとしてS3をマウントすることができるようになりました。Kubernetesでホストするアプリケーションの活用方法が大幅に広がる意欲的なアップデートとなります。 このブログでは、アップデートの
This post lays out the current AT Protocol (atproto) development plan, through to a "version one" release. This document is written for developers already familiar with atproto concepts and terminology. The scope here is features of the underlying protocol itself, not any application or Lexicons on top of the protocol. In particular, this post doesn't describe any product features specific to the
Note The release of 2.0 is in progress and the current release overview and highlights are still in a draft state. However, the highlights should already list the most significant changes detailed in the full notes below, and those full notes should be complete (if not copy-edited well enough yet). NumPy 2.0.0 is the first major release since 2006. It is the result of X months of development since
31 nooby C++ habits you need to ditch - YouTube この動画の解説が非常に参考になったので、勉強がてら紹介記事を書くことにしました。 完全翻訳ではなく、大雑把に要点のみ解説しています。気になる方は元動画をご参照ください。 登場するソースコードは下記のURLで入手可能です（解説コメント付き）。 翻訳内容に若干自信がない部分があるので、おかしな点があればご指摘いただけると助かります。 1. using namespace std; 1 #include ... using namespace std; void using_namespace_std() { string s{"hello, world!"}; cout << s << endl; } 関数などのスコープ内に収まっている場合は問題ないが、グローバル空間やヘッダーにusing宣言が定義
![[海外動画紹介] あなたが止めるべき31の初心者っぽいC++の習慣 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/afe8a7f9111aac658b8a955090b58c481a8d04cf/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU2JUI1JUI3JUU1JUE0JTk2JUU1JThCJTk1JUU3JTk0JUJCJUU3JUI0JUI5JUU0JUJCJThCJTVEJTIwJUUzJTgxJTgyJUUzJTgxJUFBJUUzJTgxJTlGJUUzJTgxJThDJUU2JUFEJUEyJUUzJTgyJTgxJUUzJTgyJThCJUUzJTgxJUI5JUUzJTgxJThEMzElRTMlODElQUUlRTUlODglOUQlRTUlQkYlODMlRTglODAlODUlRTMlODElQTMlRTMlODElQkQlRTMlODElODRDJTJCJTJCJUUzJTgxJUFFJUU3JUJGJTkyJUU2JTg1JUEzJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wZjNjZDMxODMxZmYyYWVkNTNkZDExYjQ5YzdhNDI5YQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwQXQtc3VzaGkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTM1OTdhMTkxYTM1MGZkNzhjYzI1YWNmOWEwNmMzNDI0%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D82648709320bd3c8f8242cfb2264b351)
Perl Hackers Hub 第79回最近Perlに追加された実験的機能 try文、defer文、class文（1） 本連載では第一線のPerlハッカーが回替わりで執筆していきます。今回のハッカーはcharsbarこと石垣憲一さんで、テーマは「最近Perlに追加された実験的機能」です。 もとになるモジュールが存在している新機能 最近Perlに追加された新機能の中には、開発サイクルを速く回すためにCPANモジュールとしてプロトタイピングを行ったうえで、Perl本体に実験的な機能として移植し、正式な機能への昇格を待っているものがいくつかあります。本稿ではそのような実験的機能を紹介していきます。 なお、本稿のサンプルコードは基本的に執筆時の最新開発版であるPerl 5.37.11（2023年5月）で動作確認をしています。 try～catch文 ──正しいエラー処理 Perlで例外を
こんにちは！横浜国立大学理工学部情報工学EP3年の @shion1305 です。今年の10月から株式会社メルペイ Settlementチームにてバックエンドエンジニアのインターンとして所属しています。 この記事は、Merpay Advent Calendar 2023 の4日目の記事です。 Settlementチームでは、メルペイ加盟店で発生した売上金を加盟店に振り込む際に、指示を出したりデータの管理を行ったりするマイクロサービスの開発を行っています。Settlementのマイクロサービスについては こちらの記事 でも紹介されています。 私がJoinして早々担当したタスクの一つが、Settlementサービスに対するKubernetesのPod Distruption Budget(PDB)設定の見直しでした。Kubernetesについてはこれまで個人開発で少し調べたことがある程度でした。
こういう画像を作る仕組みを作った。 画像を生成したい人は世間にそこそこいるかもしれないし、自分は比較的？簡単な方法でそれを達成した。せっかくなのでやり方をみんなに教えようと思ってこの記事を書いている。 全てのソースコードは以下にOGImagekunという名前で公開している。 github.com OG:Image OG:Imageについて軽く説明しておく。知っている人は読み飛ばしていい。 Twitterやブログの埋め込み記事などで、このようなちょっと豪華な画像を見たことがあると思う。 最近のサイトでは、ユーザがより自分のコンテンツを見てくれるために、こういったサムネイルを表示するのが当たり前となっている。 これは、ウェブサイトや動画、記事などへのリンクをSNSなどに書き込むと、自動的にそのサムネイル的な画像を表示してくれる、という仕組みがそうしている。これはTwitterではTwitter
ふじしゃんです。 8/21 ~ 9/8 の3週間、はてなリモートインターンシップ2023に参加してきました。 hatena.co.jp 今回はインターン参加記を書いていこうと思います。 応募 はてなリモートインターンシップの存在自体はかなり前から知っていましたが、実際に応募するのは初めてでした。 応募するときに募集ページを見ていて「はてなは2008年からインターンシップをしていたのか!」とびっくりしたのを覚えています。 「10年後の自分を作る」というなんだかカッコいいキャッチフレーズと、いつもお世話になっているはてなブログと Mackerel などの開発を体験し、実際にリリースしてユーザーからのフィードバックを得ることができるところに惹かれて応募を決めました。 はてなリモートインターンシップでは応募する前に簡単なクイズが毎年出題されます。 これを解かないと応募ページにたどり着くことができま
Today we are excited to announce the availability of TypeScript 5.2 Beta. To get started using the beta, you can get it through NuGet, or through npm with the following command: npm install -D typescript@beta Here’s a quick list of what’s new in TypeScript 5.2! using Declarations and Explicit Resource Management Decorator Metadata Named and Anonymous Tuple Elements Easier Method Usage for Unions o
Back in October at HashiConf 2023, we announced Terraform stacks, a new feature to simplify infrastructure provisioning and management at scale. This announcement has us and the broader Terraform community excited about one of the biggest changes to hit HashiCorp Terraform in recent years. While stacks are still under development, we wanted to share a few more details and answer some questions. Wh
Amazon ECS on AWS Fargate で設定可能な Linux パラメータの追加 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS on AWS Fargate で設定可能な Linux パラメータの追加 この記事は Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate (記事公開日 : 2023 年 8 月 9 日) の翻訳です。 導入 Amazon Elastic Container Service (Amazon ECS) タスクは、同時かつ同一の AWS Fargate インスタンスまたは Amazon EC2 コンテナインスタンスにスケジューリングされる、1 つ以上のコンテナで構成されます。コンテナでは Linux namespace を使用してワークロードの分離を実現するため、Amazon ECS タスク内で複数のコンテナが一緒にスケジューリングさ
Python と C++ の連携: 高い生産性と優れたパフォーマンスのハーモニー - Python転職初心者向けエンジニアリングブログ
近年、プログラムの開発において異なるプログラミング言語を組み合わせることが一般的になり、その中でもPythonとC++の連携は、高い生産性と優れたパフォーマンスを同時に享受できる魅力的なアプローチです。本記事では、PythonとC++を連携させる際の手法や実際のコーディング例を通じて、そのメリットや技術的なポイントについて詳細に解説します。 Python と C++ の連携の背景 Pythonはその簡潔な文法と豊富なライブラリにより、開発者に高い生産性をもたらしています。一方で、C++はそのパワフルで効率的な処理と豊富な機能セットにより、高いパフォーマンスが求められる領域で広く利用されています。PythonとC++の連携を実現することで、開発者は高水準の言語と低水準の言語を柔軟に組み合わせ、プロジェクトの要件に最適なツールを選択できます。 Python から C++ へのデータの受け渡し
Building a Linux Container using Namespaces :: Part - 1
Ever wondered how Linux Containers worked ??? Currently, Docker is one of the most popular and prevalent container implementations. Containers run on top of the same Operating System kernel, but isolate the application processes running inside them from one another. One of the secret sauces behind containers is Namespaces. A Namespace abstracts global system resources, such as, host names, user ID
RubyKaigi 2024 - Matz Keynote (Day3) - Techouse Developers Blog
こんにちは、2024年に新卒で入社し、クラウドハウス労務事業部でバックエンドエンジニアをしているdaiki_fujiokaです。 本記事では、3日目の最後のセッションである Yukihiro "Matz" Matsumoto(@yukihiro_matz)さんによる Matz Keynoteについて紹介させていただきます。 セッション内容: 「Better Ruby」 発表者は Rubyist であれば誰もが知っている Ruby 生みの親 Matz ことまつもとゆきひろさんになります。 テーマは「Better Ruby」で、この1年間における Ruby の発展を踏まえてこれからの Ruby をより良くするために必要なことを紹介されていました。 本記事ではKeynoteで発表されたことをまとめ、私がこれまで参加したセッションも含めて感じたことについて紹介しています。 Ruby の設計思想や特
Cloudflare Workers の無料プランで画像を圧縮する Next.js のプロジェクトを Cloudflare にデプロイする場合、問題になるのが Vercel が提供している画像の自動圧縮機能です。これを Cloudflare でも実現するためには、Cloudflare Workers が使えそうですが、無料プランでは画像の圧縮機能を提供していません。意地でも無料で実現したいという乞食精神に乗っ取り、画像変換コードを書くことにしました。 画像の変換方法 Cloudflare Workers では、一度のリクエストで処理できる CPU 時間は 10ms です。非同期アクセスの待ち時間は含まれないので、純粋な処理時間です。高速に処理するのならネイティブコードを使うのが一番ですが、もちろん使えません。そこで、WebAssembly を使うことにしました。最近 WebAssembly
Ruby構文解析器 開発日録#3 - RubyKaigi 2024に登壇してきました - I Would Prefer Not To.
私は2024年5月15日から17日まで、沖縄の那覇で開催されていたRubyKaigi 2024に参加し、登壇をしてきました。 RubyKaigiへの参加はRubyKaigi 2022からなので今年で3年目です。 もう2週間が経とうとしていますが、少しずつ気持ちを整理してようやく現実に戻ってきました。 この記事自体は帰りの飛行機の中で書き始めたのですが、つらつらと書いていると凄まじい長文となってしまいました。（6/2現在までずっと書いているとは思いもしませんでした。） 本文章内に、他の方の旧Twitterでのポストを引用していますが、もし問題がございましたらお手数ですがお知らせください。 これはゆいレールのはじまり 発表では、Lramaに新たな文法を拡張するというアプローチでparse.yのメンテナンス性を向上させるというお話をしました。 rubykaigi.org 言葉にするのは非常に難し
[アップデート]Amazon CloudWatch Metric Streamのコンソールで、New Relicなどの製品に対して、データ連携可能なクイックセットアップがサポートされました | DevelopersIO
[アップデート]Amazon CloudWatch Metric Streamのコンソールで、New Relicなどの製品に対して、データ連携可能なクイックセットアップがサポートされました はじめに Amazon CloudWatch Metric Streamのコンソール上で、５つのサードパーティ製品を対象に、メトリクスを送信するクイックセットアップがサポートされました。 CloudWatch Metric Streamのコンソール上で、「サードパーティ製品」「宛先のURL」「APIキー」を指定すると連携が可能です。 セットアップすると、Kinesis Data FirehoseやS3バケット、IAM ロールが自動作成されます。 対象の製品は以下の５つです。 Datadog Dynatrace New Relic Splunk Observability Cloud SumoLogic
![[アップデート]Amazon CloudWatch Metric Streamのコンソールで、New Relicなどの製品に対して、データ連携可能なクイックセットアップがサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0021836084bdde128e82746a611da7093dc6b0f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudwatch.png)
How Netflix Really Uses Java
Transcript Bakker: I'm going to talk about how Netflix is really using Java. You probably know that Netflix is really just about RxJava microservices, with Hystrix and Spring Cloud. Really, Chaos Monkeys are just running the show. I'm only half getting here because a few years ago, this was actually mostly true, maybe except the Chaos Monkeys. This stack was something that we were building on in t
Quantization is a technique to reduce the computational and memory costs of evaluating Deep Learning Models by representing their weights and activations with low-precision data types like 8-bit integer (int8) instead of the usual 32-bit floating point (float32). Reducing the number of bits means the resulting model requires less memory storage, which is crucial for deploying Large Language Models
はじめに この記事は、アルサーガパートナーズ アドベントカレンダー2023、番外編の記事です。 「25日間のリレー」を成功に導いた素敵な記事たちがカレンダーに集まっていますので、よろしければ下記のリンクからご覧ください！ この記事について 実務における最初の壁: DI 未経験からエンジニアとして実務に携わるようになると、誰しも「独学でやっていた時とは違うな」と感じることがたくさんあると思います。 私のサーバーサイドエンジニアとしてのキャリアはLaravelによる開発からスタートしたのですが、そんな私にとっての最初の「自己学習と実務の違い」の1つは、DI(Dependency Injection, 依存性注入) の概念が実装に利用されていること、でした。 すでに実装されている先輩方のコードを読めば「どう書けばいいか」はある程度すぐに把握できたものの、概念の理解を進めようとしても抽象的で難解な
A new F# compiler feature: graph-based type-checking - .NET Blog
This is a guest blog post by Florian Verdonck. Florian is a freelance software craftsman. He does consultancy, training and open-source development. Currently, he is very active in the F# community, working on the compiler and tooling, improving the overall state of the F# ecosystem according to the needs of his customers. Florian is a member of the open-source division at G-Research and a maintai
Pythonのcompile()関数: 動的なコード生成と実行の新たな次元 - Python転職初心者向けエンジニアリングブログ
Pythonは柔軟性に富み、実行時にコードを生成し実行する能力があります。その中でも、compile()関数は動的なコード生成と実行を支える重要なツールの一つです。この記事では、compile()関数の詳細な解説と、具体的なコード例を通じてその使い方を探求します。 compile()関数とは？ compile()関数は、Pythonコードをコンパイルしてコードオブジェクトを生成します。生成されたコードオブジェクトは後でexec()関数やeval()関数を介して実行できます。compile()関数の基本構文は以下の通りです。 code_object = compile(source, filename, mode, flags=0, dont_inherit=False, optimize=-1) ここで、各引数の意味を簡単に説明します。 source: コンパイルするコードを含む文字列、ま
typescript-eslint is the tooling that enables standard JavaScript tools such as ESLint and Prettier to support TypeScript code. We've been working on a set of breaking changes and general features that we're excited to get in released! 🎉 We'd previously blogged about v6 in Announcing typescript-eslint v6 Beta. This blog post contains much of the same information as that one, but updated for chang
週刊Railsウォッチ: Ruby 3.4から暗黙の"it"ブロック変数が導入されるほか（20231222）｜TechRacho by BPS株式会社
週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 TechRachoではRubyやRailsなどの最新情報記事を平日に公開しています。TechRacho記事をいち早くお読みになりたい方はTwitterにて@techrachoのフォローをお願いします。また、タグやカテゴリごとにRSSフィードを購読することもできます（例:週刊Railsウォッチタグ） 🔗Rails: 先週の改修（Rails公式ニュースより） 公式更新情報: Ruby on Rails — Allow object_id as a colu
はじめての自然言語処理 ELYZA 日本語 Llama 2 指示応答モデルのファインチューニングと vLLM での推論 | オブジェクトの広場
今回は Elyza さんの日本語 Llama 2 指示応答モデルをファインチューニングし、vLLM にデプロイして高速に推論してみます。70 億パラメータモデルならギリギリ Tesla T4 x 1 の構成でも float16 で動かせるかと思ったのですが、どうだったでしょうか。vLLM には OpenAI 互換の API インタフェースも備えているので、ついでに LangChain からも接続してみたり。 1. はじめに 今回は Elyza さんが公開されている大規模指示応答言語モデルである、ELYZA-japanese-Llama-2-7b-fast-instruct1 をファインチューニングして vLLM で推論してみます。 そんな訳で今回あまり書くことがなく、動かし方だけサラっと書いて「動きましたー。では良いお年を～。」で締めることにします。 しかし、時代感覚無視の隔月連載でネタを
noteのEKS移行が完了しました。EKSへ移行するにあたって、サービスのアーキテクチャからデプロイ環境、監視体制、運用までを全て見直しインフラをモダンな環境にすることができました。 EKSへ移行するにあたり、様々な問題や課題がありました。 活用できていないログや破れ窓化したアラートをどう整備するか どのようにアプリケーションの負荷試験を実施し、ボトルネックを探るか CloudFrontを利用したゼロダウンタイムでEKSへの切り替え 大量に存在しているバッチをどのように移行していくか 今回はEKS移行の際に起きたトラブルやそれらを解決したときのTipsなどを、SREチームの2人にお聞きしました。 インタビュイー 中村 昴： 株式会社ドリコムにて、ソーシャルゲームタイトルのAWSインフラを担当。2020年9月よりnote株式会社に入社し、現在はSREとしてnoteのインフラ周りの改善を行って
【ArgoCD🐙️】KubernetesのマルチテナントパターンとArgoCDの実践テナント設計 - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ Kubernetesのマルチテナントパターンの種類 マルチテナントパターンをArgoCDで実践する場合にオススメのパターン (★) ArgoCDのNamespacedスコープモードとClusterスコープモード ArgoCDのテナントが防いでくれる誤った操作の具体例 記事のざっくりした内容は、以下のスライドからキャッチアップできちゃいます！ この記事から得られる知識 01. はじめに 02. なぜマルチテナントが必要なのか シングルテナントの場合 マルチテナントの場合 03. Kubernetesのマルチテナントパターン マルチテナントパターンの一覧 Clusters as-a-Service Control Planes as-a-Service Namespaces as-a-Service カスタムリソ
Kubernetesの監視 クラスタの状態監視、CPU・メモリなどのリソース監視、各種クエリやアクセスのチェックなど、要点を挙げればキリのない分野なので、使用するツールによって作業の難易度が大きく左右されてきます。 今回、Pixieを導入してみて使い心地が良かったので、布教のために機能をいくつか紹介していきます。 アクセス直後の全体像 こんな感じのダッシュボードになっています。HTTPトラフィックの可視化は見ているだけでワクワクします。 Namespaceごとのリソース監視 Podのリソース使用状況やディスクアクセスも確認できます。 HTTPのログ監視 Redisのコマンドログ・トラフィックの可視化 他にも様々な監視用のテンプレートが用意されています😀 インストール方法 Kubernetesは導入済みと仮定して、Self-hostedではなくクラウド版Pixieのインストール手順のみ共有
前提 「R3」とは、ReactiveExtensionsの最新の環境のC#に合わせて再構築したライブラリです。Unityでは「UniRx」というライブラリがありましたが、大雑把にいえば「UniRxを最新の環境にあわせてリメイク」したものという認識でよいでしょう。 詳しくは別記事でまとめてあります。 次世代Rx「R3」解説 またこの記事執筆時点での環境は次のとおりです。 Unity - 2023.1.14f1 R3 - 1.0.0 ObservableCollections - 2.0.1 NuGetForUnity - 4.0.2 今回の概要 「UniRx」と「R3」の機能の比較、R3での新機能や廃止された機能、UniRxからR3に置き換えるときの代替などについて紹介します。（細かい部分まですべては拾いきれないので、紹介漏れはご容赦ください。またUnity向けでない機能などは省略しています
はじめに NextjsでApp Routerを用いた開発を行なっていますか？ App RouterはReact Canariesから提供されるサーバー側コンポーネントとクライアント側コンポーネントを利用したコンポーネント単位でレンダリング方法を制御する機能や、直感的なルーティング、そのほかにも豊富な機能を持つNextjsの新し機能です。 そんなApp Routerですがアプリケーション内のルーティングに対して型を付与するStatically Typed Linksという機能がバージョン13.2からbeta版で提供がされています。 Tanstack Routerのregistering-router-typesやVue Routerのtyped-routesと似たような機能です(何もbeta版です)。 この記事ではそんなStatically Typed Linksの使い方について紹介します。
はじめに 2023年10月5日(木)にTrino / Presto Conference Tokyo 2023 (Online)が開催されました。本記事はイベントにて発表した内容をご紹介します。 社内の監視サーバについて さくらインターネットでは現在社内の各チームでPrometheus, Elastic Stack, Lokiなどの監視基盤を個別に運用しています。この状態では運用負荷が大きいためSRE室でログ基盤を提供することにより、運用の手間を減らすことや運用レベルを底上げしてコスト削減ができるのではないかと検討しています。既存のOSSでの運用も行ってみたものの、マルチテナント提供・ライセンス体系の問題など課題があったことからTrinoとIcebergでの開発を始めました。 Icebergとは Icebergはビッグデータ・データレイクを構築するためのストレージフォーマットです。データの
※本記事は、技術評論社「Software Design」(2023年10月号)に寄稿した連載記事「Google Cloudで実践するSREプラクティス」からの転載です。発行元からの許可を得て掲載しております。 はじめに 前回はRenovateによる依存関係の更新について解説しました。今回はArgo CD1を利用した、Kubernetesへの継続的デリバリ(Continuous Delivery、CD)について紹介します。Argo CDとは何か、なぜ使うのか、基本的な機能やキャディでどのように活用しているかを紹介します(図1)。 ▼図1 CADDiスタックにおける今回の位置付け Argo CDとは Argo CDはKubernetesへの継続的デリバリを行うツールです。Gitリポジトリをソースとして継続的デリバリを行う手法をGitOpsと呼びます2。Argo CDはKubernetesへのデ
この本の概要 TCP/IP＆ネットワークコマンドの解説書。『Linux×コマンド入門』（技術評論社，2021/04），『macOS×コマンド入門』（技術評論社，2020/4）の姉妹本です。 本書では，TCP/IP＆ネットワークの今の基本を押さえ，ネットワークコマンドや各種ツールの基礎知識や作法を平易に解説。コマンドやWiresharkなどのツールを使って，TCP/IPのしくみ＆ネットワークの基本概念を手を動かして実際の動作を見ながら学べる点が特徴です。動作確認環境としてはLinux（Ubuntu）を中心に，Windows/WSL2，macOSに対応。コマンドラインがはじめての方でも試せるようにサポートサイトも用意しました。変わる基本，変わらない基本を広く初学者の方々へ。スマートフォン，Wi-Fi，無線通信をはじめとしたコンピューターネットワークの今を気軽に体感できる1冊です。 こんな方にお
KubeVirtを使って自宅VM基盤を構築する
VM基盤を管理するツールとして、KubeVirtがあります。KubeVirtを使うとKubernetes上でコンテナと同じようにVMを管理できます。自宅で簡単にVMを立てられるようにするためにKubeVirtを試してみたので、方法と感想をお伝えします。 KubeVirtとはVMをmanifestsとして記述すると、KubeVirtのControllerが良い感じにVMを作成してくれます。この時VMはコンテナと同じネットワーク上に存在するので、コンテナとの通信やアクセス制御などもKubernetesの仕組みに基づいて管理できます。 virtctl(kubectl virt)というCLIツールが提供されており、これを用いてVMをstart, stopしたり、ssh, console, vncなどでVMに接続したりできます。 またContainerized Data Importer(CDI)と
技術トレンドと最新ツールの活用: はてなブログを更に進化させるPythonの魔法 - Python転職初心者向けエンジニアリングブログ
はてなブログの運営において、最新の技術トレンドや便利なツールの活用は成長に不可欠です。本記事では、Pythonを活用してはてなブログを更に進化させるための技術トレンドと最新ツールの活用方法について詳しく解説します。 1. 技術トレンドの活用 1.1 クラウドコンピューティング 最新の技術トレンドの中でクラウドコンピューティングは重要な位置を占めています。Pythonを使用して、はてなブログの運営においてクラウドプラットフォーム（AWS、Google Cloud、Azureなど）を活用し、サーバーレスアーキテクチャやコンテナ化を導入することで、柔軟で効率的なインフラストラクチャを構築できます。 # AWS SDK for Python (Boto3)を使用してS3バケットへのファイルアップロード import boto3 from botocore.exceptions import NoC
Proto Best Practices
Clients and servers are never updated at exactly the same time - even when you try to update them at the same time. One or the other may get rolled back. Don’t assume that you can make a breaking change and it’ll be okay because the client and server are in sync. Don’t Re-use a Tag NumberNever re-use a tag number. It messes up deserialization. Even if you think no one is using the field, don’t re-
こんにちは MLエンジニアとMLOpsエンジニアを兼任している押条です。 CADDi の機械学習プロジェクトでは Python がよく使われています。 本番環境にリリースするコードのlinter や formatter、test に関しては、 CI で自動的に適用し運用できていました。 一方、型注釈については開発担当者に一任されており、プロジェクトごとにあるものとないものと混在していました。 採用を強化してチームを拡大していこうという動きもあり、開発に携わる人が増える見込みがあります。 そのような背景から、型注釈による既存コードの可読性の向上の重要性が増してきました。 そこで現行の mypy の設定の読み合わせと mypy 設定の修正を実施しました。 その時の議論の内容と修正後の設定をご紹介しようと思います。 目次 現行ルールがどのようなものか認識合わせする 現在のプロダクションコードを参
「FintechプロダクトのRails開発事情とアーキテクチャ解説」というタイトルで Kaigi on Rails 2023でLTしました。 - inSmartBank
こんにちはスマートバンクでCTOをしております＠yutadayoです。先日行われたKaigi on Rails 2023のスポンサーをさせていただき、LT枠にて「FintechプロダクトのRails開発事情とアーキテクチャ解説」というタイトルで発表をしてきました。 今回はその内容に触れつつ、発表しきれなかった箇所の補足も加えてブログで紹介していきたいと思います。 speakerdeck.com B/43 の rails stats B/43 は2021/4/26にローンチされ、リリースしてから約2.5年経つサービスです。リリース当初からメイン機能のほとんどの機能がRailsで開発され今日に至ります。発表直前のメインで開発しているrepositoryのrails statsを取得してみた結果が下記になります。ちなみにこのRailsはAPIモードで開発されております。 rails stats
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
terraform stateの再設計に取り組んだ話 - freee Developers Hub
【Python】Plot系ライブラリ全統一した - Qiita
2023 Protocol Roadmap | Bluesky
NumPy 2.0.0 Release Notes — NumPy v2.1.dev0 Manual
[海外動画紹介] あなたが止めるべき31の初心者っぽいC++の習慣 - Qiita
第79回 最近Perlに追加された実験的機能 try文、defer文、class文（1） | gihyo.jp
動作例からKubernetes PDBの挙動を理解する | メルカリエンジニアリング
自前でOG:Image生成メカニズムを構成する方法 - Lambdaカクテル
はてなリモートインターンシップ2023に参加しました - blog.fujishan.jp
Announcing TypeScript 5.2 Beta - TypeScript
Terraform stacks, explained
Cloudflare Workers の無料プランで画像を圧縮する
Quanto: a pytorch quantization toolkit
DIと単体テストと私: 緩やかな依存関係がもたらすメリット
Announcing typescript-eslint v6 | typescript-eslint
noteがEKSへの完全移行までにやったこと｜noteエンジニアチームの技術記事
Kubernetesの監視・可視化ツールPixieが機能豊富で優秀！！ - Qiita
【Unity】 R3とUniRxの比較まとめ - Qiita
Nextjsで型安全なルーティングを楽しむ - Qiita
TrinoとIcebergでログ基盤の構築 | さくらのナレッジ
第7回: Argo CDによるKubernetesへの継続的デリバリ - CADDi ENGINEER Tech Blog
TCP/IP＆ネットワークコマンド入門 ──プロトコルとインターネット、基本の力［Linux/Windows/macOS対応］
mypy 設定ファイルの読み合わせと修正を実施しました - CADDi Tech Blog