A New Dawn in Computing The tech world buzzes with the relentless pace of innovation, and at the heart of this whirlwind are large language models that have begun to redefine our interaction with the digital realm. AI visionary Andrej Karpathy has floated a novel concept that’s stirring conversations across Silicon Valley’s coffee shops and Slack channels: the LLM Operating System. This article is
新しいAPIが作られるたびに、私たちは、古いAPIを置き換えるだけで高速化という夢をみます。何度夢破れても、高速なAPIが追加されたと聞けば、試さずにはいられませんよね! 今回は、Linuxカーネル5.1で追加されたio_uringを使って、Rustのasyncランタイムを実装し、gRPCサーバのベンチマークを実行してみました。 io_uringとはio_uringは、ファイルシステムとネットワークの非同期I/Oのために開発されました。同期よりも非同期のほうがおしゃれ、そういう雰囲気ありますよね!クラウドネイティブも、非同期にAPIを介して、なんかやってるやつですよね。 io_uringのインターフェイスは、高い性能を目指し、1)アプリケーションとカーネル間でのメモリコピーを避ける、2)複数のI/O要求を一度にカーネルに伝えることができる、という工夫がされています。 下図のように、アプリケ
🍓 Raspberry Pi 4 が買えるようになりました2019年11月、待望の Raspberry Pi 4 技適取得版が発売されました。H.264 ハードウェアエンコーダを搭載した、リッチなシングルボードコンピュータです。2020年5月28日には 8GB メモリ搭載の上位モデルも登場しています。 はたしてこれは何をするためのデバイスなのでしょうか? そうです、録画ですね。もうテレビの録画をするために高価なパソコンを購入する必要はありません。5000円台から入手できるマシンを利用して、安価に録画サーバーを構築することができるようになったのです。 この記事では Raspbery Pi 4 を利用した Mirakurun + EPGStation での録画サーバー構築方法と、ハードウェアエンコーダを利用した録画ファイルのエンコードについて解説を行います。 筆者の⾃宅で運⽤している録画サー
Helm has the ability to use a different, or even multiple "values.yaml" files to derive its parameters from… できること 複数のvaluesファイルを渡すArgoCDのApplicationのパラメータでvalueを上書きリリース名の変更helm.sh/hookをargocd hookにマッピングして処理パラメータ置換に環境変数を利用できるhelm使うにあたり困ることはなさそう。 実験helmでデプロイする場合比較のためにまずは普通にhelmでデプロイしてみる。stable/wordpress chartを使う。 $ helm install wordpress-helm stable/wordpress -n install-by-helm $ helm ls NAME NAM
こんにちは、エウレカ SRE チームの原田です。 今年 (2021年) エウレカでは、公開鍵認証で接続するEC2の踏み台サーバを廃止し、代わりに各サーバへの接続をIAMで認証できるSSM Session Managerへのリプレースを行いました。本記事ではそのモチベーションや、実装のポイントを紹介していきたいと思います。 旧来の踏み台サーバ 旧来の踏み台サーバエウレカで長く運用されていた踏み台サーバ (Gateway) は以下のようなものでした。 各開発者は、自分の秘密鍵を使って踏み台サーバへSSHを行う ( 踏み台サーバ上には各開発者の個別ユーザーおよび公開鍵が登録されている )踏み台上では、接続が許可されているSSH対象のサーバの秘密鍵がユーザー毎に配置されており、その鍵で各サーバにSSHするMySQL / Elasticsearch / Redis など、Private Subnet
Part4はパイプラインの「運用」にフォーカスします。Part3は構築からデプロイまでを扱ったため、その先の話となります。「運用」という言葉がさす範囲は広いですが、本記事ではAirflowにおける「スケジューリング」と「障害復旧」にフォーカスします。スケジューリングは日常の、障害復旧は文字通り障害時の対応を行うにあたり重要なポイントとなります。本記事では、以下2つにわけて解説を行います。 AirflowにおけるスケジューリングAriflowにおける障害復旧AirflowにおけるスケジューリングAirflowのスケジューリングで重要な項目は、以下3つとなります。 start_date : ワークフローの開始日付end_date : ワークフローの終了日付schedule_interval : ワークフローのスケジュール間隔3つの項目は、ワークフロー(DAG)を定義する際に指定します。基本的に
1. イントロダクションFiNCでは、機能追加、バグ修正、技術負債の解決などの開発活動の大幅な増加に対処するため、マイクロサービスアーキテクチャを採用しています。 FiNC のほとんどのサービスでは Ruby on Rails を使用しており、Amazon ECS で、コンテナ化したアプリとしてデプロイしています。 モノシリックアプリケーションと同様に、マイクロサービスも、ピーク時にはスケールアウトし、そうでない時にはスケールインする必要があります。(言うまでもなく、スケールアウトはより多くのリクエストに対応することであり、スケールインはコンピューティングリソースを解放し、コストを節約することです。) この記事では、私たちがFiNCで採用している方法について説明します。 2. インフラアーキテクチャインフラアーキテクチャは大凡以下のようになっています。 図1 インフラ・アーキテクチャリアル
This post uses pytorch-lightning v0.6.0 (PyTorch v1.3.1)and optuna v1.1.0. PyTorch Lightning + Optuna!Optuna is a hyperparameter optimization framework applicable to machine learning frameworks and black-box optimization solvers. PyTorch Lightning provides a lightweight PyTorch wrapper for better scaling with less code. Combining the two of them allows for automatic tuning of hyperparameters to fi
エウレカのPairsグローバル事業部エンジニアの山下です。 この記事は、eureka Advent Calendar 2017 9日目の記事です。 昨日は天才Boxpさんの「GKE+CircleCI 2.0で継続的デプロイ可能なアプリケーションをシュッと作る」の話でした。 読み応え抜群なのでこちらも是非読んでみてください。 以下本題 pprofのWeb UIがすごいpprofにWeb UIがあるのはご存知でしょうか? 最近Uber社が公開していた go-torch が本家のpprof側にビルトインされたりと盛り上がりを見せております。 下の画像が実際にWebUIを使っている時のイメージ画像です いかがでしょうか? インタラクティブでいい感じです。 それでは、pprofのWebUIの使い方を説明していきたいと思います。 後半部分ではpprofの設定方法も説明します。 1. WebUIの使い方
This post is authored by Omry Yadan, Software Engineer at Facebook AI who created Hydra. Hydra is a recently released open-source Python framework developed at Facebook AI that simplifies the development of research and other complex applications. This new framework provides a powerful ability to compose and override configuration from the command line and configuration files. As a part of the PyT
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く