はじめに 最近 Raspberry Pi を3台購入し、自宅に Kubernetes クラスタを構築しました。 この記事ではその体験記を共有します。 また、自宅 k8s を構築する際に参考になる記事になる事も目指しています。 モチベーション 仕事で GCP 上で Kubernetes を使ったので、個人で Kubernetes クラスタを構築してさらに学習を深めたいと思いました。 実務ではクラウドサービスを使いますが、維持費が高額です。一日システムを立ち上げておくだけで数千円、一ヶ月では数万円かかってしまいます。 minikube などを用いてローカル環境で Kubernetes を動かすこともできますが、シミュレーター上の動作になってしまうので、どうせなら実際の環境に近いものを構築したいと思いました。 そこで、Raspberry Pi を用いることで、実際の環境に近い学習環境を構築してみ

先に結論 awaitが使われている関数はジェネレータとして内部的に変換され、非同期処理になる。 その為、async関数である必要がある。 コンパイラから見ても、asyncが付いていることで効率的にコンパイルできる。 （追記 2021/07/21）最上位でのawaitは、もうすぐ可能になるかもしれない（一部ブラウザは実装済）。（鶏(async)が先か卵(await)が先かでコメントで教えて頂きました。感謝！） というわけで本編 awaitはPromiseを返す関数を呼び出す方法として非常に便利ですが、それを使う箇所にはいちいちasyncを付けて回らなければならないのが面倒だと思ったことはないでしょうか。 そもそもawaitを内部で使っている関数が常にasyncである必要性がいまいちピンと来ない方もいるのではないでしょうか（最初にasync/awaitの構文を見た時、私自身がそうでした）。 例

ごちきか# NTTコミュニケーションズ イノベーションセンターでは、社会・産業DXのためのSmart World の一貫として、時系列データ分析手法の研究開発、お客さまのデータ分析支援や社内データ分析人材育成を行っています。 ごちきか（gochikika） は、これら研究開発成果やデータ分析人材育成コンテンツをまとめたナレッジベースです。大別してメインコンテンツは以下の通りです。 分析: 主に製造業の時系列データを対象として、前処理からモデリングまで一連の基本的な分析手法をPythonコード付きで解説しています。 特集記事: 比較的新しめであったり難易度の高い手法や、私たちの取り組みを知ってもらうための学会発表資料が掲載されます。また一部未分類なコンテンツが格納されています。 私たちの研究開発成果は、同じくイノベーションセンターで開発しているノーコードAI開発ツールNode-AI に搭載さ

まるでPS5版のプロコン。「DualSense Edge」が過去最安は大盤振る舞いすぎる #Amazonセール

ベイズデータ解析(第3版) 森北出版Amazon 先日のことですが、『ベイズデータ解析』を訳者のお一人菅澤さんからご恵贈いただきました。もう一目見ただけで「鈍器」以外の語が出てこないくらいの立派な鈍器で（笑）、原著のBDA3*1に負けないくらいの鈍器っぷりが見事な一冊です。菅澤さんといえば名著『標準ベイズ統計学』の翻訳も手掛けておられますが、先日直にお話を伺った際は「本書の方が標準ベイズよりもさらに理論的な内容に踏み込んでしっかり書かれていて良い」とのコメントでした。 ということで、早速本書をレビューしていこうと思います。ただ、何分にも全体で888ページもある大著であり、ぶっちゃけ斜め読みするだけでも1ヶ月近くかかるという有様でしたので、内容の理解が不完全であったり誤ったりしている可能性があります。それらの不備を見つけられた際は、何なりとご指摘くだされば幸いです。 本書の概要 第I部　ベイ

At Sakana AI, we have pioneered the use of nature-inspired methods to advance cutting-edge foundation models. Earlier this year, we developed methods to automatically merge the knowledge of multiple LLMs. In more recent work, we harnessed LLMs to discover new objective functions for tuning other LLMs. Throughout these projects, we have been continuously surprised by the creative capabilities of cu

本書では、Arm64 CPUアーキテクチャを前提としたハイパーバイザの仕組みをできるだけ分かりやすく解説し、実際にラズベリーパイ4やQEMUで動作するハイパーバイザ（Type1）を自作する方法を解説しています。 ⬛︎ 注意 本書はまだ作成中（現在4章を作成中）ですが、モチベーション維持のために公開している状態です（章立てなど今後変わる可能性ありです）。 内容は随時更新していますので、気になる方はウォッチやコメント等をお願いします。 ⬛︎ 学べること ・ハイパーバイザとその仕組みと原理 ・Arm64 (aarch64) アーキテクチャの仮想化支援機構の仕組み ・自作ハイパーバイザの作り方 ⬛︎ ソースコード https://github.com/HidenoriMatsubayashi/evisor ⬛︎ 価格 本書は無料にしていますが、役に立った！という方は「バッジを贈って応援」や「いいね

2024年度リクルート エンジニアコース新人研修の講義資料です

はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開

こんにちは、テリーです。今回はいつも以上にニッチなお話です。カメラ画像処理アプリケーションは映像を取得したコンピュータ上で行うことが一般的です。それは映像を伝送する際の圧縮復元で画質が劣化してしまうことと、伝送先での映像のトランスコード処理の集中ですぐにCPUが逼迫することが容易に想定されるからです。そのため、低遅延映像伝送後の映像処理の開発事例はあまり取り上げられていません。カメラが接続されたコンピュータ上で自作プログラムが動かせないことがありますし、開発言語が違う場合もあるでしょう。そこで今回はリモートカメラの映像をWebRTCで送受信し、Pythonで画像処理を加えて送り返す、ライブトランスコーディングの開発方法を紹介したいと思います。 動作環境 本記事は以下のバージョンを用いて動作を確認しています。 MacBook Pro (16-inch, 2019) macOS Big Sur

物流業界で使われているパレットという荷物を載せる台に標準的なサイズを示す統一規格が設けられました。人手不足が課題となる中、サイズが異なることで生じていた荷物の積み替えの手間を省くねらいです。 パレットは物流業界で普及している荷物を載せるための台で、フォークリフトで積み降ろしをすることができ、荷物をまとめて運搬したり倉庫で保管したりする際に使われています。 しかし、商品や会社によってさまざまなサイズのパレットが使われているため、物流業者は届け先で荷物を積み替える手間がかかっていました。 このため、国土交通省などが設けた有識者会議は、パレットについてサイズを1.1メートル四方、高さを14.4センチから15センチなどとする統一の規格を新たに設けました。 物流業界の人手不足が課題となる中、積み替えの手間が省けるほか、規格が統一されればパレットをレンタルして現場で使い回す機会が増え、自社のパレットを

はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ

sopsとは .envなどのクレデンシャルを含むファイルを安全な方法でエンコードしたりデコードする一連のワークフローを提供するコマンドラインツール 暗号化のための鍵との接続方式としてAWS KMS、GCP KMSなど複数用意している この記事ではAWS KMSに絞って解説する sopsが解決する課題 管理が煩雑な.envなどのクレデンシャルファイルを暗号化した状態でgitに乗せることができるようになる クレデンシャルの復号化はkmsへのアクセス権限を持つエンティティに限られる terraform apply時のクレデンシャル注入 sopsとterraformは連携が容易なのでapply時にsopsで暗号化されたファイルからクレデンシャルを読み込むことができる .envなどをgitから外した状態で各々管理して参照させる必要がない sopsのワークフローの全体 sequenceDiagram

はじめに Playwright を使うことで比較的簡単に E2E テストを実装することができます。しかし、通常テストコードは実装したら終わりということではなく、継続的にメンテナンス（保守）が必要になります。その際に保守しやすいように実装するため、Playwright の公式ドキュメントに記載されているベストプラクティスの中で参考になりそうな部分を確認しておこうと思います。 テストの独立性を高める 可能な限りテスト間の依存が無いようにして、テストを分離すると良いというプラクティスです。各テストが独立していることで、 １つのテストが失敗しても他のテストに影響しない テストの順序を考慮する必要がない テストをシンプルに保つことができる あたりのメリットがあるかと思います。また、特定の処理（例えば特定の URL に遷移する処理）の繰り返し実装するのを避けるために before and after

前田伸二さんは交通事故で右目の視力を失いました。 それでも、空への情熱を捨てきれなかった前田さん。 渡米先で恩師から「世界には、片目が見えないパイロットがいる」と言われ、夢を諦めるな、と背中を押してもらったといいます。 事故から7年後、アメリカで念願のパイロットになりました。 来年、アメリカから日本までの太平洋横断飛行に挑戦します。 パイロットの夢は打ち砕かれ

読み飛ばしてください おはようございます、しなもんです。 Pythonの公式ドキュメントを読んでたら、なんか知らない便利機能がたくさん出てきました。 なんだこれ。 というわけでまとめてみました。 参考になれば幸いです。 f-stringsの拡張機能 f-strings、便利ですよね。大好きです。 そんなあいつには裏技があるみたいです。 デバッグ用の=演算子 Python 3.8以降、f-stringの中で=演算子を使用することで 変数名とその値を同時に表示できるらしい。

OpenStack は、オープンソースのクラウド基盤ソフトウェアです。プールされた仮想リソースを使用してプライベートクラウドおよびパブリッククラウドを構築し、管理するオープンソース・プラットフォームです。OpenStack プラットフォームを構成するツールは「プロジェクト」と呼ばれ、コンピュート、ネットワーク、ストレージ、ID、イメージサービスのコア・クラウド・コンピューティング・サービスを処理します。10 以上のオプションのプロジェクトをバンドルして、デプロイ可能な独自のクラウドを作成することもできます。 仮想化では、ストレージ、CPU、RAM などのリソースをベンダー固有の各種プログラムから抽出し、ハイパーバイザーによって分割してから、必要に応じて配布します。OpenStack では、一貫性のある API (アプリケーション・プログラミング・インタフェース) 群を使ってこれらの仮想リソ