Docker runでsystemdを起動しつつスクリプトを動かす - Qiita
はじめに Docker上でsystemdを使用したサービスを起動したいと思ったが調べるのに思いのほか苦戦してしまったのでここに残します ※systemdで起動しているものを直接起動してよいのならばsystemdを使用する必要はありません ※この記事ではprivilegedオプションを使用するため権限には十分注意してください systemdとは Linuxカーネルが起動する(PID 1)のinitプロセス。 このsystemdはすべてのプロセスの親となります Docker(centos7)上のsystemd Docker上では基本的にsystemdを有効にされていません。 systemdが起動していないとsystemctlコマンドを使って操作するサービスを使うことができません。 有効にするためにはprivilegedオプションで特権を許可、PID1で/sbin/initを実行する必要がありま
Prompt Engineering Guide – Nextra
Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること
Apache AirflowのSecrets BackendとしてAWS SSMのパラメーターストアを利用してみる | DevelopersIO
こんにちは。サービスグループの武田です。 Apache AirflowはDAG（有向非巡回グラフ）でワークフローを表現し、ジョブのスケジューリングや監視などを行ってくれるツールです。AirflowではデータベースやAWSなどへ接続するための接続情報や各種パスワード情報などをSecrets Backend（以下、バックエンド）に保持できます。バックエンドはデフォルトではメタストア（PostgreSQLなどのDB）を使用しますが変更もできます。 なおAirflowのバージョンは 1.10.10 以降を対象としています。 優先順位 バックエンドは複数同時に使用できるのですが取得する優先順位があります。これを間違えてしまうと思っていたのと異なる挙動になるため注意が必要です。 指定したカスタムバックエンド 環境変数 メタストア 1はこのエントリのメインとなるものです。さまざまなカスタムバックエンドが
Spark on EMRで環境変数を渡す方法とちょっと注意点 - まーぽんって誰がつけたの？
公式docには書いてない？かも spark-env—spark-env.sh ファイルで値を設定します。詳細については、Spark ドキュメントの「Environment Variables」を参照してください。 公式docには、saprk-env.shで設定してくださいぐらいしか書いてなくてパッと分からなかった。リンク先のSparkドキュメント見ても、configurationで設定する方法なども見つけられなかった。 結局、別のAWSのブログ記事に書いてあるやつで、見つけられた。 spark-env.shじゃなくてconfigurationで設定する こういうconfigを書けばOK [ { "Classification": "spark-env", "Configurations": [ { "Classification": "export", "Properties": { "J
Airflowに関する個人的FAQ | DevelopersIO
Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 Airflowを触っていて個人的にハマったことなどをFAQ形式でまとめてみました。全然Frequentlyじゃない気がするのはきっと気のせいです。 以下、バージョンは本記事公開時の最新 1.10.2 です。 インストール インストールが失敗するのですが？ 普通に pip install apache-airflow とすると以下のエラーで失敗します。 RuntimeError: By default one of Airflow's dependencies installs a GPL dependency (unidecode). To avoid this dependency set SLUGIFY_USES_TEXT_UNIDECOD
AirflowのTips 11選 | フューチャー技術ブログ
概要Airflow 利用にあたって知っておいたほうが良いんじゃないかなと思う情報をまとめました。いわゆるハマりどころです。 Airflow 自体の基本的な説明(用語,DAG 定義方法,etc..) は省略しています。 基礎参照先 公式 Tutorial Dockerfile バージョン Airflow 1.10.4 Postgres 10.7 Tips 11 選 1. 日時 2. リトライ 3. start_date の変更ができない 4. 開始日時を過去日時にすると過去ジョブが自動実行される 5. context の活用 6. Macros 7. Task 間で値を受け渡す方法 8. dags ディレクトリ以下のディレクトリの切り方 9. UI の表示が UTC 固定 10. Web UI 上からジョブのパラメータを渡せない 11. DAG/Task の同時実行数制御 1. 日時Airf
Testing in Airflow Part 2 — Integration Tests and End-To-End Pipeline Tests
Written by Sarang Shinde and Chandu Kavar — Nov 28, 2019 In part 1 of this blog, I explained DAG validation tests, DAG definition tests, and Unit tests. These tests help to verify the syntax and cyclicity in the DAG, upstream and downstream of each task, the logic of the custom operator and sensor, etc. I would recommend reading the first part of this post. In this part, we will cover the integrat
Testing in Airflow Part 1 — DAG Validation Tests, DAG Definition Tests and Unit Tests
Testing is an integral part of any software system to build confidence and increase the reliability of the system. Recently, I joined Grab and here at Grab, we are using Airflow to create and manage pipelines. But, we were facing issues with Airflow. I had a conversation with my engineering manager and discussed on how we could make Airflow reliable and testable. Before Grab, I worked with Thought
RNN：時系列データを扱うRecurrent Neural Networksとは
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
Siamese Neural Networks for One-shot Image Recognition - Qiita
最近、Few-shot learningの欲が高まっている@syunikuです。今さらSiamese Neural Networks for One-shot Image Recognition という論文を読んだので忘れないようにまとめておきたいと思います。 概要 この論文ではOne-shot Learningというタスクに対して、Deep metric learningの一手法であるSiamese Networkを適用することで当時のSOTA (State-of-the-Art)を達成した論文になります。現在の多くのFew-shot Learningの手法はこの手法に少なからず影響を受けていると思います。 One-shot Learning では、まず対象とするタスクについて話していきます。One-shot Learningはクラスに対してひとつのサンプルしか与えられていない状況を対象
edr - 実信号での編集距離 - MATLAB - MathWorks 日本
dist = edr(x,y,tol) は、シーケンス x および y 間の実信号での編集距離を返します。edr は、x、y、または x と y の両方から削除する必要がある要素の最小数を返して、残りの信号要素間のユークリッド距離の合計が指定許容誤差 tol 内に収まるようにします。 [dist,ix,iy] = edr(x,y,tol) は、x(ix) および y(iy) 間の dist が可能な限り最小となるワーピング パスを返します。x と y が行列の場合、ix と iy は x(:,ix) と y(:,iy) の分離間隔が最小限となる値になります。 [___] = edr(x,y,maxsamp) は、ワーピング パスが x と y 間の直線近似の maxsamp のサンプル数内に入るように挿入操作を制限します。この構文は、前述の構文の出力引数のいずれかを返します。
空間インデックス(R-tree)入門 - たにしきんぐダム
R-treeとは空間データを効率良く検索するためのインデックス構造。R-tree について調べたのまとめておく。 目次 目次 参考資料 ナイーブな例 R-tree の概要 各ノードの要素数 参照処理 点検索 範囲検索 データの挿入・削除 挿入処理 ノードの分割 Exhaustive Algorithm Quadratic-Cost Algorithm Linear-Cost Algorithm 削除 木の再構築のアルゴリズム 更新処理 まとめ 参考資料 Guttman, Antonin. R-trees: a dynamic index structure for spatial searching. Vol. 14. No. 2. ACM, 1984. MySQL 5.7 Reference Manual - Creating Spatial Indexes PostGIS 2.3.3d
文献管理ソフト Zotero ～ 設定編～ - humosy’s blog
前の記事で紹介したZoteroについて、私が便利だと思った設定やアドオンを紹介していきます。設定の自由度がとても高いので、設定項目を網羅的に紹介するのではなく、目的別に利用手順や関連する設定項目を紹介していくことにします。そのため、紹介する項目選びは私の利用スタイルが強く影響していることをご了承ください（数理系の英語文献を主に扱う人種です、念のため）。 前回記事： humosy.hatenablog.com 基本設定 PDFの本文を検索したい Dropboxで他のPCと文献データベースを共有したい（公式には非推奨？） Webページのスナップショットを取るのをやめる アドオン Better BibTeX 基本の使い方と自動更新 引用キーのフォーマットを固定する 出力から除外するデータ項目を設定する 数式を含むタイトルを数式として出力する(Scripting機能について) ZotFile 添付
pip install して import するだけで matplotlib を日本語表示対応させる - Qiita
pip install japanize-matplotlib conda conda install -c uehara1414 japanize-matplotlib 2. グラフを表示する前に本モジュールをインポートする import matplotlib.pyplot as plt import japanize_matplotlib # <- これ plt.plot([1, 2, 3, 4]) plt.xlabel('簡単なグラフ') plt.show()
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Airflow DAG Tutorial | Airflow Operators | Qubole
Data Pipelines with Apache Airflow
Deploy serverless applications with AWS Lambda and API Gateway | Terraform | HashiCorp Developer
Siamese networks
【深層距離学習】Siamese NetworkとContrastive Lossを徹底解説｜はやぶさの技術ノート
Juzbox.com | Juzbox.com