タグ

2019年11月27日のブックマーク (11件)

  • A Julia interpreter and debugger

    The authors are pleased to announce the release of a fully-featured debugger for Julia. You can now easily debug and introspect Julia code in a variety of ways: Step into functions and manually walk through your code while inspecting its state Set breakpoints and trap errors, allowing you to discover what went wrong at the point of trouble Interactively update and replace existing code to rapidly

    mnru
    mnru 2019/11/27
  • Airflowのコンセプトと仕組みを理解する | DevelopersIO

    春田です。 Airflowを活用したプロジェクトに携わる事になったのですが今回初めて触れる形となるため、まずはAirflowに関する概要を勉強しながらまとめてみました。 Airflowとは The Airflow Platform is a tool for describing, executing, and monitoring workflows. Airflowは、ワークフロー(例えば、A B Cという3つのタスクがあった時、これらをいつどの順番で実行するか)を記述、実行、監視するためのツールです。 このAirflowは DAG (Directed Acyclic Graph: 有向非巡回グラフ) というグラフ理論がベースになっています。私自身、グラフ理論にあまり精通していないのため、自分でも理解できるように噛み砕いた言葉で説明していきます。 DAG (Directed Acycl

    Airflowのコンセプトと仕組みを理解する | DevelopersIO
    mnru
    mnru 2019/11/27
  • ワークフローエンジンDigdagのまとめ - Qiita

    2016/06/15に、トレジャーデータがオープンソースとして公開したワークフローエンジンDigdagのリンク集です。内容は随時更新します。またトレジャーデータではDigdagを自社でTreasure Workflowとして提供しています。こちらの情報も収集しています。 変更内容が気になる方は変更履歴をご覧ください。 1. 開催されるイベント 2. オフィシャルページ オフィシャルページ ソースリポジトリ 3. チュートリアル Getting started (英語) Treasure Data社のOSSワークフローエンジン『Digdag』を試してみた #digdag (日語) Digdag 入門 Digdagのアーキテクチャとコンセプトを理解する Treasure Workflow for ビギナー 環境構築編 digファイル書き方編 Digdag公式ドキュメントからDigdagを学ぶ

    ワークフローエンジンDigdagのまとめ - Qiita
    mnru
    mnru 2019/11/27
  • 2019年のワークフローエンジンまとめ - Qiita

    概要 データパイプラインの管理にワークフローエンジンを導入したいのですが、今の要件に対してどれが合っているのか判断しきれない部分があるので整理してみました 最近の導入事例や発表をみるかぎりAirflow, Argo, Digdagあたりが人気なのかなと思います ワークフローエンジンとは ワークフローエンジンとは定期的なバッチ処理をうまく処理できるように、バッチ実行を管理してくれるソフトウェアのことです 古典的な実現方法としては適当なlinuxサーバーの上でcron実行させることが考えられますが、以下のような問題があります ジョブごとの依存関係を表現できない。cronの時間指定で実現させようとすると、タスクAを1時に開始してそれが完了するとみなして依存するタスクBを2時に開始するというような書き方をすることになるが、実際にタスクAが2時までに終わらなかった場合に処理が上手く実行できない タス

    2019年のワークフローエンジンまとめ - Qiita
    mnru
    mnru 2019/11/27
  • Atomのインストールが失敗するときに試す2つのこと - Windows10にて

    There was an error while installing the application. Check the setup log for more information and contact the author. ウイルス対策ソフトをオフにするGoogle先生に頼ると、ウィルス対策ソフトを無効にするとインストールできるとのこと。 私はWindows Defenderしか入れてないので、まさか〜と思って外してみるもやっぱり失敗。Windows Defender以外のソフトを入れている場合は無効化したらインストールできたという報告があります。 インストール失敗で生成されたファイルを消す。そもそもエラーログを見ろと買いてあるのに先にぐぐるというのが悪いクセですね。エラーログを見てみるとすぐに解決しました。 インストール失敗しても生成したファイルはそのままだったり、アンインス

    Atomのインストールが失敗するときに試す2つのこと - Windows10にて
    mnru
    mnru 2019/11/27
  • Digdagでワークフローを宣言的に書く! - Kekeの日記

    記事 私は、いくつか家内サービスを運用しています。 例えばCloud FunctionsとCloud SQLを使った「家計簿」を家族全員が使っていますし、自宅に「監視カメラ」をおいてLineBotで適宜確認できるようになっています。 無料枠を使い回しているのでデータ移行が定期的にありますが、そのときによくEmbulkを使っています。 非常に短い備忘録ですが、以下にまとめています。 www.1915keke.com この記事は短すぎて適当に見えるのですが、それくらいシステムは簡単だったことが印象でした。 今回はEmbulkと同じくTeasureDataで開発が進められているDigdagを使ってみて、どのような開発のしやすさなのかなど知識を増やしたいと思います。 Digdagについて 一体何をするもの? Digdagとは、トレジャーデータが公開したオープンソースなワークフローマネージャーです

    mnru
    mnru 2019/11/27
  • 数理解析研究所講究録 第1980巻

    mnru
    mnru 2019/11/27
    An introduction of the book” Theory of Reproducing Kernels and Applications”
  • mermaid.jsが素晴らしいけどなかなか使ってる人見かけないので実例晒す(追記あり) - Qiita

    mermaid.jsとは JavaScriptのチャート作成ライブラリです。他にも似たようなのは色々ありますが、これ一でフローチャート、シーケンス、ガントに対応してるので、個人的にお気に入り。 http://knsv.github.io/mermaid/ サイトの各チャートのページ見ると書き方と何ができるかはわかるので、ご覧あれ。 僕の使い方 JSのライブラリを自分でインポートして何かすることはほとんど無くて(後述の理由からガントだけJSで使ってるけど)、基的には以下の2つの方法で使ってる。 Haroopad フリーでクロスプラットフォーム(OS X, Win, Linux)なMarkdownエディタ。 v0.13からmermaid.jsがインテグされているので、何もしなくてもそのまま使える。 mermaid.jsのグラフの書き方は、コード表記で、言語をmermaidにしてあげるだけ。

    mermaid.jsが素晴らしいけどなかなか使ってる人見かけないので実例晒す(追記あり) - Qiita
    mnru
    mnru 2019/11/27
  • [Markdown] Markdown でシーケンス図を書いてHTMLに出力しよう - Qiita

    私事であるが、Visual Studio Code をメインエディタとして使用している。 で、資料を作る際にシーケンス図をパパッと書きたい、といったときに便利なツールとして mermaid.js があるということを知ったので、私なりの導入や利用方法について備忘録がてら記事にしたい。 前提 シーケンス図を描きたいが UML モデリングツールを使うのは面倒だ Visual Studio Code を使用している Visual Studio Code からシーケンス図が書けたら幸せだなぁという願望がある そしてそのシーケンス図をHTMLドキュメントに出力できたら嬉しい で、記事の趣旨は Markdown でシーケンス図を書こう。 そしてそれを HTMLドキュメントに出力しよう ということなので、そのためのアレコレを以下に記していく。 mermaid.js を使おう 冒頭で触れた mermaid

    [Markdown] Markdown でシーケンス図を書いてHTMLに出力しよう - Qiita
    mnru
    mnru 2019/11/27
  • mermaidを使ってMarkdownでシーケンス図を作成 - Qiita

    サーバやらDBのやり取りで、処理の流れを整理したい事があった。 そのため、シーケンス図の作成手段を探していたところにmermaidを発見。 軽く試してみた結果を残しておきます。 参考記事 mermaid.jsが素晴らしいけどなかなか使ってる人見かけないので実例晒す mermaidとは mermaid(Github) シーケンス図やらガントチャートやらフローチャートを、Markdown形式のテキストで書くことができる。 書式については、公式ドキュメントが分かりやすいので、そちらを参照。 Javascriptでweb上に描画する事もできるし、VSCodeのプラグインを使ってエディタ上でプレビューする方法もある。 使ってみた感じ メリット テキストで作成することで差分管理ができる。 脱Excel! テキストエディタの機能が使えるため、一括の修正も用意である。 javascriptにてweb上で動

    mermaidを使ってMarkdownでシーケンス図を作成 - Qiita
    mnru
    mnru 2019/11/27
  • SR2 for Instructors | Richard McElreath

    mnru
    mnru 2019/11/27