C++でジョブシステムを作ってみる（1）
ジョブシステム (Job System) ゲームエンジンの勉強をしているとジョブシステムの話がよく出てくるので、実際にC++20で実装してみました。マルチスレッドに慣れていないため、正しいアプローチである確信はありません。重要なミスがあったら教えていただけると助かります。 コードは標準ライブラリにある機能は素直に使い、シンプルな実装を目指します。また、この記事の全てのコードはパブリックドメインとします。 これから、3つのステップでジョブシステムを実装していきます。 ジョブを並列実行する機能 ジョブ同士に依存関係を設定する機能 大きなジョブを分割して並列化する機能 この記事ではステップ1の最も基本的なジョブシステムを実装することを目標にします。 実装に入る前に、雰囲気を伝えるために、各ステップにおけるインターフェイスを示します。 // スレッド数4としてジョブシステムを作成 JobSyste
Kafkaを利用したジョブキューライブラリ「Decaton」の活用事例
先日 LINE が開発するライブラリ Decaton が OSS として公開されました。 Decaton は Kafka を利用したジョブキューライブラリで、LINE 社内で幅広く利用されています。 GitHub - line/decaton: High throughput asynchronous task processing on Apache Kafka 今回の記事では、LINE で Decaton がどのように利用されているか、実際に利用されているプロダクトの実例を交えて紹介します。 Decaton とは? Decaton は LINE 社内で非同期処理を行う際のジョブキューとして利用されているライブラリで、データストアとして Kafka を利用しています。 Kafka には、ストリーム処理を扱う公式のライブラリとして Kafka Streams があります。しかし、Kafka
Googleしごと検索に対応した構造化データを生成してくれるツール「JOB POSTING GENERATOR」 | TechMemo
JOB POSTING GENERATORは、自社サイトの求人情報をGoogleしごと検索に表示させるために必要な構造化データを生成してくれるツールです。 必要な項目を入力していくと、Googleしごと検索用の構造化データを出力してくれます。 Googleしごと検索とは Googleしごと検索とは、ザックリいうとGoogleの検索結果に求人情報を表示してくれる機能のことです。 例えば、「正社員 求人」で検索すると、以下のように検索結果の上に「求人」という枠が表示されます。 このように、就職・採用に関する検索クエリに対して、求人情報を表示してくれるのがGoogleしごと検索です。 Googleしごと検索に求人情報を掲載するには 単純に自社サイトに求人情報を掲載しただけでは、Googleしごと検索で求人情報が表示されるようにはなりません。 JSON-LDという記法で記述したschema.org
Ruby->Go->Scalaという習得順序がエンジニアの爆速の成長に最適である理由 - Qiita
先日、全ての開発者が学ぶべき5つの言語という翻訳記事を投稿させて頂いたのですが、「プログラミング力を伸ばす」という観点においては記事主の方のご意見に大きな異論はないものの、これからエンジニアを目指す初学者の方や経験の浅い方が「日本のWeb業界でキャリアを爆速で成長させるための最適な習得順序」としてはまた別の組み合わせが必要だと思いますので、この記事ではそれに関する私の考えを簡単に述べさせて頂きたいと思います。 (注：主にバックエンドエンジニアの方を対象としています) 結論 未経験から日本のWeb業界でキャリアを爆速で成長させるためにはRuby -> Go -> Scalaという順序が最適である。 以下その理由について説明します。 初学者の方がプログラミングスクール等を経由してWeb業界にエンジニアとして就職する場合に、言語選択において最も重視すべきポイントは下記の3点です。 求人数 日本語
求人検索をさらにリッチ化！「Google for Jobs」についてまとめてみた | Will Style Inc.｜神戸にあるウェブ制作会社
こんにちは、Designerの松並です。 2018年9月27日でGoogleが20年目の誕生日を迎えたそうです。 創立20周年おめでとうございます。これからもよろしくお願いいたします。 ブラウザはChrome、GoogleドキュメントにGoogleスプレッドシート、動画サイトといえばYouTube、その他にもあらゆる場面でGoogleが登場するようになりました。 さらに先月の9月19日にはGoogle Pixel 3を日本で発売する予定であることが発表されましたね。 皆さんはそんなGoogleが昨年公開した、新しい求人検索機能「Google for Jobs」というサービスをご存知でしょうか？ リスティング広告とオーガニック検索の間に新たに生まれた求人検索に特化したGoogleの新しいサービスです。 本記事では、Google for Jobsの基本情報やマークアップの方法等をご紹介させてい
HERP Hire ｜ デジタル人材採用を加速する採用管理システム(ATS)
デジタル人材採用を加速する採用管理システムなら『HERP Hire（ハープハイアー）』｜HERP Hireは社員への採用情報の共有・フィードバックを通じて、全社員の採用参画率を向上をサポートする採用管理システム(ATS)です。媒体からの応募情報を自動で取得し、採用情報を一元化、応募情報・選考情報をSlackで通知、社員照会機能など、採用活動に社員の協力を促していきたい経営者・採用担当者必須のツールです。お問い合わせ・資料請求は無料。
Linuxコマンド(Bash)でバックグラウンド実行する方法のまとめメモ - Qiita
bashコマンドのバックグランド実行方法について、まとまっている記事が見つからなかったのでまとめメモ 通常のバックグラウンド実行 &でバックグランド実行 参考：http://kazmax.zpp.jp/linux_beginner/process_background.html もっとも基本的なバックグランド実行、コマンドの後ろに&をつけて実行する。 ターミナルの切断が切れたりしてログアウトした場合に、 この方法で実行したプロセスはkillされてしまうので注意する。 途切れたら困る処理の場合はtmuxのセッション上で実行、 もしくは後述するnohupコマンドでのバックグラウンド実行推奨。 # バックグラウンド実行 $ sleep 5 & [1] 21871 # プロセス確認 $ ps $! # ps 21871 PID TTY STAT TIME COMMAND 21871 pts/0 S
Jenkinsのジョブが停止するとプロセスが全てkillされてしまう時の対応 - Qiita
環境 CentOS release 6.6 (Final) Jenkins 2.7.1 課題 Jenkinsのジョブでビルドを行い、 ビルドの後続処理としてシェルを実行してモジュールをデプロイし tomcatの落としあげをしようとした。 tomcat起動は上手く行ったが、Jenkinsのジョブが終わったと同時に tomcatのプロセスがkillされてしまう。
systemdでの定期実行(timerユニット) - Qiita
cronの無い世界 systemdに移行するディストリが増えてきた昨今、cronが担っていた部分もsystemdに移行されてきています。初期のsystemdにはtimerがありませんでしたが、2013年にtimerユニットの実装が入り、だいぶ安定してきた感があります。また、昔はcron系のデーモンが必須パッケージだったディストリも、いまでは必須ではなくなってきています。crontabといえばUNIXの入門書にも載っていますし、POSIXでも定められたユーティリティです。systemdを採用しているディストリであっても、cron系のパッケージ(cronieやfcron)を入れればいいだけの話なのですが、少なくともcron系を使うかsystemdのを使うか選ばなければなりません(両方使うことも･･･できますが)。cronはちょっと使ったことがあるので、一度も使ったことがないsystemdのti
Galaxy Community Hub - Galaxy Community Hub
This content has a new home at https://docs.galaxyproject.org/en/latest/admin/cluster.html. You will be redirected in 5 seconds. Cancel This page has been migrated to the Galaxy docs, please check there for up-to-date information. usegalaxy.org is supported by NIH and NSF Grants HG006620, 1661497, and 1929694. Computational resources are provided by the Advanced Cyberinfrastructure Coordination Ec
クックパッドのジョブ管理システム kuroko2 の紹介 - クックパッド開発者ブログ
こんにちは。技術部 開発基盤グループの大石です。 今回はクックパッドで利用されているRuby製のジョブ管理ツールkuroko2について紹介したいと思います。 kuroko2 とは クックパッドでは2011年頃より、kurokoというジョブ管理ツールがありました。 そして現在、kurokoの後継のジョブ管理ツールとしてkuroko2が2014年にkurokoの開発者でもある当時の技術部長 takai によって開発され現在に至っています。 商用のジョブ管理ツールは昔からありますし、ここ最近はAirflowやAzkabanなどのOSSのツールが存在しており、わざわざ自社でジョブ管理ツールを作る必要は無いのかもしれません。 しかし、kurokoが開発された当時はそこまでの完成度のOSSのジョブ管理ツールは存在していなかったということと、過去のバッチ資産も問題なく動作させることでき、機能追加など自分
Airflow - データパイプラインのスケジュールと監視をプログラムしてみた - Qiita
Airflowを導入するとcronのバッチ処理でエラーが起きてログファイルを漁った結果、Log出力が甘くて原因特定できないぐぬぬぬぬもうやだまじつらい、みたいなことが仕組みで防げるようになります。 Airflowってご存知でしょうか？ Airbnb社がオープンソースで公開しているデータパイプラインのスケジュールとモニタリングツールです。簡単に言うとジョブツリーを構築できる高機能なcron。Python2系で開発されていてpip install可能なオープンソースのソフトウェアです。AWSが年1で開催している大規模イベントre:Invent 2015で複数の会社がAirflowを利用していると発表し注目を集めました。Yahooの発表を読んで興味を持ちました。この記事はAirflowをプロジェクトに導入すべきか検討、検証したメモです。 ■ プロジェクトの解析タスクをAirflowに乗せてみた
YARN上でジョブを走らせてみる（Spark編） - Qiita
Outline HadoopのYARN上で色々なアプリを動かすことになったのでテスト環境を作ってみた。 今回はYARN上でSparkのjarを走らせてみる。 走らせるjarは、sparkパッケージに入ってるexampleと、自分で作ったやつ。 環境 メインマシン 実際に動かしているハード。 WebUIなどの動作確認に使う。 Client OS: Ubuntu14.04 （AWS EC2） Hadoop: 2.5.2 Java: 8 Hadoopクラスタ 別記事を参照。 擬似分散モード：http://qiita.com/uryyyyyyy/items/a7ac8dc088b6fc2d115d 完全分散モード：http://qiita.com/uryyyyyyy/items/ebd732d3935ee404f4e7 ここではResourceManagerとnameNodeは同じhostにあると
YARN上でジョブを走らせてみる（普通のjar編） - Qiita
Outline HadoopのYARN上で色々なアプリを動かすことになったのでテスト環境を作ってみた。 今回はYARNに対して、sparkでもmapReduceでもない、普通のjar（hadoopへの依存が何もないjar）を実行してみる。 環境 メインマシン 実際に動かしているハード。 WebUIなどの動作確認に使う。 Client OS: Ubuntu14.04 （AWS EC2） Hadoop: 2.5.2 Java: 8 HDFSクラスタ 擬似分散モード：http://qiita.com/uryyyyyyy/items/a7ac8dc088b6fc2d115d 完全分散モード：http://qiita.com/uryyyyyyy/items/ebd732d3935ee404f4e7 ここではResourceManagerとnameNodeは同じhostにあるとする。 OS: Ubun
Jesque を頑健に使うために RobustWorkerPool というのを書いた - その手の平は尻もつかめるさ
8/16 (日) に京都でハッカソンが催されるとの事だったので遊びに行って，表題のものを作ってきました (実際には大部分は予め作っていた)． Jesque は Resque の Java 実装版で，今やっているやつではこれを使った JobQueue - Worker なシステムの実装を進めています． しかし Jesque Core の Worker Pooling の実装は調べてみると微妙な感じで，具体的にどう微妙かと言うと「Worker を Pooling する (つまり Worker を任意個生成する)」というところまでは面倒を見てくれるのですが，その Worker 群に対して死活監視等のマネジメントの一切をしないという問題があり，これは「不慮の事故で Worker が死んでしまった時 (Worker が poll している時に例外が上げられた時とか) にその Worker を生き返ら
初めての運用管理者が知っておきたい監視・ジョブ管理向けOSS構成例4つの比較まとめ
初めての運用管理者が知っておきたい監視・ジョブ管理向けOSS構成例4つの比較まとめ：Zabbix＋JobSchedulerで効果的な運用監視とジョブ管理（1/2 ページ） 「監視」と「ジョブ管理」はシステム運用の要といえるもの。オープンソース、商用ともに多様なツールが存在しますが、本連載ではオープンソースソフトウエア（以降、OSS）に焦点を当て、「Zabbix」と「JobScheduler」の活用法を詳しく解説します。監視やジョブ管理の機能を持つツールは種々存在しますが、その中でも特にオープンソースソフトウエア（以降、OSS）のZabbixとJobSchedulerを活用する方法について解説します。 前編となる本稿では、監視とジョブ管理の正しい在り方と、ZabbixやJobSchedulerを用いることによるメリット、TISが開発したOSSであるZabbixとJobScheduler連携ツ
The State of Probabilistic Programming
For two weeks last July, I cocooned myself in a hotel in Portland, OR, living and breathing probabilistic programming as a “student” in the probabilistic programming summer school run by DARPA. The school is part of the broader DARPA program on Probabilistic Programming for Advanced Machine Learning (PPAML), which has resulted in a great infusion of energy (and funding) into the probabilistic prog
GoとMySQLを用いたジョブキューシステムを作るときに考えたこと - ゆううきブログ
【追記】2023年3月21日 YAPC::Kyoto 2023で、ジョブキューシステムFireworqの設計と運用実績も含めて発表されました。id:tarao ++ 【加筆修正】 2020年2月16日 執筆時から6年も経過していますが、たまたまこの記事を振り返る機会があったので、日本語がおかしいところを一部修正したり、一緒に取り組んだ方々の名前が書かれていなかったところを修正しました。 【追記】2017年12年24日 このエントリのジョブキュー実装がFireworqという名でOSSとして公開されました。id:tarao ++ github.com この記事ははてなエンジニアアドベントカレンダー2014の4日目です。 前回は Mackerelで採用している技術一覧とその紹介 - Hatena Developer Blog でした。 社内の開発合宿で、 id:taraoさん、id:hakobe
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Galaxy Community Hub - Galaxy Community Hub
Kill an SGE job "already in deletion", as user