マイクロサービスアーキテクチャの経済と適応度 - Qiita
はじめに マイクロサービスアーキテクチャは、独立してデプロイ可能で疎結合サブシステム群によってサービス開発を行うというアーキテクチャパターンです。現在のソフトウェアサービス開発では欠かすことができない考え方です。 従来では一定のコストが掛かり、またパフォーマンス上の問題もあったため、必要に応じての分割には難しい側面も多かったのですが、様々なエコシステムの発達によってわずかな機会費用で実現できるようになってきました。もちろん分散システムとしての本質的な難しさやアーキテクチャの移行の本質的な難しさは解決したわけではありませんが、手軽にコンテナレベルで分割された様々なサービスを作成することのコストは急速に下がってきました。 これらが、うまくサブドメイン境界によって分割されることで、ある開発チームが知らなければならない情報が制限されるため、スピード感のある開発力を維持しながら開発組織のスケールでき
Bluebird で Promise を学ぶ - Qiita
概要 Bluebird は Promise を扱うためのライブラリです。チュートリアルや stackoverflow の回答が充実しており、初心者が学びやすいライブラリです。TC39 で提案されている機能があるので、将来の先取り学習ができます。 Bluebird は Observable を学ぶための準備教材としても評価できます。Observable は Promise、EventEmitter、ストリームなどの複数の概念を統合する概念です。Observable を扱うためのライブラリとして RxJS や xstream が挙げられます。Observable は TC39 で提案されており、将来の標準機能になる可能性があります。 Bluebird をブラウザー版アプリで採用するときの課題はライブラリのファイルの大きさです。より小さなサイズのライブラリに切り換えるか、個別の機能に特化したライ
Sidekiq で最大回数リトライ後に失敗した場合出すログに例外のバックトレースを含める - Qiita
この記事では Sidekiq 5 系を対象にしていますが、4 系でも変わらない内容です。 Sidekiq Worker を利用する利点の一つに、 リトライ処理 を Sidekiq に任せられる点があります。 リトライを安全に実行するために、Sidekiq Worker の処理を冪等にしておくことは Sidekiq の Best Practice にも触れられています。以下は引用です。 2. Make your job idempotent and transactional Idempotency means that your job can safely execute multiple times. For instance, with the error retry functionality, your job might be half-processed, throw an
[Python] Joblibでお手軽並列処理 - Qiita
PythonはGIL (グローバルインタプリタロック)というものがかかっており、基本的にただコードを書いただけでは複数のCPUコアがある場合にそのリソースを全て使い切ることが出来ません。 しかし、大量のデータを処理する時などにはマシンのCPUリソースを全て使って出来るだけ高速に計算させたい時がありますね。 Python 並列処理などのキーワードで検索すると標準ライブラリによるmultiprocessingモジュールの解説がよく見られるので、こちらを利用されている方も多いのではないでしょうか。 がっつり並列処理を組み込んだシステムを作る際にはこちらのモジュールを使って作り込みたいところですが、書き捨てのコードを書くだけの時には正直ちょっと面倒です… そこで、よりお手軽にサクっと並列処理を実行出来るJoblibというモジュールについて紹介したいと思います。 コード量が減るのはもちろんのこと、他
![[Python] Joblibでお手軽並列処理 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6635b89cb9fa47549d400716e9159750a174f423/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMjg3NjIlMkZwcm9maWxlLWltYWdlcyUyRjE1NDg2OTMyOTM_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9M2UxNTUwM2MwNjMxMjM4YzAwODBiNTViMjQ4NmVlNzE%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D20ff8e9fcff92fa3c56fabb9d1bf1eba%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwSm9ibGliJUUzJTgxJUE3JUUzJTgxJThBJUU2JTg5JThCJUU4JUJCJUJEJUU0JUI4JUE2JUU1JTg4JTk3JUU1JTg3JUE2JUU3JTkwJTg2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9NjNmMjcyMmU5MjQ3MzYzYjUyMzUxZjNhMjI4ZDdjNDY%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBZdWhzYWsmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz01MzM4NDRiNjAxOTdiMGRkMDdjMmM0NmY4ZDU3MjY5MQ%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dbdd6a492a7e47b39d79ee4182e5616d4)
PythonのDaskをしっかり調べてみた（大きなデータセットを快適に扱う） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? PandasやNumPyの並列処理だったり、メモリに乗り切らないデータを扱う際などによく見かけるDaskライブラリ。 ただ、細かいところまで触れている日本語の資料があまり無かったので、公式ドキュメントなどをしっかり読んでみてまとめてみました。 ※Daskのドキュメント既に読まれている方はご存知かと思いますが、ドキュメントがかなりのボリュームなのと、細かい所まで把握するのを目的とするため、本記事も長めです。仕事などの都合でさくっと使われたい方には向いておりませんので、そういった場合は別の記事をご参照ください。 どんなライブラリなのか Py
Spark and YARN - Qiita
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション（厳密にはSparkアプリケーション）ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
Apache Spark で分散処理入門 - Qiita
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.0 /_/ 2016年7月末にApache Spark 2.0.0がリリースされ、始めてみたので色々メモ メモなのでご容赦ください🙇 また、この記事中にサンプルで載せているコードはjavaがメインですがscala、pythonの方がすっきりかけている気がじます。 これからも随時編集していきます Apache Spark とは 上の画像はhttps://spark.apache.orgから、場合によってはHadoopのMapReduce100倍速いらしいです、強い、Spark Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク。 (Java Magazin
安定性のパターン大全 (とその実装) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Cognitect社のNygardさんが10年ぶりに改訂したRelease It! 2nd Editionがまもなくリリースされます。内容は現在のベータ5版で全て書ききっておられるようなので、是非読んでみてください。 https://pragprog.com/book/mnee2/release-it-second-edition その中から4章の安定性パターンの概要をご紹介し、実際JavaのFailsafeライブラリを使った実装例を示したいと思います。 安定性のパターン Stability Patterns 分散システムや後続をブロッ
AWS Kinesis Streams + Spark Streamingでストリーム処理を試してみた - Qiita
はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams＋Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用） Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis３兄弟のうちの１人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ
Kafka Streams - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけで
shoryukenのconcurrencyと実際のスレッド数が違っていたので調べた - Qiita
concurrency: 4 delay: 60 queues: - [test_queue, 1] - [hoge_queue, 1] - [fuga_queue, 1] - [piyo_queue, 1] class TestWorker include Shoryuken::Worker # ... def perform thread_logger.info('perform!') end def thread_logger ActiveSupport::Logger.new("log/worker.thread.#{thread_number}.log") end def thread_number Thread.current.to_s.match(/Thread\:([\da-zA-Z]+)/)[1] end end shoryukenの処理はざっくりと以下のような流れになっ
Elixirの単独キー関数をサクッと複数キー対応する - Qiita
fukuoka.ex代表のpiacereです 今回もご覧いただいて、ありがとうございます Elixirで関数を書いていると、Enum.drop()のような、複数キーが指定可能な処理をサクっと書きたいシチュエーションがあります 単独キーの関数を、複数キー対応することで、このコツのようなものをシェアしたいと思います 関数サンプル：マップリストを単独キー指定で文字列置換 マップリストのマップにある値を、単独キー指定で文字列置換する関数を以下のように書いてみます defmodule MapList do @doc """ Replace map value ## Examples iex> MapList.replace( [ %{ "c1" => "v1", "c2" => "v2" }, %{ "c1" => "v3", "c2" => "v4" } ], "c1", "v", "Value"
Phoenix のUp to RunにてMix ecto.createのerror解決方法 - Qiita
mix ecto.create で急にerrorがで始めた時の解決方法 対象者 2018.10.30近辺でPhoenixのチュートリアルにて学習開始し始めた初学者向け なぜ書くのか？ Phoenixの公式ドキュメントと、フレームワークの構成が変更中の差分が発生している時に起こり得る初学者が辛い時期の差分解決としてのメモ というか、自分のため。 ちなみに、mix phx.serverでエラーがでる人の解決方法はこちら:Phoenix 最初の第一歩 Mix phx.serverでerrorの解決方法に記載してます。 事件は再び起きた！ Compiling 13 files (.ex) warning: retrieving the :adapter from config files for ElixirSc.Repo is deprecated. Instead pass the adapt
RubyistがElixirを学んで感動したことベスト3 - Qiita
この記事では私が個人的にElixirを学んで感動した言語仕様などを紹介するものです。これを見て、Elixirを学ぼうとする方が増えると嬉しいです。 ちなみに、Elixirの特徴である「並列性/並行性」は今の私では理解が曖昧なので、この記事の範囲から外しています。 では、早速本題に入りたいと思います。 パターンマッチ これがElixirの特徴で最も代表的で強力な概念だと感じています。それ故に難しいとも感じました。 この記事は結構パターンマッチについて説明がなされていて、良いなぁと思いました。ちょっと古いですが。 Elixir のパターンマッチを攻略しよう Elixirでは=のことをマッチ演算子と言います。代入演算子ではありません。注意しましょう。 具体的なコードを見てみましょう。
[翻訳] Announcing Distillery 2.0 - Qiita
この記事は Announcing Distillery 2.0 の翻訳記事になります。Distillery 2.0の新機能や改善点を知る上で素晴らしい記事だったので、筆者である Paul Schoenfelder 氏に許可をいただき、翻訳を行うことにしました。理解不足のために訳が間違っている箇所があるかもしれませんが、その際はコメントで指摘していただくかPRをいただけるとありがたいです！ Distillery 2.0の発表 Distillery を2.0でどの方向へ導くか、そしてElixir coreのreleaseのためにどのように道を切り開くか、という点について述べた前回の 更新 から数ヶ月が経過しました。想定していたよりも時間がかかりましたが、どのように落ち着いたか、そしてこれからどのように向かっていくのかをついにコミュニティで紹介できることを嬉しく思います。 2.0は既にHexでリ
![[翻訳] Announcing Distillery 2.0 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d545fc0e7944b889524ecb004a0ca4b184c6dd1e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTIxNTIlMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2ODIyOTI_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9NmJiODFlZGVjZWNhMTQxNWFmZDg3MzdmYTE2ZWUwNzA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dcfb832ff8460566474742b8c56ad4ed6%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwQW5ub3VuY2luZyUyMERpc3RpbGxlcnklMjAyLjAmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz1iYTdiYWRlOTI2YzdhMTQzMTIwYjdmN2E0NjZmYzYxZg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBUc3V5b3NoaTg0JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9OTZlZTNlMWJjYzA5Y2FlYjczODA0MjBkMDBlYzhkZDY%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dcd83cb300aa4f9cbacacb72b697e076e)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jupyter NotebookでElixirを使えるようにする(MacOS High Sierra) - Qiita
{error,eafnosupport}が出た時、erlang gen_udp:sendを使用する時の話 - Qiita
はじめに_「すごいErlangゆかいに学ぼう！」_#01 - Qiita
変数・アトム_「すごいErlangゆかいに学ぼう！」_#02 - Qiita
予約語_「すごいErlangゆかいに学ぼう！」_#03 - Qiita
