Marek Bartik Kubernetes、AWS、DevOpsをはじめ、インフラストラクチャーへの深い知識と情熱を捧げるソフトウェアエンジニア。NoOps/NoCodeのマニアでもある。 この記事は、著者の許可を得て配信しています。 https://blog.pipetail.io/posts/2020-05-04-most-common-mistakes-k8s/ 次の記事 （後半）Kubernetesでのよくある失敗１０選 私たちは長年のkubernetesを使ってきた経験の中で、かなりの数のクラスタを見る機会がありました（GCP、AWS、Azure上で管理されたクラスタと管理されていないクラスタの両方です）。そして間違いが何度も繰り返されているのを目にします。これは決して恥ずかしいことではありません。みんな同じように間違いを繰り返しているのですから。 そこで、今回は私たちがよく
JavaScript setTimeoutで実行される関数の中で発生するエラーは、セットした部分のtry/catchで補足することはできません。 function throwError(){ throw new Error('ERROR'); } try{ setTimeout(throwError, 3000); } catch(e){ // ここには到達しない alert(e); } MochiKit.Async.Deferredを使うと、エラーバックでエラーを補足できます。 callLater(3, throwError).addErrback(function(e){ alert(e); }); エラーの補足以外にも、Deferredのインターフェースから以下が行えます。 キャンセル(cancel)状態(fired)コールバックの追加(addCallback)エラーバックの追加
やらない子と学ぶバスケ分裂問題 前編
:::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: :::::::::::::::::::::::::::::::::_::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: :::::::::::::::::::::::::::::（ ）::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::: :::::::::::::::::::::::|￣|三
同期・非同期処理に関するアーキテクチャで良い記事があったのでメモ。 【元ネタ】 ITシステムで見られるシーケンス データベースコンサルタントのノウハウちょい見せ ダメな設計は、シーケンスが階段状ではなく、一つのオブジェクトに全ての処理を任せる「責任が肥大化したオブジェクト」がある。 特に初心者が、設計を考えずにいきなりプログラムを書いたり、システムを作ってしまう場合によく見られる。 この設計では、スパゲティコードになりやすく、一つのプログラムが千行を超えて保守しにくかったり、スケールアップや性能要件で壁にぶつかる時が多いだろう。 Webシステムは基本は、上記記事の「三角形」シーケンスに相当する。 メッセージを階段の図のように渡して、処理の結果を受け取るイメージ。 オブジェクト指向の権限移譲では、この設計手法がよく使われる。 MVC2モデルと呼ばれるように、Webシステムはオブジェクト指向と
Recruit Engineers Advent Calendar 2019 本記事は Recruit Engineers Advent Calendar 2019 6日目の記事です。 adventar.org 昨日の記事はPoohSunnyさんの、 poohsunny.hatenablog.com でした。 もくじ Recruit Engineers Advent Calendar 2019 もくじ Amazon SESとは Amazon SESでできること / できないこと できること できないこと ベストプラクティス&アンチパターン メールを送るとき 上限値・サンドボックス制限 送信方法 SendRawEmailの挙動 専用IPアドレス 送信ログ取得 メールを受け取るとき 受信設定 受信ルール / 受信ルールセットについて 受信ルール 受信ルールセット Eメール受信イベントのハンドリ
データ指向アプリケーションデザイン
監訳者まえがき はじめに 第I部データシステムの基礎 1章 信頼性、スケーラビリティ、メンテナンス性に優れたアプリケーション 1.1 データシステムに関する考察 1.2 信頼性 1.2.1 ハードウェアの障害 1.2.2 ソフトウェアのエラー 1.2.3 ヒューマンエラー 1.2.4 信頼性の重要度 1.3 スケーラビリティ 1.3.1 負荷の表現 1.3.2 パフォーマンスの表現 1.3.3 負荷への対処のアプローチ 1.4 メンテナンス性 1.4.1 運用性：運用担当者への配慮 1.4.2 単純さ：複雑さの管理 1.4.3 進化性：変更への配慮 まとめ 2章 データモデルとクエリ言語 2.1 リレーショナルモデルとドキュメントモデル 2.1.1 NoSQLの誕生 2.1.2 オブジェクトとリレーショナルのミスマッチ 2.1.3 多対一と多対多の関係 2.1.4 ドキュメントデータベース
ブレードランナー - Wikipedia
『ブレードランナー』（原題：Blade Runner）は、1982年のアメリカ合衆国のSF映画。監督はリドリー・スコット、出演はハリソン・フォード、ルトガー・ハウアー、ショーン・ヤングなど。フィリップ・K・ディックのSF小説『アンドロイドは電気羊の夢を見るか?』を原作としている[2]。 ストーリー 21世紀初頭、遺伝子工学技術の進歩により、タイレル社はロボットに代わるレプリカントと呼ばれる人造人間を発明した。彼らは優れた体力に、創造した科学者と同等の高い知性を持っていた。 環境破壊により人類の大半は宇宙の植民地（オフワールド）に移住し、レプリカントは宇宙開拓の前線で過酷な奴隷労働や戦闘に従事していた。しかし、彼らには製造から数年経つと感情が芽生え、主人たる人間に反旗を翻す事件が発生する。そのため、最新の「ネクサス6型」には、安全装置として4年の寿命年限が与えられたが、脱走し人間社会に紛れ込
VOYAGE GROUP エンジニアブログ : Socket.IO サーバーを Haskell で書いて Yo っぽいものを作ろう
2014年08月08日15:02 カテゴリ Socket.IO サーバーを Haskell で書いて Yo っぽいものを作ろう こんにちは。adingo で広告配信のお手伝いをしている井手上です。今回のエンジニアブログは Haskell の Socket.IO サーバーライブラリを使って、Yo みたいなアプリケーションを作成した話です。 前置き 突然ですが、皆さんはお仕事や個人的な開発ではどんなプログラミング言語・ミドルウェア・プラットフォームを利用していますか？ Web アプリケーションを作るなら Python や Ruby 等のいわゆる Lightweight Language、大量のリクエストを高速に、並列に処理したいのなら Erlang など、目的に応じた選択肢があると思います。色々な選択肢がある中、以前は最適だと思って選択したものが、年々新しい技術がが出てきているために今ならもっ
Winsock Programmer's FAQ
このページは、Winsock Programmer's FAQ の日本語訳です。この FAQ の原文はWarren Young 氏によるもので、Winsock Programmer's FAQのサイトで公開されているものです。このページで公開してい る日本語訳は、同氏の許可を得て、私(Keisuke MORI)が翻訳、公開して います。この FAQ のオリジナルの歴史や著者については、序文 の章を参照して下さい。 現時点では、まだ全部の章の翻訳は完了していません。未訳の章は 原文のままで残っていますのでご了承ください(実はこの翻訳は、かな り以前から着手していたのですが、どうも遅々として進まないので:-) まずはできたところから公開することにしました)。 なお、この日本語訳FAQは、常に最新であるという保証はできません ので、最新の情報については適宜オリジナルのFAQを参照してくださる よ
【翻訳】 On Uber’s Choice of Databases （データベースにおけるUberの選択について）
数日前、Uberのブログで「Why Uber Engineering Switched from Postgres to MySQL」というエントリが公開されました。 Why Uber Engineering Switched from Postgres to MySQL - Uber Engineering Blog https://eng.uber.com/mysql-migration/ それに対して、PostgreSQLコミュニティ界隈でもいろいろなブログエントリが公開されました。 Robert Haas: Uber's move away from PostgreSQL http://rhaas.blogspot.jp/2016/08/ubers-move-away-from-postgresql.html On Uber’s Choice of Databases http:/
ＯＯエンジニアの輪！ 第 40 回 関 将俊 さんの巻 今回のゲストは、関将俊さんです。関さんは Ruby の分散オブジェクトライブラリ dRuby やテンプレートエンジン ERB 等を開発しています。また eXtreme Programming を実践されている方としても有名です。 ■ 自己紹介--- 簡単に自己紹介をお願いします。最近されていることのお話をお願いできますか？ 昨年末から、インターナショナル・ジャーナル・オブ・パラレル・プログラミング(International Journal of Parallel Programming)という学会誌か論文誌かの記事をやってます。そこの編集の人から「20ページ書いて」っていう依頼が来て、日本語で書いて、みんなが英訳してくれてと、年末から今年の初めまでやってたんですけど。編集の人かなと思ってた人は、エール大で L で始まる Linda*
リモートデスクトップ を使う
リモートデスクトップを使ってみる。 Windows XP Professional の特徴的な機能の1つに「リモートデスクトップ」という物があります。 これはインターネット回線を通じて、手元の PC から遠隔地にある PC を操作できる機能です。 （意外と知らない人が多いようですがローカルドライブもマウント出来ます。接続時のオプションを確認） （また全画面の時に表示されるタブもつまんで横に移動させる事が出来ます。） リモート デスクトップ プロトコル (RDP) の解説 http://support.microsoft.com/kb/186607/ja デスクトップ ファイル RDP について理解する http://technet.microsoft.com/ja-jp/magazine/cc137987.aspx リモート デスクトップ接続の操作方法 http://technet.mic
この記事はComplete Guide to React Rendering Behaviorの翻訳記事になっています。 ご本人(Markさん)にも許可を頂いて翻訳しております。 こちらの記事がReactのレンダリングを理解する上で今までで一番体系的で一番分かりやすかったので、ぜひ紹介したく翻訳させて頂きました。 翻訳ツールにもたくさん助けてもらいながら行い、意訳が出来ていない部分が多々あるかと思いますので修正依頼を出して頂けると幸いです！ Twitterでも、フロントエンドに関する事や、アメリカでのエンジニア経験に関してツイートしているので、よかったらフォローお願いします。 Twitter: @hellokenta_ja 下記から本文です。 Complete Guide to React Rendering Behavior この記事は、Reactレンダリングがどのように振る舞うか、Co
メタ この記事はNode学園2018にて話した内容を記事として編纂 +その後の変化を加筆修正したものです。 スライドはこちら。 https://speakerdeck.com/kazuyaseki/seo-for-spa-cfb3706f-ae1d-4c6f-a83f-96dc2452f32b 追記 2019/5/8 遂に Google bot が扱うレンダリングエンジンが Chrome 最新版(現時点では 74)相当となりました！ https://webmasters.googleblog.com/2019/05/the-new-evergreen-googlebot.html ただタイムアウトなどのリスクは依然存在するので、信頼性を求めるならやはり Dynamic Rendering や SSR が選択肢になるのかなと言う気はしますが、そこまで要求が強くない場合にはあまり頑張らなくてよ
[翻訳] Elixirのプロセスアーキテクチャ または私は如何にして心配するのを止めてクラッシュを愛するようになったか - Qiita
John Bohnさんのブログ記事 Elixir Process Architecture or: How I Learned to Stop Worrying and Love to Crashの翻訳です。 Elixir(とそのベースになっているErlang)のプロセスは生成のためのコストが小さいため「下手にエラー処理するコードを書いてプロセスを維持するよりはさっさとクラッシュさせて、それに続く処理の中で対策して再起動したほうがよい」という思想があります。それを実際に適用してみたという話です。なお説明を簡単にするために多少端折ってるとのこと。 ところでこのタイトルは某古典的スラップスティックSF映画のアレですね… "クラッシュさせちまえ" それは私が聞かされ続けてきたことだ。正直言ってそのセリフの意味するところを理解するまで少々時間が必要だった。その考え方がピーンと来るにはProcess
![[翻訳] Elixirのプロセスアーキテクチャ または私は如何にして心配するのを止めてクラッシュを愛するようになったか - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8333871dc702d4679b8ca9e8a56159d7b275f1bd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwRWxpeGlyJUUzJTgxJUFFJUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgyJUJCJUUzJTgyJUI5JUUzJTgyJUEyJUUzJTgzJUJDJUUzJTgyJUFEJUUzJTgzJTg2JUUzJTgyJUFGJUUzJTgzJTgxJUUzJTgzJUEzJTIwJUUzJTgxJUJFJUUzJTgxJTlGJUUzJTgxJUFGJUU3JUE3JTgxJUUzJTgxJUFGJUU1JUE2JTgyJUU0JUJEJTk1JUUzJTgxJUFCJUUzJTgxJTk3JUUzJTgxJUE2JUU1JUJGJTgzJUU5JTg1JThEJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgxJUFFJUUzJTgyJTkyJUU2JUFEJUEyJUUzJTgyJTgxJUUzJTgxJUE2JUUzJTgyJUFGJUUzJTgzJUE5JUUzJTgzJTgzJUUzJTgyJUI3JUUzJTgzJUE1JUUzJTgyJTkyJUU2JTg0JTlCJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgyJTg4JUUzJTgxJTg2JUUzJTgxJUFCJUUyJTgwJUE2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz01NDcxMTRlNTI0NjI3N2VmNjk4NTVjYzZhYzM5ZDhhMQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBIaXJvZnVtaVRhbW9yaSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmFiZjZlMDgzMmY4MmIzNzc2NmE5YWIyNDYxOTg3MGU%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9366e78872a58718cb3b0c893458e22c)
この記事は、Merpay Tech Openness Month 2020 の17日目の記事です。 こんにちは。メルペイのSREの駒崎（@komattaka）です。 暑かったり台風だったりと大変な日々が続いていますが、ご自愛ください。 目次 対象読者 得られるもの 説明しないこと はじめに CronJobの仕組 そもそもCronJobとは何か パラメータの解説 CronJobが作成される流れ メルペイでは何に困っていた？ suspend: trueにしていたCronJobがfalseにした後もJobを生成しない (GKE特有) NodeがCluster Autoscalerによって停止されると、そのNodeで稼働していたJob(Pod)のEvictをCronJobが正常終了したと誤解しconcurrencyPolicy: Forbid(Replace)なのに並列稼働した ユースケース別に設
httpd.confの日本語訳 itb-TECH 【 IT Boost - Apache2 httpd.conf - 】
ここでは、Apache2のhttpd.confの日本語訳を掲載しておきます。 もし訳文に明らかな間違いがある場合は、info@itboost.co.jp までご一報ください。 # # Rob McCoolによって記述されたNCSAサーバの設定ファイルに準拠しています # # これはApacheの主要な設定ファイルです。サーバの動作を制御するディレク # ティブが書かれています。ディレクティブの詳細に関しては、以下のURLを # 参照してください。URL:http://httpd.apache.org/docs-2.0/ # # どう動作しているか理解せずに、これらの説明を読むのはやめてください。 # ここにはヒントや備忘録的な情報のみ記載されています。もし自信が無い # 場合は、オンラインドキュメントを参照してみてください。警告はすでに # しましたよ! # # 設定用のディレクティブは主
『iPhone』のお供に！ 無線LAN付きSDカード『FlashAir』の極めて間違った楽しみ方|ガジェット通信 GetNews
今回はmoyashiさんのブログ『ひとりぶろぐ』からご寄稿いただきました。 ※記事のすべての画像が表示されない場合は、https://getnews.jp/archives/177104をごらんください。 Eye-Fiのライバル、『FlashAir』を入手しました。 無線LAN付きSDカード、東芝の『FlashAir』が発売されたので買ってみました。『FlashAir』は、Eye-Fiと似た無線LAN機能付きのSDカードです。 既にEye-Fi『Pro X2』を持っているんですが、方向性が違うこともあって興味があったのです。『Amazon』のレビューが悪いですが、僕は全然そうは思いません。Eye-Fiを買うべき人が『FlashAir』を買ってしまっただけのように見受けられます。 『FlashAir』をカメラに入れると、いとも簡単にウェブブラウザを使って画像をダウンロードできて便利です。 『
はじめに 先日、TMCN さんから、なんと HoloLens をお貸し頂きました。 TMCN さんのご厚意で HoloLens をお借りすることができました！ありがとうございます。色々作るぞ〜 pic.twitter.com/sLgy0C2Ohm— 凹 (@hecomi) 2017年2月4日 HoloLens は Microsoft によって開発されているシースルー型の HMD で、PC やスマホを必要とせずスタンドアロンで動作し、これを被ることで実際の目に見える空間と 3D のオブジェクトやブラウザ等のウィンドウが同時に存在しているかのような世界を体験することが出来ます。トラッキング性能は異常と言っても過言ではないほどで、大抵の環境では顔をブンブン振り回しても、ピンされたオブジェクトはその場にブレることなく留まります。配置したオブジェクトは、その場から離れても保存されているので、家の各所
Winsock Programmer's FAQ
このページは、Winsock Programmer's FAQ の日本語訳です。この FAQ の原文はWarren Young 氏によるもので、Winsock Programmer's FAQのサイトで公開されているものです。このページで公開してい る日本語訳は、同氏の許可を得て、私(Keisuke MORI)が翻訳、公開して います。この FAQ のオリジナルの歴史や著者については、序文 の章を参照して下さい。 現時点では、まだ全部の章の翻訳は完了していません。未訳の章は 原文のままで残っていますのでご了承ください(実はこの翻訳は、かな り以前から着手していたのですが、どうも遅々として進まないので:-) まずはできたところから公開することにしました)。 なお、この日本語訳FAQは、常に最新であるという保証はできません ので、最新の情報については適宜オリジナルのFAQを参照してくださる よ
HTML5 の Web Worker やら GPU でハードウェア・アクセラレートされる IE9 のレンダリングなど、今年もブラウザの進化が激しくなりそうですネ。一方でフロント･エンド改善によるページ表示の高速化 Tips や Hack も百花繚乱、出尽くした感がありますが、やはり原理原則を知らないと 「どれが正しくて筋が良いか」 中々判断が効かないと思いませんか？ そこで最も基本的な 「ページの読み込みから表示まで、ブラウザって何をどうやってるの？」 を理解していきたいなと思っています。 一番の厳密かつ王道は、ブラウザ間の違いを極力少なくするように注意深く書かれている HTML5 の仕様書 を理解だと思いますが、イキナリではハードルが高いので、まずは周辺を漁っています。そんな中から、ちょっと古いですが、2004年5月の記事 「Testing Page Load Speed」 を今回、翻訳
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
SSHポートフォワード（トンネリング）を使って、遠隔地からLAN内のコンピュータにログインする - 2014-09-12 - ククログ
株式会社クリアコード > ククログ > SSHポートフォワード（トンネリング）を使って、遠隔地からLAN内のコンピュータにログインする こんにちは。クリアコードの結城です。 SSHを使うと、手元のコンピュータから別のコンピュータへネットワーク越しにログインして、bashやzshなどのコマンドラインシェルを使ってそのコンピュータをリモート操作できます。scpを使えば、ネットワーク越しにファイルをコピーすることもできます。 しかし、以下のコマンド列を見ると分かる通り、SSH経由で接続できるコンピュータは基本的には、手元で操作しているコンピュータから直接ホスト名またはIPアドレスで参照できるコンピュータに限られます。 % ssh www.example.com # 接続先をホスト名で指定 % scp 192.168.1.10:/var/log/apache2/access.log /tmp/ #
TCPソケット サーバータイプとクライアントタイプの両方のアプリケーションを作らないといけないなら、サーバータイプから作るべきだろう。 （クライアントタイプだけ先に作っても動かせないから。まぁサーバータイプだけ動かしても、待ってるだけであまり意味無いけど(苦笑)） でも仕組みはクライアントタイプの方が簡単。 TCPを使う場合は、通信の最初にコネクションの確立を行う必要がある。 サーバーでlisten・accept、クライアントでconnectが成功すればコネクションが確立したことになる。 どのポート番号を使うかについては、サーバー側はアプリケーションの作成者が決める必要がある。[/2007-06-16] クライアント側のポート番号は、ソケットライブラリがそのマシンで使っていない番号を自動的に割り振ってくれるので、気にしなくてよい。 IANAの基準では、1～1023は「よく知られたポート（w
Amazon速攻注文ソフト AmazingFree
アマゾン速攻注文フリーソフト、アメージングフリー(AmazingFree)の配布サイトです。Ver 1.79 (2008/08/29) ・追加：環境設定ウィンドウに1-Click設定確認ボタン を追加した。 ・改良：1-Click注文と全自動注文の処理を見直し、在庫確認から発注完了までの処理を高速化。 ・改良：サインインテストの処理を見直し、高速化。 ・改良：1-Click注文で、競っている時など在庫判定ではamazonが販売していたのに、注文処理に入ってからamazonが販売していた分が無くなり、マーケットプレイス業者が販売する事になった場合、注文を中断する様にして、理由をログ出力するようにした。 ・改良：全自動注文の失敗時にも、コンソールに失敗した原因を表示するようにした。 ・修正：1-Click注文時に年齢制限のある商品の場合、失敗終了していたバグを修正。
(これは Haskell Advent Calendar 2016 の7日目の記事です) 今年使ったり調べたりした Haskell ライブラリを広く紹介していく企画です。 あくまで今年使ったものなので新しいものばかりではないです。 また記事の性質上、紹介するものが偏っていてもご容赦ください。 Hackage にはすごい数のライブラリが登録されていて、 頼もしいことですが目が回りそうにもなってしまいます。 この記事が Haskell のライブラリを調べる上での指針になったら幸いです。 なおこの企画と方向性が似ているものとして State of the Haskell ecosystem ( 2016年2月版 ) があります(英語)。 これは Haskell を取り巻く環境を知る上で非常によいドキュメントです。 ただ各ライブラリについては名前を挙げるだけにとどめられています。 この記事ではもう
攻撃を「隠す」、攻撃から「隠れる」
攻撃を「隠す」、攻撃から「隠れる」 と称して発表します。すみだセキュリティ勉強会の主催のozuma5119です。 1 すみだセキュリティ勉強会を主催しています、ozuma5119と申します。 ふだんは、比較的固めの会社でセキュリティエンジニアをしています。ブログはこち ら。 http://d.hatena.ne.jp/ozuma/ 科学写真家というのは、「理科の教科書に載ってるような写真」を撮る人たちです。 こちらは副業ということで、小学生向けの教材の写真とか撮って、ときどき本に載っ たりします。 2 Agendaですが、まず、今回はポートスキャンとnmapに絞って話をします。 「隠す」と一口に言っても、ファイルの見えない領域に隠すとか、パケットやプロトコ ルのいろんな「隙間」に隠すとか、暗号化で機密情報を隠すとか深堀りすると色々あ るのですが……キリが無いので思い切り限定することにしち
AWS Lambda@Edge で画像をリアルタイムにリサイズ＆WebP形式へ変換する - クックパッド開発者ブログ
技術部の久須 (@hkusu_) です。クックパッドではモバイル基盤グループにて Android 版クックパッドアプリの開発・メンテナンスに携わっています。 普段の業務とは少し異なるのですが、画像リクエストに応じリアルタイムに画像を変換してレスポンスするという仕組みを AWS の Lambda@Edge を用いて実現してみたので、構築した環境の内容やコードを紹介したいと思います。画像変換の内容はコードの実装次第で大概のことは実現できそうですが、今回のコードの内容はスマホ向け WEB サイトやモバイルアプリ向けの画像配信を想定し、通信容量の削減および表示速度の向上を目的とした画像のリサイズ（主に縮小）と WebP 形式への変換です。 注意：実運用している段階ではないので参考にされる場合はご注意ください。ちなみにクックパッドには本番環境とは切り離された調査・検証用の AWS 環境があり、今回の
メッセージの耐久性と持続性 分散型システムのノードは演算し、データを保存し、互いにメッセージを送信し合います。メッセージ送信の重要な指標は、これらのメッセージがどれだけ確実に届くかです。基幹システムでは、消失メッセージがゼロでなくてはならない場合がしばしばあります。 分散型システムにおける通信は、RabbitMQ、Kafkaなどの分散型メッセージングサービスを用いることがほとんどです。こういったメッセージングサービスはメッセージ配信において様々なレベルの信頼性をサポートしています（または、サポートするように設定を変えられます）。 メッセージの永続性とは、メッセージを処理しているノードで何らかの問題が起こった時、その問題の解決後に処理されるよう、メッセージはそこに残ることを意味します。メッセージの持続性は多くの場合、 メッセージキュー レベルで用いられます。持続性のあるメッセージキューを実装
回復性の高いMicroservicesアーキテクチャを支える技術 - Mercari Engineering Blog
メルカリバックエンドエンジニアの@yagi5です。 Mercari Advent Calendar 2018の23日目を担当します。 モノリシックなシステムは、障害が発生するとシステムが全停止してしまうことが一般的です。 しかし、Microservicesアーキテクチャでは様々なテクニックを用いて、サービス全体が停止するような障害に対処することができます。 この記事では、Microservicesにおけるシステムの回復性を高めるための技術について書いていきます。 回復性とは、障害が起こらないことを意味しません。 高い回復性を備えたシステムは、障害が発生するということを前提に、システム全体のダウンを避け、データのロスが回避されるように設計されています。 Microservicesの世界では、システムは自律的に動作する複数のサブシステムによって構成されます。 ひとつのサービスに障害が発生しても
Kubernetes時代のマイクロサービス
SOAからマイクロサービスの世界へと移行する過程においては、サービス間通信に関しても、“スマートエンドポイントとダムパイプ”の概念という、もうひとつの抜本的な変化がありました。マイクロサービスの世界では、サービスは集中型のスマートなルーティング層の存在に頼るのではなく、プラットフォームレベルで機能を持つスマートエンドポイントに依存しています。これを実現したのは、従来のESBのすべての機能を各マイクロサービスに組み込んだことと、ビジネスロジック的要素を持たない軽量なプロトコルに移行したことです。 この方法は、(Hystrixなどのライブラリを使用した)信頼性の低いネットワーク層の上にサービス間通信を実装する場合には、現在でも一般的ではありますが 、Kubernetes時代である現在では、サービスメッシュ技術に取って代わられようとしています。興味深いのは、サービスメッシュが従来のESBよりもは
全自動Zabbix完全版 - Qiita
前書き 複数の方が「全自動Zabbix」を提案していますが 私の「全自動Zabbix」はZabbixの基本機能を組み合わせ、ノンコーディングで実装することをテーマとしています。 これは、開発環境や外部要因に依存せずZabbix単体で実現することを目指すためです。 序文 「Zabbixは設定が大変」を言われることがありますが、 そんな方は是非私が3年前からご提案している 全自動Zabbixをお試し下さい。 全自動Zabbix AutoScalingも怖くない、Zabbix自動登録 全自動Zabbix2.2&2.4 Zabbixの自動化というと、 Ansible ZabbixモジュールでZabbix設定を自動化や ZabbixAPIを用いた方法が紹介されています。 DevOpsな環境においては、こういった方法は非常に有効です。 しかしながら、必ずしもそういった環境ばかりではありません。 またク
人工知能のビジネス活用が急速に進む昨今、機械学習エンジニアやデータサイエンティストと呼ばれる新しい職種が注目されています。経済産業省が2016年に発表した資料（※）によると、2020年にはAI、IoT、ビッグデータなどに携わる先端IT人材は約4.8万人不足するといわれており、データサイエンスに関する知識・技能を有する人材の価値は今後益々高まっていくと考えられます。そのような背景からエンジニアを含む多くの方のキャリアアップにもデータサイエンスを学ぶということは重要なテーマとなっていくことでしょう。 そこで、今回は、前回8月にQiitaZineで公開した記事でも多くの方から反響があったUdemyのヘビーユーザーで、自身もデータサイエンスを活用しながらエンジニアとして働く黒澤さんにデータサイエンスに関するおススメの学び方やUdemyコースを教えてもらいました。 ※「 IT人材の需給に関する推計結
Ubuntuは、標準のブートローダーとしてGRUBを採用しています。ほとんどの利用者は、インストール時に自動設定されるGRUBをそのまま利用し続けていることでしょう。今回は初心者向けに、このGRUBがどう動いているのか、そしてどのように設定可能なのかを紹介します。 図1 Ubuntuインストール時の無骨なGRUB セキュアブート時代のGRUB GNU GRUB（GRand Unified Bootloader）は、言わずとしれたLinuxをはじめとする各種OSを起動するための「ブートローダー」です。一般的なコンピューターは電源が入ると、CPUを含む最低限のデバイスのリセットが解除され、ROM上にある小さなプログラムが実行されることによりRAM上に大きなプログラムがロードされ、さらにいくつかのデバイスのリセットが解除されて最終的に必要なプログラムが実行されるという、「ブートストラップ」な方
冪等 - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "冪等" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2015年10月） 数学において、冪等性（べきとうせい、英: idempotence、「巾等性」とも書くが読み方は同じ）は、大雑把に言って、ある操作を1回行っても複数回行っても結果が同じであることをいう概念である。まれに等冪（とうべき）とも。抽象代数学、特に射影（projector）や閉包（closure）演算子に見られる特徴である。"idempotence" という単語はラテン語の "idem"（同じ=same）と"potere"（冪=power）から来ている。 主に以下の2つの定義
AWS Batch とは何か - Qiita
AWS re:Invent 2016 で発表された AWS Batch。 語感から、誤解されるサービス No.1 な気がします。 定時バッチなどとは何がどう違うのかをメモ。 機能概要 以下公式資料とドキュメント、実際さわってみた所感を合わせて。 AWS Batch – 簡単に使えて効率的なバッチコンピューティング機能 – AWS AWS Black Belt Online Seminar「AWS Batch」の資料およびQA公開 結局何なのか 科学技術計算・ハイパフォーマンスコンピューティング用途で真価を発揮する、 大規模なスケール、ジョブの依存定義 が可能なマネージド 並列分散 処理基盤。 主な機能、ポイント クラスタ管理、ジョブキュー、ジョブスケジューラを AWS にお任せできる 処理すべきジョブの数に応じ、適切に 自動伸縮1 するクラスタ ジョブに 依存関係 が定義できる（B は A
SQLiteとは Python2.5には、標準でSQLiteという軽量データベースが含まれている。 SQLiteは、JAVAでいうところのHSQLDBやApache Derbyのような感じのようである。 SQLLiteはデーモンやサービスではなく、スタンドアロンでのみ動作する。（DerbyやHSQLDBは組み込みモードとサーバーモードの両方をもつが。） また、データベースのストアもディスク上の単一ファイルになる。 Windowsでいうところの、ACCESS95〜2000で使われていた、JETデータベースエンジンのMDBファイルのような感じであろうか。 要するに単なるライブラリである。 ライセンスは、なんとパブリックドメイン（著作権放棄）である。 そのため、Pythonに限らず、C/C++、Perl、PHPなどに広く組み込まれている。 Python2.4まではアドオンとして別途インストールす
【React】useSWRはAPIからデータ取得をする快適なReact Hooksだと伝えたい - パンダのプログラミングブログ
Vercel製のuseSWRはReactの非同期データ取得をラクにする SWRとは、Next.jsを作成しているVercel製のライブラリです。**SWRはuseSWRというReact Hooksを提供し、APIを通じたデータの取得をラクに記述する手助けをしてくれます。**このライブラリはなんとGitHubスター数を10,700も獲得しています。 SWRはライブラリ名で、stale-while-revalidateというRFC 5861で策定されたキャッシュ戦略の略称です。このSWRがデータ取得の扱いをラクにしてくれて最高なのです。 React開発者が嬉しいuseSWRの書き心地 useSWRは外部APIからのデータ取得、ローディング状態、エラーが発生した時をシンプルに記述できます。これがあらゆるReact開発者にとって（というか、ReactでAPIにリクエストを頻繁に送るアプリケーション
NicoCache_nl
べっ、別にアンタのためにキャッシュしてるんじゃないんだからね！！ [2008/02/09] NicoCache_nl rc1 is now available!! ScreenShots: -1-, -2-, -3-, -4-, -5-. 使い方とか機能に関する説明の更新は間に合わなかったのでまたこんど！ [2008/02/16] 雑誌掲載・Webでの再配布などについての文章を追加いたしました。 [2008/02/21] 聖地巡礼しててふと思いついて、こんなのをつくった。少し反省している。 [2008/04/21] 関連タグ検索をスタート。nlの拡張からでも使えます。 NicoCache_nlって？ ニコニコ動画(RC2)で見た動画をキャッシュするツールNicoCacheの改造版です。 オミトロンと2つ使用するのはなんかだるいので勝手に改造。 増えた機能は、おおよそ次の感じ。 ページへ
AWS Lambda + Javaは、なぜ1回目と3回目の処理が重いのか？ - 谷本 心 in せろ部屋
以前のエントリーで、AWS LambdaでJavaを使ってDynamoDBを呼び出した際に、初回起動にとても時間が掛かったという話を書きました。 http://d.hatena.ne.jp/cero-t/20160101/1451665326 今回は、この辺りの原因をもう少し追求してみます。 なぜ1回目と3回目のアクセスが遅いのか？ AWS Lambdaの中身はよく知りませんが、おそらく、アップロードしたモジュールをTomcatみたいなコンテナとして起動させて、外部からコールしているんだろうと予想しました。それであれば、2回目以降のアクセスが早くなることは理解ができます。 ただ、1回目と3回目だけが極端に遅くて、2回目、4回目以降は早くなるというところは腑に落ちません。 その辺りを調べるべく、staticなカウンタを使って、値がどんな風に変化するかを調べてみました。 こんなソースコードです
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
（前半）Kubernetesでのよくある失敗１０選 - ITnews
Collection & Copy - Deferred、遅延リソースのインターフェース、パターン
同期・非同期処理に関するアーキテクチャ - プログラマの思索
Amazon SES ベストプラクティス&アンチパターン - 後ろを向いて後退します
OOエンジニアの輪！ ～ 第 40 回 関 将俊 さんの巻 ～ | オブジェクトの広場
Reactのレンダリングに関する完全ガイド - Qiita
State of SEO for SPA 2019 - Qiita
Kubernetes CronJobと仲良くなりたい | メルカリエンジニアリング
HoloLens のアプリ開発はじめました - 凹みTips
ブラウザ動作の理解－レンダリングツリーの構築と描画のタイミング | ゆっくりと…
RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
ソケット通信メモ(Hishidama's TCP/UDP Socket Memo)
Haskellライブラリ所感2016 - syocy’s diary
大規模な決済システムを構築する際に学んだ分散型アーキテクチャの考え方 – 後編 | POSTD
Udemyで400コース学んだ黒澤さんがおススメするデータサイエンスコース10選＋α - Qiita Zine
第743回 Ubuntuの標準ブートローダーであるGRUBを改めて見直す | gihyo.jp
Python2.5でSQLite3を使ってみる。 - seraphyの日記