設定管理ツール「Chef」を開発する米Chefは4月2日、Chefソフトウェアを完全にオープンソースとして公開することを発表した。ライセンスはApache License 2.0で、商標ポリシーが守られている限りソースコードの使用、配布、収益化に制限を設けないという。 Chefはこれまでコア部分のみがオープンソースとして提供されていたが、今回プロダクトコードのすべてをオープンソースとする。これによりコミュニティの目標とChefの目標を連携させることができ、より良いソフトウェアの構築につながると期待を寄せている。 ライセンスは、Chef Infra、Chef InSpec、Chef Habitatと一貫性のあるApache License 2を採用、商標ポリシーが守られている限り、ソースコードの使用、配布、収益化に制限を設けないとしている。今後、Chefチームが生成するソフトウェアはすべてオ

はじめに 「Kubernetes on AWS」な環境においてIAMと連係したアクセス制御を行う仕組みとして、「kube2iam」や「kiam」などのOSSが開発されています。 それらのうちkube2iamについて、Kops等を使用して構築したKubernetesクラスタに対するkube2iamの導入手順は、既にそれなりの数の情報を見ることができます。 しかし、Amazon EKS環境については具体的な情報を見かけませんでしたので、試してみた過程をまとめました。 (既に情報が出ていればすみません) 参考にしたドキュメント・記事 kube2iam 公式ドキュメント https://github.com/jtblin/kube2iam AWS Workshop for Kubernetes / 402 - Authentication and Authorization with Kubern

RHEL 7 の High Availabilityアドオンを使った高可用性クラスタについて簡単に紹介するスライド

こんにちは　園部です。 CloudWatch で、新しい機能がリリースされましたので、早速やってみたいと思います！ Amazon CloudWatch Launches Search Expressions Search Expressions とは？ You can now use search expressions to define Amazon CloudWatch dashboards. CloudWatch ダッシュボードで、グラフを指定する際に利用できる検索式です。 This enables you to create dashboards that update automatically as new resources are created that match the search query, providing up-to-the-minute visibil

本書は、コンテナを使った分散システムのデザインパターンについて解説する書籍です。コンテナとコンテナオーケストレーションを使うことで、分散システムの設計をパターン化でき、スケーラブルで信頼性の高いサービスをすばやく構築できます。 はじめにシングルノードパターンとして、分散システム内の個別ノード上に存在する再利用可能なパターンやコンポーネントについて説明し、次にWebアプリケーションのように継続的にサービスを提供するシステムを対象にしたマルチノードの分散パターンを紹介します。さらにイベント駆動処理、ワークフローの統合を含む大規模なバッチデータ処理の分散システムパターンを解説します。 可用性の高い分散システムの開発が効率的に行えるパターンを多数紹介する本書は、開発及びインフラエンジニア必携の一冊です。 まえがき 1章　はじめに 1.1　システム開発の歴史概観 1.2　ソフトウェア開発におけるパタ

はじめに こんにちは、mercari.go オーガナイザーの@morikuniです。 3月26日にメルカリ主催のGo勉強会 mercari.go #7 を開催しました。 この記事では、当日の各発表を簡単に紹介しようと思います。 Aggressive API caching with tag-based invalidation 1つめのセッションは @akkie による「Aggressive API caching with tag-based invalidation」です。 タグベースのキャッシュの無効化処理について話しました。 Goはにんげんよりもマルチタスクがとくいなのか？ 2つめのセッションは @codechaitu による「Goはにんげんよりもマルチタスクがとくいなのか？」です。 GoroutineやWaitGroupの使い方を紹介しました。 Data Abstraction

こんにちは。 @amsy810 です。 下記のブログが出てから『Kubernetes は運用しきれない』と耳にすることが多くなってきたので、雰囲気で曲解されて Kubernetes is difficult とならないよう、マネージドでシンプルに使うだけなら難しくないよと伝えるために書きました。 Kubernetes がいいよと伝えるためではありません。 yakst.com TL;DR 上記のブログについては概ね同意見です。 辛いのは自前で Kubernetes クラスタの管理自体を行う場合です。 GKE などのマネージド Kubernetes サービスを利用するケースでは、Kubernetes の管理は殆ど必要がなくなります。 例えば GKE の場合には、自動クラスタアップグレード・自動クラスタスケーリングなどが用意されています。他にも自動ノードプロビジョニング機能（CPU・メモリ・GP

I was trying to make my predictions for the new Formula One season by studying the aerodynamics of the cars, their cornering speeds, their ability to run with different amounts of fuel. Then it hit me: I have no idea what I'm doing. So, I'm going to make my predictions the only way I know how: By comparing the performance of their websites. That'll work right? If anything, it'll be interesting to

Liz interjects with a TL;DR: you can buy our official (and very lovely) keyboard and mouse from today from all good Raspberry Pi retailers. We’re very proud of them. Get ’em while they’re hot! Alex interjects with her own TL;DR: the keyboard is currently available in six layouts – English (UK), English (US), Spanish, French, German, and Italian – and we plan on producing more soon. Also, this vide

Direct Connect ゲートウェイにより、AWS Direct Connect ロケーションにある AWS Direct Connect を使用して、AWS 中国 (北京) リージョンと AWS 中国 (寧夏) リージョンを除く AWS の商用リージョンのオンプレミスネットワークと Amazon Virtual Private Cloud (Amazon VPC) との間で接続できるようになります。 マルチアカウントサポートが利用可能になる前は、同じ AWS アカウントでは、Amazon VPC を Direct Connect ゲートウェイにのみ関連付けることができます。Direct Connect ゲートウェイを使用するには、AWS アカウント 1 つにつき 1 つの Direct Connect ゲートウェイを作成し、管理する必要がありました。Direct Connect ゲ

Amazon Elastic Container Service for Kubernetes (EKS) を使用して、Windows Server ワークロードを開発者プレビューの一部として実行できるようになりました。このプレビューでは、最新の Kubernetes の機能性を活用できるほか、Amazon EKS が管理するコンテナ化された Windows アプリケーションのパフォーマンスと安定性の検証も開始できます。 多くの開発チームが、Windows 向けおよび Linux 向けの設計が混在するサービス群をサポートする必要に迫られています。Amazon EKS では、Kubernetes を使用して、両方の環境でコンテナ化されたコードを実行できるようになりました。これにより、システムロギング、パフォーマンスモニタリング、コードデプロイパイプラインの整合性を改善できます。Kuberne

Amazon Aurora with PostgreSQL Compatibility に論理レプリケーションのサポートが追加されました。論理レプリケーションを使用すると、ネイティブな PostgreSQL レプリケーションスロット、あるいは AWS Database Migration Service (DMS) などのデータレプリケーションツールを使用して、Aurora PostgreSQL データベースからほかのデータベースへデータの変更をレプリケーションできます。 論理レプリケーションは、PostgreSQL 10.6 と互換性のある Aurora PostgreSQL のバージョン 2.2.0 および 2.2.1 でサポートされます。 Aurora PostgreSQL で論理レプリケーションを有効化するには、インスタンス上で論理レプリケーションスロットを設定してください。これら

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

再起動がともなうAmazon EC2のスケジュールイベントの開始時間を変更出来る機能がリリースされました。 こんにちは　園部です。 EC2 を利用していると AWSからイベント通知が届き、指定された期間でメンテナンスが実行されたことはないでしょうか？ このイベントに対応されている担当者の皆様に 少し嬉しいサービスがリリースされましたので、共有させていただきます。 Amazon EC2 でスケジュールされたイベントの時間を選択できる新機能のご紹介 注：実際のスケジュールイベントを都合よく準備出来なかったため、机上での紹介となります。 前置き 冒頭にも書きましたが AWS では、セキュリティパッチ適用などの理由によりホストやネットワーク機器へのメンテナンスが実施されます。 （EC2 のみではなく RDS, ElastiCache, DirectConnect なども同様に実施されています） 今

Cloudflareが以前より提供していたDNSサービス「1.1.1.1」のスマートフォンアプリ版に、安全性と高速さを高めるVPNサービス「Warp」を追加する予定だと発表しました。 Introducing Warp: Fixing Mobile Internet Performance and Security https://blog.cloudflare.com/1111-warp-better-vpn/ Cloudflare is adding a free VPN to its 1.1.1.1 app - The Verge https://www.theverge.com/2019/4/1/18290615/cloudflare-1-1-1-1-vpn-dns-resolver-security-privacy DNSサービス「1.1.1.1」に搭載されるVPNサービス「War

Amazon Web Services ブログ Java と Amazon SageMaker Random Cut Forest アルゴリズムを使ってサーバーレスの異常検知ツールを構築する ビジネスオーナーの方達が、共通して直面する問題の一つが、ビジネス上で普段と違う出来事に遭遇する、というものです。例えば、ユーザーが日ごろとは違う行動を取ったり、日々のトラフィックパターンに変化が起きるなどは、それらの問題の一部にすぎません。データやメトリクスが常に増加しつづける中、機械学習の力を借りて異常検知をすることは、積極的な問題特定のための、非常に有益な手法と言えます。 今回のブログでは、Amazon SageMaker と Java を使って、サーバーレスの異常検知ツールを作成する方法を解説していきます。Amazon SageMaker を使えば、機械学習モデルのトレーニングとホスティングを簡

最近ちょこちょこ相談されることがあって、直接のスキルではないけど、こういうのもスキルだよなぁって思ったので、思いついた順に書いてみる。5個になった。 ## 1. 問題を切り分ける力 「これがなぜか動かない」って相談されたときって、いくつかの要素が絡んでることが多い。 なので「ここは明らかに問題ないでしょう」という一番土台のところからチェックを始める。そうすると「え？そこは問題ないと思いますよ？」って言われるので「うん、それを『問題ないと思う』じゃなくて『問題ない』って断言できるようにしようと思って」みたいな会話をよくする。 可能性をひとつずつつぶしていくと「ここだなぁ」って場所が見つかって、そしたら、もうあとはそんなに難しくない。ひとつずつ確認していくのって遠回りに見えるけど、結局その方が確実ではやいと思う。 ## 2. 想像と事実を切り分ける力 ↑と絡んで、想像や思い込みなのに、「ここは

注目のクラウドサービスアプリケーションを迅速に構築、デプロイ、拡張できます。あとの管理はお任せください。

Amazon Web Services ブログ 改元はどのように RDS で実行されている MySQL 互換エンジンに影響を与えるか RDSもしあなたのソフトウェアやシステムが日本のお客様をサポートしており、さらにそのソフトウェアやシステムが元号を表示する必要がある場合、新しい元号を表示するように改修の必要があるかもしれません。新しい元号は、現在の天皇陛下が退位される 2019 年 5 月 1 日から有効になります。 このブログ記事では、かかる元号の変更(改元)にかかわる背景について説明し、その後、どのように改元の影響を調べるかを、私が RDS で実行される MySQL 互換のデータベースエンジンについて調査した際の方法を元に、詳しく解説します。またその調査の結果、RDS で実行される MySQL 互換のデータベースエンジンは改元の影響を受けない、という結果を得たことを報告します。 改元に

キャッシュレス化を進めている日本ではクレジットカード、Suica や Edy などの電子マネーにQRコード決済が加わり、レジでの決済手段の多様化が進んでいます。一方、中国ではQRコードを店の入口から活用し、顧客のスマートフォンを用いた購買体験の向上が図られています。 店に入る前からQRコードが渡されるここは深圳の「緑茶餐庁」というレストラン。美味しい浙江料理が評判で入店待ちの客が多くいます。 筆者が到着すると整理券を渡されました。 この整理券にはQRコードがついていて、これを WeChat で読み取ると「二維火点餐」という Web サイトに接続されます。 QRコードは顧客ごとに異なり、整理券番号と紐付けられています。そのため、QRコードを読み取るだけで待ち行列の進捗がわかります。順番が近づくまで店を離れていても大丈夫です。 事前注文とチェックイン先ほどのQRコードからは待ち行列の進捗だけで

Over the years I’ve worked on many games, some big, some small. I’ve found that the smaller the game, the more fun I seem to have making it. So I set out to make the smallest game I possibly could, and it was a blast. Ladies and gentlemen, I give you the smallest game I’ve ever released. I call it “Tiny Ski!”, and it’s 960 bytes of pure magic. Please watch this short demonstration and continue rea

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Read objects from loose store Read objects from pack store Read packfile indexes Read delta'd objects Fix interface so we don't need to run open for each read() BUG: certain OFS deltas are misapplied. Isolate the error case Fix it Load refs off of disk Parse git signatures ("Identity"'s) Create iterator for walking commit graph Create iterator for walking trees Materialize trees to disk (post giti

Rails Developers Meetup 2018: Day 1 (https://techplay.jp/event/639872) の発表資料です。 See also Rails Developers Meetup 2018 で「MySQL/InnoDB の裏側」を発表しました - あらびき日記 https://abicky.net/2018/03/25/141353/

同一のスペックだけど､t3.largeの方が僅かに安いですね｡なのでt3.largeを使おうと思った方!! ちょっと待ってください!! 以下の条件全てに当てはまるなら､最初からT系インスタンスは使わないでください! 初めてAWSを使う 本番環境である 一般公開するシステムである(社内向けシステムではない) また､いずれかに当てはまりT系インスタンスを検討されている方には必ずこのブログを読んで頂きたいです｡ このブログはAWS熟練者が本番環境や一般公開するシステムでT系インスタンスを使うことを否定するものではありません､あくまでもAWS初心者に向けた内容です｡ バースト可能パフォーマンスの選定 まずT系インスタンスはバースト可能パフォーマンスインスタンスと呼ばれます｡ AWSのドキュメントを確認して見ましょう｡ バースト可能パフォーマンスインスタンス T3および T2 インスタンスを含むバー

Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～PythonKaggle 事業会社でデータサイエンティストをしているu++です。普段ははてなブログ1で、Kaggleや自然言語処理などデータ分析に関する記事を定期的に書いています。 Kaggleでは2019年に「PetFinder.my Adoption Prediction」2というコンペで優勝（チーム）し、「Santander Value Prediction Challenge」3というコンペで銀メダルを獲得（個人）しました。「Kaggle Master」と呼ばれる称号4を得ており、Kaggle内ランクは、約16万人中最高229位です5。 本記事では「Kaggleに登録したら次にやること」と題して、Kaggleに入門したい方に向けて次のようなコンテンツを掲載します。

わたしはOSSとして公開されているGitHubのリポジトリに貢献することがあるのですがいつも困っていることがあります。私がPRをオープンするとめっちゃコメントがついて、それを修正するのにすごく時間がかかることです。そういえば私の元同僚のピーターは生まれて初めて新しい言語で書いたPRですら一発でマージされていて驚いた覚えがあります。どうやったらプルリクエストが最速でマージされるのか？インターネットを調べても情報がなかったので、自分で調べてみることにしました。ちなみにこのポストは、私自身が書いたHow can you get your PR merged less than 10 comments?の日本語版の記事です。 プルリクエストが最速でマージされるための７つの技は次の通り ガイドラインに従う 静的解析ツールを使う リポジトリのコードスタイルをそっくりまねる プルリクエストを小さくする

2019/03/30 PHPerKaigi 2019

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

tl;dr 先頭 8000 バイト以内に NUL が有ったらバイナリファイル。 Gitの実装 Gitの内蔵diffは FIRST_FEW_BYTES だけ検索するようになっている。 https://github.com/git/git/blob/6e0cc6776106079ed4efa0cc9abace4107657abf/xdiff-interface.c#L187 #define FIRST_FEW_BYTES 8000 int buffer_is_binary(const char *ptr, unsigned long size) { if (FIRST_FEW_BYTES < size) size = FIRST_FEW_BYTES; return !!memchr(ptr, 0, size); }

Amazon Web Services ブログ AWS App Mesh – クラウドアプリケーション向けのアプリケーションレベルネットワーキング AWS App Mesh は、HTTP および TCP サービスの実行を広範囲で支援します。これにより、トラフィックのルーティングと監視に一貫性のある方法が提供され、問題の内容を把握し、障害やコード変更の後にトラフィックをリルートすることが可能になります。App Mesh は、オープンソースの Envoy プロキシを使用します。AWS のパートナーやオープンソースコミュニティが提供する多くのツールと連携できます。 このサービスは、AWS Fargate、Amazon EC2、Amazon ECS、Amazon Elastic Container Service for Kubernetes、 Kubernetes などの上で実行が可能です。各サ

Amazon Web Services ブログ 新しい AMD EPYC 搭載の Amazon EC2 M5ad インスタンスと R5ad インスタンス 昨年、皆さんに新しい低コストの AMD 搭載 M5a および R5a EC2 インスタンスについてお伝えしました。AWS Nitro System 上に構築されたこれらのインスタンスは、2.5 GHz で動作するカスタム AMD EPYC プロセッサを備えています。これらは、同等の EC2 M5 および R5 インスタンスよりも価格が 10% 低く、コストとパフォーマンスに基づいてインスタンスの組み合わせのバランスを取るための新しい機会を提供します。 本日、AWS は M5ad と R5ad の各インスタンスを追加します。これらはどちらもカスタム AMD EPYC 7000 シリーズプロセッサを搭載しており、AWS Nitro Syste

Amazon Web Services ブログ 新しい Amazon S3 ストレージクラス – Glacier Deep Archive AWS のお客様の多くは、大量 (大抵の場合ペタバイト以上) の重要データを収集して保存しますが、そのデータにアクセスすることはほとんどありません。raw データを収集してからすぐに処理し、その後万が一さらに処理または分析する必要が生じたときのために数年または数十年にわたって保存しておく場合もあれば、データをコンプライアンスまたは監査目的のために保持する場合もあります。このパターンに当てはまる業界とユースケースには以下のようなものがあります。 金融 – 取引アーカイブ、活動 & 監査ログ、および通信ログ。 ヘルスケア/ライフサイエンス – 電子医療カルテ、医療画像 (レントゲン、MRI、または CT)、遺伝子配列、製剤開発の記録。 メディア & エンタ

Amazon Web Services ブログ 新機能 – AWS Application Load Balancer 向けの高度なリクエストルーティング AWS Application Load Balancer は、2016 年の夏以来活躍しています。 これらは、コンテンツベースのルーティングをサポートし、サーバーレスおよびコンテナベースのアプリケーションとも相性がよく、スケーラビリティがきわめて高いロードバランサーです。AWS のお客様の多くが既存のホストおよびパスベースのルーティングを使用して、HTTP や HTTPS アプリケーションを動作させています。同時に、ポート転送 (コンテナベースのアプリケーションには最適)、ヘルスチェック、サービスディスカバリー、リダイレクト、固定レスポンス、組み込み認証といったさまざまな ALB 機能も活用しています。 高度なリクエストルーティング

2019.03.29 Cloud Native Meetup Tokyo #7

A health check playbook for your Postgres database Written by Craig Kerstiens March 29, 2019 I talk with a lot of folks that set their database up, start working with it, and then are surprised by issues that suddenly crop up out of nowhere. The reality is, so many don't want to have to be a DBA, instead you would rather build features and just have the database work. But your is that a database i

タダです。 機械学習やデータ分析の勉強の過程で Python を使ってデータの可視化をやることが増えました。これまでは、「Matplotlib」のみを使っていましたが、別の手法として今回「Dash」というフレームワークを使ってみます。 plot.ly Dash とは 「Dash」とは、Web アプリケーション 用 Python フレームワークです。Flask 、Plotly.js 、および React.js 上に書かれた「Dash」は、Web ブラウザのデータ可視化ができます。 plot.ly github.com データ可視化の例 サイトにデータ可視化の例が載っていて、様々なデータのビジュアライズができることがわかります。 dash.plot.ly セットアップ方法 「Dash」のセットアップは簡単です。以下の2つのコマンドを実行すれば終わりです。 $ pip install dash=

WebAssemblyをWebブラウザ以外の実行環境へ。システムインターフェイスへのアクセスを可能にする「WASI」の策定開始。Mozillaが呼びかけNode.jsらが賛同 Mozillaは、WebAssemblyにファイルやネットワーク、メモリなどのシステムリソースへ安全にアクセス可能にするAPIの標準仕様「WASI」（WebAssembly System Interface：動画では「ワズィ」と発音しているように聞こえます）の策定を開始したと発表しました。 WebAssemblyはもともと、Webブラウザ上でネイティブコード並の実行速度でアプリケーションを実行することを目的に策定されたバイナリフォーマットです。しかしFastlyの「Lucet」やCloudflareの「Cloudflare Workers」のように、WebAssemblyをポータブルなバイナリフォーマットとして、We

Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon FSx for Windows File Server/Lustre 資料及び QA 公開 先日 (2019/3/19) 開催しました AWS Black Belt Online Seminar「Amazon FSx for Windows File Server/Lustre」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 Amazon FSx for Lustre 20190319 AWS Black Belt Online Seminar Amazon FSx for Lustre Amazon FSx for Windows File Server 20190319 AWS Black Belt Online S

Linux Daily Topics 2019年3月29日ファームウェア提供のスタンダードに! Linux Foundationの新プロジェクト「Linux Vendor Firmware Service」がスタート The Linux Foundationは3月26日（米国時間⁠）⁠、同ファウンデーション傘下の新しいプロジェクトとして「Linux Vendor Firmware Service（LVFS⁠）⁠」がスタートしたことを発表した。 Linux Vendor Firmware Service LVFS Project Announcement - The Linux Foundation LVFSはRed Hatの開発者が中心となって進めてきた活動で、各ハードウェアベンダが提供するファームウェアやBIOSを、再配布可能な形式（.cab）でサイト上で集約し、ユーザや開発者は「fwu