HAProxy vs nginx: Why you should NEVER use nginx for load balancing! Load balancers are the point of entrance to the datacenter. They are on the critical path to access anything and everything. That give them some interesting characteristics. First, they are the most important thing to monitor in an infrastructure. Second, they are in a unique position to give insights not only about themselves bu

米Intelは9月20日、コンテナランタイム環境「Intel Clear Containers 3.0」を公開した。Go言語で書き直すなどアーキテクチャレベルでの変更が行われている。 Clear ContainersはIntelの仮想化技術「Intel Virtualization Technology（Intel VT）」をベースとするコンテナランタイム環境。ハイパーバイザ、最適化が行われたカーネルやsystemdなどを提供する。 Clear Container 3.0では、ハードウェアで仮想化されたコンテナランタイムを構築するGoライブラリ「virtcontainers」を活用する構造となった。これまでC言語で実装されていたコードをリファクタリングし、Go言語に移植している。ランタイム実装には、Open Container Initiative（OCI）と互換性がある「cc-runti

Intro 特別なドメインとして予約され、特定の用途で使用可能なドメインとして、 .example .localhost .test などがある。 localhost の Draft や、 gTLD である .dev が Chrome で Preload HSTS になったなどの動きを踏まえ、これらの意味や用途を解説する。 ドメインを利用する上での注意 ドメインは、レジストラなどを通じて取得するため、インターネット上では好き勝手に取得することはできない。 しかし、自分で設定可能な DNS や hosts ファイルなどを使えば、任意のドメインを任意のアドレスに解決させることができる。 例えば、自分が適当にリクエストのテストを行うためのドメインを hosts ファイルに設定し、ループバックアドレスに解決して流していたとする。 このドメインがたまたま実在するものだった場合、そのテストを他のユーザ

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。メディアカンパニープラットフォーム開発本部サーチテクノロジー部の朴と申します。 2017年9月にOath（Verizon社で、Yahoo, AOL等50以上のテクノロジーとメディアを運営する子会社）からVESPAがOSSとして公開されました。VESPAは検索エンジンを代表とした大規模なデータをハイトラフィック状況下で高速に配信できるビッグデータサービングエンジンです。実はYahoo! JAPANでもメディア、コマース、広告を中心とした多くの検索システムでVESPAを長年採用しており、この度Apache License 2.0のOSSとして公開されました。 Yahoo! JAPANでの利用事例 VESPAを利用

こんにちはCTOの馬場です。 ハートビーツの企業理念のひとつに「変化を楽しむ」があります。 その流れもあり、個人的に意識的に変化を起こすようにしています。 例えば慣れたOS、エディタ、shellなどのツールを敢えて変えたりして、意識的にコンフォートゾーンから出るようにしています。 今月は個人PCのshellのPROMPTを2行にしてみたので紹介します。 今までずーーーーーっとPROMPTは1行で短いものだったので、正直なところ最初は抵抗と違和感がありました。 こういうの。 でもやってみて、、、、結論から言うとオススメ。 今はこんな感じです。 メリット gitの状態や長いパスを表示しても、入力行の左側が長くならなくてスッキリ 入力行の右側に何も出ないのでコピペでGitLabやSlackに情報共有するのが楽(以前は入力行の右側にgitの情報を表示していた) 手元環境とリモート環境の違いがよりわ

始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 2017/9/21（木） Apache Arrow、pandas、pandas2、そして最近の私の作業の大まかな方向性と視界が開けてきている未来に関して、これから一連のポストを書いていきます。このポストはその第一弾です。少々量があり、全体に技術的な色合いが濃くなっていますが、興味を持たれたなら読み進めていってください。 このポストでは、pandasの内部構造に関する主要な問題のいくつかと、それらに対して私が着実に進めてきた現実的な解決策の計画と構築について、できる限り簡潔に説明しようと思います。外から見

お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。 10月 11 ID-based Securityイニシアティブ チュートリアル 第1回 ID-based Security に関する基礎知識を広く理解するためのオープン形式のセミナーです。

The S3TC Patent Finally Expires Next Week - S3 Texture Compression Written by Michael Larabel in Standards on 29 September 2017 at 04:36 PM EDT. 30 Comments If you need an extra reason to celebrate this weekend, next week the notorious S3 Texture Compression (S3TC) patent is set to expire! S3TC has been a thorn in the side of open-source graphics driver developers for years. It's resulted in a nas

2017年にもなりますと、さすがにFFFTP(ぇ)やSCPで更新したファイル群のみをアップロードするシステムも絶滅寸前だとは思いますが、そうは言ってもヒットするかどうかも分からないスタートアップではインフラや運用周りは後回しになりがちですするべきです。 世の中には、Ruby製のCapistranoやPHP製のDeployerなど、様々なデプロイツールがありますが、スタートアップに適した、シンプルで学習コストが低く、でも、プロジェクトを丸ごとデプロイしてシンボリックリンクでアトミックに切り替えてくれるツールって意外とないのではないでしょうか（みつけられないだけ？） 「gitと連携なんてしなくない」「なんでツール入れる為にまた違うツールをインストールしなければいけないのツール地獄問題（最近多いですねぇ）」とか不満の声がこの瞬間にも聞こえてきます。 なので、シェルスクリプトで作って運用しているも

Today we’re relicensing the GraphQL specification under the Open Web Foundation Agreement (OWFa) v1.0. We think the OWFa is a great fit for GraphQL because it’s designed for collaborative open standards and supported by other well-known companies. The OWFa allows GraphQL to be implemented under a royalty-free basis, and allows other organizations to contribute to the project on reasonable terms. A

Announcing Rancher 2.0: the next major release of the container management platform Update: Rancher 2.0 Tech Preview has since gone to GA. Read the announcement here. [ We achieved another significant milestone today at Rancher Labs. After months of hard work, our engineering team released a technology preview of the Rancher 2.0 container management platform.] Rancher 2.0 builds on the tremendous

事の発端 社内から静的コンテンツをホストしてHTTPS使える環境が欲しいんだよねー。と要望を受けた。 私はAWSが得意なので考えた。 「静的コンテンツならs3か」 「s3でHTTPSならs3の前段にCloudFrontでSSL証明書入れるか（ちょっと面倒だな）」 「CloudFrontにSSL入れるなら無料のACMだな」 「ACM使うならメール認証だしSES要るな（面倒くせぇ）」 「SESでメール受信するならs3・・・・・・・・・・」 ガシャーン！（ちゃぶ台の音） 「俺がしたいのはこれじゃない感」 ということで 何か上の環境を一発で作れるツールあるかなぁ。と調べているとNetlifyというサービスが引っかかった。 Netlifyってなに？ どうも静的コンテンツをホストしてくれて、SSLが使えるとな。Githubと連携して？ ふむふむ。使ってみよう。 ということでGithubにリポジトリを作

かくかくしかじか 賃貸マンションの上の階の人がうるさい。 野球の硬式ボールを落としたような「ドン」、「ゴン」という音が朝と夜に聞こえてくる。上の階の人は野球選手？ 管理会社に相談すると、記録をとって欲しいとのこと。 目的 ということで、上の階の人の騒音をなんとかしたい。 というか、管理会社になんとかして欲しい。 管理会社に連絡したところ、「騒音の日時を記録してもらえますか？」と言われた。 なんとなく「はいはい、とりあえず記録してください。話はそれからです。」的な雰囲気を感じたので、「どうですか、見てくださいよこの状況。」と自信を持って伝えたい。 記録する情報 時刻 回数(断続的に騒音が続く場合があるので、その回数) まずは紙とペンで 手っ取り早く、紙とペンで時刻と回数を記録。 こんな感じ。「ドン」は音の感じ。お察しください。 集計して報告 紙に記載された記録をExcelに転記し、グラフ付き

個人的なプロジェクトも含め、いくつかの現場で Amazon Athena について触れる機会があったので、個人的に思うところについて記載します。 数時間で書いた雑な文章ですが、ご了承ください。 なお、先日リリースされた Amazon Athena API については以下の Qiita に first impression をまとめているので、 API 以外の話題について書きます。 Amazon Athena の API を使ってみた (2017/05) データの設計について Amazon Athena は managed な Presto 環境で、 事前に Presto サーバーの立ち上げなどリソース確保を行わなくても良い データについても、S3 にファイルをアップさえすれば、後付でいかようにでもデータの解析が出来る という手軽さを売りにされています。 これは利点としていっさい間違いではな

米Microsoftは2017年9月25日（米国時間）、同日から米フロリダ州オーランドで開催した自社イベント「Microsoft Ignite」で、同社が開発する「トポロジカル量子コンピュータ」をPCなどでシミュレーションする仕組みと、量子コンピュータ用のアルゴリズムを開発するためのプログラミング言語を2017年内に一般提供すると発表した。 「量子コンピュータが実現すれば、その驚異的な並列計算能力によって、現在のコンピュータでは解けない様々な未解決の問題を解けるようになる」。同社のSatya Nadella CEO（最高経営責任者）はIgniteの基調講演でこう強調し、同社が量子コンピュータを「MR（複合現実）」や「人工知能（AI）」に並ぶ最重要テクノロジーに位置付けていると示した（写真1、2）。Nadella CEOは量子コンピュータによって解決できる問題として、「新しい化合物の発見」や

オランダGitLabは9月22日、Gitリポジトリ管理ツールGitLabの最新のメジャーリリース版「GitLab 10.0」を公開した。DevOpsの強化などの新機能が加わっている。 GitLab 10は、3月に登場したバージョン9系に続く最新版。DevOps関連の強化として「Auto DevOps」を導入した。ビルド、テスト、コードの品質保証（QA）、レビュー、実装、モニタリングを単一の環境で自動設定できる機能で、DevOpsのプラクティスをチームが容易に受け入れられるという。Ruby、Rails、PHP、Python、JavaなどでHerokuビルドパックをサポートし、テンプレートを利用してGitLabのCI/CD上に簡単にDevOpsのライフサイクルを設定できる。各マージリクエストで変更をプレビューするReview Appも実装する。 新しいナビゲーションも導入した。一貫性のあるデザ

ども、藤本です。 現地時間 8/31 に Elastic Stack の次期メジャーバージョンの 6.0.0 Beta 2 がリリースされました。 Elastic Stack 6.0.0-beta2リリース 過去の Elasticsearch はメジャーバージョンバージョンアップ時に機能が変更となったり、非推奨になったり、廃止になったり、大きな変化を行ってきました。今回の 5系 → 6系に際しても大きな変化があるはずです。ということで Elasticsearch 6系の Breaking Changes に目を通してみました。今回は私が気になった項目をご紹介します。利用方法によって影響する項目は異なるので 6系をご利用される方は一通り目を通すことを推奨します。 Breaking Changes Breaking Changes バージョン 2系以前に作成されたインデックスは読み取れない E

はじめに こんにちは、データインテグレーション部の近藤です。 今回は、RDSにおいて、PostgreSQLの設定のwal_levelをreplicaからlogicalに変更することにより、PostgreSQLのトランザクションログ(WAL)へChange Data Capture(以下、CDC)に必要を内容を出力させる設定方法をご紹介します。 wal_levelを設定することになった経緯 データベース移行サービスであるAmazon Database Migration Service（以下、DMS）には、継続的なレプリケーション機能(差分更新)の機能があります。この動作テストを行おうと、ソースDBをRDSのPostgreSQL、ターゲットDBをS3としてタスクを作り動かしました。ソースDBのPostgreSQLにデータを逐次INSERTし、それに伴いターゲットDBであるS3にオブジェクトが

お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

こんにちは。インフラ担当の岡村です。 「LVSの高負荷対策 その1 ~障害発生~」の記事で、大量のSYNパケットを受信した際にロードバランサの再起動が発生したことと、その緊急の対策についてご紹介しました。 今回は、再現確認を行い判明した再起動の原因と、LVSに備わっている高負荷対策の機能についてご紹介します。 検証 前回ご紹介した通り、障害発生時のログからメモリ周りが怪しそうでした。 そこで、ロードバランサにSYNパケットを送り、メモリの使用量の推移を観察しながら、再起動が発生するかどうかを確認しました。 検証環境の構成は次のようになります。 検証環境の構成 パケット送信用サーバを複数台、ロードバランサを1台、Webサーバを1台使用し検証を行いました。 ロードバランサの検証を行う上で、本番環境と同様にロードバランスの処理をさせたかったため、LVSに振り分け先のWebサーバのIPアドレスを複

好評「 OSSインフラナイター」は、 vol.2 として、各種設定をシンプルに自動化できるAnsibleを取り上げます。 すべての企業がソフトウェア会社になると、かのネットスケープ創業者 マーク・アンドリューセンが予言したように、あらゆる産業でソフトウェアを活用した新しいビジネスが創造されたり、あるいは事業改善が図られています。 そこで必須となるのが、ソフトウェアに対する取り組みです。2017年におけるそれらの話題のトピックの一つといえば、構築、運用の効率化を実現する技術です。特にオープンソースであるAnsibleは、この分野でもっとも人気の高いソフトウェアの1つです。 今回はOSSインフラナイター vol.2 として、Ansibleを取り上げ、 『 OSSエキスパート鼎談シリーズ： ここだけでしか聞けないAnsibleの話 』 と題してセミナーを開催することになりました。 ゲスト講師とし

Compute Engine のインスタンス グループを自在に更新できる Managed Instance Group Updater マネージド インスタンス グループは Google Compute Engine の重要な機能の 1 つです。この機能を使って同じインスタンスのコレクションを 1 つの単位として管理すれば、新しい VM をすばやくデプロイし、統一的に構成、設定することができます。 私たち Google は先ごろ、Compute Engine VM をプログラムで大規模に更新できる新しい Managed Instance Group Updater をベータ リリースしました。この Updater はマネージド インスタンス グループに完全に統合されているため、インスタンス上のソフトウェアの更新、パッチの適用、ステージング / テスト デプロイのロールアウトが今までになく簡

Get world class authentication security for less than a cup of coffee per user/month

［速報］Azureも仮想マシンが安くなる「リザーブドインスタンス」を利用可能に、最大72％割引。Microsoft Ignite 2017 マイクロソフトはフロリダ州オーランドで開催中のイベント「Microsoft Ignite 2017」で、Microsoft Azureの仮想マシンの利用料金が最大72％安くなる「Reserved VM Instances」を発表しました。 Reserve #VirtualMachines at extremely low prices on Azure with great flexibility & ease: https://t.co/1uWqvbuiuk #MSIgnite pic.twitter.com/38LdD2V37o — Microsoft Azure (@Azure) 2017年9月25日 クラウドでは仮想マシンのインスタンスを必要に

マイクロソフト、Azureで高可用性を実現する「アベイラビリティゾーン」機能を発表。AWSと同じ仕組み。Microsoft Ignite 2017 マイクロソフトはMicrosoft Azureで可用性を高める新しい仕組み「Availability Zone」（アベイラビリティゾーン）を発表しました。 Microsoft Azureのブログに投稿された記事「Introducing Azure Availability Zones for resiliency and high availability」では、Availability Zoneが次のように説明されています。 Availability Zones are fault-isolated locations within an Azure region, providing redundant power, cooling, an

イベントの内容 海外のブログ記事などを翻訳して公開しているYakstに掲載する記事を、皆で翻訳しようという集まりです。Yakstに掲載しないものでも、最終的に何らかの形で世に公開するものを翻訳するのであれば、ぜひ一緒にやりましょう。 カフェに集まって、黙々と翻訳したり、分からないところを教え合ったり、ネタとなる記事の情報交換をしたりします。 背景・趣旨 インターネット上の情報の半分以上が英語で書かれているという統計があります。一方で日本語はたったの5%。つまり、英語が読めれば単純計算で10倍の情報量が手に入るのです。 しかしなかなか外国語の文章を読むのは辛いもの。また、母国語以外で検索するにもコツが必要で、なかなか欲しい情報が見つからない時があるでしょう。 そういった問題があるところに、「有用な外国語の記事を発掘して日本語に訳していく活動を通じて、日本語の情報量を増やしたい」というのがYa

お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

Linux Daily Topics 2017年9月25日AppArmorをDebianでもデフォルトに!? ―Tails開発者が提言 UbuntuやFedora、openSUSEなどメジャーなLinuxディストリビューションのほとんどは、何らかのMAC（Mandatory Access Cotnrols: 強制アクセス制御）を実装したセキュリティモジュールをデフォルトで有効化している。たとえばUbuntu/openSUSEならAppArmor、FedoraならSELinuxといった具合だ。だがDebianの場合、これまで特定のセキュリティモジュールをカーネルレベルでデフォルトでイネーブルにしたことはなかった。そうした中、Debian開発者の間では「DebianにおいてもそろそろAppArmorをデフォルトにすることを考える時期なんじゃないか」という議論が起こり始めている。 議論のきっかけ

HTML5 Conference 2017.9.24 1. “モダン”ウェブアプリケーション ∼アメブロ5ヶ年計画∼ HTML5 Conference 2017.9.24 原 一成 @herablog 2. アメーバブログ 2004年開始のブログサービス 芸能人の利用が多い 芸能人以外とそれ以外のPVは半々 3. 2015 バックエンドシステムの刷新 2017 2016 Isomorphic JavaScript AMP https Code-splitting Node.js v8 React 16 PWA 4. 5年かけて“モダン”な状態にする 5. “モダン”であること エコシステムとつながっていること 6. “モダン”であること エコシステムからの恩恵 エンジニアの流動性 ! " 7. エコシステムからの恩恵 最新技術を取り込みやすい 世界中のエンジニアと協力できる ! 8. エン

運営者情報本サイトは、日本最大級暗号資産取引所・販売所「ビットバンク」が運営する、ビットコイン(Bitcoin)、ブロックチェーン、暗号資産(仮想通貨)に関する知識、世界中の最新のトピックス、最先端の技術、プロジェクト、規制、相場など、暗号資産投資のヒントになるお役立ち情報を発信するメディアです。 金融庁のホームページに記載された暗号資産交換業者が取り扱う暗号資産（仮想通貨）は、当該暗号資産交換業者の説明に基づき、 資金決済法上の定義に該当することを確認したものにすぎません。 金融庁・財務局が、これらの暗号資産（仮想通貨）の価値を保証したり、推奨するものではありません。 暗号資産（仮想通貨）は、必ずしも裏付けとなる資産を持つものではありません。暗号資産（仮想通貨）の取引を行う際には、以下の注意点にご留意ください。 ＜暗号資産（仮想通貨）を利用する際の注意点＞暗号資産（仮想通貨）は、日本円や

みなさん、AWSの請求レポートは利用されていますでしょうか。AWSの請求レポートは従来から提供されている請求明細レポート（DetailedBillingReport、以降DBR）と2015年12月にリリースされたコストと使用状況レポート（Cost and Usage Report、以降CUR）の2種類が存在します。最近AWSの請求レポートのドキュメントを参照したところ、DBRの廃止予告が明記されていました。 重要 請求明細レポートは利用できなくなります。代わりに「コストと使用状況レポート」を使用することを強くお勧めします。 請求明細レポート - AWS 請求情報とコスト管理 DBRからCURへの移行 ナリッジセンターにDBRからCURへの移行に関するエントリーがありましたので紹介しておきます。 Migrate From the Detailed Billing Report to the

Top > “インシデント”の一覧 > マルウエアDatperの痕跡を調査する～ログ分析ツール（Splunk・Elastic Stack）を活用した調査～ (2017-09-25) 2017-08-17号では、プロキシサーバのログなどに含まれるマルウエアDatperの通信を検知するためのPythonスクリプトを紹介しました。今回は、それを活用し、ログ分析ツールでDatperの通信を調査するための環境設定方法を紹介します。利用するログ分析ツールに応じて使い分けられるよう、Splunk編とElastic Stack編を用意しました。 Splunk編 まず、SplunkでDatperの通信ログを抽出するため、次に述べる方法でカスタムサーチコマンドを作成します。この方法で作成したコマンドはSplunk 6.3以降で使用できることを確認しています。 Splunkのカスタムサーチコマンド作成と調査 カ

Chrome 61から使えるようになったWebUSB APIを使ってUSBデバイスと会話する方法を解説します。 これは2017年9月23日に行われた 第3回 カーネル／VM探検隊@北陸の発表資料です。

GitHub上の実際のコミットメッセージやIssueのやりとりをみて、チートシート作りました。 共通的なこと コミットメッセージやIssueのタイトルは、主語省略し、1文で書き行末ピリオドは付けない 動詞は現在形・過去形のどちらも同じくらいの頻度で見られるが、どちらかに揃える。 コミットメッセージを書く Japanese English