はじめに 本記事は2017/01/16にオンラインで開催されたウェビナー(AWS Online Tech Talks)"PostgreSQL Compatibility for Amazon Aurora"のレポートです。 講師はAWSの以下の2名です Mark Porter(PostgreSQL互換AuroraのとRDS PostgreSQLのGeneral Manager) Kevin Jernigan(PostgreSQL互換AuroraのSr. Product Manager) 発表資料 Slideshare YouTube アジェンダ Why did we build Amazon Aurora? PostgreSQL Fast Facts Durability and Availability Architecture Performance Results vs. Postg

人間の労働が機械に置き換えられたり、データ処理の大部分を情報処理システムが担うなどの自動化(Automation)が進められています。繰り返しの単調作業や物理的に人を超えた力が必要される作業には機械が導入されています。 航空宇宙の分野でも、初期の航空機ではパイロットが全てを操作していましたが、最新鋭の航空機はハイテクの塊であり、大部分の機体の制御をコンピュータが担っています。航空機の自動化に伴って、パイロットの立場は操縦者からシステム管理者へ変化してきました。 徐々に自動化されたシステム運用の問題点も明らかになっています。システムが問題なく稼働していれば、人間はモニタを行えば良いですが、いざ故障が検出されたとなると突然に人間による対処が求められます。高度化されて故障対処も自動で進めるために故障検出・分離・回復機能 (FDIR : Fault Detection, Isolation and

2017/05/26（金）に クラスメソッド株式会社 大阪オフィスにて【 大阪オフィス開設1周年勉強会 】開発者のための楽しいAWSのサービス運用 in 大阪 2017/05/26 #cm_osakaが開催されました。 オンプレもAWSも変わらない運用についてお話させていただきました。 勉強会の概要については以下を参照ください。 【 大阪オフィス開設1周年!! 】クラスメソッドの開発を知る！全7回勉強会開催 登壇資料 運用設計はなるべく早期に実施しよう リスクを考慮した上で自動化しよう ログ設計はとっても大事だよ といった内容で、運用設計は非機能要件が多く後回しにされがちですが、怠ると後々響いてくるというお話をしました。 懇親会 懇親会では参加いただいた方々と、運用にまつわるお悩みや運用あるあるについて楽しくお話させていただきました。 次回(6月9日)は、今話題のDockerについての勉強

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

メーリングリスト管理「Mailman」開発チームは5月25日、「Mailman 3.1.0」公開を発表した。3.0リリースから2年ぶりのポイントリリースとなり、多数の新機能が加わっている。 Mailman（GNU Mailing List Manager）はPythonで実装されたメーリングリスト管理ソフトウェアで、Web統合、アーカイブ、自動バウンス処理、コンテンツフィルタリング、スパムフィルタなどの機能をもつ。ユーザーは容易にアカウントを管理でき、リスト運営者は容易にリストを管理できるという。 Mailman 3.1は2015年4月に公開されたMailman 3.0に続く最新版。コア、Web UIの「Postorius」、アーカイバー「HyperKitty」などで新機能の導入、既存機能の強化や拡張が加わり、多数のバグも修正されている。 コアではPyton 3.5と3.6のサポートが加わ

Research indicates that carbon dioxide removal plans will not be enough to meet Paris treaty goals

こんにちは、菊池です。 EC2のブロックストレージであるEBSはサーバーサイド暗号化（SSE）に対応しています。このEBS暗号化を実施することで、セキュリティレベルがどのように向上するのか、ご存知でしょうか？ EBS暗号化はサーバーサイドの暗号化なので、EC2上のOSからは特に意識することなく透過的に利用が可能です。一方で、暗号化されることで外部からのEC2の操作にも影響があります。暗号化に使用するKMS/CMKへのアクセス可否によるEC2操作への影響を調べてみました。 参考： Amazon EBS Encryption 試してみる 以下のように、EBS暗号化にはKMSのカスタマーマスターキー（CMK）が使用されますので、暗号化/復号化にはCMKへのアクセス権が必要です。CMKへのアクセスが禁止されたIAMで、EC2へのアクセスがどのように変わるかを確認します。EC2へのアクセスはAmaz

分散並列処理の基本に関する解説と，分散並列処理のオープンソース界隈で最近起こっていることをまとめた資料です．

日本マイクロソフトが「Surface」ファミリーを一気に拡充した。Surface Pro 4の後継になる2in1モデルの新しい「Surface Pro」と、28型ディスプレイ搭載のオールインワンデスクトップPC「Surface Studio」を6月15日に、シリーズ初のクラムシェルノートPC「Surface Laptop」を7月20日に発売する。 国内のラインアップを一気に拡充した「Surface」ファミリー。左が新しい「Surface Pro」、中央の奥が「Surface Studio」、右が「Surface Laptop」、手前が発売中の「Surface Book」。Surface Book以外の3モデルが新製品だ 同社は5月26日に東京都内でこれら新製品の発表会を開催。発表会に出席するために来日した米MicrosoftのSurface製品担当コーポレートバイスプレジデントであるパノス

私の手元に「Buffalo WLI-UC-AG300N」というUSB無線LANアダプタがあるのですが、Macの「システム情報」で見ると製造元が「敇瑭步挮浯䩟」となっていることに気づきました。 バッファローとかメルコとか書いてあるなら分かりますが、少なくとも日本語ではありませんし、簡体字なり繁体字なりだとしても不自然に思えます。となると、一体何が表示されているのでしょうか？文字コード警察的な意味で興味を持ったので、調べてみました。 謎解き(1) 何が書いてあるのか この記事の執筆時点では「敇瑭步挮浯䩟」でGoogle検索しても同じ無線LANアダプタの情報が1件見つかるだけで、そんなメーカーは地球上に存在しなさそうなことがわかります。 ネット上にも情報が無いときに頼れるのは自分の直感だけです。そこで、私は謎の漢字列をUTF-16にしてみることにしました。 上記PHPファイルをUTF-8で保存し

個人的なプロジェクトも含め、いくつかの現場で Amazon Athena について触れる機会があったので、個人的に思うところについて記載します。 数時間で書いた雑な文章ですが、ご了承ください。 なお、先日リリースされた Amazon Athena API については以下の Qiita に first impression をまとめているので、 API 以外の話題について書きます。 Amazon Athena の API を使ってみた (2017/05) データの設計について Amazon Athena は managed な Presto 環境で、 事前に Presto サーバーの立ち上げなどリソース確保を行わなくても良い データについても、S3 にファイルをアップさえすれば、後付でいかようにでもデータの解析が出来る という手軽さを売りにされています。 これは利点としていっさい間違いではな

単純に特定のURLに対してミドルウェアの性能を計測したい場合などには、今でもabやwrk、h2loadのようなシナリオベースではないシンプルなベンチマークはとても有用です。 一方で、最近ではgatlingやtsungといった、豊富な機能やリッチな計測結果を取得できるベンチマークソフトウェアも豊富になってきました。 ただ、例えば、単に「Webサーバのベンチマーク結果をレスポンスタイムの時系列データとして計測したい」時に、僕のようなめんどくさがりの人間はcliで適当にオプションを渡して1回の実行でシュシュシュっと取りたいものですが、それができるツールが見当たらず、うーむ、gatlingやtsuningでやるかなぁとおもっていたところ、なんとApache Bench(ab)で簡単にシュシュシュっとできてしまうことに気づいたのでした。 ということでその方法を紹介します。例えば以下のような要件の時に

In the image below, this idea is illustrated. On the left is a ball representing all 460 million bitcoin addresses to ever have a balance greater than 0.0 BTC. Of those, 288 million hold no bitcoin in them at all today. The remaining 172 million represent the bitcoin addresses that make regular bitcoin transactions. Of those, 147 million belong to exchanges, bitcoin services, merchants, or other k

フェイクニュースの氾濫で、ファクトチェックの重要性が再認識されている。 今年から、エイプリルフールの翌日、４月２日を「国際ファクトチェッキングデー」とするようだ。 だが今、ファクトチェックのスタイルを根本的に見直す必要がある、とその取り組みをリードしてきた第一人者、トム・ローゼンスティールさんが指摘している。 「焦点をあてるべきは、個別の発言や事実よりも、イシュー（問題）だ」と。 「コペルニクス的」なファクトチェックの転換を主張するローゼンスティールさんは、その理由を「信頼とリーチの問題」だという。 今のファクトチェックの何がダメなのか？ ●ファクトチェックをリードする トム・ローゼンスティールさんは、米ニュースメディア連合（ＮＭＡ、旧米国新聞協会）傘下の調査研修機関であるアメリカン・プレス研究所（ＡＰＩ）の所長。 ベテランジャーナリストで、『インテリジェンス・ジャーナリズム: 確かなニュ

Google、IBMらがオープンソースの「Istio」公開。マイクロサービスのためのネットワーク機能「サービスメッシュ」を提供。Kubernetes対応 クラウド時代のアプリケーションは、サービスを提供するコンポーネントのような小さなソフトウェアが多数連係する、いわゆる「マイクロサービス」と呼ばれるアーキテクチャを備えたものになると考えられています。 このマイクロサービスアーキテクチャを備えたアプリケーションの内部では、各サービス間をつなぐためのネットワークがまるで網の目のように張り巡らせられ、そこでさまざまなトラフィックが発生していきます。 そしてこのネットワークを安定的かつ効率的でセキュアに運用することはマイクロサービスの運用に欠かせない基盤であり、そのためにはトラフィックのルーティングルールの設定、トラフィックが偏らないようにロードバランスの実現、セキュリティのための暗号化通信や認証

AWS上でLinuxを使うなら、Amazon Linuxの方が何かと便利な事があるのかなーと考えて、普段使いのOSを変えてみようと思っては見たものの、UbuntuやDebian、CentOSであれば公開されているようなEOL情報が見つかりません。 実際、どの程度の期間にわたって、利用可能なのかを調べてみたので、結果を記録しておきます。 [追記] 2017/12/13 Amazon Linux 2発表 https://aws.amazon.com/jp/about-aws/whats-new/2017/12/introducing-amazon-linux-2/ https://forums.aws.amazon.com/ann.jspa?annID=5288 これならバージョンを固定したい環境でも安心して使えそう OSのcore部分は 5年間のLong Term Support 最新のパッ

ベルギーの「倫理的な」ハッカーが、フェイスブックのアカウント回復フォームを使って、メラニア・トランプ大統領夫人のメールアドレスを特定し、メールを送った、というニュースです。 ベルギー北部の人口8万人の町アールストを愛する […] ベルギーの「倫理的な」ハッカーが、フェイスブックのアカウント回復フォームを使って、メラニア・トランプ大統領夫人のメールアドレスを特定し、メールを送った、というニュースです。 ベルギー北部の人口8万人の町アールストを愛する Inti De Ceukelaire さん(@intidc)は、トランプ大統領のベルギー訪問にあわせて、夫人に「ベルギーのラスベガス、ただし金持ちとカジノとホテルは無い」アールストを訪問することを薦めたメールを送ったそうです。 OEPS! @FLOTUS haar privé mailadres lekt! Vriendelijk op gewe

米Yahoo!は5月23日、性能テスト・解析フレームワーク「Daytona」をオープンソースで公開した。アプリケーションに依存せず、統合された性能テストを行い、標準化されたレポートを取得できるという。 Daytonaはあらゆるアプリケーションに対応する、性能テストや解析のためのテストフレームワーク。コマンドライン上で動くテストスクリプトを作成し、Webサイト、データベース、ネットワーク、ワークロードなどの性能をテストしてその結果を単一のリポジトリに集約できる。これによって単一のフレームワーク下にテストツールやその結果を統合できるという。 Yahoo!によると、それまではアプリケーションに合わせて複数の性能テストツールを利用していたという。テストの結果を一貫性のない形で保存していたため、包括的に性能を解析するのが難しく、開発者やシステムインテーグレーターなどの協業も難しかったとしている。 D

近年、量子コンピュータ研究の進展により、量子コンピュータでも解くのが難しい暗号（Post-quantum cryptography; 耐量子計算機暗号）への注目が高まっている。 ここでは、耐量子計算機暗号のひとつであるLWE格子暗号の原理を説明し、単純化したアルゴリズムで暗号化を行うプログラムコードを書いてみる。 格子とLearning with Errors問題 LWE格子暗号は、Learning with Errorsと呼ばれる問題をもとにした公開鍵暗号方式である。 格子とは、基底ベクトルの整数係数線形結合で表される点（格子点）からなる集合である。 格子については、直交しない基底ベクトルからある点Pに最も近い格子点を求めることが計算量的に困難であるといわれている。 これは、最近ベクトル問題（Closest Vector Problem; CVP）と呼ばれる。 Learning with

Explore our ever growing collection of unique Patent Prints spanning from vintage classics to modern-day inventions.

Command Line Interface The command line interface allows you to focus on performing the test instead of breaking your train of thought by clicking around a GUI. New Interface, Familiar Workflow Pappy has the standard features of Burp Suite and supports a similar workflow to Burp Suite for manual testing. Map the site, find interesting requests, send them to repeater, and poke. Response Streaming P

Search and analytics, data ingestion, and visualization – all at your fingertips.

Capture, share, & collaborate on knowledge internally. This morning, a popular Stack Overflow question hit a major milestone: You're not alone, jclancy. In the five years since this question was asked, there have been over a million other developers who got stuck in Vim and couldn't escape without a bit of help. Indeed, the difficulty of quitting the Vim editor is a common joke among developers. I

2018年2月24日：現状に合わせて修正。 序段 Raspberry PiやOrange PiといったSBC(Single Board Computer)を触っていると、搭載されているWifiやBluetoothといった無線機能が日本で使用してもいいのか気になることがあります。 この「無線機能が日本で使用してもいいのか？」という証明が技術基準適合証明、通称「技適」です ここでは気になるボード(SBC)に技適があるのかの調べ方を記録しておきます。 どこに行ったら調べられる？ 無線・電波の管轄省庁は総務省です。総務省の電波利用ホームページの以下を確認しましょう。 目的地は「 電波利用に関する制度」 → 「無線局機器に関する基準認証制度」 → 「制度の概要」ときて「 技術基準適合証明等を受けた機器の検索」です。 以下のようなページが見れたら合っています。 すでに技適が取れている、取れているはずの

本日、IAM ポリシーの理解とトラブルシューティングを容易にするため、3 つの新機能が AWS Identity and Access Management (IAM) ポリシーの概要に追加されました。ポリシーの概要には、ポリシーによってアクセスが制御されるリソースのリストを簡単に表示できるようにする、ポリシーに定義されたリソースが含まれるようになりました。また、ポリシーによって付与されないサービスとアクションも表示できます。これにより、ポリシーに含めるアクションの検索に役立つ、制限されたアクセスのサービスで利用可能な残りのアクションを表示できます。最後に、ポリシーの概要で認識されていないサービスとアクションを表示できるようになりました。これにより、ポリシーでのタイプミスの可能性を簡単に識別できます。ポリシーの概要でのこれらの新機能の詳細については、ブログの投稿および IAM のドキュメン

Windows 7/8.1のNTFSで、WebページからOSを停止させることの可能なバグが発見された(Ars Technicaの記事、 Aladdin RDのブログ記事、 The Vergeの記事)。 NTFSのマスターファイルテーブル(MFT)は、ルートディレクトリの「$mft」というファイルに格納されている。このファイルはファイルシステム上から参照することはできず、ファイル名を直接指定して開こうとしてもアクセスは拒否される。ただし、「C:\$mft\123」のようにディレクトリ名として指定してアクセスすると、新たにプログラムが起動できなくなったり、BSoDが発生したりする。 これはディレクトリとして$mftを開くために排他アクセスを取得し、ディレクトリでないことが判明した際に$mftのERESOURCEを解放してしまうことが原因となっているようだ。そのため、Windowsを再起動しない

Microsoft Windows / Officeが全部格安の桃源郷があった！Windows 10からOffice 2016まで揃い踏み ゲーム通販サイト、psngames.orgでWindows 10 Proなどの各種Microsoft製品のセールが行なわれています。 一例を挙げると、Windows 10 Proのリテール版が$26.24（約3,096円）、Microsoft Office 2016 Home and Businessが$36.74（約4,335円）で販売されています。めちゃくちゃ安い！ ※1ドル118円で換算

VAT overview )Value Added TaxThe Value Added Tax (VAT) is a consumption tax applied in the European Union (EU) to all goods and services. All consumers in the EU are charged VAT on the purchase of goods and services. Businesses in the EU buying from a business in the same country are also charged VAT. Businesses in the EU buying from a business in a different EU country are not charged VAT. Consum

2017/05/26（金）に クラスメソッド株式会社 大阪オフィスにて【 大阪オフィス開設1周年勉強会 】開発者のための楽しいAWSのサービス運用 in 大阪 2017/05/26 #cm_osakaが開催されました。 開発者が運用を経験して気づいたことについてお話させていただきました。 勉強会の概要については以下を参照ください。 【 大阪オフィス開設1周年!! 】クラスメソッドの開発を知る！全7回勉強会開催 楽しいゲンバの運用 ログは死守 ログはトレーサビリティを考慮すべし メトリクスの監視設定は適切に といった基本的なことですが、開発をやっていると疎かになってしまう部分やログは大事ですという話を盛り込みました。とりあえずひたすらにログ、ログ言っていたと思います。 懇親会 懇親会も多くの方に参加いただきました。運用についてという、モバイルアプリサービス部では珍しいテーマでしたが、様々な質

東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois

世界がランサムウェア「WannaCry」による攻撃の犯人特定に取り組むなか、あるサイバーセキュリティ研究者グループが、身代金要求文の作成者の母語を解明したようだと述べている。事実なら、攻撃元の特定に向けて新たな一歩を踏み出した可能性がある。 これまでに多くのサイバーセキュリティ企業が、ためらいがちにWannaCry攻撃を北朝鮮と結びつけてきた。だが、Flashpointの研究者は、28言語で書かれた身代金要求文を分析し、この文章の作成に中国語話者が関与しているとみられると結論づけた。 身代金要求文の分析から、簡体字と繁体字の中国語版および英語版のみ、それらの言語の話者によって作成された可能性があることがわかった。 中国語の身代金要求文に見られるちょっとした誤りが、中国語の入力システムを使って入力された、と研究者は述べている。 一方、英語の身代金要求文は、英語の「運用能力にすぐれた」人物によ

お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

Docker v17.05 から導入された multi-stage builds 機能とは何か、どんな問題を解決するためのものなのかをまとめました. Presented at Docker Tokyo.