エラー内容 今朝起きたら、 Elasticsearch + Rails にこんなエラーが起こっていた。 MultiJson::ParseError: unexpected character at line 1, column 1 [parse.c:664] なんと、いままで Accept-Encoding を無視していた AWS Elasticsearch Service が、急に仕事をしだして、 gzip 形式で返すようになった模様。 追記: なお、 elasticsearch-rails で利用されている faraday は、 Accept-Encoding: gzip がデフォなようです。 バージョン 追記しました elasticsearch (5.0.0) elasticsearch-api (5.0.0) elasticsearch-transport (5.0.0) elas

先日、ioドメインの障害があったのだけど、自分がDNSの仕組みをよく分かっていないせいで、いまいちどういうことが起こっていたのか把握できなかった。そこで、DNSの仕組みについて軽く勉強したので、そのメモを残しておく。内容は間違っているかもしれないので、その場合は指摘してください。 DNSについて学んだこと Software Design 2015/4のDNSの教科書が非常に勉強になった。また、 インターネット10分講座：DNSキャッシュ - JPNICも参考になる。 権威サーバとフルリゾルバ まず、DNSサーバには権威サーバとフルリゾルバの二つの種類が存在する。 権威サーバ ドメインの情報を管理し、自分の管理しているゾーンの情報を提供するだけのサーバ 問い合わせたドメインが自分のゾーンの管理下ではない場合、別の権威サーバへ委任するという情報を返す コンテンツサーバとも言われる? 例) co

仮想通貨Bitcoin(ビットコイン)のマイニングで利益を得るには、高性能な専用マシンを使うのが必須で、さらには電力コストを抑えるために電気代の安い国に拠点を構えることが求められます。マイナーたちが軍拡競争のような熾烈なサバイバルを繰り広げる中で、システムを維持するためのマイニングに必要なエネルギーが高まり続ける状況は、将来的にビットコインシステムの維持そのものを不可能にすると指摘されています。 The Ridiculous Amount of Energy It Takes to Run Bitcoin - IEEE Spectrum https://spectrum.ieee.org/energy/policy/the-ridiculous-amount-of-energy-it-takes-to-run-bitcoin ビットコインはすべてのトランザクション(取引)を記録する元帳とし

オンプレミスからクラウドへの移行をはじめ、ハイブリッドクラウド環境をシームレスに保護しながら、クラウドの利点を実現します。 詳しくはこちら

iTerm2を使っている人は結構多いと思うのですが、意外とHotkeyを使っている人が少ない気がしたので、書いておきます。 HotKeyを設定するメリット 早い Hotkeyの設定をすると、複数のデスクトップを開いていてもこのように上からターミナルが降りてきてすぐにコマンドが叩けるようになります。 写経が楽 若干透明度を設定しておくことで、ターミナル越しにブラウザを見ながらコマンドを打つこともできて大変便利です。コピーペーストする際の無駄なトラックパッド操作が省けます かっこいい にょろーん！っといきなり黒い画面が降ってくると、親戚一同の前ではあなたはヒーローになります。 設定方法 Hotkeyを有効にする iTerm2の設定に、 keys -> Create a Dedicated Hotkey Window... というのがあるのでそれを押します。 ここでHotkeyを設定するわけです

Research indicates that carbon dioxide removal plans will not be enough to meet Paris treaty goals

HTTP Variants IETFのHTTP WGやQUIC WGのチェアをしているmnot氏より、キャッシュの効率が改善する「Variants」というHTTPレスポンスヘッダを定義する「HTTP Variants」という提案仕様が出ています。 この機能は、Fastly VCLの機能の標準化のようです。 少々想定している背景がわかりづらいのですが、自分なりに簡単にまとめてみる。 背景 Webにおいて、サーバはクライアントからのリクエストヘッダを見てコンテンツを出し分けています。 例えば、Accept-Languageリクエストヘッダを見てコンテンツの言語を変更しています。キャッシュサーバももちろんこのAccept-Languageを見て、それぞれ毎にコンテンツをキャッシュする必要があります。 次の例を見てみましょう 1. ブラウザは下記のHTTPリクエストを送信する GET /foo H

はじめに みなさんパスワード管理どうしてますか？ Webサービスのアカウントならブラウザや LastPass のようなサービスが利用できるけど、まだまだパスワードでログインしなければいけないサーバがあったり psql や mysql コマンドでパスワード入力したりしなければならなかったりしませんか？ 全部が秘密鍵で済むような環境になればいいけど、少なくとも自分を取り巻く環境はそうなっていません。 意味のある文字列ならまだしも、ランダムな英数字とか覚えておくにも限界があるし、いざ入力するときも手間がかかる。 まだまだ僕たちはパスワード管理から自由になれないようです。ならせめてセキュアにパスワード管理できて、入力補助的なことができるととうれしい。 というわけで pinzolo/spwd: Secret file based password management tool というものを作ってみ

resource "aws_security_group" "test" { name = "test" vpc_id = "${aws_vpc.test.id}" ingress { from_port = 22 to_port = 22 protocol = "tcp" cidr_blocks = ["x.x.x.x/32"] } } resource "aws_security_group" "test" { name = "test" vpc_id = "${aws_vpc.test.id}" ingress { from_port = 22 to_port = 22 protocol = "tcp" - cidr_blocks = ["x.x.x.x/32"] + cidr_blocks = ["x.x.x.x/32","y.y.y.y/32"] } } aws_security

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

【2021/10/15 追記】 この記事は更新が停止されています。現在では筆者の思想が変化している面もありますので，過去の記事として参考程度にご覧ください。PDO に関しては大きく変わっていない部分が多いとは思いますが， PHP 8.x 以降での動作保証はありません。 あらかじめ読んでおきたい記事 Qiita - 【PHP超入門】クラス～例外処理～PDOの基礎 by @7968 初心者がやりがちなミス 以下のどれかに1つでも当てはまるコードは見直す必要があります．付録にリンクを貼っておきましたので，「該当するかも？」という人はクリックして飛んで読んでください．太字にしてあるものは脆弱性に直結する危険度の高いものです． mysql_query などの非推奨関数を利用している SET NAMES あるいは SET CHARACTER SET などで文字コードを指定している そもそもデータベース

Aurora v1.14 の強制アップデートがあったりして，改めて Aurora のリリースノートを読み直していたら，Aurora v1.13 から SELECT INTO OUTFILE S3 が使えるようになっていることに気付いた（今さら！）．今まで試したことが無かったので，実際に試してみた． 大きめのデータ抽出が必要なときなど，MySQL だと SELECT INTO OUTFILE でファイルに書き出すシチュエーションがあるため，Aurora でも使えるようになるのは非常に良いことだと思う．むしろ v1.13 まで無かったんだ...？という感じ． docs.aws.amazon.com 事前準備 S3 と IAM ロールを作成する 事前に RDS 用の IAM ロールと IAM ポリシーを用意しておく．必要最小限のアクションは以下のドキュメントにまとまっている．今回は SELECT

はじめに 数ヶ月に一回、ラーメンデータベースのスクレイピングをやっているんだけど、その集計のためにPostgreSQLを使っている。 で、スクレイピング結果を使って、PostgreSQL上でヒストグラムっぽいのを作っているんだけど、毎回そのやり方を忘れちゃうので、ここに書いておくことにした。 witdh_bucket関数 ヒストグラムっぽいのを作成するのに、PostgreSQLの算術演算関数 width_bucket(operand numeric, b1 numeric, b2 numeric, count int) を使う。 PostgreSQL文書だと、あんまり親切な説明がない。この素っ気なさはPostgreSQLクオリティだよなあｗ b1からb2までの範囲に広がる等幅でバケット数countのヒストグラムにおいて、operandが割り当てられるバケット番号を返す。 範囲の外側の入力値

Bring order to SQL chaosSay goodbye to clunky tools, endless Slack questions, and versioning headaches. It’s time to modernize your SQL development process. Faster data explorationEnable multiple users to work on data sets, queries, and visualizations simultaneously with real-time syncing and version control.

2017年10月2日 golangを使って開発したWebAPIを1年半運用して改善してきたことー月間20億PVのマンガサービス開発の裏側 はじめに 初めまして、サーバーサイドエンジニアの曽根田です。 0から立ち上げ3年で月間20億PV達成！マンガZEROの開発を牽引するエンジニアチーム での紹介にもあるように、弊社では複数のマンガアプリの開発が並行して進められています。 その中で今回はマンガZEROの成長過程でぶつかり、 乗り越えてきた問題をサーバーサイド視点で紹介していきたいと思います。 乗り越えてきた問題 最初はPHP5.6+Phalconというマイクロフレームワークでプロダクトを運用していました。 マンガZEROメジャーバージョンのアップデートの際に、golangを採用しました。 理由は以下の2点です。 バイナリ一つで動作する(外部依存しない) 軽量でハイパフォーマンス 弊社には積極

データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの問題で、Hadoopエンジニアを採用するのが難しいというのが背景にあります。 SQL書ける人はそれなりにいるけど、インフラ側の人材不足ですね。この状態でデータの民主化が進むとどうなるかというと、 クエリの数が増える -> なかにも重いクエリも結構ある -> 管理者がそれをチェックするのに疲れて放置するようになる -> クラスタの負荷が増えて障害も出るようになる -> クエリ実行にも時間かかるように

初めに 以下の訳文です。カーネルレシピのGreg Kroah-Hartmanの話のJonathan Corbetによる要約です。ライセンスは原文に準じます。 https://lwn.net/Articles/702177/ (LICENSE: https://creativecommons.org/licenses/by-sa/4.0/) 見出しは内容の整理のために訳者が勝手に付加したものです。 ご指摘等ありましたらコメント、編集リクエストでどうぞ。 参考： パッチ投稿のフローについては同じGregによる以下の記事（翻訳）が詳しいです。 http://blog-ja.intransient.info/2010/09/linux.html なぜカーネル開発ではいまだにEmailを使うのか？ 古臭い遺物? 世の中には見栄えの良い開発ツールやサイトが溢れていますが、カーネルプロジェクトはEmai

In my previous blog post, I talked about new general tablespaces in MySQL 8.0. Recently MySQL 8.0.3-rc was released, which includes a new data dictionary. My goal is to create one million tables in MySQL and test the performance. Background questionsQ: Why million tables in MySQL? Is it even realistic? How does this happen? Usually, millions of tables in MySQL is a result of “a schema per customer

エラーには大抵「エラーメッセージ」が付いています。 自分は過去に、エラーメッセージの内容を雑にしてしまい後悔することがよくありました。 その経験から、良いエラーメッセージの書き方を考えました。 エラーメッセージを2つに分類する まず、エラーメッセージといっても次の2つのパターンで大きく異なってきます。 (1) ユーザーが見るエラーメッセージ (2) 開発者が見るエラーメッセージ (1) ユーザーが見るエラーメッセージ 内部実装のことは書かないようにする

From Spring Boot 2 to Spring Boot 3 with Java 22 and Jakarta EE

With most residential solar panels installed by smaller companies, customer experience can be a mixed bag. To try to address the quality and consistency problem, Civic Renewables is buying small…

概要 Google Chrome に実装された --headless モード の Node.js API を提供してくれる npm パッケージの puppeteer を使ってJSONで指定したウェブサイトのスクリーンショットを撮影するスクリプトを書いた。一通り動きそうなことを確認したので、どうせならとおもってこのスクリプトを Docker 化していると、ある特定のウェブサイトを撮影した時に以下のようなエラーが出るようになった。 (node:16) UnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 1): Error: Page crashed! (node:16) [DEP0018] DeprecationWarning: Unhandled promise rejections are

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

redmine.tokyo の第13回勉強会を開催します。 今回の勉強会の主なテーマは「Redmineの現在と未来」です。 ※方向性は変わりませんが表記などが変わる可能性があります。 また、グループディスカッションでは、スタッフも含めた参加者同士で、Redmineの機能や運用の意見交換の場を設けます。 Redmine初心者から経験者まで、ご興味のある方は是非ご参加下さい。 なお、正式サイトは redmine.tokyo – 第13回勉強会 です。 イベントの内容などは正式サイトをご覧ください。このconnpassのページは参加登録のためのページです。 受付の際に、Connpass ID（or 受付票）が必要になります。 受付表を確認する - connpass ご利用ガイド スケジュール redmine.tokyo – 第13回勉強会 を参照ください 日時 2017/11/18(土) 13:

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Python3.4でファイルパス操作を行うモジュールとしてpathlibが追加されました。 今までファイルパス操作はos.pathやglobを使っていましたが、pathlibを使うとファイルパスの連続操作がとても書きやすくなるので積極的に使うべきです。 pathlibの特徴 pathlibは次のような特徴があります。 オブジェクト指向 ファイルパス操作機能の統合 オブジェクト指向 今まで使っていたos.pathなどでは独立した関数で機能を提供していました。 これに対してpathlibではPathクラスのメソッドやプロパティとして機能が提供されています。 >>> from pathlib import Path >>> Path('/a/b/c.txt').parent PosixPath('/a/b') >>> Path('/a/b/c.txt').parents[1] PosixPath

ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日ALBでIPアドレスをターゲットとしてオンプレミスのリソースなどに対して負荷分散ができるようになりました。先日NLBでもIPアドレスをターゲットとして設定できるようになったためご紹介します。 Elastic Load Balancing: Network Load Balancer now supports load balancing to IP addresses as targets for AWS and on-premises resources IPアドレスターゲット NLBが負荷分散するターゲットをインスタンスIDではなくIPアドレスを指定することが可能な機能です。ALBでも同様の機能がありますが、一部異なる部分があります。 [新機能] ALBのターゲットにIPアドレスを指定可能になりました 指定可能なIPアドレス サ

例えばCIでテストのためのストレージのコンテナを上げる際，そのストレージが上がりきるまで待たなければテストには使えないわけですが「上がりきるまで何秒待てばよいのか」というのは一概に決められるものではありません． そうした際，実際にストレージに対してHTTP(S)のリクエストを投げてみて，繋がったら「上がりきった」とみなして処理を次に進めるというようなことがよく書かれます．そういった要件を満たす為には接続に失敗したらリトライをしつつ一定回数試行するという処理を書かなくてはなりません． つまりはそういう話です． wgetの場合 retry-connrefused tries waitretry を利用すると出来る． retry-connrefused が無いと connection refusedに対応できずにリトライが不可能となるので，今回のような要件を満足するためには付ける必要があります．

Mozillaは9月28日、オープンソースのWebブラウザ最新版「Firefox 56」を公開した。スクリーンショットを取得できる機能などが加わっている。 Firefox 56は8月初めに公開されたバージョン55に続くリリースとなる。新機能としてブラウザ内でWebサイトのスクリーンショットを取得できる「Firefox Screenshots」が導入された。ツールバーのScreenshotsアイコンをクリックし、範囲を指定して保存することで取得できる。スクリーンショットはオンラインのScreenshotsライブラリに2週間保存されるが、共有したり、ローカルに保存することもできる。 設定画面も強化され、設定項目も新しく編成された。各項目についての説明を改善したほか、データ収集についての選択肢も新しくなったという。モバイル（iOS/Android）版にタブを送信するFirefox Syncの「S

Kotlin が Android の公式言語になることが Goole I/O 2017 で発表されました。これから Kotlin を始める Java プログラマが多くなると思うので、本投稿では Java プログラマが Kotlin でつまづきがちなところについて説明します。 本投稿は単独で理解できるように書いていますが、↓の連載の第二弾です。 Kotlin の基礎的な構文は理解していることを前提としているので、 Kotlin の基礎については　"Javaとほぼ同じところ" を御覧下さい。 Javaとほぼ同じところ 新しい考え方が必要でつまづきがちなところ ←この投稿で扱う内容 Kotlinならではの便利なこと 新しい考え方が必要でつまづきがちなところ 新しい概念を学ぶときには、何ができるのかだけでなく、どうしてそうなっているのかがわからないとそれをうまく使いこなすことができません。 本節で

画像処理は難しい。 Instagramのキレイなフィルタ、GoogleのPhoto Sphere、そうしたサービスを見て画像は面白そうだ！と心躍らせて開いた画像処理の本。そこに山と羅列される数式を前に石化せざるを得なかった俺たちが、耳にささやかれる「難しいことはOpenCVがやってくれるわ。そうでしょ？」という声に身をゆだねる以外に何ができただろう。 本稿は石化せざるを得なかったあの頃を克服し、OpenCVを使いながらも基礎的な理論を理解したいと願う方へ、その道筋(アイテム的には金の針)を示すものになればと思います。 扱う範囲としては、あらゆる処理の基礎となる「画像の特徴点検出」を対象とします(実践 コンピュータビジョンの2章に相当)。なお、本記事自体、初心者である私が理解しながら書いているため、上級画像処理冒険者の方は誤りなどあれば指摘していただければ幸いです。 画像の特徴点とは 人間が