AWSでのHTTP/2 or SPDY運用の課題とPROXY protocol - Hatena Developer Blog
東京でウェブオペレーションエンジニアをしている id:dekokun です。 本記事ではAWSでELBを使用してHTTP/2 or SPDYを運用する上で直面する問題としてのクライアントのIPアドレスが分からなくなる問題の紹介を行い、その後に解決策としてのPROXY protocolの紹介・PROXY protocolの設定方法について記載します。 この記事は先日公開しましたAWS EC2でのHTTP/2 or SPDY導入方法 - Hatena Developer Blog (以下、"前回の記事"と呼びます) の続編となります。 ELBのTCPモードにおける問題点 解決策としてのPROXY protocol PROXY protocolが必要となる技術的背景及びPROXY protocolの動作 ELB + nginx構成でのPROXY protocolの設定方法 ELBの設定 ngin
出る杭を打つ技術
若者の成長曲線は半端なく、おじさんエンジニアは日々恐怖を覚えます。 出る杭はちゃんと打っておきましょう。 環境の弄りがいのあるツールを教えるEmacs, VIM, zsh, tmuxなど…設定のいじりがいのあるツールは理想の環境を追い求めても終わりはなく、コンフィグはどんどん膨れ上がるばかりです。 それらを「一流のプログラマは、一つの道具にこだわりとことん使い尽くすもんだぜ」とでも言って、ずっとDotfilesのリポジトリばかりいじるようになってくれれば、彼らがプログラミングに費やす時間は減るはずです。 バイナリアンにさせるいくらアプリケーションが作れても、低レイヤのことが分からないとダメだと刷り込みます。 「プログラムがどうやって起動するか分かってる? えっ、mainを書けばそれが呼ばれる? あのなぁ、_startというのがあってだな…」 無駄に低レイヤに詳しいおじさん力を活かして、あた
作って理解するWebフレームワーク - きしだのHatena
前回、簡単なDIコンテナを作ってみたので、次はこれを使ってWebフレームワークを作ってみたいと思います。 Webサーバーをつくる まず、WebフレームワークなのでHTTPサーバーが必要ですね。なので簡単なものを作ります。 とりあえずブラウザからリクエストを受け取ったら200 OKとHTMLを返すだけのサーバーです。 今回は、そこらのブラウザからアクセスできればいいや、ということで、RFCとかの仕様に準拠することは考えません。 public class Server { public static void main(String[] args) throws IOException { ServerSocket serverSoc = new ServerSocket(8989); for (;;) { Socket s = serverSoc.accept(); new Thread((
jQueryで楽になる部分、楽にならない部分、顧客が本当に必要だったもの - Qiita
俺も昔はお前のような jQueryスパゲッティジェネレーターだったのだが、膝にReactを受けてしまってな… 基本的な方針 とくにライブラリ設計者において、小さなモジュールを単機能で分割する以上、ライブラリ設計者は可能な限り依存を減らすことを求められます。node環境ならdependency hellの回避のため、フロントエンド環境ならファイルサイズを減らすためです。 ライブラリ設計者ならずともコードのポータビリティを維持するため、できるだけライブラリに依存しないコードを書くのが望ましいです。 Githubみてる限り、最近書かれるJSのライブラリの多くはjQuery非依存です。ユーザーから見る限りは、jQueryElement渡すかHTMLElement使うかぐらいの違いですけどね。 また、Angular, React等のSPAをスクラッチで設計する場合、気づいたらjQueryを使っていな
Elasticsearch マッピング
Elasticsearch におけるマッピングとは、リレーショナルDBでいうところのテーブル定義に相当します。しかし、単にデータを格納する為のフィールドを用意して型を設定するだけではありません。Elasticsearch では、フィールドの型の他に言語解析処理などのドキュメントを検索可能にする為の各種設定が可能です。 スキーマーレスが一つの特徴の Elasticsearch では、ドキュメントをインデックスすると自動的に各フィールド毎にフィールドタイプなどのマッピングが自動で設定されインデックスが作成されます。また、事前にマッピングを設定可能な仕組みとなっています。 自動マッピングまずは以下の内容で、インデックスを作成し自動マッピングについて見て行きます。 ブログ記事毎に１つのドキュメントをインデックス各ドキュメントはドキュメントタイプ story にインデックスドキュメントタイプ sto
Qiitaがquery-stringっぽい構文を自前実装した理由 - Qiita
これは Elasticsearch Advent Calendar 2014 15日目の記事です。 今秋、Qiitaの検索システムが刷新されました。 Qiita/Qiita:Teamの検索システムがパワーアップしました - Qiita Blog ブログ記事の中でも簡単に紹介していますが、例えば title:"elasticsearch 入門" と検索すると、タイトルに "elasticsearch" と "入門" を単語を含んだ記事を検索できたり、他にも OR が使えたり、マイナス検索ができたりします。 一見すると query string query でも使ってるみたいですが実際はそんなことはなく、泥臭く検索文字列をその都度解析し、生成したクエリをElasticsearchに投げています。この記事では、なぜ query string query を使わずに自分で書いたのかという話と、公開
Elasticsearch の配列へのマッピングはどうすれば良いのだろう？と悩んでいた - 雑文発散(2015-06-05)
▼ [Elasticsearch] Elasticsearch の配列へのマッピングはどうすれば良いのだろう？と悩んでいた 例えばこんなふうに日本語のタグを配列で入れるとする。 { "tags": ["あとで読む", "これはひどい", "プログラミング"] } この配列の中身が分かち書きされてしまうのを避けたいときに、mappings の設定をどうすれば良いのか分からなかった。あ、日本語の検索用に kuromoji を入れている状態ね。 配列だから type は array かな？と思って書いてみてもダメだった。array なんてねーよ、と Elasticsearch から怒られてしまう。 { "properties": { "tags": { "type": "array", "index": "not_analyzed" } } } どうやら正解は（配列の中身が文字列だから？）typ
Elasticsearch Nested Type vs Array Objects
Elasticsearchには、辞書形式のデータの配列（複数のプロパティを持つオブジェクトの配列）をインデックスする際に、Nested と言うフィールドタイプが用意されています。 インデックスする際にJSONデータの内容は同じでもNested型でマッピング定義されているのか？単にオブジェクトの配列としてマッピング定義されているのかで、検索やソートなどで動作が異なるので注意が必要です。と言うか検索要件によって使い分ける必要が有ります。 デフォルトのダイナミックテンプレートでは、単純にオブジェクトの配列としてマッピング定義されます。 Array Objects最初に、通常のオブジェクトの配列についての説明です。 BtoB向けのECサイトを例に、商品は顧客ごとに販売価格が異なる仕様だとします。 { "product_id": "A000001", "prices": [ { "customer_
RailsでElasticsearch: アグリゲーション（ファセット）と Post Filter - Rails Webook
RailsでElasticsearchを使って簡単な全文検索 ページネーション・１ページあたりの表示件数 ソート機能 とRailsでElasticsearchを使って検索機能を実装してきました。 今回は、「アグリゲーション（ファセット）と Post Filter」について説明します。 「アグリゲーション」は、SQLでいうGROUP BYのようなもので、最小値、最大値、平均値などを求めたり、カテゴリ毎の数を数えたりなどドキュメントを集約させるものです。Elasticsearchでは、従来あった集約機能の「ファセット」では複雑な集約を処理できなかったので、新しくアグリゲーションを作ったぽいです。 具体的には、下記画像の左側のサイドバーで検索結果を絞り込めるようにします。 目次 アグリゲーションのためのElasticsearch カテゴリのアグリゲーションの実装 複数カテゴリの検索に対応 都道府
RailsでElasticsearch: 全文検索を実装 - Rails Webook
RailsでElasticsearchを使ってレストラン検索アプリを作成、店名、住所、カテゴリなどからレストランを全文検索できるようにします。また、フィルタ(filter)も使って検索条件を指定することで、閉店している店舗も含めて検索できるようにします。 今後、Elasticsearchのページネーション・ページあたりの表示件数、ソート、ファセット・post_filter、ハイライト、サジェスト機能などをより実践的な機能を実装していきます。 目次 ElasticsearchのMacへのインストール Railsプロジェクト作成とテストデータ作成 RailsとElasticsearchで全文検索を実装 検索条件を指定する 動作確認 Mac OS X 10.11 El Capitan elasticsearch 1.7.2 Rails 4.2.3 elasticsearch-dsl 0.1.2
実践！Elasticsearch - Wantedly Engineer Blog
（募集はダミーデータです） （参考: ドキュメント登録の流れについては Elasticsearch 入門 を参照すると良いです。） Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。 以下のコマンドを実行することで analyzer の設定ができます。 下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
AWS再入門 Amazon Elasticsearch Service編 | DevelopersIO
はじめに 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の17日目のエントリです。昨日16日目のエントリは鈴木の『Amazoon Kinesis』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日18日目のテーマは『Amazon Elasticsearch Service』です。2015/10/1にリリースと約2ヶ月半前にリリースされたサービスなので再入門と呼ぶには少し微妙な感じはありますが。。。 目次 サービスの基本的な説明 Elasticsearchとは Amazon Elastic
マネージド Open-Source Elasticsearch および OpenSearch 検索とログ分析 – Amazon OpenSearch Service – Amazon Web Services
Amazon OpenSearch Service を使用すると、インタラクティブなログ分析、リアルタイムのアプリケーションモニタリング、ウェブサイト検索などを簡単に実行できます。OpenSearch は、Elasticsearch から派生したオープンソースの分散検索および分析スイートです。 Amazon OpenSearch Service は、OpenSearch の最新バージョン、Elasticsearch の 19 バージョン (1.5〜7.10 バージョン) のサポート、および OpenSearch ダッシュボードと Kibana (1.5〜7.10 バージョン) を利用した視覚化機能を提供します。Amazon OpenSearch Service は現在、数万のアクティブなお客様を抱え、数十万のクラスターが管理され、毎月数百兆のリクエストを処理しています。
MySQLユーザ視点での小さく始めるElasticsearch
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月VirtualTech Japan Inc.
【ネットベンチャーの創造力】前編：25歳からのエンジニアキャリア―大手企業勤務とネットベンチャー「ラクスル」設立準備に奔走した日々 利根川裕太さん | ノマドジャーナル
> 独立・起業 > 「プロ人材」インタビュー > 【ネットベンチャーの創造力】前編：25歳からのエンジニアキャリア―大手企業勤務とネットベンチャー「ラクスル」設立準備に奔走した日々 利根川裕太さん 2016.04.15 「プロ人材」インタビュー 【ネットベンチャーの創造力】前編：25歳からのエンジニアキャリア―大手企業勤務とネットベンチャー「ラクスル」設立準備に奔走した日々 利根川裕太さん エンドユーザーと印刷会社を結び、これまでにないクラウド型ネット印刷の仕組みを実現したラクスル株式会社。利根川裕太さんは、20代半ばにして共同創業者として同社の急成長を支えた人物だ。 大手企業に勤務しながら、並行してラクスル設立準備に関わるというパラレルキャリアを経て本格的に経営参画した利根川さん。インタビュー前編では、その情熱の裏側と、これまでのキャリアについてお話を伺った。 エンジニアへの挑戦は25歳
Assembleの使い方(Grunt task) - Qiita
テンプレートエンジンを案件で使用することがあったので、 自分用のメモとしてAssembleの使い方を書いておきます。 Assembleとは assemble（アセンブル）とは、node.jsベース(Gruntで動かせる)HTMLテンプレートシステムです。コンパイルすることでHTMLを生成してくれるジェネレータツールになります。 Assemble公式サイト Assembleドキュメント 導入理由 プログラムを使えないサーバでも、インクルード管理したかったから 同じく静的のHTML上でも条件分岐を使用したかったから Gruntプラグインで常にタスクで管理したかったから 他にも導入する理由はありましたが、この3つが主な理由になります。 似たようなテンプレートでは、Jekyllというものがあります。 どちらも使ったのですが、一番自分にあったのがassembleになります。 GruntでAssemb
assembleで静的webサイトを作った - count0.org
お仕事でデザイナーさんの作ったデザインを元にHTML, CSS, JS, 画像など静的なwebサイトを作って、システム屋さんに渡すということが多々あります。数ページで構成されたものならいいとして、複数デバイス、数十ページになるとさすがになんらかのテンプレートシステムの導入を考えます。最近のお仕事でassembleというNode.jsベースかつGruntで回せる静的Webサイトジェネレータを使いました。 assembleで何ができるか githubのプロジェクトページにこう書かれています。 A Grunt.js plugin for building sites, documentation and components from reusable templates and data. Includes options for using JSON, YAML, YAML front ma
Markdown風テキストでダイアグラムが描けるWebツール - Qiita
MarkDownDiagram Markdown風のテキストで、ER図やブロックダイアグラムのようなチャートを描けるツールです。 こちらにインスパイアされて、もうちょっと汎用的にダイアグラムを描けるツールを作りました。 もう保守されない画面遷移図は嫌なので、UI Flow図を簡単にマークダウンぽく書くエディタ作った 特徴としては Webブラウザのみでローカルで動作 配置はマウスでドラッグして編集できる CSSで色や装飾を制御可能 といったあたりです。 githubからclone/ダウンロードして使えます。 オンラインで試すのはこちらでどうぞ。 ローカルでブラウザのみで動作します。index.htmlをブラウザで開いてください。 Chrome推奨ですが、Safari,Firefoxでも動作します。タッチIFは未対応。 機能 テキストでブロックを記述し、ブロック間を線で繋ぐ描画 ブロックをマウ
DeNAを卒業します - from scratch
この週末にこの話を書こうと思っていたのですが、筆不精なもので土日を普通に過ごしてしまいました。 さて、表題の通りDeNAを卒業することになりました。 今回は技術的な話ではなく、単純にライフステージの変化の話なので気にならない人は読み飛ばしてください。 DeNAに入社したのは3年半前 yosuke-furukawa.hatenablog.com だいぶ昔の記事ですね。この時は同年代や年下の若いエンジニア達がメキメキと力をつけていく中で「なんとかしなければ」という焦燥感で常に何かしらをウォッチしつつ、新しい技術があれば飛びついて調べ、アウトプットする、というようなことをやってました。（今でもアンテナは張っているつもりです） そんな折に DeNA に誘われて入社できたのは非常にラッキーだったと思っています。新しい技術を積極的に採用しつつも、ある程度冷静かつ成熟した判断をしている部分があり、しかも
筋の悪さ | tech - 氾濫原
JS しか書いてないんだなって人は筋悪いものをありがたがっていたりする印象はある。しかし筋悪いものをありがたがるみたいなのはどこにでもいるので、JSがどうとかは直接は関係がないはずではあると思う。JSしか書いてない人とPHPしか書いてない人は似たようなもんで、単に広範囲の知識に興味がないだけな気がする。 それはともかく「これは筋悪そうだな」っていう感覚がどこからくるのかよくわかってないので、現時点で思いつく限り雑にメモしておく。 割の合わなさ 「これは何の問題を解決してるんだろう」と思ってドキュメント読んだりソース読んだりした結果、大したことを解決してなくて、その割に実装量が多いとか学習コストが高いと、筋悪いなあと思う。 フットプリントや学習コストに対して提供されるモノが「割に合わない」のは筋が悪く感じる。 将来性のなさ 「あ、これはただの流行だな」みたいな、5年後には消滅してるなというも
事前準備ゼロで「情報セキュリティマネジメント試験」を受けてみた
春の嵐が吹き荒れた4月17日の日曜日。休日にもかかわらず、記者は朝から東急大井町線の尾山台駅に立っていた。経済産業省傘下の情報処理推進機構（IPA）が実施する「情報セキュリティマネジメント試験」を受験しに来たのである（写真1）。試験会場は尾山台駅徒歩15分。多摩川にほど近い東京都市大学の世田谷キャンパスである。 情報セキュリティマネジメント試験は経産省所管の国家試験「情報処理技術者試験」の新たな試験区分として今回から実施される新しい試験だ（ITpro関連記事：セキュリティの新しい国家試験「情報セキュリティマネジメント」が来春開始）。 具体的には、「情報セキュリティマネジメントの計画・運用・評価・改善を通して組織の情報セキュリティ確保に貢献し、脅威から継続的に組織を守るための基本的なスキル」を認定する（外部リンク：IPA「情報セキュリティマネジメント試験」紹介ページ）。典型的なお役所文書で、
#attefes atteの開発の裏側を語る atte FeS【Go・Swift開発編】に参加してきたまとめ - もぐめぽろぐ
メルカリのグループ会社である、ソウゾウからリリースされた地域コミュニティアプリ「メルカリ アッテ」のリリースまでの裏側を語る「atte FeS」のGo・Swift開発編に参加してきたので、そのまとめ。 atte開発の技術 Golang と Google Cloud Platform 鶴岡 達也様 GoとGAEは非常に有力なWebアプリ開発手段 PaaSの時代が本格的に始まってきた herokuなどあったが、GAEは突き抜けて優秀なのではないか アプリケーションの要件 機能的な側面 作ろうとしているアプリを洗い出した JSON API、静的コンテンツ配信, 動的コンテンツ生成、DB、キュー処理 キーだけの検索ではなく、全文検索、位置情報、予測変換などの検索 画像をアップロードして配信、メール配信、Push通知、データ分析 非機能的な側面 グローバル：複数リージョンでDBはグローバルに一つだけ
これ1つで完結するかも。プロジェクト管理ツール・Asana（アサナ）の使い方 | ライフハッカー・ジャパン
はじめまして！ 2016年1月にBAKEに入った、平野太一です。 ふだんは「cake.tokyo」という、お菓子を紹介するウェブメディアを担当していますが、実はかなりのウェブツール好き。そんな好きが高じて、最近じぶんの中で話題になっているツールなどをTHE BAKE MAGAZINEで紹介させてもらいます。 初回は、プロジェクト管理ツールで困っていたBAKEの中で「使いやすい！」とすぐに浸透した「Asana（アサナ）」についてです！ これまで、いろんなツールが乱立していた Jooto、Todoist、Wunderlist、Producteev、Trello、Backlog、Wrike、Redmineなどなど...世の中には、チームのプロジェクト進行を加速させるためのツールがありますが、自分たちの求めるツールを見つけるのは至難の業。 BAKEはオンラインや店舗、海外などさまざまな事業部があり
話し放題！オンライン英会話ネイティブキャンプが怪物すぎる。
2018年2月11日、情報を更新しました。 どうも、はらぺこグリズリーです。 先日投稿させて頂いたTOEICの記事、1000はてブを超える大変な反響に未だにびっくりしております。 cheap-delicious.hatenablog.com もう半年たった今でも大量のアクセスや英語学習についてご質問などを頂き、本当にありがたい限りでございます。 そういった中で1番多く頂いたのが 「とにかく英語がしゃべれるようになるにはどうしたらいいですか？」 「はらぺこさんのオススメの英会話教室やオンライン英会話を教えてください？」 という内容です。 今回はそれら2つのご質問にお答えする形で、筆者が 「おすすめの絶対に話せるようになる英会話サービス」と そのサービスを利用して 「具体的に英語がしゃべれるようになる方法(勉強法)」をご紹介させて頂きます。 早速ご紹介させて頂きたいのですが、その前に一つ大事な
ウェブフロントエンドのパフォーマンス改善のひとつの日常 - kitak blog
ひとつの日常 この間、仕事でちょっとしたハイブリッドアプリ(ネイティブアプリのWebViewの上で動くWebアプリ、とここでは定義しておく)をリリースした。 そのアプリにはタブがあって、(当たり前だが)タブでコンテンツが切り替わる。 リリースして3日くらい経って、企画の人から「なんか、ここのタブ、反応悪くない？」という話が来た。たしかにタブに触れても、すぐには反応しなくて1~2秒経ってからタブが切り替わる。しかも、切り替えたタブのコンテンツが表示されるのにも1~2秒かかっている、うへー... 改善するぞ！ ということは、クライアントの開発をおこなっていると、ちょくちょくあるのではなかろうか。意識、あるいは無意識におこなっている改善の手順について、先の問題の改善に至るまでの具体的は話、ツールも含めながら書く。 計測する 「計測するまでは速度のための調整をしてはならない」という有名な格言がある
outward-matrix.com - outward matrix リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
特にプログラマーでもデータサイエンティストでも�ないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 - Qiita
特にプログラマーでもデータサイエンティストでも�ないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説Python機械学習DeepLearningTensorFlow これ書くだけで土日２日間まるまる潰れてしまった。 学んだ内容に沿っているので、順に読み進めるに従ってコードの話になっていきます。 Tensorflow触ってみたい/みたけど、いろいろまだ理解できてない！という方向けに書きました。 ※2018年10月4日追記 大分古い記事なのでリンク切れや公式ドキュメントが大分変更されている可能性が高いです。 この記事のTensorflowは ver0.4~0.7くらいだった気がするので ver2.0~となりそうな現在は文章の大半が何を参考にしているのか分からないかもしれません。 1: Deep Learningってそもそも何してるの? 専門の人からはご指摘入りそうですが、要は回帰
Googleとインドの未来を握る。知られざるCEO・スンダー・ピチャイ
テクノロジーの祭典「The Consumer Electronics Show （CES）」は荒涼としたネバダ州の砂漠の街・ラスベガスで毎年開催される。喧噪、画面、説明するスタッフ、自動車、ドローン、ガチャガチャ音を立てるロボットが所狭しと展示されているコンベンションセンターに、17万人もの来客が詰めかける。その中にGoogleのCEOであるスンダー・ピチャイはいた。 ピチャイは43歳。長身。やせ形で、服装はカジュアルなことが多い。今日はVネックのセーターを襟付きシャツの上に着て、ジーンズを履き、四角いフレームのめがねをかけている。少し白髪交じりの髭は、手入れされている。ぱっと見た感じ、その他大勢のCESの来場者たちと変わらない。モーション・シミュレータに乗り、ホール中のお祭り騒ぎの喧噪のなかで自分の声が届くように調整する。彼にとってはスリリングなことだ。このモーション・シミュレータでは2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
植山 類
ElasticSearch入門
http://blog.inouetakuya.info/entry/2014/11/03/191059
【画像】30万のイスｗｗｗｗｗｗｗｗｗｗｗ：キニ速