はてなブックマーク

こちらのブログは Algolia の Adam Surak(@AdamSurak) が書いた May 30 SSL incident を翻訳したものになります。 まとめと重要なポイント 2つの root certification authorities(ルートCA) が2020年5月30日に期限が切れたお客様がもし古いOpenSSLライブラリを使っていた場合、最大1.5時間、もし古い証明書ストアを使っていた場合は最大3時間影響があったこの問題は完全に緩和されており全てのユーザーへのサービスの可用性が回復しているこの問題はOpenSSL、HTTPS、そしてPKI証明書に関連するものであるが、セキュリティインシデントではない 私たちは、2020年5月30日の日本時間の夜7時48分に、インターネットの公開鍵基盤において2つのroot certification authorities(ルートC

先日 DockerにおけるロギングのSidecarアプローチ | shinodogg.com というエントリで、LogglyでDockerのログを一元管理する方法をご紹介しましたが、今日はCloudWatch LogsでDocker(Amazon ECSのタスク)のログを一元管理する方法を考えていきたいと思います。 awslogsログドライバーをGetting Startedしてみる Using the awslogs Log Driverに沿って進めていくため、WordPressやMySQLのDocker imageを使ってEC2上にECSでタスク(EC2上に稼働するコンテナ)定義しながら構築を進めていく形になります。 awslogsをEC2インスタンスにインストール Using CloudWatch Logs with Container Instancesに沿ってCloudWatch

ビッグデータ分析・活用のためのSQLレシピを読みました。 この本について一言で言えば”圧倒的な現場感”！日頃の業務の中で溜め込んだノウハウが惜しげもなく記述されている神SQLの数々。これが数千円で手に入るなんてお得過ぎる…と思える一冊でした。久しぶりにポストイットがフッサフサになってしまいました。笑 //embedr.flickr.com/assets/client-code.js 『Chapter 1』ビッグデータ時代に求められる分析力とは 2005年の”Google Analytics”の登場から、変遷を経てビッグデータが脚光を浴びるようになってきた背景について。私個人としても2005年くらいにGmailやGoogle MapsといったいわゆるWeb2.0に触発されて、ウェブ進化論 本当の大変化はこれから始まる等を読み漁った結果、新卒入社したSIerから、2007年にインターネットサー

先日、Amazon Elasticsearch Service で、Elasticsearch 5.1 がサポートされました。 ↓Youtubeビデオ(日本語字幕付けたので是非ご覧ください) [youtube https://www.youtube.com/watch?v=QBwmVGlMOZU&w=560&h=315] ↓AWSブログ(翻訳、、) Elasticsearch 5 now available on Amazon Elasticsearch Service ↓SlideShare(日本語化するかな、、) [slideshare id=HJRjQ0uGUaQJQI&w=595&h=485&fb=0&mw=0&mh=0&style=border:1px solid #CCC; border-width:1px; margin-bottom:5px; max-width: 100%

詳しくは投稿をご覧ください。

日頃、Amazon CloudSearchの担当をしている私ですが、ふと、Elasticsearchと戯れたくなりました。 とりあえず、おもむろにMacbookのTerminalを立ち上げます。 ■ Elasticsearchを立ち上げる 現時点での最新版のElasticsearchのZipファイルをダウンロードしてきて↓ https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.zip 解凍して、 $ unzip elasticsearch-1.7.1.zip Archive: elasticsearch-1.7.1.zip creating: elasticsearch-1.7.1/ creating: elasticsearch-1.7.1/config/ inflating: elasti

Dockerは docker run する時に、-P フラグを立てると、Dockerホストの、自動的にランダムにエフェメラルポートレンジの中のhigh port(well knownじゃないヤツ)に割り当てを行います。 これはDockerのドキュメントの Linking Containers Together(https://docs.docker.com/userguide/dockerlinks/) に書いてあって、 ↓のようにDockerコンテナの5000番ポートが、Dockerホストの49155番ポートにマッピングされてる例とか。 $ sudo docker ps nostalgic_morse CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES bc533791f3f5 training/webapp:latest pyth

以前、Solrの勉強会で大須賀さんがデモしていた↓がナイスだったので自分も試してみました。 [slideshare id=30600250&w=427&h=356&fb=0&mw=0&mh=0&style=border:1px solid #CCC; border-width:1px 1px 0; margin-bottom:5px; max-width: 100%;&sc=no] アルファベットだったら、レーベンシュタイン距離で近いのでホゲホゲ、でOKだけど、 日本語の場合は、ひらがな/かたかな/漢字ってことで、単純に距離では図れませんがな、と。 さっそくhttps://github.com/mosuka/solr-suggester-demo-uiをcloneしてくると、 その名の通り、UIのとこだけですねん、と。当たり前ですが、コレでは何も動きません…。 $ ls README.md

ちょうど去年の今頃にApache Solrの copyField と dynamicField についてブログを書きました↓ SolrのcopyFieldとdynamicFieldを使いこなす | shinodogg.com Amazon CloudSearchにおいては、Solr の copyField に該当する Source Field という機能があるので そちらが使えますが、今まで dynamicField に該当する機能がありませんでした。 この度、米国時間の12月22日の↓の発表で、Amazon CloudSearchでDynamic Fieldsが使えるようになったと。 Lean and Flexible Configuration with Dynamic Fields 詳しくは↓こちらのドキュメントをご覧くださいね、と。。 Using Dynamic Fields in

Infinity Ventures Summit(以下IVS)には過去3回スタッフとして 参加させていいただいておりますが、(その時のブログ 1回目 2回目 3回目) 今回はIVSと共催という形で、同じ期間中に近くの会場で、CTOを対象とした、 『IVS CTO Night and Day powered by AWS』というカンファレンスを開催し、 全体の司会進行などを行わせていただきました。 ※ 免責 こちらのエントリは私の個人的な振り返りであり、所属する会社とは関係ございません。 ■ Day 1 『Welcome CTO Night! 』 CTOは企業の中で技術のトップということで、立食形式のパーティーで どれだけ盛り上げることができるか、と考えていたのですが、 皆さまに時間より早くお集まりいただけて、ウェルカムドリンクの時間帯からとても良い雰囲気でした。 京都で開催なので、関西のC

Amazon CloudSearchは2014年3月から日本語がサポートされましたが、 Analysis SchemeでJapaneseを選択した場合、形態素解析のみとなり、 N-Gramがあるとイイのにな、と思う場合があります。 Analysis Schemeには”Multi Languages”というオプションがあるのですが、 先日、こちらを選択することで、N-Gramに該当する検索が実現できるようになりましたので さっそく試してみたいと思います。 ■ Japanese(日本語形態素解析) と Multi Languages(N-Gram) の 2つのフィールドを定義します。 ■ それぞれのフィールドに都道府県の名称を入れてみます ■ Japanese(日本語形態素解析) を “京都” で検索してヒットするのは “京都府” のみになります。 ■ Multi Languages(N-Gr

CakePHP is an open-source web, rapid development framework that makes building web applications simpler, faster and require less code. It follows the model–vie... をみると、ダウンロードのリンクが https://codeload.github.com/cakephp/cakephp/zip/2.4.3 だったので、 $ cd /var/www/html/ $ sudo curl -O https://codeload.github.com/cakephp/cakephp/zip/2.4.3 % Total % Received % Xferd Average Speed Time Time Time Current Dload

本日、↓のアナウンスがございましたが、CloudSearchの大きなローンチがありました。 【AWS発表】Amazon CloudSearch 大幅アップデート – 1ヶ月100ドル以下でより良い検索が可能に！日本語にも対応！ 日本語に対応したマネージドな検索エンジンが東京リージョンで使えるということで、早速試してみたいと思います。 お題は、先日書いた、SolrのSuggesterを試してみる | shinodogg.comのCloudSearch版ということで。 ■ ドメインを作る ManagementConsoleからDomainをCreateします。 ドメインの名前は取り敢えず、、、。 で、インスタンスタイプとレプリケーションの数が選べます。 ドメインのスキーマ定義はCSVファイルから。 CSVファイルの名前は山手線の名前で。 今回のローンチでAnalysis Schemeのところで

僕は、その昔、SIerで企業の業務システムの構築をしていました。 名寄せ検索とかよくある機能。例えば、姓名か名前に”海”って文字列が入ってる〜的な。 考えられるユースケース的には、企業の営業部とかで、、 Aさん：ｘｘ社のｘｘ担当の人の名前なんだっけ？ Bさん：春野さん だか、ナンチャラ春美さん だか、そんな感じ〜 Aさん：了解！調べてみる〜(検索窓に”春”って入力してボチっと) 当時はオープンソースの検索エンジンとか馴染みがなくて、RDBMSのLike検索で頑張っていました。 お察しの通りに、データ件数が増えていくとイヤ〜ンな事になったりして。 パフォチューしようにも、あんまりデータベースのスキーマ変えられなかったり。。 ということで、当時コレがあったらさぞかし便利だっただろうに、、というSolrの機能をご紹介したいと思います。 流れ的には↓の最近改訂版が出た Apache Solr入門

11月16日(土)にアマゾンジャパンオフィスで、AWS x GitHub Workshopを開催しました。 おかげさまで定員50に対して130名以上の希望者が集まる注目の勉強会となりました。 ■ 開催のキッカケ 先日、Yahoo!Japanで開催されたDevOps Day Tokyo 2013というイベントにおきまして、 GitHubの@johndbrittonさんの講演に感銘を受けまして、勉強会後にお声がけさせていただいたところ、 『11月にGitHubトレーニングチームで日本の地方をまわるツアーをやるから、そのタイミングで勉強会や飲み会をしよう！』 という話になり、それからイロイロとやりとりをさせていただきながら企画を練る形で開催に至りました。 また、そのツアーにおいても、いくつか地方で技術力が高いことで有名な会社を紹介させていただき、今回の彼らのツアーに協力出来たことを非常に嬉しく思

つまらないところでつまづいてしまって悲しい時間を過ごしてしまったので、備忘録がてらメモ。 AndroidでListViewを表示する際に、Listオブジェクト作って、Adapterが～って感じでホゲホゲすると思うのですが、 デフォルトのままだと一番上にフォーカスが当たります。 チャット機能みたいに、一番下にフォーカスを当てたい場合にどうしたらイイか？っていう。 ListViewはsetSelection(int position)というメソッドを持っています↓ http://developer.android.com/reference/android/widget/ListView.html#setSelection(int) Sets the currently selected item. If in touch mode, the item will not be selected

Jubatus(ユバタスと読む。チーターという意味)はNTTとPFIが一緒に開発した国産のソフトウエアで NTTのホームページのVol.3 「Jubatus（ユバタス）」 ビッグデータを「大量に」「素早く」「深く」解析できる仕組みには ↓のように記載されています。 「Jubatus」は、「Hadoop」にはない「リアルタイム処理」「オンライン機械学習」の2点を兼ね備えており、 素早いレスポンスが求められる場面でより高度なデータ分析を行うことが可能となっている。 また、メールのスパムフィルタ等で活用されている分類機能や、後述のサーバの消費電力推定等で利用できる回帰機能、 またレコメンデーション機能に用いられる近傍探索機能といった、世の中で広く用いられているアルゴリズムに対応している。 なんか読んでるだけでワクワクしてきますね。 来週、第3回 Jubatus ハンズオン EC2で分散実行編とい

http://instagram.com/p/bEhfq3w6a_/ 7月末をもって楽天を退職します。 本日6月28日が最終出社日で7月は有給休暇となります。 SIerの文系SEが、ウェブ進化論に感化されてインターネット業界に飛び込んだわけですが、 6年弱という非常に長い間、様々なサービスやプロジェクトに従事させていただき、 いつも尊敬できる仲間に囲まれ、とにかくエキサイティングな日々でした。 振り返ってみると、他では体験できない事の連続で、 本当に楽天で働けて良かったっていう感謝の気持ちでいっぱいです。 ■ Development with Ruby on Rails 楽天でのはじめてのプロジェクトはRubyな開発でした。 全然物事が進んでいくスピード感がそれまでと違ったし、 1日ウン百万PVっていうインターネットの洗礼を浴びたっていうか。 いろいろあったけど、常にチャレンジングな姿勢で

品川シーサイドから秋葉原遠い＆ATNDのリンクをボチって押してGoogle Mapが指してたところが 合ってなくて、迷ってしまい結構遅刻して参加…。 「ChefとOpsWorksでEC2楽チンクッキング！」 ■ Chef, Puppetの心得 ・コマンドで直接作業はしちゃダメ。 ・AMIのイメージは共通の1つのものにして、 APサーバーとかDBサーバーとかは、Chef, Puppetで構築。 ■ Chefの紹介 Opscode社が作っているOSS。 OpscodeとOpsWorksは特に関係ない。 ・スタンドアロンタイプのChef Solo ・クライアント・サーバータイプのChef Client & Server Chef Soloの方が簡単だけど、クライアント・サーバーでないと使えない機能が多少ある。 ■ Chefの主な機能 Cookbook：Chefの設定をまとめる単位。実際はフォルダ