ELBのアクセスログをAWS LambdaでElasticsearchに取り込む | DevelopersIO
はじめに 藤本です。 AWS LambdaがPythonに対応してから色々なことを試しています。 概要 ELBのアクセスログはS3に出力することが可能です。5分なり、1時間なりで定期的にS3にログファイルが作成されます。S3に集約することは簡単でもS3に出力されたファイルはAPIによるアクセスが必要、ログファイルが細かく分割されていることもあり、可読性の面においては優れていません。 そこでAWSではログを管理できるサービスとしてCloudWatch LogsやAmazon Elasticsearch Serviceを用意しています。Amazon Elasticsearch Serviceに関してはAWSのGithubでS3 -> AWS Lambda -> Elasticsearchの流れとなるソースコードが公開されています。ありがたい！これにより簡単にログデータを取り込むことが可能です。
協調フィルタリング型レコメンドエンジン開発のため仕様について考える - Qiita
火花と同時受賞した筋トレ作家羽田先生のスクラップアンド・ビルドが1番目にレコメンドされるあたり、流石Amazon様です..直木賞を受賞した流も良い小説ですね。 協調フィルタリングは枯れた技術 Webを漁ると2005年の段階で日本語の記事が存在しています。またレコメンドサービスを提供する会社は乱立しており検索すると何社も見つかるので（どこも高いけど）、作れる理論は出回っているのでしょう。 協調フィルタリングはJaccard係数で相関をとって実現することが一般的みたいです。商品Xと商品AのJaccard係数の計算式は次の通りです。 では100万個の商品が存在するとなると、商品Xからレコメンドされる商品を計算するには100万回Jaccard係数の計算を行う必要があります。計算量爆発してますね。この計算方法は現実的ではありません。 協調フィルタリングは枯れた技術です。上記課題にぶちあたった先人はい
Jenkinsを使ったSphinxとS3によるドキュメントサイト構築 | DevelopersIO
渡辺です。 開発者の間ではgithub式Markdownでドキュメントを書くのが主流となっている昨今ですが、エンドユーザ向けのドキュメントとなると出力フォーマット・版管理・クロスリファレンスなど、機能的にもう少し欲しいところです。しかし、Wordといった専用の文書作成ソフトを使うほどでもないし、表計算ソフトを使うのは論外だと思われます。 そんな要求を満たすツールはSphinxです。今回は、Sphinxを利用してドキュメントを生成し、Jenkinsによる自動ビルドでHTML形式のファイルを作成し、S3へのリリースする手順を解説してみます。Sphinxは静的ファイルを生成するため、S3やCloudFrontと相性良く利用できるソリューションです。 Sphinxとは？ Sphinxは、ドキュメント生成ツールです。SphinxではPythonで採用されているreStructuredText(reS
AWS Command Line Interface(awscli)を使ってみた - 元RX-7乗りの適当な日々
今更な話題ではありますが、Pythonで作られたAWS Command Line Interface(aws-cli: 従来のJavaで動いていたEC2 API Toolsとは別物)を入れて動かしてみました。メモ的な感じで残しておきます。 aws-cliは、pipで管理できるし、これ1つで複数のAWSサービスを扱うことが出来て、かつレスポンスもJSONとかで返ってくるので、なかなか便利です。 $ aws autoscaling ec2 importexport sns cloudformation elasticache opsworks sqs cloudsearch elasticbeanstalk rds storagegateway cloudwatch elastictranscoder redshift sts datapipeline elb route53 support
何故私は Heroku から離れたか、および新しい AWS セットアップのメモ
whyILeftHeroku.rst 何故私は Heroku から離れたか、および新しい AWS セットアップのメモ 原著者:Adrian Holovaty 原文:Why I left Heroku, and notes on my new AWS setup 金曜日、私は Heroku から Amazon Web Services(AWS) を直接使うように Soundslice を移行しました。私はこの変更ができてとても、そうとても嬉しくて、私がどうやったかということと、もし皆さんが同じような立場だったら何故それを検討すべきかということについて広く伝えたいと思います。 私の Heroku 体験 Soundslice はサイトを立ち上げた2012年11月からずっと Heroku 上にありました。いくつか理由があって、私は Heroku を使おうと決めました: システム管理者でいるのは趣味
Private Presentation
Private content!This content has been marked as private by the uploader.
日本よ、これがKindle Format 8だ！ - 電書ちゃんねるBlog
これはKF8ですか？ ろす よっしゃ、sample.epubって名前のEPUB 3ファイルをKindleGen v2.7／Kindleプレビューツールv2.7を使って変換したらsample.mobiってファイルができたぞ。 さて、これが2011年10月に発表されたKindleの最新フォーマット KF8（Kindle Format 8）なのだろうか？ てゆうか KF8 って何なんだろう。以前から使われてきた Mobipocket とどう区別したらいいの？ 電書ちゃん そのファイルを Kindle プレビューツールで表示してみなさいよ。そしてメニューから[表示]-[本に関する情報]を選択するの。 ろす ところどころ変な日本語だけど、File Formatの欄はKF8になってる。なるほどね。ファイル拡張子は従来のMobipocketと同じ「.mobi」のままだけど、これはKF8なんだ。 電書ちゃ
PythonでAmazon Product Advertising APIを使う - 人工知能に関する断創録
以前、Amazon Web Serviceで書籍情報を取得する（2008/12/20）というエントリを書きましたが、2009年8月15日から新しく認証が導入されてそのままでは使えなくなっていることに気がつきました。サービス名もProduct Advertising APIに変更されたそうです。AmazonのWebサービスはときどき使いたくなるのでPythonから使う方法を改めて調べてみました。以下のサイトを参考にさせていただきました。 Product Advertising API アマゾンAPIを使うのに2009年8月15日から認証が必要になるらしい AmazonアソシエイトWebサービス改めProduct Advertising APIの電子署名について調べてみました Python + Amazon = Pyzon amazon.py まず、Pyzonを参考にアイテムID（ASIN、I
Python library of Amazon Associates Web Service
Python library of Amazon Associates Web Service を公開しました。既存で pyAWSというのがあるみたいですが、正直使いにくかったので、自分用に作成しました。Google App Engine に乗っけたかったので、Pure Python で dom をパースできる pxdom を同梱してます。もち、xml.dom.minidom でも動作します。APIのバージョンは、いまんとこ最新の "2009-02-01" です。とりあえず、ItemSearch の機能しかありません。 import aaws api = Api('1MGVS72Y8JF7EC7JDZG2') items = api.ItemSearch('Python', SearchIndex='Books', ResponseGroup='Small') print '%s' % i
Amazon Web Service 用のWrapper書いてみた - Solr, Python, MacBook Air in Shinagawa Seaside
Python から Amazon Web サービスを使って商品検索をする Wrapper を書いてみました。 PyAWSというのがあって これを使うといいよとブログで紹介している方もいたので試してみたのですが 添付されていたサンプルをうまく動かせなかったり XMLのパースにminidomを使っていたりしていたので ElementTreeを使って自分で書いてみることにしました。 使い方 添付のソースの main のあたりをみてもらう方がわかりやすいかもしれません。 AmazonWebServicesWrapper() : インスタンスの作成 awsapw = AmazonWebServicesWrapper( AccessKeyID, associateTag=False, logger=False ) In AccessKeyID ： アマゾンから発行される Amazon Web Serv
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
