Django 1.920. 主な追加機能（目次） ● performing actions after a transaction commit ● password validation. ● Permission mixins for class-based views. ● running tests in parallel. ・Python 3.5 が使える
Reading drill
2. 自己紹介 • 佐々木 海(@Lewuathe) • Hadoop, Stormなどの開発、運用 • Spark MLLibの開発も手伝ってます • Big DataとDeep Learningをつなげるのが夢 3. Apache Drill • MapRが中心となって開発している分散SQLエンジン • GoogleのDremel論文がもとになっている • 同種のソフトウェアとしては以下が有名 • Impala (http://impala.io/) • Phoenix (http://phoenix.apache.org/) • Presto (https://prestodb.io/)
TensorFlow研究会 きちんと性能評価 〜にわかと言われないために〜
徹底比較！HA Kubernetes ClusterにおけるControl Plane LoadBalancerの選択肢
Embulkに足りない5つのこと
embulk meetup tokyoで話しました！ ユースケースが書かれているので是非参考にして下さい。
一休.com での ChatOps - kentana20 技忘録
はじめに こんにちは @kentana20 です。一休.comの中で自動化や開発フローの整備・改善などを担当しています。 本エントリはChatOps Advent Calendar 2015の14日目の記事です。一昨日は @treby さんが 「2015年にプライベートで作ったbotたち」 というタイトルで、趣味で作成されたBotを紹介いただきました。 今日は、 一休.com でのChatOps活用事例をいくつかご紹介したいと思います。 一休で使っているツール 一休では以下のツールを連携してChatOpsを整備しています。 比較的よくある組み合わせだと思います。 カテゴリ ツール Chat Slack Bot Hubot CI Jenkins E2Eテスト Selenium VCS GitHub Enterprise タスク管理 Redmine 一休.com でのChatOps リリース運
『API デザインケーススタディ』の紹介 - まめめも
著者の田中哲さん (@tanaka_akr) から献本をいただきました！ *1 APIデザインケーススタディ ~Rubyの実例から学ぶ。問題に即したデザインと普遍の考え方 (WEB+DB PRESS plus)posted with amazlet at 15.12.14田中 哲 技術評論社 Amazon.co.jpで詳細を見る 本（電子版）をもらったのは RubyKaigi の前日の夜。翌日に TRICK 2015 の発表を控えていましたが、読み始めると面白すぎて、発表前までに読み終えてました。ちなみに献本とは別にジュンク堂 RubyKaigi 店で一冊買いました。（サインもろた） 自分が思った、読者層ごとの勝手な紹介を書いてみます。 普通の Ruby ユーザへの紹介 子プロセスを起動する Process#system 、#spawn 、open3.rb *2 あたりを使ったことがあるで
ピクシブ社内広告サーバーに新機能を追加するためにボクがやったこと - pixiv inside [archive]
この記事は ピクシブ株式会社 Advent Calendar 2015 15日目の記事です。 qiita.com インフラチームの @catatsuy です。 普段はインフラの仕事が中心ですが、広告サーバーの開発にも関わっています。今回は少し前にリリースされた広告サーバーの新機能について、私が実装した配信サーバーを中心に解説したいと思います。 広告サーバーの実装については何回か発表を行いました。以下のスライドをご覧ください。 ピクシブ広告サーバー開発・運用の軌跡 2015春インターン講義資料 // Speaker Deck ピクシブ社内広告サーバーでのGoの開発・運用 #gocon /p_ads_server_gocon2015 // Speaker Deck タグ指定で特定の広告を出したい ピクシブではユーザーの皆様に最適な広告をどうすれば出せるのか、日々テストをしています。その一環とし
![ピクシブ社内広告サーバーに新機能を追加するためにボクがやったこと - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/6b98ea3e3e645fa27022c439285e8be5a78def62/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fc19545c0ad11a4ce29c65c2c9cb589e430d9f09f%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttp%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fc%252Fcatatsuy%252F20151213%252F20151213223050.png)
Java で引数の null チェックで迷った話 - yukungのブログ
これは Java Advent Calendar 2015 の 15 日目の記事です。 昨日は @opengl_8080 さんの Byteman 使い方メモ＋α でした。明日は @irof さんです。 前置き ついこないだチームでちょっとだけ話題に上って、みんなある程度指針は持っているものの、割と悩みつつ明確に答えを出せなかったので、もっと良い意見があればと思って晒してみます。まぁよくある話だし、Java 8 で Optional が使えるようになって null について語られるケースが増えたと思うので、再考するちょうどよい機会になればいいなーと思います。初心者向けです。 どう処す？処す？ こんな状況の時にあなたならどうしますか？ // Generics なのは例です。String でもなんでもいいです public T doSomething(T input) { // input が
Terraform: AWSマルチリージョンな環境を構築してみる | ただのメモ
HashiCorp Advent Calendar 2015の5日目の担当が空いていたので書いてみました。 クラウドを利用されているみなさんは、リージョン障害などに備えるために複数のリージョンを利用されているかと思います。 複数のリージョンに展開する際、どのような方法で行ってますでしょうか？ CloudFormation Stackを複数のリージョンで作ったり、手動でポチポチやったり、SDKやAWSCLIを使ったスクリプトを使ったり… Terraform を使えば簡単に複数のリージョンを統一的に扱うことが出来ます。 Terraform は複数のプロバイダ(AWSやGCPなど)を一つのテンプレートの中に混在することが出来ます。 また、1種類のプロバイダを複数使用することも出来るため、AWSにマルチリージョンな環境を構築できます。 AWS謹製のCloudFormationは、S3やRoute5
Terraformを使ってEC2インスタンスにIAMロールを当ててみる - tjinjin's blog
HashiCorp Advent Calendar 2015の4日目の担当がいらっしゃらないようでしたので、最近試したことでも書いておこうかと思います。検証が不十分な部分があるかと重いますがご容赦下さい（現在12/4 23:25です） 前日はk1LoW - QiitaさんのTerraformで簡単なところからいろいろ試してみた報告(tfファイル付き) - Qiitaという記事でした。Terraformの知見が増えてきて嬉しいですね。 さて、この記事ではタイトル通りTerraformを使ってIAMロールをEC2の付与することをご紹介します。 IAMロールとは EC2インスタンスからawsのAPIを叩こうと思った時に気になるのが、credentialの扱いかと思います。AWSにはIAMロールという機能があり、その機能をEC2インスタンスに付与することでcredentialファイルを自分で用意し
Terraform moduleあるある - tkak's tech blog
このエントリは HashiCorp Advent Calendar 2015 - Qiita 10日目の記事です。今回はTerraformのmodule機能に関する知見をご紹介します。 moduleとは？ module "consul" { source = "github.com/hashicorp/consul/terraform/aws" servers = 3 } moduleは、Terraform resourceを抽象化するためのものです。よく使うパラメータをmodule内に隠蔽して入力項目を減らしたり、複数のresourceをまとめたり、tfファイルの見通しを良くするために使います。 生のresourceを使ってTerraformの設定ファイルを書くのには、ある程度インフラの知識が必要です。module機能を使って、可能な限り入力項目を簡潔にすれば、インフラの知識がない人でも
Packer プラグインの書き方（Provisionerを例に） - Qiita
HashiCorp Advent Calendar、15日目の記事です。 今回のテーマは Packer です。 Packer pluginとは Packerの特徴の一つに、イメージの構築のための様々なフェーズをレイヤ分けして、それぞれでプラグインという形で分離しているところがあります。 Builder Plugins (AWS, OpenStack, GCE, QEMUなどのプラットフォーム層) Provisioner Plugins (Shell, Upload, Chef/Puppet/Ansible...) Post-Processor Plugins (DockerやVagrant Cloud周りの操作など、イメージ作成後の挙動) プラグイン機構を採用しているので、環境ごとに自分でプラグインを作成して拡張することも可能となっています。 筆者は以前、DHCPなしのOpenStack向
Dockerコンテナとイメージの仕組みを視覚化してみた
この記事は、Docker 102レベルを意図して書かれている。Dockerが何か分からない、または仮想マシンや構成管理ツールと比べてどうなのか分からないという方には、この記事は現時点ではやや高度すぎるかもしれない。 この記事が、dockerコマンドラインの習得に悪戦苦闘している人、中でも特に、コンテナとイメージの違いを正確に知っている人の助けとなれば良いと思っている。さらに具体的に言えば、この記事では、普通のコンテナと起動中のコンテナを見分けていくつもりだ。 私はこれを、下層の細かい部分、つまりユニオンファイルシステムに注意しながら書いている。私はdocker技術の経験が比較的浅く、dockerコマンドラインを習得するのが難しいと感じていたため、私自身、このプロセスに数週間にわたって取り組んだ。 脱線：私が思うに、短期間で学び、かつツールを正しく使えているという自信をつける最良の方法は、技
JavaScriptのトレンドを素振りして確認する方法 - Qiita
JavaScriptは流れが早いと言われますが、その流れをどう捉えるかの一つの要素として使える素振りの話です。 流行り廃れが早いのはちゃんと循環してるということなので問題ないですが、 トレンドと言われるものの半分ぐらいは誰かの主張にすぎない事があります。 そのため、主張だけを見て判断しないで中身を見て確認する必要があります。 自分はJSer.infoというJavaScriptの情報サイトを2^8週間ほど継続してやっています。(5周年記念イベントを1/16(土)にやります) JSer.infoで紹介するものは何かしらの方法でその主張がおかしくないかの確認をとります。 売り文句は素晴らしいが中身を見た時におかしな部分や問題がありそうなら、そこで引き返して追わないという判断もします。 仮にそこで引き返した事が間違えであっても、それが素晴らしいものなら別の誰かがそういう主張を書いてくれるはずなので
Docker の Volume plugin で NFS や Glusterfs を利用する - Qiita
Docker 1.8 では Volume と Network 二種類のプラグイン構造が導入されました。 これを使えば難しかったボリュームの永続化や、コンテナ間の仮想ネットワークが実現できるという触れ込みです。 そろっとこのプラグインとやらを使ってみるかと思い、いくつかリリースされている Volume Plugin から試してみることにしました。 これまで コンテナを終了、再起動してもデータを永続化するためにボリュームを使ってきました。これはホストのファイルシステムの一部をコンテナ内にマウントする様な仕組みです。 ボリュームで永続化ができるようになりましたが、ホストとコンテナの内部が密接に関係してしまいコンテナのポータビリティが失われるという問題がありました。 なのでボリュームマウントするのはネットワークファイルシステムにしたいという要求がわいてくるのですが、これも一筋縄ではいかなかった様に
Dockerを使ってロードバランシング環境構築 - Qiita
この記事は Docker Advent Calendar 2015 15日目の記事です。 目的 Dockerを利用して、2台のサーバーに対してロードバランシングする環境を作成する。 ではさっそく構築に取り掛かります。 最終的な構成としては以下にになります。 ロードバランサー 1台 Webサーバー 2台 今回はNginxの機能を使用してロードバランシングを実現します。 別の方法としてはhaproxyを使う方法があります。 dockerfile/haproxy Dockerで簡易的にロードバランシングを行いたい場合はこちらで充分でしょう。 前提知識 Nginxでのロードバランシング設定 Using nginx as HTTP load balancer Nginxを使用してのロードバランシング 上記設定を用います。 今回はデフォルトのラウンドロビンにします。 docker-compose.ym
Docker で「速くてウマイ」な CI 環境を構築するための 5 つの Tips | 株式会社ヌーラボ(Nulab inc.)
Docker 社のユースケースでもあげられているように、CI/CD で Docker を使うというのは、プロダクションシステム以外で Docker の特性を活用できる良い場所だと考えています。ヌーラボではBacklog でのプルリクエストの提供以降、CI のジョブの実行のために Docker を利用しています。ここではその運用から学んだ５つの Tips を紹介したいと思います。 ヌーラボの CI 環境の全体図 これがヌーラボの CI 環境の全体図です。 CI には Jenkins を利用しており、Jenkins のジョブのトリガーとなるのは左側の Backlog や Typetalk です。実際には Jenkins Backlog Plugin や Jenkins Typetalk Plugin を利用してジョブを処理しています。これらのプラグインの詳細については本ブログ末に参照先をのせて
AWS再入門 Amazon DynamoDB 編 | DevelopersIO
はじめに コンニチハ、千葉です。 当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の15日目のエントリです。昨日14日目のエントリは川原の『AWS CodeDeploy』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日15日目のテーマは『Amazon DynamoDB』です。 Amazon DynamoDBとは？ 一言で言うと、マネージドなNoSQLデータベースです。 マネージドなため、利用者はOSやミドルのことを意識しなくてよいサービスとなります。可用性や堅牢性が考慮したインフラの構築、パッチの適用等は全てAmazo
Amazon EC2のデータ転送量と課金まとめ
はじめに クラウドサービスの代名詞でもあるAWS(Amazon Web Services)が待望の東京リージョンを開設してしばらく経ちました。我々Scutum(スキュータム)はSaaS型のWAF(Web Application Firewall)サービスであるため、AWSのEC2のようなIaaS型のインフラ上に積極的に展開をおこなっています。本エントリではその際にポイントとなる、EC2でのデータ転送量への課金について調べてみました。 (クリックで拡大します) このエントリの内容はオフィシャルのウェブページやインターネット上の情報を元にしたものであり、実情と異なっている可能性もあるのでご注意ください。また、価格は東京リージョンのものとなっています。 AWSの複雑な課金体系 AWSの特徴のひとつとして、課金の仕組みが非常に複雑であることが挙げられます。これは高いオンデマンド性を実現するために仕
The Platinum Searcherを5倍高速化するためにやったこと
この記事は Go Advent Calendar 2015 その2 の 15日目の記事です。 先日、5倍の高速化を実現した高速検索ツールThe Platinum SearcherのV2をリリースしました。 今回は、高速化にあたり工夫した点をまとめておこうと思います。 The Platinum Searcherの基本実装について 以前、GoConferenceで発表した資料にまとめてあるので、興味のあるかたはご覧ください。 基本的にはFind、Grep、PrintのGoroutineがそれぞれの結果をChannelを経由して渡すつくりになっており、それぞれのGoroutine内で並行で処理を行うために更にGoroutineを起動しています。 ボトルネックの調査 今回は完全書き直しだったのでボトルネックを潰していくという手法ではなかったのですが、再実装にあたり、気をつけるべき点を確認する上でも
Node.jsの「構築事例」、そして「向いていること」と「向いてないこと」 - Qiita
Node.jsはシングルスレッド、ノンブロッキングI/O、イベントループなどの特徴があり、「向いていること」と「向いていないこと」があると思います。 言語選定の際に使えるメモとして、Node.jsの構築事例も加えてまとめてみました。 ##Node.jsに「向いていること」 処理が短時間でイベント処理が重要なアプリ 例えば、チャットアプリなどの大量のアクセスのあるリアルタイムなネットワークプログラミングが得意 シングルCPUのサーバー シングルCPUの環境化でもその性能を十分使い切れるため、比較的性能の小さいサーバ上で大きなパフォーマンスを発揮できる ##Node.jsに「向いていないこと」 CPU負荷の高い処理 CPUリソースを大量に必要とするJavaScriptの処理を行うとイベントループが回らない状態になり、イベントハンドリングが行えない状態に陥る。このため、CPU処理が大量に必要とさ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
リクルート式 自然言語処理技術の適応事例紹介
安全なJavaScriptを書く
TensorFlow向けに書いたコードをTheanoに移植してみた - Qiita
Python でレコメンデーションを実装する - Qiita
pyenvを利用してPython環境を整備する方法 - Qiita
https://qiita.com/seiya1121/items/2210bc713c01bb57c670