最近プライベートなプロジェクトのCIにはcircleciとかが人気なんでしょうかね。 GitHub 時代のデプロイ戦略 - naoyaのはてなダイアリー 近頃のCIサーバはアプリケーションのテストだけじゃなく、インフラのテストやデプロイ、ChatOpsなどgitやチャットツールなど他のシステムと連携した自動化のための必須プラットフォームといった感じになってきてる。とはいえ、趣味で開発しているプロダクトに余計なコストはかけたくない。ああ、でもやっぱCIはしたい。 そんなわけで以前から契約だけしていて放置気味だった、さくらのVPSの1GにjenkinsをたててオレオレCIを育てているのでその辺のことを書いてみる。CIの実行環境はDockerを使って仮想化し、ジョブの内容はTravisやcircleciのようにリポジトリ側のyamlファイルに記述できるようにしてみた。構成をざっくりと図解すると以

英語では少し情報はあるんですが，日本語だとTreasure DataのFluentdプラグインのまとまった情報がない気がしたので，とりあえず書いておく．いずれは公式ブログとかドキュメントの日本語化がされた時に整理されて公開される予定です． Treasure Dataに関しては，公式サイトや公式ブログに色々と記事が公開されているので，参照してみてください． http://www.treasuredata.com/jp/ http://treasure-data.hateblo.jp/ Treasure Dataプラグインについて その名の通りTreasure Dataにログを転送するFluentdプラグインです．Treasure DataのデータストアはスキーマレスなのでひたすらJSONなログを突っ込むことが出来，Fluentdと相性が良いです．実際はSchema on Readのアプローチ

原文: http://highscalability.com/blog/2014/8/18/1-aerospike-server-x-1-amazon-ec2-instance-1-million-tps-for.html (2014-9-25) Amazon EC2のようなクラウドインフラストラクチャサービスは、特筆すべき成功を収めてその価値を証明しています。必要な時に時間単位の課金でスケールアップできるその容易さは、開発者の創造性を解き放ちました。しかし、仮想化環境は高性能なアプリケーションとデータベースを実行するための場所としては広く考えられていません。 クラウド·プロバイダーは、その製品が長い道のりを経たとはいえ、彼らのパフォーマンスを再び審査する必要が出てきました。ベアメタルサーバー上の Aerospike で100万 TPS を達成した後、私たちは、クラウドのパフォーマンスを調

原文: http://highscalability.com/blog/2014/8/18/1-aerospike-server-x-1-amazon-ec2-instance-1-million-tps-for.html (2014-9-25) Amazon EC2のようなクラウドインフラストラクチャサービスは、特筆すべき成功を収めてその価値を証明しています。必要な時に時間単位の課金でスケールアップできるその容易さは、開発者の創造性を解き放ちました。しかし、仮想化環境は高性能なアプリケーションとデータベースを実行するための場所としては広く考えられていません。 クラウド·プロバイダーは、その製品が長い道のりを経たとはいえ、彼らのパフォーマンスを再び審査する必要が出てきました。ベアメタルサーバー上の Aerospike で100万 TPS を達成した後、私たちは、クラウドのパフォーマンスを調

AMIが公開されたのでもう一度やってみた。 AMIについてはこちらのエントリに書かれています ISUCON4 予選問題の解説と講評 ＆ AMIの公開 : ISUCON公式Blog まず ami-e3577fe2 を m3.xlargeで起動します。 CPUは model name : Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz でした。 とりあえず、MySQLのindexを追加する。init.shに追加 $ cat init.sh cat <<'EOF' | mysql -h ${myhost} -P ${myport} -u ${myuser} ${mydb} alter table login_log add index ip (ip), add index user_id (user_id); EOF ベンチマークツールのhttp keepal

tmux 1.8 (それ以前のバージョンは知らない) では、ペイン分割時に現在フォーカスのあるペインのカレントディレクトリで新しいペインを作ってくれたが、どうやら 1.9 からはそうではなくなった模様。 だいぶ不便なので、.tmux.conf をこのようにした。 ( | や - での分割はデフォルトではないので注意です ) # ペインを縦分割 unbind % bind | split-window -h -c "#{pane_current_path}" if-shell '[[ "`tmux -V`" =~ 1\.8 ]]' 'bind | split-window -h' # ペインを横分割 unbind '"' bind - split-window -v -c "#{pane_current_path}" if-shell '[[ "`tmux -V`" =~ 1\.8 ]]'

はじめに MarketplaceでCentOS 7 AMIがリリースされましたね！(ex. Amazon EC2 CentOS 7 AMIファーストインプレッション) ということで、これはもう本格的にsystemdを学ばないとあかん、という危機感に駆られた次第です。systemdは"system and service manager"なので、電源やロケールなどのシステム部分の管理も可能ですが、差し当たってEC2で使う上で最低限押さえとかなければいかないのはサービス管理になるでしょう。そこでsystemdを操作するためのコマンドであるsystemctlを使って、サービスを管理する方法についてまとめました。 systemdサービス管理 systemdでは、これまでサービス起動スクリプトで定義されていたものがUnitという形で定義されますので、サービスの管理=Unitの管理となります。 有効化

はじめに MarketplaceでCentOS 7 AMIがリリースされましたね！(ex. Amazon EC2 CentOS 7 AMIファーストインプレッション) ということで、これはもう本格的にsystemdを学ばないとあかん、という危機感に駆られた次第です。systemdは"system and service manager"なので、電源やロケールなどのシステム部分の管理も可能ですが、差し当たってEC2で使う上で最低限押さえとかなければいかないのはサービス管理になるでしょう。そこでsystemdを操作するためのコマンドであるsystemctlを使って、サービスを管理する方法についてまとめました。 systemdサービス管理 systemdでは、これまでサービス起動スクリプトで定義されていたものがUnitという形で定義されますので、サービスの管理=Unitの管理となります。 有効化

はじめに 先日9月15日、Facebookが開発した「mcrouter」がバージョン1.0として公開されました。mcrouterはmemcachedプロトコルをルーティングするソフトウェアで、クライアントとmemcachedサーバの間に立ってクエリをルーティングする仕組みになっています。このmcrouterを使うことで分散キャッシュシステムが構築出来ることになります。Facebookでは実際にインフラで導入しているそうです。 ElastiCache(memcached)では、Auto Discoveryを使ってノードをクラスタリングすることは出来ますが、キャッシュデータのレプリケーションは出来ません。しかしこのmcrouterのReplicated poolsを使うことで、ノード間でキャッシュデータを同期させることが出来ます。 そこでmcrouterを使って、分散配置したElastiCac

PHP Conference Japan 2014 https://joind.in/12041

Type-safe front-end development using Rust/Rustを使った型安全なフロントエンド開発

概要 @koemuさんにお声がけ頂いて、ITインフラ 業務自動化現状確認会 - connpassに行って来ましたのでそこで思ったことなどつらつらと。 どなたがどんな資料発表されたとかはITインフラ 業務自動化現状確認会を催しました #infra_auto | こえむの編集後記がイケてるのでもろもろ引用させて頂いております。 以下、発表者の方々それぞれ思ったことを(自分のは解説ですが @noexpectの話 参考発表資料:チケット駆動のサーバ/インフラ運用における問題点と手動作業の自動化 * いろいろ都合で当日資料はインターネッツには公開しておりませぬ 自分の話なのですが、以下夏のプログラミングシンポジウムというところでお話した内容をざっくりまとめてます。 アラートメールをJIRAに流して対応したかを管理するツールを作った話と、業務の依頼がJIRAで来た場合にその対応ノウハウを自動でそのJI

最近Hubotの導入をしている。今回はHubotを導入したらikachanというツールの代替も出来たのでそのメモ。 ikachanとは http://blog.yappo.jp/yappo/archives/000760.html https://github.com/yappo/p5-App-Ikachan ikachanとは、HTTPのAPI経由でIRCに対してメッセージを送るように出来るようになるPerl製ツール。ikachanはdaemonとして動き、特定portでLISTENされるので、そこにcurlなどを使ってPOSTすると簡単にIRCにメッセージを送れる。これまで様々な人がIRC botを作って、投稿する部分を実装していたのだけど、ikachanがproxyとしてHTTP APIを提供してくれるので、それを起動しておいてHTTP APIを叩くだけでひとまずメッセージを送る部分

すこし記事が長いため、簡単なアウトラインを書いておきます。要点だけ掴みたい場合は、最終項の「まとめ」を読むのがいいかもしれません。 コマンドライン引数の一般的な解析手法 それぞれの特徴 〜 getopt と getopts の違い getopts（メリット・デメリット） getopt（メリット・デメリット） 自前で解析しちゃう（唯一のデメリット） まとめ ============================= コマンドライン引数を処理する一般的な手法として、 getopts getopt shift などで自力で解析 といった具合に、上から順に考えつくかと思います。getopt(3) は UNIX において、コマンドの引数を処理する一般的な C 言語のライブラリ関数です。それを用いて実装されたコマンドが getopt(1) です。Bourne シェル系だと内部関数になりますが、同系統の

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

このファイルを使用中のユーザーが多すぎるため、一部のツールを利用できない場合があります。再試行詳細閉じる

こんにちは、ISUCON4 運営チームの @mirakui です。 @rosylilly @sora_h とともに ISUCON4 の問題作成と運営を担当しています。 さて、予選に参加していただけたみなさんは楽しんでいただけたでしょうか。今回は、予選問題の振り返りをしたいと思います。 予選問題「いすこん銀行」今回の予選問題は、「いすこん銀行」という架空の銀行の Web サービスがテーマでした。 銀行とはいっても、実は銀行としての機能は一切ないハリボテで、今回用意したのは ログイン機能 のみです。ログインって機能なの？ と思うかもしれませんが、実際のウェブサービスを作る上で、ログイン部分の設計は単純では済みません。 それは、近年増加している「パスワードリスト攻撃」のような、不正ログインの対策を行わなければならないからです。 「いすこん銀行」には、ログイン画面と、ログインに成功した時に表示され

10月11日、大田区産業プラザPiOにて「PHPカンファレンス2014」が開催されています。本稿では、本イベントの各セッションの模様を随時更新形式でレポートしていきます。 今年はセッショントラックが3つ、ワークショップトラックが1つ、計4トラック構成です。そのため、すべてのセッションはレポートできません。ご了承ください。 今年は4Fが受付になっています。 4F受付近辺にはスポンサーブースがあります。ぜひお立ち寄りください。 Ustreamの中継が行われています。 メイントラック Bトラック Cトラック ワークショップトラック 今年もWordCamp Tokyo 2014と共催です。WordCampの会場は1階です。 また、1Fにはジュンク堂書店が出張所を出しています。サイン会も予定されています。 オープニング PHPカンファレンス2014委員長の前島有貴さんより、オープニングの挨拶がありま

アクセスランキングを作ってみよう！ 今、Rails4 を使ってアクセスログからランキング作ってみたいなぁーと思ってたんですが、みんなどうやってんだろうって聞いてみたところ、 Fluentd ってのを組み込むだけで簡単に集計とかできるよーって話だったので、使ってみました。 Fluentd とは まず読み方は、 「ふるーえんとでぃー」であって、「ふるーえんど」とかじゃないっぽいです。d はたぶんデーモンの d 。 色々説明面倒なんで省略しますが、ログ収集元とか出力先が簡単に設定できて、自分の欲しい形でログ保持できますよーって感じっぽい。なので、 「シェルスクリプトで処理した tail の処理結果をファイルに」「nginx から出力されたアクセスログを mongoDB に」とかそういう処理を自前で書く必要なく、簡単な設定だけでいけちゃう。 詳しくは → 柔軟なログ収集を可能にする「fluentd

ついカッとなって書いた。たのしかった。 https://github.com/tagomoris/dyna_mo どういうことかというと、つまりこういうことだ！ require 'dyna_mo' module MyModule class MyClass attr_accessor :num def initialize; @num = 0; end def name; "name"; end def sum(numbers); @num + numbers.reduce(:+); end end end こういう割と普通なクラスに対して dynamo_define('MyModule::MyClass', :mytest_case_default) do def_method(:initialize) do @num = 1 end def_method(:name) do # #na

SACSIS2013でのチュートリアル講演資料です。機械学習の導入：背景、手法、理論、応用）、実践：オンライン学習+線形分類で実際作ってみる、使う際の課題、発展：分散+リアルタイムでの機械学習（Jubatus）、深層学習（Deep Neural Net）についてまとめました