就職しました - たごもりすメモ
前の会社を辞めたときに報告してたわけじゃないんで、ここに書くには「転職しました」が正解かもしんないけど。働いてない期間があると、どうしても「就職」って感じなんだよなー。無職生活を味わうといけませんな。 で、こないだまで勤めてたNTTデータ先端技術を辞めて、しばらくの無職生活の末、ライブドアに就職しました。スゲーぜ、まさにピラミッド構造最右翼のIT土方から日本最右翼のWeb系企業。我ながら何がしたいんだコイツとの戦慄を禁じ得ません。次があるとすれば、多分この両極端の内側のどこかなんでしょう多分。ほんとかなー。 で、入ったもののまだ社内のこととかぜんぜんわかんないんですが、なんでライブドアなのよ、ということだけ忘れないうちに書いておこうと思います。次に自分が何か考えたときのために(笑) 自社サービスやってる会社にしたかった ずっと受注型の仕事ばっかりやってたせいで、自分(達)がイチ押しのテクノ
ミクシィのNoSQLデータベース「Tokyo Tyrant」をNetVibesが採用した理由
カスタマイズ可能なポータルサービスを提供するフランスの「NetVibes」は、バックエンドデータベースとしてミクシィの平林幹雄氏が開発し、同社内でも利用されているNoSQLデータベースの「Tokyo Tyrant/Tokyo Cabinet」（以下Tokyo Tyrant）を採用しているそうです（追記：平林氏は7月末でミクシィを退職されるとのこと）。 なぜNetVibesはTokyo Tyrantを採用したのか、その理由がmyNoSQLの記事「Netvibes: A Large Scale Tokyo Tyrant Deployment Case Study」で紹介されています。NetVibesは、Hadoop、CouchDB、Tokyo Tyrant、File system、MySQLを評価した上でTokyo Tyrant/Tokyo Cabinetを採用したとのこと。 NetVibes
maatkitを一通り使ってみたメモ - はまさき
#hbstudy11でid:marqsさんがMaatkitに関する発表をしていて，僕も仕事でちょこちょこ使っていたので ダイアリーあたりに書きますね と云ったきり，書く書く詐欺になっていたので，さすがに書こうと思います． 割とみなさん知っているツールだと思うのですが，ウェブ上で日本語の情報がなかなか見つからないので，何かのお役に立てればと思います．というか英語読めってことなのかもしれませんが． Mattkit 公式 MySQL Tools and Management Software to Perform System Tasks by Percona Maatkitは「実践ハイパフォーマンスMySQL」の著者であるBaron Scheartzによって作り始められた，MySQLやPostgreSQLのようなオープンソースのデータベースのための高品質なコマンドラインツールです． 実践ハイパ
はてな退職しました - 2nd life (移転しました)
7/16 が最終出社日*1となり、はてなを退職しました。はてなブックマークでのチュートリアル機能がはてなでの最後の仕事となりました。 はてなに入ってからを振り返ってみると2006年1月にはてなに15番目の社員として入社し、4年7ヶ月はてなのメンバーと一緒に働いてきました。当時はまだ誰も辞めていなかったため、過去はてなで働いた人すべて一緒に仕事をしてきたことになります。入社時はまだオフィスが東京にあり、毎日全員が朝会でディスカッション、時には数時間も熱く語るというエキサイティングな職場だったのがとても印象的でした。 当時は本当に自由な環境でいろいろな事を試行錯誤していた日々でした。入社約2ヶ月で、会社のフレームワークに DI の概念を実装したころで Perl もう無理と投げ出して Perl を書かない仕事ばっかりやっていたのも今となっては良い(?)思い出です。今だったらあり得ないですねほんと
CouchDB 1.0登場、300%の書き込みが向上したNoSQL | エンタープライズ | マイコミジャーナル
Apache CouchDB is a document-oriented database that can be queried and indexed in a MapReduce fashion using JavaScript. 5月14日(ドイツ時間)、CouchDBの最新版となるApache CouchDB 1.0が公開された。すでに多くのプロジェクトで採用されているが、まだメジャーバージョンには到達していなかった。今回メジャーバージョンに到達したことで、今後さらに普及する可能性がある。CouchDB 1.0の主な特徴は次のとおり。 性能およびスケーラビリティの向上。特に大規模ドキュメントの書き込み速度が向上しており、300%の高速化が実現されている。 ユーザモデルを策定することなく開発を開始することができるようにした新しいユーザ認証機能を導入。 サポートプラットフォームにW
閉塞するITエンジニアたち。次の希望はどこにある？｜【Tech総研】
SIerとネット業界。同じIT業界でも構造的に何が違うのか。ITエンジニアの仕事環境として魅力的なのはどちらなのか。自らの閉塞感を打破するためには、何が必要なのか。DeNA技術戦略部の能登信晴部長と、人材マーケット業界のカリスマ・海老原嗣生氏が、ITエンジニアにとって、より夢のある未来を語る。 上智大学卒業後、大手メーカーを経てリクルートエイブリック（現リクルートエージェント）に入社。現在は人材育成学会理事、リクルートエージェント ソーシャルエグゼクティブとして勤務する傍ら、HRコンサルティング事業を手掛ける(株)ニッチモを立ち上げ、人事雑誌『HRmics』の創刊、および事業コンサルティングに携わっている。また週刊モーニング連載『エンゼルバンク』でカリスマ転職エージェントのモデルとして登場中。近著『「若者はかわいそう」論のウソ』（扶桑社）が好評発売中。 1996年、慶応義塾大学環境情報学部
Twitterが、Cassandraの本採用を断念。「いまは切り替えの時期ではない」
「いまは新しい技術への大規模な移行をする時期ではないと確信している」。Twitterは、サービスの核となるツイートを保存するデータベースを、MySQLによる大規模分散データベースから、NoSQLデータベースであるCassandraへ移行しようとしていました。しかしCassandraへの移行作業を中止し、引き続きMySQLでの運用を継続すると、Twitter Engineering Blogへのエントリ「Cassandra at Twitter Today」で明らかにしました。 これは戦略の変更だ Twitterは利用者からのツイートを、Scalaによって独自開発したミドルウェア「Gizzard」とMySQL、そしてmemcachedを用いた大規模分散データベースに保存しています。 しかしこうした複雑なシステムによる運用は非常に手間がかかり、人的コストを中心としたコストの増加が非常に大きくな
『Amebaなう』リアルタイム検索機能に Apache Solr と MessagePack を採用 - 古橋貞之の日記
ミニブログサービス「Amebaなう」に検索機能を追加 Apache Solrのカスタマイズにより検索パフォーマンスが大幅向上 検索機能は、当社の研究開発組織「インキュベーションラボラトリー」が開発し、Apache Solrをベースに、検索インデックス作成アルゴリズムの効率化や、データを高速かつ効率的に保存できる技術仕様「MessagePack」と各種圧縮アルゴリズムを組み合わせる等の対応を行いました。 あわせて読みたい：LuceneのインデックスにStoreするデータをMessagePackで圧縮してみた - 社内NEET宣言 MessagePack と各種圧縮アルゴリズムを組み合わせることで、インデックスサイズを80%程度に圧縮することが可能になったようです。 MessagePack を使うと、配列やMapなどの構造を、非常にコンパクトに保存することができます。例えば、[1,2,3]とい
「なぜ CSS が巨大になってしまうのか、なにがいけないのか」 - by edvakf in hatena
Nicole Sullivan さんの素晴らしいプレゼン。 5 Mistakes of Massive CSSView more presentations from Nicole Sullivan. 内容は30分ぐらい。ビデオのほうが分かりやすいのでおすすめ。だいたいスライドの35ページ目まではあんまりおもしろくないので飛ばしてもいいと思う。 スライド中に出てくる衝撃的な統計は、Sullivan さんのブログにもまとめられているのでご一見を。 Top 5 Mistakes of Massive CSS | Stubbornella 要旨 CSS の「ベストプラクティス」は間違っている。 プレゼンでは Facebook の例を挙げているけど、例えばサーバー側のロジックでは、ページヘッダー、右コラム、中央、左コラム、フッター、のようにビューを分けるところだけど、CSS をそのような区分でデザ
グーグルがWebを高速化するために何をしているか
本のページをめくるように、どんなWebページも素早く表示できるようにする。グーグルは以前からWebの高速化に取り組んできました。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」では、グーグルのUrs Hölzle氏がWebの高速化技術について「Speed Matters」（スピードの重要性）というセッションで紹介ています。 Webを高速化するためにどのような技術があり、あるいはどのような技術が検討されているのか、このセッションの内容を紹介しましょう。 スピードは重要だ 私が話そうとしているのは、「Speed matters｣（スピードの重要性）についてだ。Webは空飛ぶジャガイモより速くなれるだろうか？ どのくらい速くなれるだろうか？ （参考：オペラがやってくれた！ グーグルの空飛ぶジャガイモに対抗）
続・Livedoor readerをEmacs内で見たい… - とりあえず暇だったし何となくはじめたブログ
この土日、2年前に作ろうとして放置していた、livedoor reader を Emacs 内でみる ldr.el の更新を行っていました。 現状、とりあえず、とりあえず、emacs-w3m と連携する事で、エントリを読む事ができるようになったので、ブログに書いておいてたりする事にします。 # これまたここでまた長い間いじらなくなる可能性もあるので…(^^;; https://code.launchpad.net/~khiker/+junk/ldr まだまだ開発中で、不安定(アルファバージョン？)だろうと考えています。 # 仕様がガンガン変わる可能性があるだろうという意味も含めて。 不具合あってもいいやという方は、bzr branch するなりして取ってって下さい。 もしかしたら、まだ読んでないフィードが既読になってしまったとかあるかもしれませんが、まあよかったらどうぞ。 以前のエントリ
MySQLでサービス停止のないALTER TABLEの検討 - SH2の日記
MySQLでテーブルへのカラム追加、インデックス追加やテーブルの再編成などを行うと、その間テーブルに共有ロックがかかってしまいます。そのためこれらのメンテナンス処理は、通常利用者の少ない深夜早朝帯にサービスを止めて実施する必要があります。本日はそれを無停止、オンラインのままでできないかという話題です。 基本的なアイデア メンテナンス対象の元テーブルをコピーして、作業用の仮テーブルを作ります 仮テーブルに対して、カラム追加などの変更を加えます その間、元テーブルに対して行われる更新処理について差分を記録しておきます 仮テーブルの変更が終わったら、記録しておいた差分データを仮テーブルに反映します 差分データの反映が終わったら、元テーブルと仮テーブルを入れ替えます これと似たようなことを考えた方は結構いらっしゃるのではないでしょうか。ただ、言うは易し、行うは難しです。整合性がきちんと取れるかどう
「Web開発者のための大規模サービス技術入門」という本を書きました - naoyaのはてなダイアリー
自分が作ったWebサービス、将来大きくなってもシステムは大丈夫なんだろうか? そんな不安を抱きながらWebサービス開発に携わっている方も多いでしょう。あるいは、毎日毎日システムが悲鳴を上げる、どうしたらこの状況を看破できるんだろう? 成長したWebサービスを前に、困っている技術者の方もいるかもしれません。 筆者も、まったく同じ経験をしてきました。 月間1,500万人が訪れる、はてなというサイト。その大規模システムの開発と運用に、筆者らは取り組んでいます。1,000台のホストが、その負荷を捌きます。100万人以上のユーザによってブログやソーシャルブックマークに投稿され続けるデータは日々大きくなっていき、サーバリソースを逼迫させます。ギガバイト、テラバイト単位のデータ量が技術者たちを悩ませます。それでもトラフィックの波は収まることを知りません。 (中略) どうしたらこの怪物、大規模サービスを抑
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。 その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？ 公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った
Cassandraデータモデル入門 - Arin Sarkissian - Digital Romanticism
この記事は、Arin Sarkissian氏のブログ記事「http://arin.me/blog/wtf-is-a-supercolumn-cassandra-data-model」を氏の許可を得て翻訳したものです。（原文公開日：2009年9月1日） ここ１、２ヶ月というもの、DiggのエンジニアリングチームはCassandraについて調べ、遊び、最終的にはプロダクションにデプロイするためにかなりの時間を費やしてきました。これは実に楽しいプロジェクトでしたが、楽しくなる前にCassandraのデータモデルについて理解するために相当の時間を費やしたのです。「'super column'って何だよ」というフレーズが何度も口にされました。 もしあなたのバックグラウンドがRDBMSならば（ほとんどみんながそうでしょうが）、Cassandraのデータモデルについて学ぶ際に、いくつかのネーミング規約で
git rebaseとgit mergeはともだち こわくないよ - Pixel Pedals of Tomakomai
例えば、以下のようなコミット履歴があるとします。 A---B---C---D masterここで git rebase -i HEAD~3 をして、 コミットB を E に書き換えたくなったとします。このとき、rebase -i によって履歴を書き換えてしまうと、以下のようにリポジトリからB〜Dのコミットは消滅してしまうと思っている人も居るのではないでしょうか。 A---E---C'---D' master確かに、Gitがこのような動作をするのであれば、rebase後に元の状態へ戻すことは到底困難であるように見えます。しかし、正確に書けば、実際のレポジトリの状態は以下のようになります。 E---C'---D' master / A---B---C---D実はコミットA〜Dの一連のコミットは手つかずで残っており、「master」というラベル*1が新たな枝に付け替えられただけなのです。よって、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Citigroup
第3回 Solr 勉強会 資料 | 関口宏司のLuceneブログ
tokusatsu.jp