livedoor Techブログ : 本当はもっと速いImlib2: Imlib2でもImageMagickと同じ仕組みでサムネイル画像生成を速くする方法
こんにちは！こんにちは！ 開発部のやましーです。 今回はSmallLightの中でやっている細かいことについてです。 SmallLightとは SmallLightとは、2010年末にlivedoor labs EDGEにてリリースした画像サムネイル生成用Apacheモジュールです。 JPEG画像の読み込み処理の最適化 JPEG画像は、その圧縮アルゴリズムの特性で読み込み時に1/2、1/4、1/8にダウンスケーリングすることができます。libjpegでは画像読み込み時にjpeg_decompress_struct構造体のscale_denomにダウンスケーリング指数を指定します。 SmallLightではこれをJPEGヒントオプションとして実装しています。パターン文字列に jpeghint=y を付与することで有効になります。（SmallLightの README の100行目） JPEG
livedoor Techブログ : 第五回ライブドア・テクニカルセミナー ログ
2011年2月26日（土）に開催されました 第五回 ライブドア・テクニカルセミナー の発表資料と動画を公開致します。ご参加頂きました皆様、どうもありがとうございました。 「開発者から見たAndroidとiOSアプリの違い」(佐孝 太郎 株式会社ライブドア) 「HTML5で動くFlash Playerを作ってみた」(紀平 拓男 氏 株式会社 ブロードテイル) 「対談: 新進気鋭のSAPに聞いた現場事情」(石井 武 氏 株式会社オルトプラス/ 聞き手 伊勢 幸一 ) 「スマートフォン向けソーシャルアプリケーション開発の現在」伊藤 直也 氏 グリー株式会社) 講演1「開発者から見たAndroidとiOSアプリの違い」 株式会社ライブドア 開発部開発2G（スマートフォンチーム） 佐孝 太郎（約21分） 1/2 2/2 概要： 「スマートフォン」でひとつに括られるAndroidとiOSですが、
livedoor Techブログ : CNAMEの間違った使い方
情報環境技術研究室の永井です。 今日はDNSのCNAMEの間違った使い方のお話です。 その間違った使い方がうちのサービスで使用されているかもっ!? DNSって? Domain Name System（ドメイン ネーム システム、DNS）はインターネットを使った階層的な分散型データベースシステムである。 1983年に情報科学研究所 (ISI) のポール・モカペトリスとジョン・ポステルにより開発された。 Wikipediaより一部抜粋 http://ja.wikipedia.org/wiki/Domain_Name_System 例えば、ライブドアのポータルサイトといえば「http://www.livedoor.com/」ですが、実際には「http://125.6.172.15/」というIPアドレスがインターネット上の住所になります。でも、こんな数字の羅列を一々覚えていられないので、DNSとい
livedoor Techブログ : ライブドア流自作サーバ
livedoorポータルサイト等のインフラを担当している片野です。 今回は若干いまさら感がありますが、弊社にて運用している自作サーバをご紹介します。 （検証機以外は弊社内で組み立ててないので、正確には自作してないんですがｗ） ■背景 去年は特に自作サーバが盛り上がっていましたし、早い段階で「うちも作るか!」という展開はあったんですが、弊社では以下のような事情もあり、着手していませんでした。 ・自社データセンタでの運用なため、その他顧客と運用が大きく変わるようなサーバを投入すると運用が煩雑になる。 ・ポータルのサービスだけでも3000台近いサーバがあり、規模的にも運用に手がかかるサーバを入れるのは非現実的。 ・ボリュームメリットが出せるため、コスト面での自作メリットはそれほど大きくない。 ・そもそも自作で間に合う台数じゃないｗ （人的な）運用コストや調達コスト面ではあまりメリットがないのです
livedoor Techブログ : 運用から生まれるスクリプト
こんにちは、ネットワーク事業部オペレーショングループの後藤です。 データホテルのサービスを担っているオペレーショングループでは、サーバセットアップ時にセットアップの効率化と正確性を図るため、予め先代たちが築きあげてきたセットアップ用のスクリプトを使用しセットアップ作業を行うことが多々あります。 セットアップとは、OSのインストールからミドルウェアの構築まで、顧客のご要望に沿った形でサーバを造りあげて引き渡すまでのことを意味し、各々顧客に合わせたセットアップ方法にて作業を行っております。その一連の流れの中から、OSインストール後のできたてホヤホヤのサーバに対して行っている、あることを取り上げてみたいと思います。 ◇日次バックアップ データホテルではレンタルサーバとして提供しているサーバに必ずディスクが2本以上装填されております。これはデータホテルのバックアップ方法の一つとして、日次で同一サー
livedoor Techブログ : データホテルで見かけるソフトウェアとハードウェア
おばんです。(※注)オペレーショングループのITOHです。 (監修者※注: ITOHは22:00-7:00勤務の第三シフトなので、挨拶が『おばんです』になるそうです) 入社して短いこともあり、業務内容メインではなく、データホテルで見かけたソフトウェアやハードウェアについて、自宅で触っていた事によって役立ったりしたことなどを交えて書いてみたいと思います。 まずはソフトウェア周りから。 ■仮想化関連 XenとVMwareについて。最近はkvmが気になっています。 ▼Xen 入社してほどなく、CentOS上でXenをいじっていました。今年の初売りで低消費電力なPhenom II X4 905eを購入し、CPUを載せ換えたのを良いことに自宅でXenをつかったサーバを24時間稼動させ始めました。準仮想化での導入、ゲストを複数稼動、ゲストのCPU・メモリの設定方法から定期的な更新とファイルのバックアッ
livedoor Techブログ : 第三回 ライブドア・テクニカルセミナー・ログ
2009年3月6日（金）に開催されました 第3回 ライブドア・テクニカルセミナー の発表資料と動画を公開致します。 クラウド時代のWebストレージ戦略（池邉 智洋） ライブドア流クラウド的サービス（市川 剛 / 田畑 佳則） livedoor Reader のクローラと Streaming API などの話（ma.la） ニフティクラウドの紹介と今後の展望（山口 亮介氏） クラウド時代のWebストレージ戦略 株式会社ライブドア 執行役員 CTO 池邉 智洋（30分） クラウド環境での Web サービス提供において、ストレージレイヤーのスケーラビリティとコスト優位性の追求は大きな課題です。本セッションではメディアファイルを取り扱うストレージレイヤーや非 RDBMS なデータベースレイヤーについての考察をお話しします。 ライブドア流クラウド的サービス 株式会社ライブドア ネットワーク事業部
livedoor Techブログ : データバックアップ再考
こんにちは、ネットワーク事業部フルマネージドホスティング部の冨成 章彦です。 とても地味な話題になるのですが、私はシステムの運用部門に長く携わっていて、我々の業務の中で、とても重要でありながら、いつも忘れられがちなバックアップ、ということについて、関連するキーワードの解説も交えつつ、必要性や手法など様々な面で掘り下げてみたいと思います。 ITに少なからず関わっていれば、データをバックアップしておくことの重要性は良く知っていると思います。しかし、実際の日常でバックアップについて真剣に考える機会は少ないのではないでしょうか。この時代に今更バックアップの話、と感じる向きもあるかもしれませんが、世の中が全てクラウドコンピューティングになったしても、なお、我々は、手法は変わりながらも、バックアップの必要性から完全には解放されないと考えています。 バックアップの必要性 - データは時々失われるという前
livedoor Techブログ : mod_rewrite マニアックス
こんにちは。開発部の池邉です。 既に色んなところで発表していますが、ライブドアではWebサーバとして殆んどのサービスでApacheを使用しています。 Apache の特徴として、モジュールによる機能の追加、挙動の制御があります。その中でもよく利用されていながら、深く使っていくとハマりどころや謎の機能の多いモジュールとして mod_rewrite があります。Apacheの公式サイトでも以下のように書かれている事からも、本家でもその点については認めているという事でしょう。 今回はそんな mod_rewrite のちょっとマニアックな拡張方法について紹介したいと思います。 Despite the tons of examples and docs, mod_rewrite is voodoo. Damned cool voodoo, but still voodoo. 変数を利用したプログラム
livedoor Techブログ : サーバのダイイングメッセージを汲み取る
どうも、はじめまして。DATAHOTELサービスでフルマネージドホスティングのオペレータをやらせて頂いておりますDO(ドゥー)といいます。 テックブログなるものではございますが、私が技術を語るなどとは... オペレータとして培ったこれまでの経験から、「まぁ難なく」という範囲内でひとつこの場をお借りして少しだけ語らせて頂ければ、と思っております。 マネージメント 「まぁ難なく」と言ったところで、まず私の業務内容の範囲がどれだけあるのかお話ししないといけませんよね。業務内容をひと言で言いますと、サーバのマネージメント。単にマネージメントと言いましても、その分野は多岐に亘りサーバのセットアップから始まり、プラットフォームやアプリケーションの構築やパラメータの調整、顧客の運用を手助けするための提案、また安定運用をご提供する為の監視、障害発生時の復旧作業など、様々な分野のマネージメントを行っているの
livedoor Techブログ : ライブドアポータルでの仮想化環境
こんにちは、メディア事業部開発部の小泉です。 仮想化！仮想化と叫ばれて久しいですね。 ネットワーク事業部でもライブドア レンタルサーバのように仮想化を利用したサービスはありますが、今回はポータルサイトやブログを運営しているメディア事業部での仮想化について書いてみようと思います。実は、このエントリを書いているのは4Gbpsを超えるWebサービス構築術の発売前のため、本を読まずに書いているのでドキドキです。 livedoorラボ「EDGE」サービスの一つであるQuillは、2009年2月のメンテナンスから仮想化されたCentOS上で動作するようになりました。仮想化にはXenを利用しています。特に問題がなかったため標準ディストリビューションのrpmのまま使ってベースOSをXen化しています。 XenのゲストOSをロードするにはネットワークブートとローカルディスクからのディスクブートがありますが、
livedoor Techブログ : 第ニ回 ライブドア テクニカルセミナー・ログ
2009年9月25日（金）に開催されました 第2回 ライブドア テクニカルセミナー の発表資料と動画を公開致します。 まったく役に立たない力学シミュレーション（薬袋 貴志） データセンター移設は突然に（平井 壮） pixivのインフラを支える技術（上薗 竜太氏） ユビキタス時代のユーザインタフェース（増井 俊之氏） まったく役に立たない力学シミュレーション 株式会社ライブドア メディア事業部 薬袋 貴志（30分） 力学エンジン・3Dレンダリングエンジン等、とても便利で面白いオープンソースがある中、あえて自前で簡単な力学シミュレーションをやってみる。そして、自前ロジックと Box2Dと Papervision3Dとのハイブリッドデモ。 データセンター移設は突然に 株式会社ライブドア ネットワーク事業部 平井 壮（30分） part1 part2 2003.12 にデータセンターを移転
livedoor Techブログ : ウェブサービスのサーバ増設の基本（1台構成から仮想化まで）
お疲れ様です、スエヒロです。 先日発売されました、弊社技術陣が執筆した「4Gbpsを超えるWebサービス構築術」、お手に取って頂けたでしょうか？ ウェブサービスの負荷対策、分散技術など、実用的な話が盛りだくさんの本書ですが、本日は実際に稼働しているサービスのサーバスケールアウト方法を、弊社サービス「livedoor ニュース」を例にしてご紹介したいとおもいます。 0. 問題点の把握 2003年オープンしました「livedoor ニュース」ですが、当時はアクセス数、データ量も少なかったため、サーバ1台で運用していました。 静的な画像やcss、javascriptへのリクエストを処理するapache（80ポート）と、動的コンテンツへのリクエストを処理するmodperl組み込みのapache（8080ポート）を切り分け、mod_rewriteでリバースプロキシし、リクエストをながしています。リバ
livedoor Techブログ : ライブドアの無線LAN ログインのしくみ
こんにちは、コアネットワークグループの深谷です。 今回はlivedoor Wirelessのお話をしようと思います。 ライブドアの無線LANを使う livedoor Wirelessは、アクセスポイントの第1号機が設置されてから早4年が過ぎました。このサービスが始まった頃、私は無線LANにノートパソコンで接続して利用していましたが、現在ではいろいろな機器が無線LANに繋げられるようになりました。 さて、ライブドアの無線LANを使うには、livedoor Wirelessへユーザ登録して頂く方法のほかに、livedoor Wirelessがローミング提携しているユーザIDも利用することができます。現在、livedoor Wirelessでは6社とローミング提携しており、ローミング提携先で発行されたログインIDを利用してlivedoor Wirelessをご利用頂いている方も増えてきています。
livedoor Techブログ : 1000台の子供達 - livedoorを支えるサーバ群 -
自己紹介 私はライブドア（以下LD）で働いております安保サニーと申します。勤務地はLDのデータセンターこと「DATAHOTEL」です。前職はウェブディレクターを2年程やっており、Linuxの黒い画面て何？というレベルから、かれこれ3年が経とうとしてます。つまり技術的には、まだ若輩者です。 livedoorのメインサービスとも言える、「ポータル用サーバ」を、この2年間で1000台以上の台数を作成してきた私が、その流れを紹介したいと思います。 (注）基本的には流れ作業ですｗ 月に何台？ Alexaランキングでもトップ100に入る程のトラフィックを支えるサーバですが、大体ひと月にセットアップするサーバは40〜50台くらいです。ただし毎月増え続けているわけではなく、リプレースや仮想化による圧縮などがあるので、平均すると常に3000台くらいのサーバが、サービスを支えています。 標準的なサーバおよびO
livedoor Techブログ : 夜のデータセンターを守り続けて早2年
こんにちは。 ネットワーク事業部オペレーショングループ第3シフトのたけまたです。 今回は多少趣向を変え、データセンターに常駐している運用技術者達が、普段どういった仕事をしているかといったことを書き綴りたいと思います。 データホテル ライブドアのホスティングサービスである「データホテル」は、24時間365日、土日祝祭日問わず常に運用担当者が常駐しており、7:00〜16:00までの第1シフト。14:00〜22:00までの第2シフト。そして私の所属する22:00〜7:00の第3シフトによって途切れることなくサーバの運用、監視が行われています。 データホテルは一般的なホスティングサービスと異なり、オペレーティングシステムやデータベース、インターネットサーバなどといった様々なプラットフォームの構築、顧客別の保守運用も請け負うフルマネージド型のホスティングサービスを提供しています。 具体的な業務内容は
livedoor Techブログ : tracerouteの仕組み
ネットワーク事業部 コアネットワークグループ所属の市川です。普段は、広域ネットワークの管理をしていて、端末に向かっていても頭の中は、1都3県を飛び回っています。 好きなポートは何番ですか？ 入社後エンジニア部隊に配属され、隣に座っていた同僚に挨拶をした時の返しの第一声が忘れられません。 「好きなポートは何番ですか？」 これって自己紹介なのでしょうか...それとも好きなポート番号から僕の性格が分かっちゃったりするんでしょうか？ところで、みなさんの好きなポートは何番でしょうか？ちなみにボクは、23番が好きでした（笑）。さて、私は現在ネットワーク事業部でネットワーク管理の仕事をしております。ネットワークにトラブルが発生した場合、状況調査に利用するツールでもっともメジャーな物に、ping/traceroute（windowsではtracert.exe）があります。 このtracerouteの仕組み
livedoor Techブログ : 第一回 ライブドア テクニカルセミナー・ログ
2009年2月27日（金）に開催されました 第1回 ライブドア テクニカルセミナー「Open & Share」の発表資料と動画を公開致します。 プラクティカル Cicindela 中の人による中の人のための、ライブドアブログ公式攻撃マニュアル(抜粋) インサイド livedoor Blog ライブドアのネットワークとトラフィックパターン P2Pコンテンツ配信技術の現状 デジタルコンテンツ配信の法的問題 プラクティカル Cicindela 株式会社ライブドア 井原 郁夫（15分） オープンソースのレコメンデーションエンジン「Cicindela(シシンデラ)」。実際の各種サービスで利用するための工夫と実践向けのプログラム設計手法を公開。 中の人による中の人のための、ライブドアブログ公式攻撃マニュアル(抜粋) 株式会社ライブドア 井原 郁央（5分） 2008年のある事件をケースとした、社
livedoor Techブログ : MySQL Proxy を試してみました
こんにちは。金子です。 先日、社内勉強会で MySQL Proxy を取り上げました。その際まとめた資料を、一部加筆修正して公開します。 最初にお詫び 大元の文章を書いたのが 2007 年の 7 月なので、内容が少し古いです。これを書きながら最新版をチェックアウトしてきて再検証したかったのですが、レポジトリがダウンしていて最新のソースコードを入手できませんでした。なので、一ヶ月前のリビジョン(rev.116) 時点でのソースコード + 二週間くらい前にレポジトリを覗いたときの記憶のみで書いており、いろいろ間違っているおそれがあるので、みなさん是非自分でコンパイルして試してみてください(注意!ただでさえつながりにくいので、このエントリを全部読んで一週間後にまだ MySQL Proxy のことを覚えていた人だけレポジトリにアクセスしてくださいね) 気の早い人向けの結論 まだ実践投入するには厳し
livedoor Techブログ : 全文検索エンジン lucene(ルシーン) を使ってみた
こんにちは 。 検索 関連 を 担当 して いる やましー です 。 今回は livedoor で提供しているサービスの中の「検索関連」について書きます。 このブログでも過去に何度か取り上げられていますが、livedoor では検索エンジンとして HyperEstraier、lucene、mysql + senna、Namazu、SUFARY などを利用しています。 その中で lucene の利用方法や機能拡張について説明します。 lucene とは Apache Lucene は、Java で書かれた高性能で高機能な検索エンジンライブラリです。全文検索を（特にクロスプラットフォームで）必要とするほとんどのアプリケーションに適している技術です。※ 公式サイトから抜粋 インデックスの作成 lucene は転置インデックス型の検索エンジンなので、ドキュメントを検索するには、まずインデックスの作
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
