タグ

2010年11月17日のブックマーク (18件)

  • ARMサーバに取り組むクラウドベンダーたち - WirelessWire News(ワイヤレスワイヤーニュース)

    数万台規模でサーバを稼働させている巨大なデータセンターを運営するクラウドベンダーにとって、最大のコストはいまやデータセンターの建設コストではなく電気料金だといわれています。 年間数億円ともいわれる電気料金を支払っているクラウドベンダーにとって、いかにデータセンター全体の電力消費を下げ、電力の利用効率を高めるかは重要な課題です。 そのためにいま、組み込み用途で使われていたARMプロセッサのサーバへの転用が注目されています。 ARMプロセッサ搭載サーバが稼働実験 ▼ARM 現在、クラウドベンダで使われているサーバのほとんどすべてはインテル製のCPUです。しかし、より低消費電力かつ電力効率の高いサーバを求めて、組み込みなどの用途に使われているARMプロセッサをサーバ用途に使おうという動きが目立ってきました。 EE Times Japanの5月6日付けの記事「ARMプロセッサ搭載サーバーが、英A

  • 第4回 分散環境でTokyoCabinetを動かす | gihyo.jp

    kumofsの起動 kumo-managerの起動 まずkumo-managerを起動します。kumo-managerを起動するのはserv1, serv2の2台となります。 serv1でのkumo-managerの起動 $ kumo-manager -v -l serv1 -p serv2 2010-08-05 20:14:05 ./manager/init.h:43: start manager 192.168.47.101:19700 2010-08-05 20:14:07 ../rpc/client_tmpl.h:157: connecting to 192.168.47.102:19700 2010-08-05 20:14:07 ../rpc/client_tmpl.h:199: connect failed 192.168.47.102:19700: Connection re

    第4回 分散環境でTokyoCabinetを動かす | gihyo.jp
  • tekmemo.net

  • 統計的形態素解析入門 @自然言語処理勉強会 - nokunoの日記

    これから発表します。内容的には[twitter:unnonouno]さんの前座ということで、形態素解析の話です。…といいつつ、ほとんど前回のかな漢字変換の話と半分くらいかぶってたりします。Tokyonlp03 analyzerView more presentations from nokuno.なお、今回からハッシュタグは #tokyonlp になりました。Googleグループは識別子を変更できなかったので、以下のURLのままになります。http://groups.google.com/group/tokyotextmining

  • 554 5.4.6 Too many hops によりメールが届かない件

    ここ最近は MTA (Message Transfer Agent)について・・・いや、もっとわかりやすく言うとメールサーバについてお勉強中です。 ネットワークレイヤーは元々苦手分野で MTA まわりも当に様々な仕様があってうんざりなのですが、今日は 554 5.4.6 Too many hops というエラーについて調べていたので備忘録兼ねて情報をまとめておこうかと思います。 554 5.4.6 Too many hops とは何か? 554 という数値は MTA から返されるエラー番号。5xx 系なので意味的には Server-Error となります。 Too many hops の意味は、送信しようとしたメールが MTA で設定されている最大ホップ数を超えたために相手先へメールが届かないことを意味します。ホップ数とは、来の意味ではメールが宛先に届くまでに通過するメールサーバー数を

  • 失敗知らずのパラパラ黄金チャーハンの作り方

    材料 ご飯: 一膳半 溶き卵: 卵大を1個分 ベーコン小間切り: 大さじ2 ネギ微塵切り: 大さじ1 ※お好みで 調味料 塩: 小さじ1/4 胡椒: 少々 醤油: 少々 油: 大さじ2程度 作り方(レシピ) ご飯をボールに取り出して常温程度まである程度冷ましたら、油大さじ1を良く混ぜ込む。 塩、胡椒を少々(分量外)加えたら、溶き卵を半分程度だけ良く混ぜ込み、ちょっと卵が少ない感じの卵かけご飯を作る。 薄い煙がでるくらいアツアツに熱した鍋に油大さじ1を入れ油ならしする。 まずは中火。アツアツ鍋に溶き卵を入れたら、すぐにご飯をいれて、鍋をひと振りして卵とご飯をひっくり返す。※卵がご飯の上の状態 ここから強火。40〜50秒ほどご飯を炒める。炒め方のポイントは、お玉の縁を使ってご飯を切るように混ぜ、ほぐれてきたらお玉の背中で鍋に押しつけたり、混ぜたりして米を満遍なく炒めることと、卵が焦げ付かない程

  • 配列処理の比較 | Let's POSTGRES

    FORCIA, Inc. 板垣 貴裕 前回の「文字列処理の比較」に引き続き、SQL から利用できる配列処理を比較していきます。 今回も、比較対象のプログラミング言語は JavaJavaScript です。 配列は PostgreSQL 特有の機能のように誤解されていることも多いのですが、実際には標準SQLで規定された機能です。 ただ、配列をサポートしている RDBMS 製品は他にはあまり無いようなので(※)、仕方ないところかもしれません。 ※ テーブルに格納できる配列型をサポートしているのは、PostgreSQL の他には InterBase, Firebird くらいでしょうか? ストアド・プロシージャ内のみであれば、もう少し増えるようですが。 配列操作の比較 全般的な注意としては、配列のインデックス (添字, 文字の位置) の表現方法があります。 文字列と同様、SQL関数では、最

  • 文字列処理の比較 | Let's POSTGRES

    FORCIA, Inc. 板垣 貴裕 PostgreSQLSQL から利用できる関数 (以下、SQL関数) を豊富に提供しています。 今回は文字列の処理に注目して、SQL関数と、プログラミング言語の標準ライブラリが提供する機能を比較してみます。 比較対象のプログラミング言語は JavaJavaScript です。 PostgreSQL での文字列型の使い方全般に関しては、「文字列処理と日語全文検索」も参照してください。 全般的な比較 SQL, Java, JavaScript すべて、文字列は変更不可能なオブジェクトです。 また、空文字と null は異なることも、すべての言語で共通しています。 違いとしては、文字のインデックス (添字, 文字の位置) の表現方法があります。 SQL関数では、最初の文字のインデックスは 1 です。 一方、Java, Java Script で

  • ポイント・イン・タイム・リカバリ (PITR) — Let's Postgres

    鈴木 幸市 オンライン・バックアップを利用して、データベースを故障直前の状態まで復旧させる手順を解説します。 オンライン・バックアップとポイント・イン・タイム・リカバリ (アーカイブ・リカバリ) を利用すると、pg_dump でのバックアップとは異なり、バックアップ時点ではなく、アーカイブログが残っている限り最新の状態までリカバリできるのが利点です。 6.3 オンライン・バックアップとアーカイブログを用いたリストア PostgreSQL 運転中に取得したベースバックアップとアーカイブログを使ってデータベースをリストアすることができます。 アーカイブログもベースバックアップも、PostgreSQL を運転しているサーバとは別な場所に保存できることが重要です。 アーカイブログとベースバックアップを安全な場所 (PostgreSQL を運転しているサーバとは別の場所) に保存しておくことで、サー

  • pgcrypto | Let's POSTGRES

    NTT オープンソースソフトウェアセンタ 笠原 辰仁 はじめに PostgreSQLのcontribモジュールの一つに、pgcryptoというものがあります。pgcryptoは、その名の通り暗号化をサポートするツールです。主にはDB内のデータの暗号化を実施したい場合に使われます。オンラインマニュアルに詳しい機能の解説や参考文献へのリンクが載っています。記事では、pgcryptoの簡単な使い方と、pgcryptoを使う際に有用なテクニックを紹介します。 暗号化について 昨今では、個人情報保護法に備えるため、暗号化を必要とするケースが増えてきました。特にデータベースには重要な個人情報が格納されるため、特にシビアな暗号化を検討されることが多いです。 一口に暗号化と言っても、ストレージのハードウェア部分で暗号化を施す、ファイルシステム(ブロックデバイス)で暗号化を施す、盗聴に備えて暗号化したデー

  • PostgreSQL導入に向けての取り組み ~大規模システムへの適用を目指して~(5) — Let's Postgres

    4.3 運用面の着目点 3: DB メンテナンスの改善 データの断片化による性能低下に対処する方法として、弊社では PostgreSQL の CLUSTER コマンドを利用するようにしていました。 それは、一時的に対象の表と同程度の空き領域がディスクに必要となるものの、テーブル再編成の処理が高速に行えるためです。 しかしながら、CLUSTER はテーブルに対して ACCESS EXCLUSIVE ロックを取得します。 そのため、データベース操作(参照/更新両方)がブロックされ CLUSTER 処理中はサービスを停止する必要があります。 24 時間 365 日運用でサービス停止時間の確保が不可能な場合や、夜間に大量のバッチを実行する必要があるシステムの場合、 CLUSTER によるサービスへの影響は、PostgreSQL 適用の大きな課題の  1 つとなっています。 そのようなシステムに対し

  • 大量のデータを高速に投入するには | Let's POSTGRES

    FORCIA, Inc. 板垣 貴裕 PostgreSQL に大量のデータを高速に取り込む方法を紹介します。 COPY という専用のコマンドを使うと INSERT よりもずっと高速です。 また、COPY を使う際にひと工夫すると、さらに速くなります。 高速にデータをロードするコマンド INSERT の代わりに COPY FROM を使う PostgreSQL には COPY FROM という大量データ取り込み専用のコマンドがあります。 COPY コマンドは外部からタブ区切り (.tsv) やカンマ区切り (.csv) のファイルを読み込める上に、INSERT よりもずっと高速です。 同様に、pg_dump コマンドも -d や --inserts オプションを付けると INSERT を並べたダンプファイルを作ってしまいます。 オプションを付けないデフォルトでは高速な COPY 形式なので、

  • » PHPでデザインパターン: エスキュービズム ラボ Blog

    PHP5からインターフェースが使えるようになっていますね。 これでクラス間の関係を抽象化することができるようになりました。 そこでいまさら感は否めませんが、PHPでデザインパターンをやってみようと思います。 そもそもデザインパターンとは何かといいますと、 「クラス間設計における先人のノウハウ」と言えると思います。 クラス間の設計を行うにあたって、拡張性を高めたり問題を解決するためのノウハウですね。 そして、そこで大いに利用されるのがインターフェース・抽象クラスというわけです。 さて、GoFデザインパターンでは、23種類のパターンが提唱されていますが、それらは 3つの種類に分けられます。 生成に関するパターン Abstract Factory パターン Builder パターン Factory Method パターン Prototype パターン Singleton パターン 構造に

  • ストリーミングレプリケーションと pgpool-II の組み合わせ、簡単設定法

    Last modified: Mon Nov 8 11:34:34 JST 2010 ストリーミングレプリケーションとpgpool-IIの組み合わせ、簡単設定法 概要 このチュートリアルでは、ストリーミングレプリケーションとpgpool-IIの組み合わせを誰でも簡単に試せる方法を説明します。 必要なのはLinuxが動くマシン1台のみです。このマシンに、PostgreSQLのインスタンスを2つ、pgpool-II、pgpoolAdminを全部インストールしてしまいます。 この設定は非常に単純なものですが、それでもPostgreSQL 9.0自体に不足している以下のような機能を実現できます。 自動フェイルオーバ。 もし2台のPostgreSQLのうち1台がダウンしたら、pgpool-IIは自動的に残ったPostgreSQLが役割を引き継いでアプリケーションに対してデータベースサービスを継続させ

  • 新しいPostgreSQLクラスタ

    はじめに 最終回の今回は、現在開発中のソフトウエアであり、新しいコンセプトに基づいたデータベース・クラスタである「Postgres-XC」について紹介します。 1. Postgres-XCとは Postgres-XC(XC: Extensible Cluster)は、「完全なトランザクション処理と、書き込み/読み込みスケール・アウトが可能な、PostgreSQLクラスタ」として現在開発が進められているソフトです(関連URL1、関連URL2)。 開発の中心は、NTTと米EnterpriseDBの2社です。開発中のコードも含め、オープン・ソースとして公開されています(開発者用のページ)。 著者は、2005年に、Think ITに「近未来データベース」を寄稿しました。ここで、データベース・クラスタによって、読み書き双方のスケール・アウトを実装できることを示しました。Postgres-XCは、この

  • Postgres-XC

    Postgres-XC is a write-scalable synchronous multi-master PostgreSQL cluster with the following features. 1) Both read and write scalability. 2) Configured with more than one server. 3) Complete global transaction and visibility management. Features Read/Write ScalabilitySymmetric (multi-master, synchronous) clusterTransaction management and consistent tuple visibilityParallel transaction execution

  • Charming Python: Functional programming in Python, Part 3

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    Charming Python: Functional programming in Python, Part 3
    hts1004
    hts1004 2010/11/17
    意外と使えるawk
  • IBM Developer

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    IBM Developer