pgpool日本語本家サイト
pgpoolは，pgpool開発ページ(pgfoundry)から ダウンロードできます． また，CVSを使ってpgfoundry.orgから開発中の最新のソースコードにアクセスできます． cvs -d:pserver:anonymous@cvs.pgfoundry.org:/cvsroot/pgpool login とすると，パスワードを聞かれるので，何も入力せずにリターンを押す． この操作は最初の1回だけ．これだけでは何もソースは取得されない． 実際にソースを取得するには， cvs -z3 -d:pserver:anonymous@cvs.pgfoundry.org:/cvsroot/pgpool co pgpool とする．なお，2回目以降は，pgpoolのソースディレクトリで， cvs -z3 update とするだけで最新のソースと同期が取れる． CVSをHTMLでブラウズする こ
MySQL使いの人がPostgreSQLを始めるときの罠をまとめてみた
昨日書いたエントリがなかなかいい感じに拡散された。 MySQL使いが知るべきPostgreSQLとの違いと変わらない一つのこと で気付いた。 多分本当にMySQL5.7の罠が理由でPostgreSQLに移行する人は上のエントリを求めてない。 つまり本来ターゲットにすべき人は SQLはORMが解決してくれるから違いなんて気にしない ロジックはSQLではなくアプリケーションコード側が行う DBはデータを置くストレージだ、いいね？ みたいな人だ。 前述のエントリでよしPostgreSQL使おう！！って人は多分MySQL使っても乗り越えていける人たちだ。 勿論そんな人達がPostgreSQLに来てくれるのは嬉しいし大歓迎。 それとは別にもっと窓口を拡げるために必要な移行時の罠をまとめておく。 これはMySQLと比較しながらPostgreSQLの事を書く。 だが初めてPostgreSQLを触る人は知
fluentd × Elasticsearch × kibanaによるアクセスログ解析 - Qiita
概要 fluentdでログ転送＆収集を行い、 Elasticsearchでデータを保存し、 kibanaでデータの可視化を行う。 サーバー構成 APIサーバー（複数台） 【nginx】→【fluentd】→ログ収集サーバーへ転送 ログ集約サーバー（兼 解析サーバー） APIサーバーから転送→【fluentd】→【Elasticsearch】⇔【kibana】 サーバー設定 APIサーバー log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request:$request\t' 'request_method:$request_method\t' 'request_length:$request_length\t' 'request_uri:$request_uri\t' 'uri:$uri\t' 'qu
Fluentd, ElasticSearch, KibanaでKPIログを可視化する - Qiita
install手順や基本設定は割愛します. KPIログを可視化する上で必要な主にKibanaの使い方メモです. Goal KPIとなる指標をログ出力し、Kibanaで可視化する アプリケーション => fluentd => elasticsearch <- kibana KPIは複数設定され、指標はそれぞれ異なるため、KPIの種類によってデータ構造が変更できなければいけない 1つのKPIを様々な軸で集計可能にしたい ログ送信 今回はfluent-logger-rubyを使う. https://github.com/fluent/fluent-logger-ruby 簡単に以下のようにログを送信します. log = Fluent::Logger::FluentLogger.new(nil, host: 'localhost', port: 24224) log.post("kpi.user_
Jenkinsを使ってGitHubのPull Requestが自動でテストできちゃう？ - Qiita
できちゃうんです。 CIの一環で、表題のような開発フローを試してみました。 What's CI? Continuous Integration（継続的インテグレーション）は、こちらの記事によると、 1度限りもしくは数回限りではなく、継続的に小まめにビルドを実行していくプラクティス のことです。 Merits ここも、上記の引用ではありますが・・・。 想定外の状況が起こったときに、素早く検知できる 仕込んでしまったバグを即座に検知できる 開発者の環境依存の問題を検知しやすくなる 「私の環境では動くけど・・・」 ビルドが属人化せずに画一的になりやすい 「◯◯さんがビルドしたら失敗/成功した」 こういう状況に思い当たる節のある人も、いますでしょうか・・・？ 役に立ちそうなツール Travis CI 最近GitHubのプロジェクトに"build"とか"passing"とかタグがついてるあれ Tra
jenkinsでサーバ構築ツール作成
概要 周辺で脱jenkinsの流れを感じる今日このごろですが、昔jenkinsを環境構築ツールとして利用して結構便利だった記憶があるので思い出しながらもう一度作ってみようと思います。邪道jenkinsの精神です。 実現したいこと ある環境が構築したくなったら、その構築ページにスッと行けてシュッと作れる あのコマンドをどこで実行してその後にこれを実行して、、など記憶だよりを無くす 黒い画面を出さなくても良くする Webブラウザの操作だけで構築を完結させる 今はやらないこと 構築リソース管理 何が構築されているとか、構築可能なリソース(CPU,Memroy,HDD)がどれだけあるとか。 構造 作りながら考える インストール これ を実行する。完全に自分用の覚え書き。 ログイン設定 アカウント作成 Jenkinsの管理 -> グローバルセキュリティの設定 セキュリティ有効化のチェックをクリック
Chef Meetup(Tech-Circle&CreationLine共催) に行ってきました - critical alertのブログ
Chef Meetup (Tech-Circle&CreationLine共催) - connpass 2015/8/31(月) TIS株式会社 で行われた Chef Meetup(Tech-Circle&CreationLine共催) に行ってきた。 いつもはハンズオン形式らしいのですが今回はセミナー形式での開催とのこと。 質問タイムがほとんどなかったので発表者に質問できるタイミングがあると良かった。(または懇親会的なもの) 1. DevOps, マイクロサービスの米国動向 スライド無し DevOpsをとりまくdocker,chef,マイクロサービスについての最近の動向についてという内容だった。 chefの話はあんまり出てこず。 dockerは普及のスピードがすごく早いのが特徴的。やはりアプリ層に近いので直接的な効果が大きいのも要因だとか。 コンテナ技術自体は標準化されていっているので、
GitHub + CircleCI + Capistrano + Slack + Hubot で快適リリース生活 | QUARTETCOM TECH BLOG
こんにちは、@ttskchです。先日、Symfony Meetup #5のLTでChatOpsについて発表させていただきました。 発表に使用したスライドはこちらにあります。 具体的には、PHP（特にSymfony2）プロジェクトの開発・リリースのプロセスについてのお話しです。 ここでは、その発表の内容をもう少し詳しく解説したいと思います。大きく5つのステップに分けて、一つずつ解説していきます。少し長いですがお付き合いください。 Step 1. CIの導入 Step 2. Capistranoの導入 Step 3. デプロイの自動化 Step 4. リリースPR作成のQA最適化 Step 5. リリースPR作成のChatOps化 Step 1. CIの導入 まず一番初めにやるべきはCIの導入です。弊社ではCIサービスにCircleCIを使っています。 CircleCIとGitHubを連携させ
AWSで独自ドメインを設定したい。 - Qiita
はじめに 「これは、素人がAWSを使ってWebサービスを生み出す過程の、自分用メモでございます。」 今の僕の状態は、以下の通り。 AWSアカウント開設 EC2インスタンスをローンチ SSH接続をできるようにして セキュリティグループに「Tyep:HTTP/PortRange:80」を追加 SSH接続後に、LAMPインストール完了で、Public IPをブラウザで叩いてアクセスできるようになった。 今回やりたいのは、 独自ドメイン（お名前.comで取得済み）と、IPアドレスに紐づける！ です。 まずは「Elastic IP」を設定する。 最初は、Public IP（PIP）が設定されていて、Elastic IP（EIP）は設定されていません。 PIPは時間が経つと変わっちゃうみたいで、EIPを設定しておかないと独自ドメイン設定できないっぽい（詳細しりませんが。。）ので、これを設定します。イー
エンジニアなら知っておきたい lessコマンドtips 11選 - Qiita
タイトルはかなり挑戦的(?)ですがあまり気にしないでください。 ※注意 このエントリで紹介しているオプション、コマンドはCentOSでしか動作確認をしていません。 その他ディストリビューションや、インストール方法によっては挙動が異なる場合があります。 「less」 使ってますか? エンジニアなら普段Linuxに触る機会が多々あるかと思います。 エンジニアのみならずMacだったりUbuntuだったりで私用PCでもターミナルが使えるようになっている方は多いかもしれません。 私は普段の仕事ではサーバの運用管理をしています。 仕事柄触る頻度が高いのはLinuxサーバです。 そして、使うのは大体CLIです。 そもそもLinuxでGUIを触る機会がなかなかありません。 大体リモートからターミナルで接続してCLIでちょいちょいっと処理をする感じですね。 GUIである場合でもLinuxを使っていればターミ
初めてのIoT with Python on AWS
2015/9/12 PyCon mini Sapporo http://sapporo.pycon.jp/2015/
Amazon Redshift: UDF(User Defined Functions: ユーザー定義の独自関数)が遂にサポートされました！ | DevelopersIO
以前から『出るぞ出るぞ』と言われていつつ、更には我々の方でも今か今かと待ち望んでいたAmazon Redshiftの新機能、『UDF(User Defined Functions: ユーザー定義の独自関数)』がついにリリースされる運びとなる模様です。下記ブログエントリ及びTwitter関連アカウントでアナウンスがなされていましたので、早速どんな内容なのか読み解いてみたいと思います。 Amazon Redshift now supports Scalar User-Defined Functions in #Python. http://t.co/eY8kABuSyM pic.twitter.com/zNMWGcJ9Ar — Amazon Web Services (@awscloud) 2015, 9月 11 User Defined Functions for Amazon Redshi
JavaEE7をはじめよう(8) - JPAでのID定義 - エンタープライズギークス (Enterprise Geeks)
前回までJPAの使用方法を解説してきた。今回は、JPAを利用する上で、テーブルの主キーおよびエンティティのIDの設計で考慮しておくべき事柄を説明する。 複合主キーの定義方法 IDの定義方法を検討をするために、まずJPAでの複合主キーの定義方法を解説する。 エンティティのIDは、永続性コンテキストの中でエンティティを一意に識別する値である。また、EntityManger#find の引数にIDを渡すことからわかるように、JPAでは ID は1つのオブジェクトでなければならない。 そのため、@Embeddable アノテーションを付与した複合主キーを表すクラスを定義する必要がある。(エンティティクラスの内部クラスとすることが多い) @Embeddable public static class PK { @Column(length = 10) private String name; @Co
Java プログラムでホスト名の名前解決ができなくなる原因。JVM の DNS キャッシュの仕組みと、キャッシュの有効期間を変更する方法 - Qiita
Java プログラムでホスト名の名前解決ができなくなる原因。JVM の DNS キャッシュの仕組みと、キャッシュの有効期間を変更する方法Java JVM は ホスト名を解決すると IP アドレスをキャッシュします。 発生する問題 あるサーバのホスト名が変化しなくても、IP アドレスが変わると、 Java のプログラムからそのサーバにアクセスできなくなることがあります。 具体的には、 AWS の ELB はホスト名が変わらずに IP アドレスだけ勝手に変化することがあるので、そのような場合に、名前解決に失敗します。 もちろんサーバ側の管理者が DNS の A レコードを変更したときにも発生するので、 AWS のみならず一般的に起き得ます。 どのようにキャッシュしている？ キャッシュを保持してある場所 InetAddress クラスがキャッシュを保持しています。 キャッシュが存在する限り、名前
jBatch情報源 - Qiita
jBatchの情報が載っているところのまとめ。 WEBページ 原典 jBatchの仕様はこちら。 色々な記事を参考にするのは良いですが、時々本来の仕様に立ち戻ってみよう。本当は英語版で読めればよいのですが、日本語に翻訳して下さった物もあります。 jBatch(JSR-352)の仕様原本 The Java Community Process(SM) Program - communityprocess - final(JSR-000352 Batch Applications for the Java Platform (Final Release)) jBatch仕様の翻訳 kagamihoge/JSR-352-1.0-Final-Release-tekito-na-honyaku Wiki JavaEE7チュートリアルのjBatchの章の翻訳 The Java EE 7 Tutorial
[AWS] EC2インスタンスにIAMロールを適用して、S3へファイルアップロードする。 – LexTech
2015/09/05 by クルーレキサス·[AWS] EC2インスタンスにIAMロールを適用して、S3へファイルアップロードする。 はコメントを受け付けていません。 こんにちは、与儀です。 EC2インスタンスにIAMロールを適用することにより、AWSの認証情報（アクセスキーとシークレットキー）をインスタンス上にべた書きしなくても、AWSのリソースへアクセスする権限を付与できるようになります。 Amazon EC2 の IAM ロール ここでは例として、S3へのフルアクセス権限をもったIAMロールを作成して、EC2インスタンスへ付与してみます。 ※EC2インスタンスへIAMロールを適用する場合は、EC2インスタンス作成時に適用しなければなりません。一度作成したEC2インスタンスへ、IAMロールを後から適用することはできませんので注意が必要です。もし、すでに作成しているEC2インスタンスへI
「初めてのSpark」刊行記念Spark Meetup 2015 まとめレポート
20150909初めてのSpark.md 概要 イベント名：「初めてのSpark」刊行記念Spark Meetup 2015 開催日：2015年9月9日(水) 時 間：19:00から22:30（懇親会21:00〜22:30） 場 所：ドワンゴ様セミナールーム (歌舞伎座タワー14階) 〒104-0061 東京都中央区銀座4-12-15 http://dwango.co.jp/corporate/map.html 定 員：250名 参加費：無料（含む懇親会） 主 催：Cloudera株式会社 協 賛：株式会社ドワンゴ、株式会社オライリー・ジャパン 19:00 「初めてのSpark」刊行のご挨拶 Sky株式会社 玉川竜司 Advanced Analytics with Spark年内に出したい！ 入門にはとても良いはず。原書（今年一月初版）の間違い結構直ってます。新バージョン（1.41）にキャ
HDFSとSparkの連携 - すだちっこのOrdinary Days
SparkでHDFS上のデータを分析し結果を再度HDFS上に保存するまでの備忘録です。 環境 HDFSはCDH5.3.2 SparkはHDFSクラスタとは別で用意 StandAloneモードでインストールしました。 サンプルデータ Generate Test Data - Amazon Elastic MapReduceから作成 こういうデータ（抜粋) 0|Christopher WOOD|1954-10-15|F|NC|christopher.wood.1954@hotmail.com|412-850-6209 1|Scarlett YOUNG|1998-10-24|M|OK|scarlett.young.1998@live.com|151-447-8098 2|Ian ADAMS|1982-02-12|F|CT|ian.adams.1982@hotmail.com|768-213-49
SparkR 1.5 の開発でできたこと・できなかったこと - Advanced Technology Lab
こんにちは，アドバンストテクノロジーラボの石川有です． 業務として携わっている Apache Spark™ の最新版 Apache Spark 1.5 が先日リリースされました． 今回の記事では Spark のコンポーネントであるSparkR の 1.5 リリースまでの開発でできたこと・できなかったことを書きたいと思います． なにがサポートされたとか，どういう使い方ができるようになったなどの情報はほかでも入手できると思うので，本稿では自分が携わった SparkR の開発について書きます また Spark や Spark の DataFrame がなんであるかなどは，割愛しますのでご留意ください． Spark 1.5 の開発の中で，SparkR で関わった部分は大きく分けると２つあります． 1. コーディング規約の策定と静的解析ツールの適応 2. DataFrame まわりの整備 コーディン
WordPress環境構築におけるMySQLの設定とChef上達のポイント
連載目次 6回にわたる連載も、今回が最終回となりました。WordPress環境構築レシピの最後の仕上げの部分と、上達のためのポイントについて触れます。 まず、連載第3回の「WordPress構築で学ぶ、サーバー構築作業をChefのCookbookとして記述するためのポイント」で解説した「構築環境の前提条件」と「Cookbookの作成方針」を再度記載しておきます。 WordPress構築環境の前提条件 OSはCentOS 6.6を使用 ApacheとMySQLは同一サーバー内（「ノード」）にインストールする MySQLはRemiリポジトリを使用してインストールする 「wp.example.com」というバーチャルホストを作成し、ホスト名を「wp.example.com」、ドキュメントルートを「/var/www/wp.example.com/wordpress」とする エラーログとカスタムログ
Go言語でメモリ上の大きさや配置を調べる
golangで構造体を定義した場合、 メモリ上にどのように配置されるのでしょうか。 通常意識する必要はありませんが、32bitと64bitで挙動がおかしい場合など、 ごく希に調べる必要に迫られる場合があります。 そのような場合、各要素のサイズや、構造体先頭からのオフセットを調べることで、 メモリ上に構造体がどう置かれるかを調べることができます。 C言語でのsizeofやoffsetofに対応する物が、golangのunsafeパッケージに用意されているため、 これを利用することで構造体の様子を調べることができます。 https://golang.org/pkg/unsafe/ 今回は以下のようなテスト構造体を使い、メモリ上にどのように置かれるかを調べました。 テスト環境はwindows7(32bit)とmac(64bit)になります。 type A struct { flag bool n
aws-sdk-goを使ってGoからAWS SQSを使う - Qiita
一時的にスマホからワッとくるアクセスをとりあえずキューに入れて、 別処理でDBに突っ込むようなシステムを作りたい。 そこでaws/aws-sdk-goを使ってSQSを試してみる手順。 TL;DR aws-sdk-goを使えばGoからAWSの操作は大体できるよ 基本戦略 SQSには指定回数取得されたのに正常終了（削除処理）されなかったメッセージを 別のキュー(以下デッドキュー)に移してくれる機能があるので、これを使う。 これを使うとエラー処理をあまりがんばらなくて済む。 またロングポーリングを行い、メッセージが空の場合は接続したまま一定時間待つことで、 アクセスを減らすようにする。 注意点として同一メッセージが複数回取得される場合があるので、 実際のシステムではそれでも問題ないように実装する必要がある。 事前準備 aws-sdk-goのインストール package main import (
Go のシンプルかつ明快な SQL クエリビルダ go-sqlf - 詩と創作・思索のひろば
Go でリレーショナルデータベースを利用したアプリケーションを書いているとき、動的に SQL を組み立てたい場合には、いくつかの方法が考えられます: クエリビルダを使う。世の中にすでにいろいろ存在します。（そのためのライブラリなので）動的に生成するにはもってこいですが、この場合、それぞれのライブラリに合わせた書き方をしなければならないので読み手にもある程度負荷がある点、また、Go は言語として冗長に書くことをよしとする思想を持っているため、DSL 的な API との相性が悪いという欠点があります（map の組み立てが冗長、条件分岐する式が書けないなど）。また、一般にクエリビルダから生成される SQL がコードから想像しづらくなる問題もあります。 文字列連結や fmt.Sprintf を使う。発行される SQL は比較的分かりやすくなりますが、動的に組み立てると SQL プレースホルダとバイ
仮想化技術として注目されているDocker入門 - PASONATECH ADVANTAGE SEMINAR
仮想化技術として注目されているDocker入門 講師：宮原 徹（日本仮想化技術 社長兼CEO） 企業におけるITシステムは仮想化技術の発展によって成長を加速させてきました。また、仮想的に表現する技術や仮想技術を便利に使えるツールが次々と開発されていますが、その中でも、数年前から注目されてるのがコンテナ型仮想化技術である「Docker」です。サーバーエンジニアが知ってて損しない技術の1つと言えると思います。 Dockerにこれまで携わることがなかったけど、スキルアップのために知っておきたい方や、基本的な操作方法を復習しておきたい方まで、Docker入門編としてセミナーを開催致します。セミナーでは、CentOS 7を使って、Dockerの基本的な使い方をデモを交えて解説しますので、よりイメージがしやすく理解度が高まると思います。また、IaaS環境を構築するために用いられるOpenStackとの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/mathhun/items/eda17f6ef7cc06b30ab6
GitHub - koji-ohki-1974/word2vec
日本語版 : IBM Bluemix