・elasticsearchのデータのバックアップをesclientを使用してダンプ取得する ・easy_installだと楽だけど、クローズドなオンプレミス環境向けにローカルインストールする手順 ・python 2.6.6環境向けです（2.7だとargparse不要） 必要なものの配置 下記3本のtar.gzファイルをダウンロードして、インストール先サーバの/tmpに配置する argparse requests http://goo.gl/dyOy4a ESClient http://goo.gl/lNkt4n インストール argparseインストール # cd /tmp # tar zxvf argparse-1.2.2.tar.gz # cd argparse-1.2.2 # python setup.py install 〜省略〜 Installed /usr/lib/pytho

CloudWatchがあればZabbixとできること大して変わらないし 「CloudWatchでだいたいの要件は満たせそうですね。」 とおっしゃる方もいらっしゃるようですが私たちServerworksが、そして私伊藤がなぜZabbixをおすすめするのか今回はそのことについてお話ししたいと思います。 統合監視ができる CloudWatchはあくまでもAWSの中の事象だけを見ます。 しかし実際のシステム運用ではAWSだけでなく他のクラウドシステムやオンプレミス、 クラウドとの接続ポイントとなるネットワーク機器など、監視すべき部分はAWSの中だけではありません。 そういった場合すべてを統合的に見られる監視ツールが必要となります。 またAWSの中だけであったとしてCloudWatchではアカウント毎に表示されることになります。 たとえば経費分割のために1つの会社で事業部毎に別々のAWSアカウントを

The blkid program is a command-line utility that displays information about available block devices. It can determine filesystem types (like ext4 or swap) and display key metadata attributes (tokens) such as UUIDs and LABELs. The bikid tool is part of the util-linux package, which includes various utilities for managing your system. Basic Usage Simply running blkid without any argument it will dis

Nuxt.jsを使ったPWA対応アプリの開発を公開 ※ 株式会社GIGでは毎月社内勉強会を実施しています GIG inc. Good is good. We provide opportunities to the SEKAI by fusing technology and ideas. テクノロジーとクリエイティブでセカイをより良くする。小さなチームからスタートした多くの先人達が、世界をより豊かなモノに変革してきました。通信、UX、デバイス、技術の変化と共に世界はまだまだ加速度的に変わります。 Good is good. いいものはいい。GIGは、関わったユーザーやクライアントが前に進める“きっかけ”をつくりつづけます。 ■ お問い合せ https://giginc.co.jp/contact/

Android - Shadow - Path Tracing - Palette

まずは、ISUCON4の主催・協賛・運営の皆様、素晴らしいイベントをありがとうございました。 ISUCON4ダメでした。こんな悔しく終わると思ってなかった。一応予選通過してそれなりに手応えがあったので、本戦もそれなりに健闘して戦えるのではないかと思ってたけど、その辺完全に甘くて、本戦に出られたちょっとした喜びも吹き飛びました。競技に溺れて本来のサービス運用者視点が抜け落ちていた事に反省しきりです。 何をやったかは、motemenのエントリに書いてありますが、最初にRedisを1台に固めてログの書き込みをRedisのリストにしたのがそれなりに効いたくらいですかね。多分最初に8000点超えをして暫定トップを取ったと思います。ここがクライマックスでここから全く改善しなかった。 Redisはレプリケーション構成にしようかとか@y_uukiに言われたし、他のチームのレポートを見てもそうしていたところ

IoT時代を支えるプロトコルMQTT技術詳解 2014年11月26日 日本学術振興会産学協力研究委員会第36回インターネット技術第163委員会 さくらインターネット株式会社 / さくらインターネット研究所 上級研究員　松本直人 Read less

それほどDBに詳しくないアプリエンジニアが何かトラブった時にすぐさま行動して問題把握できるようになる情報を列挙しておきます。 開発時、障害時の対処療法やちょっとした定期監視方法などを対象にしています。 抜本的な対策などはインフラエンジニアさんにお任せしたほうがいいと思います。 DBはいろんな意味でこわいんでできれば触りたくないです＞＜ 事前確認 MySQLサーバーのシステム設定値を確認しておく 以下のようにサーバーのシステム設定値を確認できます。 mysql> SHOW GLOBAL VARIABLES; # ワイルドカード(%)を用いた絞り込み mysql> SHOW GLOBAL VARIABLES LIKE 'performance_schema%'

初投稿。iOSアプリ開発ビギナーで至らないところもあるかと思いますがよろしくお願いします（ツッコミとか）。 データの永続化を行うにあたり、iOSではフラットファイル、SQLite、CoreDataを使うことが出来ます。前者2つはウェブ・アプリケーションで多少馴染みがあるものの、Cocoaプラットフォームでのデータ永続化はさっぱりわからずCoreDataって何？という状態からスタートしました。 このドキュメントでカバーすること: CoreData, mogenerator, MagicalRecordがどんなものであるかとその使い方 このカバーしないこと: Xcodeの基本的な使い方 CoreData, mogenerator, MagicalRecord以外のライブラリのインストール方法 登場人物 CoreData mogenerator MagicalRecord CoreDataプログ

パスワードマネージャー「1password」を公開しているagilebitsのブログに、マスターパスワードについての記事が書かれていたので紹介します。 https://blog.agilebits.com/2011/06/21/toward-better-master-passwords/ 以下のポイントを忘れずに読んでください。 完璧を求めずに、より良くする方法を探す 過去の方法は通用しない タイプ出来ない、覚えておけないマスターパスワードは最悪だ、ということを忘れないで！ マスターパスワードは変えない！ パスワードを定期的に変えることが良いと言われているが、マスターパスワードは強力なものを設定して二度と変えなのが理想です。 変えるべきパスワードとは 短すぎるパスワードや"123456"のようなものは論外として、"Sally4th "や"Molly&Petty2"も十分危険です。 パスワ

mk-mode.com Linux, Debian, IT, Server, PG, Ruby, Rails, Python, C++, Fortran, PC, MariaDB, math, GIS, etc... 仮想端末管理ソフト tmux は、デフォルトでは文字列を選択してコピーした内容がクリップボードに格納されません。（プライマリセレクションというバッファには格納されてはいますが） tmux 外で起動させているテキストエディタ等に貼り付けたい場合などに不便です。 以下、コピー内容をクリップボードに格納する方法についての記録です。 0. 前提条件 Linux Mint 14 (64bit) での作業を想定。（Unix 系なら同じだと思う） 仮想端末管理ソフト tmux がインストール済み。（バージョンは 1.6） コマンドラインでクリップボード操作が可能な xsel がインストール

Qiitaは2ヶ月ぶりです。 GopherCon2014でSoundCloudの方がプロダクションでGoをどう使うかというところで発表されていたようです。その内容がブログで公開されていたので、僕の勉強も兼ねて翻訳することにしました。 英語は得意でないのですが、ザクッと訳してみました。きっと間違い有るので、どうかご指摘ください。 元ネタ：http://peter.bourgon.org/go-in-production/ スライド：https://github.com/gophercon/2014-talks/blob/master/best-practices-for-production-environments.pdf SoundCloudでは、たくさんのクライアントに対してAPIの形でプロダクトを提供するようにしています。ですから、ウェブサイトやモバイルクライアント、モバイルアプリの

はい、どもども乙カレー様でつ。 boot2dockerをバージョンアップしたらちょっとハマった事をいくつかメモ。 もともと。前提。 もともとは1,2ヶ月前位に入れたboot2dockerで、入れ方は当時homebrewで入る物が若干古かったかなんかでGithubからwgetしてれる方法で。 mkdir -p ~/boot2docker cd ~/boot2docker wget https://github.com/boot2docker/boot2docker-cli/releases/download/v0.11.1-pre1/boot2docker-v0.11.1-pre1-darwin-amd64 -O boot2docker chmod +x boot2dockerあんまり覚えてないけどこんな感じだった気がする。 これはこれで使えてはいたけど、久々に見たらhomebrewでの提供

例えばカスタマーサポートからメール配信停止を依頼されたとき、WEB UIとして準備してないと手作業でフラグを立てたりと何かと日々の運用で面倒なことがある。 slackに「このアドレスですがメール配信停止処理お願いしますー」なんて言う言葉を拾ってメール配信停止できたら素敵かもと思いhubotに頑張ってもらうことにした。 AWSのSQSにキューをぶち込んで後はバッチスクリプトがフラグを立ててくれるようにした。 先ずはaws-sdkをインストールしてから scripts/unsubscriber.coffee coffeescriptは素人なので汚いです AWS_ACCESS_KEY_ID と AWS_SECRET_ACCESS_KEY は環境変数で設定する slack上でメールアドレスを打つと「mailto:xxx@xxx.jp|xxx@xxx.jp」という形式で渡ってくるのでそこはよしなにす

何か緊急に logrotate をしたくなることがあります．ないかもしれませんがあります． logrotate したい設定ファイル名を以下のように指定します．

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

{ switch(e.key) { case 'k': if (e.metaKey || e.ctrlKey) { e.preventDefault() open = !open; if (open) { document.body.classList.add('overflow-hidden'); } else { document.body.classList.remove('overflow-hidden'); } } } }"> OverviewGet Docker Docker Desktop Overview Install MacUnderstand permission requirements for MacWindows Use the MSI installer Early Access OverviewInstall and configureUse IntuneF

In this blog post, Product Manager Curtis Johnson calls out key themes from the 2024 Java Developer Productivity Report.

B! 119 0 0 0 前から気になってた ShellCheck を使ってシェルスクリプトや.bashrc等直してみました。 ShellCheck コマンドライン版 日本語を含んだファイル Vimでは ShellCheck ShellCheck はシェルスクリプトの文法をチェックしてくれるオンラインサービスです。 ShellCheckのページに行って 試したいスクリプトを書き込むと文法をチェックして エラーや注意を表示してくれます。 指摘してくれるものとしては、明らかな文法違反な物は勿論、 実際にスクリプトを回して毎回エラーになるものでなくても、 変数が空の場合に""で囲ってないとエラーになる場合なども チェックしてくれるので思わぬ事故も防いでくれます。 コマンドライン版 ShellCheckのソースコードはGitHubで公開されていて、 さらにコマンドライン版のshellcheckを使

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

書いてみました！ About iTunes が保持している楽曲情報には、主に下記のようなものが含まれるのですが、 曲名・アルバム名・アーティスト名 etc. 再生回数・スキップ回数 etc. ファイルサイズ・ファイルロケーション etc. これらを BigQuery に蓄積するとおもしろいかなぁと思い、 iTunes が出力している楽曲情報ファイル iTunes Music Library.xml をパース・csvに出力 出力した csv ファイルを Google Cloud Storage にアップロード アップロードしたファイルを Google BigQuery にロード ...といったことを行うスクリプトを、いま流行りの Go で書いてみました。 ちょっとイキって、 Goramoph なんて名前を付けてしまいました。 利用するまでにちょっとした準備が必要なので、こちらにまとめます。（

Introducing flannel: An etcd backed overlay network for containers https://coreos.com/blog/introducing-rudder/ Things are not as easy on other cloud providers where a host cannot get an entire subnet to itself. Rudder aims to solve this problem by creating an overlay mesh network that provisions a subnet to each server. Running Kubernetes Example on CoreOS, Part 2 - Qiita http://qiita.com/yungsang

DragonFly BSD 4.0.1がリリースされたという記事を呼んでリリースノートを見ていたら「New device files /dev/upmap and /dev/kpmap have been added」なんてのがあって、興味が出たのでソースを読んでみました。 この機能はざっくり言ってしまうとLinuxにおけるVDSOみたいなもので、一部のシステムコールに関しては一定回数以上呼ばれたらシステムコールを呼ぶのではなくメモリにマップしたデータを読み書きして返すというものです。このために2個のデバイスファイルが追加されました。 * /dev/upmap * /dev/kpmap kpmapはカーネル単位（なので全プロセスに共通）のデータを読むためのもので、Read Onlyとなっています。 upmapはプロセス単位でこちらはR/Wとなります。 ここではkpmapの方を見ていきます。

Fluentdでは出力側が詰まると、バッファがたまっていき、ある程度するとバッファが詰まり、今度はそこにForwardしているバッファが詰まり、数珠つなぎにバッファが詰まっていく。大量にたまらないときは出力側が流れ出したら、復帰してくれてとても便利だ。memoryバッファにしておくと、プロセスを再起動しないといけないときに消えちゃうので、fileバッファにするのがいまのところ王道設定である。 しかし、出力先で障害が発生し長引くと、バッファが詰まっていって回復するまでにバッファがあふれてログを取りこぼしてしまったり、いざ回復しても、今度はFluentdからバースト的にログが流れてきてまた詰まってしまったりする。また、出力先が何かの障害でログが失われてしまったとき、復旧する手段がなくて困る。 そこで、Fluentdからいろんな時に出力するときに、一旦ファイルにログを書き出して数週間ためておいて

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

1stアルバム「ダイヤル“S”をまわせ！」からおよそ5年9カ月ぶり、3代目ボーカリストのATGことアリストジゼルが参加してからは初のオリジナルアルバムとなる今作。ATG加入により、ファンシーかつ毒のある魔法少女的な世界観へとシフトチェンジしたスペィドの現在形が表現された作品で、アニメ「HIGHSCORE」の主題歌に採用された「Sweetholic」やEDMテイストのキュートなラップソング「わかんない」「アレタベタイナ」などのオリジナルソングに加え、ライブのレパートリーとして披露されてきた岡村靖幸のカバー「(E)na」も収録されている。海外でも精力的に活動するスペィドが、世界共通の“オンナノコの本当の気持ち”を表現した1枚だ。 アルバム発売を記念して、12月22日には東京・UNDER DEER LOUNGEにてリリースパーティが開催。当日はエイプリルズ、エコ怪獣ら親交の深いゲストも多数お祝い

AWSのマネジメントコンソールへのログインに、2段階認証を設定したのでメモ。 1サービスで開発者が限られているので、IAM作成などはなしでrootにのみ設定します。 トークンソフトウェアのダウンロード まず、MFA(Multi-Factor Authentication)用のトークンソフトウェアをダウンロードします。Google AuthenticatorやAuthyなどがありますが、Google Authenticatorのほうが登録がないため簡単です。その代わりバックアップ機能はありませんが。。。 2段階認証の設定 1. マネジメントコンソールのメニューから「IAM」を選択 2. 中段にある「Activate MFA on your root account」の項目を開き、「Manage MFA」をクリック 3. 「A virtual MFA device」を選択して「Next Ste

Gunosy.go #3 の発表資料です。

We are pleased to announce the availability of the Hortonworks Data Platform (HDP) 2.1 on Red Hat Storage 3.0.2. This joint solution between Red Hat and Hortonworks allows you to bring the full analytical power of the Hadoop Ecosystem to the data within your Red Hat Storage cluster. Red Hat Storage (RHS) is a great choice for a central storage repository. The fact that it is a software-defined, sc

はじめに こんにちは、レシピ投稿推進室の勝間（@ryo_katsuma）です。 techlifeでの執筆は5年ぶり（！）になります。 さて、そんな私も今年2014年の5月にエンジニアからサービス開発の部署のマネージャに転身しました。 そこで今回のtechlifeブログは、いつもの技術ネタとは少し異なるテーマとして、「クックパッドにおいて、エンジニアからマネージャに転身する」ことが、どういうことなのかを自分自身で振り返り、まとめたいと思います。 エンジニアが自身のキャリアを考える上で、少しでも参考になれば幸いです。 現状 私は、2009年5月に中途入社し、今年で6年目になります。この年数は、エンジニア全体はもちろん、社内全体で見ても古い方になります。 これまで、技術部、HappyAuthor部（現在、私が所属している前身になった部）、新規事業部、プレミアム会員事業部...など、いろんな部署で

はじめに こちらの記事では、GroongaとElasticsearchの単純な検索性能、更新性能、 ディスク使用効率を比較しました。 その結果では、Groongaの検索速度がElasticsearchよりも数倍ほど速く、Elasticsearchの更新速度がGroongaよりも数倍ほど速かったです。 なお、前回の記事では、Elasticsearchでフレーズ検索がされていなかったり*1、punctuation、whiespaceが転置索引に入っていなかったため、追加検証結果を追記しています。 シーケンシャルなスクリプトではGroongaの更新速度のほうが遅かったですが、これは、GroongaとElasticsearchが利用しているLuceneの転置索引の作成方法や管理方法の違いによるものです。 Groongaにおける転置索引 Groongaでは、即時更新に強く更新にかかる処理コストが低く

2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela

マルウェア「Citadel」に特定のパスワード管理ソフトのプロセスを検知するとキー入力を取得するという機能が追加されたという報道がありました。この狙いは、パスワード管理ソフトの要である「マスターパスワード」を盗み取るためでしょう。 マスターパスワードとは、登録されているすべてのパスワードにアクセスするための最も大切なパスワードです。例えるなら守衛室にあるような色々な部屋の鍵が入れてあるロッカーの鍵だと思っていただければいいかと思います。 パスワード管理ソフトでは登録されているすべてのパスワードをまとめたファイル（以下、パスワードデータ）は、このマスターパスワードで暗号化されています。そのため、仮にマルウェアに感染していて、最悪、パスワードデータを盗み出せたとしてもマスターパスワードが分からない限り中身を見ることができないわけです。しかし、前述したようにこのマスターパスワードを盗むために追加

VAddyとCircleCIを組み合わせると、簡単に継続的セキュリティテスト環境が実現できます。 git pushするとCircleCIのジョブが起動し、テストサーバにコードをデプロイ、そのテストサーバに向けてVAddyからWebの脆弱性検査を実施します。 今回は、 git push -> Unit test -> Deploy(Staging) -> VAddy test -> Deploy(Production) という流れで解説します。 Unit testが失敗した場合は後続の処理は行われませんし、VAddy testが失敗した場合も本番にコードがデプロイされません。 こうして、ユニットテストとWeb脆弱性検査を定期的に実施して問題のないコードのみを本番環境にデプロイできます。 前提 この記事では、CircleCIインスタンス内に立てたWebサーバに対しての脆弱性検査ではなく、Cir