企業で処理するデータ量が爆発的に増加している。かつて企業内の大量データというと、データウエアハウス（DWH）やビジネスインテリジェンス（BI）で取り扱う定型データの集まりのことだった。しかし現在では、それらに加えてオフィスソフトの文書データやWebサーバーで配信するテキスト、画像、音声などの非定型データも大量に扱うようになった。 こうした背景から、「ビッグデータ」と呼ばれる、データの急激な増大傾向に対処する方策が求められている。しかも、限られた予算の中で実現でき、かつ効率よく運用できる仕組みでなければならないケースがほとんどである。 このようなニーズに応えられる、スケーラビリティを備えた分散ファイルシステムが注目されている。そこで、そうした分散ファイルシステムの一つであるGlusterFSについて、「拡張性」「可用性」「性能」の検証を行った。 ネットワーク上のストレージを集約 Gluste

●セキュリティのアレ　連載一覧 　http://www.atmarkit.co.jp/ait/subtop/features/ait/are.html ●ご意見・ご要望 　#セキュリティのアレ

(訳注：2016/3/2、いただいた翻訳フィードバックをもとに記事を修正いたしました。) (訳注：著者のMattより、「本文中で明言はしていないが、この記事の内容はx86-64 Unix/Linux/POSIXでアプリケーションをプログラミングする場合にフォーカスしている。他のプログラミング領域では、対象とするシステムに応じた(例： 8-bitの組み込みシステム、10年前のコンパイラ、多くの異なるCPUアーキテクチャで動く必要のあるアプリケーション、Win/Linuxでのビルド互換性など)特有のアドバイスが必要」との補足を頂いております。) 以下の文章は2015年の始めに書いたドラフトで、今まで公開していませんでした。私のドラフト用フォルダの中で誰の目も引かなかったため、大部分が書いた時のままです。公開するにあたり、単純に2015年を2016年に変更しました。 必要な修正、改善、苦情があり

Intro HTTP では Accept-Encoding と Content-Encoding でのネゴシエーションにより、 gz などで圧縮したコンテンツを転送することができる。本サイトでは zopfli を用いて gzip 形式の配信に対応した。 Accept-Encoding クライアントが Accept-Encoding: gzip を指定して来た場合、サーバは Content-Encoding: gzip を付与し、 URI に指定されたコンテンツを gzip 圧縮して送信することができる。 特にテキストベースの HTML, CSS, JS などは、この圧縮の効果が高く、ペイロードが小さくなるためパフォーマンスの向上が期待できる。 逆に、 PNG, JPEG など圧縮形式の画像などについては、オーバーヘッドが発生しサイズが増える可能性もあるため、対象フォーマットの選択には注意が

大量リダイレクトも怖くない！CloudFront KeyValueStoreでサービスサイトリニューアルを楽々乗り越えた話 / How we redirect large-scale web pages by CloudFront Functions and CloudFront KeyValue Store

今朝方Twitterを覗いていたら、rebuild.fmでお馴染みの宮川達彦さんが以下のツイートをされていました。 :+1: @github https://t.co/nQBukVNNTK— Tatsuhiko Miyagawa (@miyagawa) 2016, 2月 17 なんと！GithubにIssueとPull Requestのテンプレート機能が実装されただと！ 面白そうな機能が来たので眠気が完全に覚め、今記事を書こうという次第でございます。 どんな機能なの？ そもそもどんな機能なのかというと、リポジトリのルートディレクトリまたは.githubディレクトリ内に、Issueの場合はISSUE_TEMPLATE、Pull Requestの場合はPULL_REQUEST_TEMPLATEを作成することで各々その内容に沿ったテンプレートが表示されるようです。 まぁとりあえずはやってみましょ

PostgreSQLのロール管理とその注意点（Open Source Conference 2022 Online/Osaka 発表資料）NTT DATA Technology & Innovation

(訳注：2016/3/2、いただいた翻訳フィードバックをもとに記事を修正いたしました。) (訳注：著者のMattより、「本文中で明言はしていないが、この記事の内容はx86-64 Unix/Linux/POSIXでアプリケーションをプログラミングする場合にフォーカスしている。他のプログラミング領域では、対象とするシステムに応じた(例： 8-bitの組み込みシステム、10年前のコンパイラ、多くの異なるCPUアーキテクチャで動く必要のあるアプリケーション、Win/Linuxでのビルド互換性など)特有のアドバイスが必要」との補足を頂いております。) 以下の文章は2015年の始めに書いたドラフトで、今まで公開していませんでした。私のドラフト用フォルダの中で誰の目も引かなかったため、大部分が書いた時のままです。公開するにあたり、単純に2015年を2016年に変更しました。 必要な修正、改善、苦情があり

開発の現場ではビルドやテストを自動化して継続的に実行していく「継続的インテグレーション」（CI）が近年普及しつつある。CIを支援するためのツールはいくつかあるが、今回はGitHubと連動し、指定したリポジトリ上にあるコードを自動的に取得してビルドやテストを実行できるサービス「Travis CI」を紹介する。 Travis CIで手軽に継続的インテグレーションを導入 「継続的インテグレーション（CI）」とは、ソフトウェア開発過程において頻繁にテストを行うことで問題を早期に発見し、品質の向上を図る開発手法である。しかし、テストを毎回手動で行うのには手間がかかる。そこで特定のタイミングで自動的にテストを実行し、テスト完了後にその結果を通知する「CIツール」などが利用される。 CIツールとしてよく知られているものとして「Jenkins」などがあるが、多くのツールでは独自にテストのための環境を構築し

はじめに AWAでサーバサイドエンジニアをやっている山下といいます。初めてエンジニアブログを書かせていただきます。よろしくお願いします。 簡単に自己紹介をさせていただくと、2011年にSIerからサイバーエージェントに中途入社し、いくつかのコミュニティ系サービスの立ち上げ・運用、インフィード広告配信APIの作成などを経て、2015年4月からAWAチームに参加しました。 今回は、(今さら？な) DevOpsについてです。といってもスムーズな連携をするには といった話ではなく、現在のチームに参加してからというもの、「エンジニア間の役割が変わってきていて、DevOpsって現状にあってないんじゃないか」と感じており、それについてご紹介させていただきます。 AWAとは 定額制音楽配信サービスです。 スマートフォン、PCでアプリを提供しており、他のデバイスにも順次対応をすすめています。2015年のベス

【重要】業務効率化ツール口コミサービス「Wantedly Tools」提供終了のお知らせ 平素より、Wantedlyをご利用いただきありがとうございます。 長らくご利用いただきました、業務効率化ツール口コミサービス「Wantedly Tools」を 2020年4月30日（木）をもって終了させていただきました。 弊社都合によりサービスを終了させていただきましたことを深くお詫び申し上げます。 何卒ご理解を賜りますよう、よろしくお願い申し上げます。 4月30日（木）をもちましてサポートを含めたすべてのサービス提供が終了しております。 ＊すべて日本時間による表示 長らくWantedly Toolsをご愛顧いただき誠にありがとうございました。 今後ともWantedlyをどうぞよろしくお願いいたします。

メモメモ。泥臭い話で面白かったです。 「大規模Redisサーバ縮小化の戦い」 駒井 祐人 氏 (株)アカツキ ゲームのサーバサイド機能開発、インフラの設計構築・保守運用 Redisとは インメモリDB 5種類のキーバリューのデータ型 ファイル永続化オプション システムの問題点 EC2サーバが20台に対して、AWSのElasticCache(Redis)が64台あった なぜ64台あったかというと、リリース直後にRedisの負荷問題があり、8台 => 64台になった 調査するとkeys("")を実行している箇所があった 当然お金がかかる(cache.m3.large * 64台 = 約135万円/月) 冗長化しんどいし、設定ファイルの記載も辛い ので、縮小化と冗長化の対処をしたい 現状整理 格納されているデータ フレンド情報、セール情報、ランキング情報 キーの件数 1サーバに8DB、1DBあた

Hadoop環境だとOSのカーネルパラメータをいじることは一般的です。 僕の環境だとだいたいのパラーメータはすでに設定済みでマシンがくるわけなんですが、 netstat -anp | grep TIME_WAIT | wc -lしたらTIME_WAIT数がやたら多くて気になってました。ちなみfluentdでHDFSに書いてます。 なお別のfluentdが無いHadoop環境だとTIME_WAITは多く無かったです。 で設定をみたら net.ipv4.tcp_tw_recycle = 0だったんでこれを1にしたら良くなりましたという話なんですが、もうちょっと詳しくメモっときます。 ちなみにnet.ipv4.tcp_fin_timeoutは小さい値になってたんでそのまま。 まずこの手の設定変更をやる場合の王道として、変更前後の差異を見るためにモニタリングしたいわけです。 僕のケースだとTIME

Intro HTTP では Accept-Encoding と Content-Encoding でのネゴシエーションにより、 gz などで圧縮したコンテンツを転送することができる。本サイトでは zopfli を用いて gzip 形式の配信に対応した。 Accept-Encoding クライアントが Accept-Encoding: gzip を指定して来た場合、サーバは Content-Encoding: gzip を付与し、 URI に指定されたコンテンツを gzip 圧縮して送信することができる。 特にテキストベースの HTML, CSS, JS などは、この圧縮の効果が高く、ペイロードが小さくなるためパフォーマンスの向上が期待できる。 逆に、 PNG, JPEG など圧縮形式の画像などについては、オーバーヘッドが発生しサイズが増える可能性もあるため、対象フォーマットの選択には注意が

手順の概要は下図のようになります。 注意事項 コピー元は実稼働しているインスタンスを利用するのではなく、インスタンスのコピー（スナップショット）を作成し、これで作業するようにしましょう。 作業に失敗したりした場合、インスタンスを破壊する可能性があります。 作成するVolumeとInstanceのAvailability Zone は併せましょう。 ap-northeast-1a/1c が混在するとアタッチできなくて作業のやり直しが増えます ( 経験者談 )。 PV に grub をインストールする 移行元の t1.microインスタンス (以下 コピー元インスタンス) に grub をインストールします。 $ sudo yum install grub コピー元インスタンスのスナップショットを取得する awsのマネジメントコンソールから、EC2に移動します。 メニューから [ ELASTI

2014-05-31 JPUG第29回 しくみ＋アプリケーション分科会で使用したスライドです。 Read less

VMwareからKVMへ、ワンクリックで変換を実現。「脱VMware」へ向かう「Acropolis 4.6」をNutanixが発表 Nutanixが提供する「ハイパーコンバージドインフラストラクチャ」と呼ばれる製品群は、x86サーバに基盤ソフトと仮想化ハイパーバイザが搭載されたアプライアンス機器です。複数のアプライアンスをネットワークでつなげていくだけで、仮想化基盤の性能やストレージをスケールアウトできる特徴を備えています。 ハイパーコンバージドインフラストラクチャは新興ベンダのNutanixが市場を切り開いてきましたが、いまやVMware、EMC、ヒューレット・パッカード・エンタープライズ、シスコ、レノボなど多くのサーバベンダが参入し、仮想化市場において急速に成長している分野となっています。 その市場をリードするNutanixが、基盤ソフトウェアの新版「Acropolis 4.6」を発表

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

OS X is based on a BSD derivative, Darwin, which does not typically use GNU libc. So my expectation is that the answer is "no". That the _gethostbyname_r function, defined by glibc, is not available on OS X reinforces this hunch. Let's see if some basic inspection of the library can help. On a CentOS host: $ strings /lib64/libc.so.6 | grep -i gnu gnu_dev_makedev gnu_get_libc_release gnu_get_libc_v

Handling a tremendous amount of images with Fastly / Yamagoya Traverse 2020

https://github.com/yuuki1/droot https://github.com/yuuki1/grabeni https://github.com/yuuki1/gokc https://github.com/mackerelio/mkr

.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads

「OSS活動の活発さと評価の関係について」 Feb 16, 2016 @ 日本OSS推進フォーラムRead less

Tomcat 9 の server.xml を見ていたら次のような記述がありました。HTTP/2 をサポートしているようです。 すぐに使う予定はないけれども動作確認してみたのでメモ。 環境は CentOS 7 Let’s Encrypt で証明書を用意してこの設定をアンコメントしてみました。が、これだけでは起動してくれませんでした。 17-Feb-2016 23:51:15.022 SEVERE [main] org.apache.catalina.core.StandardService.initInternal Failed to initialize connector [Connector[HTTP/1.1-8443]] org.apache.catalina.LifecycleException: Failed to initialize component [Connector

ProductIssue and Pull Request templatesIt's hard to solve a problem when important details are missing. Now project maintainers can add templates for Issues and Pull Requests to projects, helping contributors share the right details… It’s hard to solve a problem when important details are missing. Now project maintainers can add templates for Issues and Pull Requests to projects, helping contribut

2016年2月17日に公開されたGNU Cライブラリの複数の脆弱性の内、CVE-2015-7547*1は任意のコードが実行可能であるとしてGoogleが報告しています。ここではこれら脆弱性に関連する情報をまとめます。 脆弱性情報 Vulnerability Note VU#457759 glibc vulnerable to stack buffer overflow in DNS resolver JVNVU#97236594: glibc にバッファオーバーフローの脆弱性 CVE CVE-2015-7547 CVE-2015-8776 CVE-2015-8778 CVE-2015-8779 影響 DoS/RCE DoS DoS DoS 重要度 High Low Low Low ステータス PoC公開 PoC公開 PoC公開 PoC公開 対策 修正版へ更新 修正版へ更新 修正版へ更新 修

glibcの脆弱性対策（取り急ぎiptables/firewalldで叩き落とす！）for CVE-2015-7547LinuxSecurityiptablesfirewalldglibc はじめに glibcでヤバメな脆弱性キター！ 「glibc」ライブラリに脆弱性、Linuxの大部分に深刻な影響 - ITmedia エンタープライズ Google Online Security Blog: CVE-2015-7547: glibc getaddrinfo stack-based buffer overflow CVE-2015-7547: Critical Vulnerability in glibc getaddrinfo - SANS Internet Storm Center Carlos O'Donell - [PATCH] CVE-2015-7547 --- glibc ge

バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ

Since yesterday we have been following and studying CVE-2015-7547. More about which here. In short, this is a vulnerability not in PowerDNS products but in the Linux C library. This vulnerability could be exploited if it would be possible to relay specifically crafted records to Linux clients. It appears the PowerDNS Recursor out of the box makes it hard to transport such specifically crafted reco

2月18日に予約を開始するCerevo「ドミネーター」について、予約の詳細をお知らせいたします。 予約開始時間 2月18日0時00分（2月17日24時） ※開始時間は多少前後する場合があります。あらかじめご了承下さい 価格および予約方法 下記リンクよりご予約が可能です。 ドミネーター 通常版: 79,800円（税別） ドミネーター SPECIAL EDITION: 89,800円（税別） ドミネーター用純正バッテリー: 1,580円（税別） ※専用プロテクタケースは後日発売します。また、バッテリーおよび充電器は本体に標準で1個同梱します。 通常版とSPECIAL EDITIONの違い 通常版とSPECIAL EDITIONの違いはグリップ部とエンブレム部の素材・デザインのみです。機能面に違いはありません。SPECIAL EDITIONのグリップ部分は削り出しオイル磨き仕上げの天然ローズウッ

2018/02/25 シャットダウン時の注意 2018/02/10 故障報告＋現状報告 2016年の10月ぐらいに、1本だけUSBメモリが認識されなくなりました。 Windows等に指すと、数秒毎に抜き差しが行われているような、認識したり消えたりを繰り返す状態となり、トランセンドの復旧ツールでも治りませんでした。 永久保証のためトランセンドのRMAリクエストで、郵送してから5日ぐらいで届きましたが、それまでは片肺となるので、mdadm上に予備ディスクは用意しておいたほうがいいと思います。 ちなみにいまは10台構成で、内2台はスペアディスクとなっています。 今も元気にnextCloudとGitの共有フォルダとして働いてくれています。 2016/06/18 mdadmの自動起動について追記 概要 Raspberry Pi2にUSBメモリ４本を刺してRAID10を組みます。 タイトル通りですね・

Wantedlyは、運命のチームや仕事に出会えたり、人脈を広げ、ビジネスの情報収集に使えるビジネスSNSです。

Goプログラミングについて一歩踏み込んだプロユースの解説書。読者はシンプルなコードを書きながら、実運用アプリケーションの開発で使うスキルとテクニックを学ぶことができます。本書のサンプルプログラムはどれもシンプルですがとても実践的です。拡張性、並行処理、高可用性といったエンタープライズアプリケーションの開発で直面する現実的な問題に対するソリューションが含まれています。本書を読めば、実際の業務に必要な技能――Goによる開発手法および関連技術の使い方――をマスターし、ツールやプログラムの開発スキルを迅速かつ簡単に向上できます。日本語版では、監訳者の鵜飼文敏氏による巻末付録「Goらしいコードの書き方」を収録しました。 サポートページ（サンプルコードや正誤表） 監訳者まえがき まえがき 1章　WebSocketを使ったチャットアプリケーション 1.1　シンプルなWebサーバー 1.1.1　テンプレー