はてなブックマーク

こんにちは、UX開発部の橋口です。 Webサービスを開発するうえで、JavaScriptは絶対的に使われる技術だと思います。 みなさんもJavaScriptでエラーの調査をする際に、クライアントで実行されるためエラーの内容やどこで発生したかが分からなかったり、問い合わせ内容の再現ができず困ったことがあるのではないでしょうか？ 解決の糸口を作るためには、クライアントサイドで発生したエラーに関する情報を収集してあげる必要があります。 JavaScriptのエラーログも収集できる著名な製品もありますが、クラウド環境への導入の場合には高額になってしまったり、独自に解析する場合でも、環境などを用意するのも大変ですし管理も大変です。 そこで、今回の記事はトレジャーデータサービス by IDCFにJavaScriptのエラーログを収集する方法について紹介します。 課題 JavaScriptのエラーを収集

はじめに クラウド本部クラウド推進部の小野里と申します。 新卒で入社した1年目のエンジニアで、IDCFクラウドの新機能開発を担当しています。 IDCFクラウドではクラウドネイティブなサービスを提供できるよう日々尽力しており、そのなかでも Kubernetes は特に注目している技術です。過去には、コンテナを動かすことに特化したLinuxディストリビューションである「CoreOS」のテンプレートをリリースしたり、Kubernetes 関連の大規模なイベントであるKubeConに参加したりしています。 今回は、クラウドネイティブ化の潮流の真っ只中にある当社クラウド推進部に配属された新卒エンジニアが、「 Kubernetes ってなんて読むんですか？」状態から始まり、Kubernetes にアプリケーションをデプロイできるようになったまでの勉強について、方法別に振り返りたいと思います。 書籍 ど

こんにちは！技術開発部の浅沼です！ 先月、Forkwellさん とのコラボイベント「How Ruby performed Higher」を開催しました。 そこでは、『RubyでPub/Sub messaging 〜 Multi Process, Daemonizesしたアプリケーション開発の事例』と題して、 IDCFクラウドのサービスを実現しているバックエンドシステムのアーキテクチャと開発事例を紹介しました。 IDCFクラウドRDBやインフィニットLBのバックエンドシステムは、Rubyで開発したPub/Sub messaging を用いたアプリケーションが稼動しています。 RubyというとRuby on Railsを利用したMVCなWebアプリケーションを思い浮かべると思いますが、今回は Multi Process, Daemonizes を活用したスケーラブルかつハイパフォーマンスを目指

こんにちは、インフラ開発部の鳥垣です。 今回のブログではアクセスログの解析作業の効率化を図るため、ログの可視化のお話をさせていただければと思います。 導入の背景は、仕組みとしてサーバーからsyslogサーバーへのログの集積はすでに実装されていました。 しかし、syslogへの送信元のサーバー数の肥大化に伴い多量のログが保存されるようになり、ログ調査に時間がかかるようになってきました。 もっとサックリとログの調査を行う基盤が欲しいということで、今回Fluentd + Elasticsearch + Kibanaを導入しました。 FluentdでsyslogサーバーからElasticsearchにログを送り、Elasticserchでログ検索、Kibanaでグラフ化しました。 Fluentd + Elasticsearch + Kibanaを導入する際の設定や、構成などを紹介します。 システム

※インストール部分を更新しました（2017.2.17） はじめまして！ソリューションアーキテクトの藤城（@tafujish）でございます。 今回はスポットで1本書かせていただきます。というのも、6月18日発売済みのSoftware Design 2013年7月号にサーバーベンチマークの入門記事を執筆させていただきました。誌面には書ききれなかったこともいくつかあり、今回はUnixBenchの詳細について書いています。 UnixBenchテスト項目の詳細 UnixBenchとは、LinuxをはじめUnix系OSでは昔からよく使われている定番のベンチマークツールです。システムのベンチマークという位置づけですが、主にCPUのベンチマークとして利用可能です。 例えば、サーバーをベンチマークしようとしたとき以下のようにダウンロードし実行します。 # yum -y install perl perl-T

こんにちは。田崎です。 みなさん、素敵なコンテンツキャッシュライフを送ってますか？サイトのパフォーマンス向上とサーバーの負荷軽減をしてくれるコンテンツキャッシュは凄く便利でありがたいですよね。5月にも、テックブログでコンテンツキャッシュの2つの新機能：キャッシュ取り込みおよびエラー応答のキャッシュ停止について紹介させていただきました。 しかし、同じオリジンサーバーにはキャッシュさせたなくない、させるべきではないコンテンツもあるかと思います。もしキャッシュさせたくないものをキャッシュしてしまうと、情報漏えい事故になり得ます。IPAでもコンテンツの暴露対策の記事（プロキシキャッシュ対策）が挙げられていましたね。そうならないためにも、キャッシュさせないやり方も知っておくべきだと思い、今回のブログを書いています。 それでは、本日はコンテンツをキャッシュさせない3つの設定方法と確認の方法について紹介

はじめまして。データビジネス本部の木村です。普段は福岡オフィスで Python の機械学習系のライブラリを使ったデータ分析・予測モデルの構築を行っています。 IDCF は今年、高齢者介護施設においてIoTセンサーとデータ分析技術を活用し、機械学習による介護/看護職員の行動認識・業務分析を実証実験として実施しました。今回はその実証実験について、技術視点でお伝えしたいと思います。 Contents: 実験フィールドは「介護現場」 実験の目的は「職員の業務効率化」 要素技術 全体構成 IoT デバイス スマートフォン サーバーサイド IDCF の役割 行動ラベル分析 作業時間の分布 作業項目ごとの平均作業時間とトータルの実施回数 1回あたりの作業時間と職員属性の関係 機械学習による行動認識 まとめと課題 実験フィールドは「介護現場」 このプロジェクトは、福岡県を中心に全国で84施設の介護施設を運

お久しぶりです、ソリューションアーキテクト部の金杉です！ 今年度から、ソリューションアーキテクト部に新たにエバンジェリストグループができました。いろいろと情報を発信していく他、みなさまのお役に立てるコミュニティテンプレートの公開も順次していこうと思います。本日は、その第一弾、Aerospike Server Community Editionテンプレートの使い所を紹介しますー！ Aerospikeってなに？ 社会がビッグデータやIoT革命を起こしている今、アプリケーションはより高品質なデータベースを必要としています。"高品質"には、リアルタイムで的確に答えを出せる速度と、より膨大なデータを処理できるスケーラビリティが求められています。Aerospikeは、そのようなニーズを満たす、速度とスケーラビリティを両立させた高性能なNoSQLデータベースサーバーです。 www.aerospike.j

こんにちは。UX開発部の樋代です。 今回はSingle Page Application をAngularJSで構築する際のポイントを紹介します。AngularJSをプロジェクトに導入を検討している方向けにまとめました。 （引用）https://angularjs.org/ JavaScriptのフレームワーク「AngularJS」は機能が豊富な分、実際プロジェクトに導入する際には機能の選定に悩む部分があると思います。IDCフロンティアのサービスでは、AngularJSを、コンテンツキャッシュ、オブジェクトストレージ、RDS、Yahoo!ビッグデータインサイトなどで利用しています。 ※2016年10月1日より、サービス名称が「Yahoo!ビッグデータインサイト」から「トレジャーデータサービス by IDCF」に変更となっております。 AngularJSには公式blogでも紹介されているコー

こんにちは、金杉です。 GPUを使って機械学習をするとき、リソースや開発で課題を抱えている人は多いのではないでしょうか。個人でGPUを所有していたり、学習時間にあまりこだわらなければ問題ないと思います。しかし、本格的なDeep Learningをやろうとすると、プロジェクト間で同じGPUを共有するケースや、複数の環境で学習をさせるなど、リソースプランニングをしっかりやる必要があります。クラウド型GPUを利用になるのであれば多少楽になるものの、CUDA環境やアプリケーションを都度インストールするのも手間ですよね。 そんなリソースが限られたなかで開発を効率化するために、今回はnvidia-dockerを使ってDeep Learningをコンテナで動かす方法を紹介したいと思います。 Issue nvidia-dockerとは 環境構築 今回の環境 1. GPUドライバのインストール 2. Doc

こんにちは、酒巻です。 今回は今年最も注目されるDNS関連イベント、"ルートゾーンKSKロールオーバー"について書いていきます。 今年に入ってから各所で話題に上がることも多く、日頃あまりDNSに馴染みのない方でも何度か耳にしたことがあるのではないでしょうか。 既に準備を終えた方も多くいらっしゃるとは思いますが、いま一度皆さんと一緒に、対応のポイントについて直前のおさらいをしていきます。 なおこの記事では、それぞれのサーバーの役割を下記のように定義します。 キャッシュDNSサーバー：DNSクライアントからの様々なドメイン名の名前解決要求を受け取って再帰的な名前解決を行うDNSサーバー 権威DNSサーバー：ある特定のゾーンに関するレコードデータを管理し、そのゾーンに関する問合せに対してのみゾーンの権威として応答を返すDNSサーバー <2017/09/21 追記> 下記2点を追記しました。 ・ル

※この記事は公開されてから1年半以上経過しています。情報が古い可能性がありますのでご注意ください。 Software Collections(以下SCL)を使うメリットとCentOS 6.5で動作させる方法について紹介します。 Software Collectionsとは？ Software Collections(以下SCL)はRedHat Software CollectionsのCentOS版になります。ではRedHat Software Collectionsとは何かというと、Red Hat Enterprise Linux(以下RHEL)向けの追加のソフトウェアパッケージ集で比較的新しいバージョンのWebアプリ向けのコンポーネントが提供されます。(別途Developer Toolsetというのもあるのですが、CentOS向けにはまだリリースされていません。) SCLから提供される

こんにちは、IDCF営業の木村です。 2017年8月3日、Yahoo! JAPANの社員食堂にて、 トーセ様、ORATTA様、ドリコム様、XFLAGスタジオ様の豪華面々に、 有名タイトルの裏側を支えるチーム作りや技術を大公開していただきました！ ビール片手に、キャッシュを活用したDBの効率運用やNagiosによる監視体制といったサーバー運用からチーム体制まで、ここだけの話が盛りだくさんだったので、 今回は当日の様子を本ブログでご紹介したいと思います！ 「夏だ！飲もうぜ！Game Day ～ビッグタイトルの裏側～＠ヤフー社員食堂」 まずはアジェンダ(敬称略) ・株式会社トーセ：「サーバ運用の魔法について」 ・株式会社ORATTA：「戦国アスカZEROに学ぶ！エンジニアの力を最大化するチーム作り」 ・株式会社ドリコム：「ダビマスの裏側を支える技術と体制」 ・XFLAG スタジオ：「モンストとサ

こんにちは藤城（@tafujish）です。IDCFクラウドでは、HighIOタイプやベアメタルサーバーにより高速なIOPSを利用できるプランを用意しており、データベースなどの高IOPSを求める用途で好評いただいています。 その一方で、「●●のタイプは何IOPS出ますか？」という質問もしばしばいただきますが、一言で回答できそうで実は難しいんです。IOPSの上限値のことなのか、ベンチマークの値なのか。それが、リードなのかライトなのか混合なのか、シーケンシャルなのかランダムなのか、ブロックサイズは？並列度は？プリコンディショニングした？キャッシュ効いてる状態？などなど、「1万IOPSです」といったように一言で回答できないのです。 「10万IOPS出ます」なんて言った日には、Queue Depthが大きいときの値だから実アプリからはそんなに出ないし、これが元になってトラブルが起きるのではと余計なこ

こんにちは、金杉です。7月31日に次のタイトルで、IDCフロンティア主催のセミナーを開催しました。 必見、ヤフーも語る！ 「ディープラーニングで進化するAIと次世代インフラ＆プラットフォーム」 先月、そんな記事見たような？と思われる方もいらっしゃるかと思いますが、今回のセミナーでも前回のセミナーと同じように豪華なセッションを揃えることができました！ヤフーの音声認識技術「YJVOICE」におけるディープラーニングの実用化に加え、なんとあの「DMM.comラボ」や、“AIの民主化”を目指す「クロスコンパス・インテリジェンス」にも登壇いただきました。ヤフーからは、話題のGREEN500ランクインスパコン「kukai」の運用事例についても紹介していただけました。 では、当日のセッション概要をみなさまにお伝えしたいと思います。 セッションのポイント 1. DMM.comにおけるレコメンドへの Dee

オンラインシリーズ第二回でございます。 前回「サーバーを起動したままスペックアップする」ではIDCFクラウドのサーバーでCPUとメモリをサーバー起動した状態で追加する方法をご紹介しました。 ということで、次はボリューム（ディスク）です。 7月末にDATAディスクの容量拡張（リサイズ）の機能がリリースされたのですが気づかれましたでしょうか。このリサイズ機能は、IDCFクラウドのリリース時に実装するかどうか直前まで奮闘し、困難な実装を乗り越え、何とかAPIでのみ先行で提供した機能になります。現在はAPIだけでなく、ポータル上からも簡単に操作できるようになったので気軽に使っていただきたく、かつサーバーが起動した状態でも容量が増やせるのでその方法を見ていきましょう。 本題に入る前に用語説明ですが、 ROOTディスクは、仮想マシン作成と同時に作成され、OSが入っているディスク領域です。 DATAディ

こんにちは、藤城（@tafujish）です。IDCFクラウド コンテナのロードバランサーについて前回の続きを書く予定でしたが、10月5日にリリースしたCentOS8互換のOSテンプレートについて先に取り上げさせていただきます。 今回、IDCFクラウドのOSテンプレートとして、以下の3つをリリースしました。 AlmaLinux 8.4 64-bit MIRACLE LINUX 8.4 64-bit Rocky Linux 8.4 64-bit CentOS8が2021年末で終了の発表があってから、CentOS8に替わる様々なLinuxディストリビューションがリリースされ、お客さまからも多くのご要望をいただきました。お客さまが利用する際に迷わないように、CentOS8の後継として一つに絞って提供しようとこの半年間検討を続けてきましたが、2021年末のCentOS8終了が差し迫った状況ですので、

Serverspecとは こんにちは。山田です。 まさかとは思いますが、2017年にもなってサーバーのテストを片手にエクセルのテスト項目をもち、目視で確認している人はいないとは思います。 実はまだ、お手てで頑張ってテストをしている。そんな人に今回の記事を贈ります。 いつまでも旧態然としたエクセル主義を撲滅するためにもServerspecでテストを自動化し、周りの上司へ「一台ずつ確認してるんですか〜？」と言ってやってください。 今回はIDCFクラウド上にてServerspecを構築し、実際のテストを行うまでの手順をご紹介します。 Serverspecのすごいところは以下通りです。 サーバーの設定/状態が正しいか一瞬でチェックできる。 サーバーにエージェントなどをインストールする必要がない。 プログラミング未経験でもなんとかなるようにできている。 使用目的 Serverspecは元々、インフラ

今回はIDCFクラウド上に作ったWindows Server 2012 R2 Std (64-bit)のサーバーで、fluentdをサービスとして動作させ、Windowsイベントログをfluentdで収集し、Yahoo!ビッグデータインサイトへインポートする手順をご紹介します。 ※2016年10月1日より、サービス名称が「Yahoo!ビッグデータインサイト」から「トレジャーデータサービス by IDCF」に変更となっております。 ビッグデータ・ソリューションアーキテクトの高階(たかしな)です。 新年あけましておめでとうございます、ってもう月末だろが！ もうすぐ豆まきだろうが！ 私の所属するビッグデータ戦略グループも発足から早一年が経ちました。 昨年は、おかげさまでたくさんのみなさんにビッグデータ分析基盤サービスの「Yahoo!ビッグデータインサイト」(略してYBI)を知っていただいたり利用

Mastodonとは Mastodon（マストドン）はTwitterライクなSNSです。誰でも独自のMastodonインスタンスを作ることができて、すでに多数のインスタンスが立ち上がっています。登録されたインスタンスは、Mastodon instancesで参照することができます。 好きなインスタンスに参加するもよし、自分ひとり用のインスタンスを立ち上げるもよしです！本日はMastodonをIDCFクラウド上で構築する手順を紹介します。 Mastodonとは 利用環境 作業ディレクトリ作成 dockerインストール docker保存先を変更 docker-composer準備 dockerの起動 Mastodonのインストール GitHubからcloneする データの永続化設定 環境ファイルをコピーし設定する シークレットキーの発行 データベースのマイグレーションとフロントエンドコンパイル

こんにちわ。ITシステム本部の加藤です。イベント中はハンドルTenForward（@ten_forward）で紹介されていました。 6/11（金）にオンライン開催された『Infra Study 2nd #2「クラウドネイティブを支えるインフラ技術」』というイベントで少しお話をしてきましたので、そのイベントのレポートをしたいと思います。ここではメインの講演のみ紹介しますが、他にもLTがあり、そちらも勉強になりました。 この"Infra Study"というイベントはForkwellさんが主催されており、これまでのいずれの回も知らない人はいないであろう、国内トップレベルのインフラエンジニアが登壇していました。 私はこれまですべての回を聴講しています。どの回もかなりの盛り上がりを見せる、インフラエンジニアであれば知らない人はいないと言っても過言ではないようなイベントです。 まさか自分に登壇のお誘い

はじめまして、ソリューションアーキテクト部の金杉です！ 最近、私が関わっている業務の一環として、IDCFクラウドでLVS（Linux Virtual Server）を立ててみました。エンジニアブログでまだ紹介されてなかったということで、今回はIDCFクラウドのCentOSで、keepalivedでLVSを使ったロードバランサーの構築を紹介します。 ▲今回構築する構成 ご存知の方もいらっしゃると思いますが、IDCFクラウドではアカウントごとに仮想ルーターがついています。仮想ルーターの詳細についてはこちらをご覧ください。 仮想ルーターについているロードバランサー機能はとても便利なのですが、LVSを使う必要がある構成も稀ではないですよね。LVSを使いたい主な理由をまとめると： 処理が速いので大量にバランシングできる アプリサーバー側で接続元IPアドレスを特定できる keepalivedを使うこと

※2016年10月1日より、サービス名称が「Yahoo!ビッグデータインサイト」から「トレジャーデータサービス by IDCF」に変更となっております。 こんにちは！ビッグデータ戦略グループの朴です。以前、Yahoo!ビッグデータインサイト(以降、YBI)の基本的な使い方を解説した 「Yahoo!ビッグデータインサイトめちゃ楽ガイド」を紹介しました。 めちゃ楽ガイドでは、データのインポート・分析・出力について解説しましたが、今回はその次のステップとして 「分析結果を可視化する」方法として、YBIとオープンソースBIツールre:dashを組み合わせてWebサイトのアクセスログを可視化するダッシュボードの作成方法を紹介します！ re:dashのダッシュボード YBIは、大量のデータを収集・保存・分析できるプラットフォームサービスで、様々なツールとの連携性に優れています。 今回は、データの可視化

こんにちは。UX開発部　ディベロップメントグループの品川と申します。 IDCFクラウドのサービス立ち上げ期から、主にフロントエンド（たまにバックエンド）を担当してます。 htmlでtable表記をする際になにかと便利なのがdatatablesですよね。IDCFクラウドのサービスサイト内でも頻繁に実装されているjqueryの追加ライブラリですが、最近、サイト内のリファクタリングを進めることになりまして、今いろいろな箇所を見直しています。 見直しの際、せっかくだからBootstrap4をベースに使ってみようと思い 元サイト を見てみたら bootstrap4 用のcssとjsが用意されているじゃありませんか！！こんな便利なのに、より使いやすくなるなんて！これはもう記事にするしかなし！！！ ということで、今回はdatatablesをbootstrap4ベースで利用してみようというお話です。実質

こんにちは。Vuls Slackチーム辺りをうろうろしている、井上と申します。 MORIO Dojoは白帯のままです(そろそろ青帯になりたい)。 某SNSでは、脆弱性情報やセキュリティインシデントを追いかけています。 近年、セキュリティ業界でも「シフトレフト」が叫ばれています。 「テストなどの工程を、プロジェクトライフサイクルのより速い段階で実施する」というアプローチです。 セキュリティに関しても同様で、リリース前にテストをすることで、リリース後のセキュリティ対応負荷を軽減することができます。 今回は、WEBアプリケーションの依存ライブラリの脆弱性を検査する OWASP Dependency Checkを利用して、WEBアプリケーションリリースのシフトレフト、を目指します。 OWASP Dependency Checkとは OWASPとは、2015年の資料によると以下のように説明されていま