Slack と Qiita:Team を使って気楽に日報 #qiita_hackathon
Hubot Advent Calendar 2014 14日目の記事です。 2014/12/13、リクルート本社で行われた Qiita API v2 Hackathon で、Chat 日報 なるワークフローを発表しました。 ありがたいことに、優秀賞をいただき、Kindle Voyage がいただける様です。 Hackathon のテーマ 今回の Hackathon のテーマは、Qiita APIv2を利用して毎日の開発が楽しくなるツールの開発 とのことでした。 開発は、ほっておいても楽しい ので、開発に当てる時間をより多く取れる様に、日報の作成を楽にする、という目的で開発しました。 作ったもの Qiita API v2 が発表されてすぐ、Hubot スクリプト hubot-qiita 開発に着手したのですが、業務内では別業務、業務外では CI2Go を作成していたので、未完成のまま塩漬けに
Running Spark on Mesos - Spark 3.5.0 Documentation
Running Spark on Mesos Security How it Works Installing Mesos From Source Third-Party Packages Verification Connecting Spark to Mesos Authenticating to Mesos Credential Specification Preference Order Deploy to a Mesos running on Secure Sockets Uploading Spark Package Using a Mesos Master URL Client Mode Cluster mode Mesos Run Modes Coarse-Grained Fine-Grained (deprecated) Mesos Docker Support Runn
JAWS-UG CLI 専門支部#23 – ECS 入門に参加＆発表してきました | Pocketstudio.jp log3
■ ECS 入門に参加してきました 7月6日(月)の夜、茅場町で開かれた JAWS-UG CLI 専門支部に参加してきました。CLI 支部とは、その名の通り、コマンドライン・ツールを使って Amazon Web Services（AWS）を使いこなすユーザ・グループです。 今回のテーマは ECS ＝入門でした。ECS は Amazon EC2 Container Service の略で、Docker 対応のコンテナを実行・管理するためのシステムです。 実は今回 CLI 専門支部は初の参加になります。皆さん aws CLI には慣れられているようで、正直ちょっと緊張していました。あと、ECS のハンズオンはかなりボリュームでした（作るの大変そう・・・）。実は、途中、ECS の環境構築につまづいて、まだ終わっていないのですが、時間をとって取り組んでみようと思っています。 ■ 資料公開しました
Docker Swarmでクラスタを構築する - Qiita
前回はDocker MachineでDockerノードを構築してみたので、今回は同時にアナウンスされたDocker Swarmでクラスタを構築してみます。 Docker Swarmとは Docker Swarmは複数のDockerホストをクラスタ化するためのツールです。Docker SwarmをAPIを受け取るフロントエンドとして、コンテナをクラスタのメンバー上で動かすことができます。 Docker Swarmのマネージャをホストとして指定すれば各種Dockerのツールもそのまま使えるようです。 ノードの構築 今回はIDCFクラウド上にnode1〜node3の3つの仮想マシンを作成しクラスタを後置鵜してみます。 3台の役割とlistenしているIP・ポートは以下の通りとします。 node1 マネージャ(tcp://0.0.0.0:12375) ノード(tcp://0.0.0.0:2375)
EC2 + Docker Machine + Swarm + Composeでコンテナオーケストレーションする | DevelopersIO
はじめに 前々回: Docker MachineでAmazon EC2をコントロールする 前回: Amazon EC2でDocker Machine + Docker Swarmを使う 今回はDocker Machine、Docker Swarm、Docker Composeの3つを使って、Amazon EC2でDockerコンテナをオーケストレーションしてみます！ やってみた Swarmクラスタを作成する まずは前回と同様に、Docker MachineでSwarmクラスタを作成します。 なおswarm createではdiscovery-stage.hub.docker.comにリクエストしてクラスタIDを取得しているのですが、タイミングによってはエラーが出る事がありました。現在はベータリリースという扱いなので仕方がないかと思いますが、ちょっと注意が必要です。 $ sudo docke
Amazon EC2でDocker Machine + Docker Swarmを使う | DevelopersIO
はじめに 前回、Docker MachineでAmazon EC2をコントロールしてみました。今回は更にDocker Swarmを組み合わせて、Amazon EC2上にDockerクラスタを構成してみたいと思います。 やってみた 前回同様、Amazon EC2で構築したAmazon Linux上で実行しています。 クラスタを作成する クラスタを作成し、クラスタグループを構成するためのクラスタIDを発行します。 $ sudo docker run swarm create 934afbacc9e635c52e8b6544a2eba998 マスターノードとなるDocker Machineを作成する クラスタの管理を行うマスターノードとなるDocker Machineを作成します。前回と違うのは--swarmオプション以降で、マスターノードとなるために--swarm-masterオプションを付与
Docker Swarm with TLS authentication | Blackfin
Enterprise Security SolutionsThis article is part 2 of a series, you can read part 1 here – Getting Started with Docker Swarm My last post discussed a quick-and-dirty guide to getting started with Docker Swarm. Today I’m covering how to set up TLS authentication between Docker, Swarm, and you. The big thing to remember is that Docker Swarm requires all of the nodes to be running a Docker daemon bo
Swarm mode overview
{ switch(e.key) { case 'k': if (e.metaKey || e.ctrlKey) { e.preventDefault() open = !open; if (open) { document.body.classList.add('overflow-hidden'); } else { document.body.classList.remove('overflow-hidden'); } } } }"> OverviewGet Docker Docker Desktop Overview Install MacUnderstand permission requirements for MacWindowsUnderstand permission requirements for WindowsLinux Installation per Linux d
Swarm mode overview
{ switch(e.key) { case 'k': if (e.metaKey || e.ctrlKey) { e.preventDefault() open = !open; if (open) { document.body.classList.add('overflow-hidden'); } else { document.body.classList.remove('overflow-hidden'); } } } }"> OverviewGet Docker Docker Desktop Overview Install MacUnderstand permission requirements for MacWindowsUnderstand permission requirements for WindowsLinux Installation per Linux d
jqを活用してAPIレスポンスから欲しい情報を抽出する【上級編】 | DevelopersIO
よく訓練されたアップル信者、都元です。引き続きjqのお話。本日は上級編です。 まずおさらいの意味も込めて下記は、ざっと読んでおいて頂けると。 jqを活用してAPIレスポンス等から欲しい情報だけを抽出する【初級編】 jqを活用してAPIレスポンス等から欲しい情報だけを抽出する【中級編】 前回の練習問題の答え さて、まず前回の練習問題の答えをさらっと。1つ目の解答例は下記の通りです。「どっと・ふー・むきむき」と読んでください。 $ cat example.json | jq '.foo[][]' 2つ目の解答例はこんな感じでしょうか。 $ cat example.json | jq '[.foo[][] | {(.key): .value}] | add' jqにおける関数 さて。 ある値をから別の値を作る操作のことを関数(function)と呼びます。例えば今まで見てきたjqのクエリはそれぞ
React Routerで認証を制御する方法 - Qiita
React Routerで認証を制御する方法です。試行錯誤して良さそうな実装方法を発見したのでご紹介します。 アプリに認証があると、画面ごとに、 認証済みユーザのみアクセスを許可したいページ アカウント設定など 認証していないユーザのみアクセスを許可したいページ ログイン・新規登録など 認証に関係なくアクセスを許可したいページ Qiita投稿のようなパブリックなコンテンツなど の設定が必要になる場合があります。 React Routerのサンプルをいくつか見たところ幾つか認証を制御する方法が示されていました。 onEnterを使う方法 AuthenticatedComponent onEnterを使う方法 本家のサンプルで例示された実装です。現在βのreact-router 1.0.0が必要になります。 function requireAuth(nextState, transition)
Collecting All Docker Logs with Fluentd - Treasure Data Blog
Collecting All Docker Logs with Fluentd Last modified: August 18, 2019 Logging in the Age of Docker and Containers Just in case you have been offline for the last two years, Docker is an open platform for distributed apps for developers and sysadmins. By turning your software into containers, Docker lets cross-functional teams ship and run apps across platforms seamlessly. If you are interested in
Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 | PSYENCE:MEDIA
Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 河合 航平 2015.07.07 1273 194192628259 こんにちは。 4月から新卒駆け出しインフラエンジニアとして日々奮闘しております河合です。 "モバイル行動ログ収集基盤" を "小さく" 始めたので、以下にインフラ構築からモバイルまでの設計までをまとめたいと思います。今回このログ収集基盤を作るにあたって私自身がこれまで経験したことのない技術・ツールを利用しましたので、それらの導入についてもご紹介いたします。 導入の背景 私は英単語サプリを中心にインフラを担当しています。 英単語サプリとは、聞ける・話せる・覚えてるをコンセプトとした高校受験からTOEICまで対策できる英単語学習のサービスです。 ユーザの分析によく使われるツールの1つにGoogle Analy
リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか
リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（1）（1/2 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。初回は全体的なアーキテクチャ、採用技術、開発体制について。 連載目次 大規模BtoCサービスで求められる検索基盤は、どうあるべきなのか カスタマー（消費者）が求めるものが日々変わっていく現在において、BtoCの検索基盤はどうあるべきなのでしょうか。 例えば、リクルートで使われている検索基盤の「Qass（Query analyze search system）」は単に全文検索機能を提供するのではなく、以下を軸としています。 サービスごとに最適化され
複数の公開鍵を一括でサーバに登録 - Qiita
誰かがやってそうな話だけど、メモとして残しておこう やりたかったこと リモートログイン可能なユーザの公開鍵を管理して、ansible で各サーバに配布する 利用したもの 公開鍵を登録するには authorized_key を利用する authorzied_key.key には lookup を利用してパスを渡すの簡単（ Examples を参考に） 公開鍵のパスは with_fileglob: <path> でマッチしたものをそれぞれ渡す 作ったもの --- # file: roles/authorized_key/main.yml - name: REMOVE | public keys from all hosts authorized_key: user: "{{ target }}" key: "{{ lookup('file', item) }}" state: absent s
Container OS Comparison
Editor's Note: This is a guest blog by Jonas Rosland , published by permission. It originally appeared on the CloudBees CodeShip website . For anyone who’s been following the container community’s rise the past two years (after Solomon Hykes’s famous five-minute presentation at PyCon ), you have surely seen many companies and projects spring up, offering really innovative ways of managing your app
MySQL・PostgreSQLユーザーグループ（MyNA・JPUG）合同DB勉強会で発表した資料を公開しました。「データモデルについて知っておくべき7つのこと 〜NoSQLに手を出す前に〜」
表題の通り、MyNAとJPUGの合同DB勉強会で発表をしたので資料を公開した。 内容の詳細はスライドそのものを見ていただくとして、言いたいことの主旨はこうである。世の中に完璧なデータモデルはないので、NoSQLは当然の如く必要になる。だが、何でもかんでもNoSQLを使えば良いというものではない。むしろアプリケーションが必要としているデータモデルが何かということをよく理解し、本当に必要な場合にこそ、NoSQLを使うべきなのである。つまり「ご利用は計画的に！」ということだ。 大切なのは、様々なデータモデルを理解し、アプリケーションにとってベストな製品を選択するということだ。ベストなのがRDBかも知れないし、そうでないかも知れない。最適なデータモデルを選択した場合に、出来上がったものの性能も最高になるし、開発効率も最も良くなる。データベースの主流はRDBだが、それはリレーショナルモデルがカバーで
【Tips】jqが入ってなくてもjsonをpythonで見やすくする方法 | DevelopersIO
サーモン大好き、横山です。 jsonを見るときに、大活躍するjqですが、「入れたと思ったサーバに実は入ってなかった！」という経験があるんじゃないでしょうか？ Amazon Linuxの場合ですと、 $ sudo yum install -y jq のコマンドを叩けばインストールできますが、今回は敢えてjqがなかった場合の方法をご紹介いたします。 この記事はjqの使用を抑制するような記事ではございません jsonを取得する 今回は OpenWeatherMap のAPIを使い、東京の天気の情報をjsonで取得します。 $ curl -s "http://api.openweathermap.org/data/2.5/weather?q=Tokyo,jp" {"coord":{"lon":139.69,"lat":35.69},"sys":{"message":0.0179,"country"
AWSチーム社内勉強会「git-flow」レポート | DevelopersIO
こんにちは、虎塚です。 先日、git-flowをテーマに社内勉強会を行いました。講師役は、AWSチームの都元さんにお願いしました。 クラスメソッドではお客様向けにクラスメソッド・メンバーズというサービスを運営しています。このサービスの会員向けポータルサイトの開発で、Gitとgit-flowを採用しています。そこで、メイン開発者である都元さんにgit-flowの概要を話してもらって、皆で聞こうということになりました。 いつもはAWSコンサルティング部のメンバーで実施している勉強会ですが、今回はテーマが開発寄りなので、AWSソリューション部の人たちにも参加してもらいました。AWSソリューション部は、システム開発を中心に行っている部署です。 上は秋葉原オフィスの会場です。札幌オフィス、上越オフィス、リモートワークのメンバーも、Googleハングアウトで接続して開催しました。 それでは、勉強会の内
開発者のタスク管理をGitHubで行ったらうまくいった話 | DevelopersIO
はじめに こんにちは、6月からAndroidの開発を担当している荒川です。 この記事は以下の方を対象にしています。 リモートリポジトリにGitHubを使っている タスクや課題の管理を小〜中規模のプロジェクトで行っている 複数の開発タスクが並行して進むプロジェクトにアサインされている 開発者のみのタスク管理を主体的に行いたい タスク管理ツールを使っているがイマイチうまくいっていない この記事では、私が実践して良かった経験則を紹介します。誰でも真似すれば必ずうまく行くという保証はありません。この記事の読者の方が、担当しているプロジェクトに合わせてアレンジを加えるとより効果が増すかと思います。 開発者のタスク管理 モバイルアプリサービス部では、コミュニケーションツールにBacklogやTrello、Pivotal Trackerを用いている事を突撃！隣の開発環境 パート3【クラスメソッド編】の記
Docker 入門ハンズオン資料 - Qiita
JAWS-UG CLI専門支部 #23 - ECS 入門用の資料です。 https://jawsug-cli.doorkeeper.jp/events/24371 このハンズオンの前に説明として使ったスライドも公開しました。 Docker入門 - 基礎編 いまから始めるDocker管理 http://www.slideshare.net/zembutsu/introduction-to-docker-management-and-operations-basic 目的 Docker の「速さ」と「効率性」を体験するために、コンテナやイメージの作成と実行、Dockerfile を使った環境の管理、簡単なウェブサーバの起動を試します。 前提知識 Linux のコマンドラインを操作できる Docker についての知識は不要 ハンズオン手順 A-1. コンテナ・イメージの確認と取得 docker
Introducing Material Design Lite
getmdl.io -a library of components & templates in vanilla CSS, HTML and JS Back in 2014, Google published the material design specification with a goal to provide guidelines for good design and beautiful UI across all device form factors. Today we are releasing our effort to bring this to websites using vanilla CSS, HTML and JavaScript. We’re calling it Material Design Lite (MDL). MDL makes it eas
Goでwebサーバー作るときに考えたこと - Qiita
Goでwebサーバーを作るときに考えたことをまとめておきます。 dockerコンテナで動かす場合を少し考慮してます。 フルスタックフレームワークか軽量系フレームワークか 最初に突きつけられる問題です。 フルスタックフレームワーク revel beego 軽量系フレームワーク goji negroni どんなフレームワークもそうですが、フルスタックなフレームワークならば、 その道に乗っかることで余計なことを考えずにすみます。 だけどその道から外れることをする場合に苦労が伴います。 golangの場合、Go初心者ならばフルスタックでもいいけれど、 ある程度Goに慣れてくると標準のライブラリといくつかのライブラリを使うだけで webサーバーを作る場合、十分な場合があります。 前にrevelを使っていたときは、最初はrevelの機能を使っていたけれど、途中で他のライブラリを使ったほうが楽なんじゃな
E.2.24. /proc/slabinfo Red Hat Enterprise Linux 6 | Red Hat Customer Portal
導入ガイド I. システムの基本設定 Expand section "I. システムの基本設定" Collapse section "I. システムの基本設定" 1. キーボードの設定 Expand section "1. キーボードの設定" Collapse section "1. キーボードの設定" 1.1. キーボードレイアウトの変更 1.2. キーボードレイアウト表示器の追加 1.3. 一休みの設定 2. 日付と時刻の設定 Expand section "2. 日付と時刻の設定" Collapse section "2. 日付と時刻の設定" 2.1. 日付/時刻のプロパティのツール Expand section "2.1. 日付/時刻のプロパティのツール" Collapse section "2.1. 日付/時刻のプロパティのツール" 2.1.1. 日付と時刻のプロパティ 2.1.
vm.swappiness=0は重要 | Ore no homepage
あるMySQLサーバのロードアベレージが妙に高いなーと思って調査したらスワップしてるじゃありませんか。 同時期に構築した他のMySQLサーバ群の設定と見比べてもおかしいところはないし、topを見ても怪しいプロセスはいなかった。空きメモリも余ってるし・・・。 さらに調査を進めたらこのサーバだけvm.swappiness=0の設定が漏れていました。そういえばこのサーバ、他人に構築を依頼したものだった。人さまに頼んだ仕事はちゃんと事後確認しないとなー。 で、このvm.swappiness=0、DBサーバのときはいつも必ず入れるようにしているんですが、正直今までは「おまじない」としか思ってませんでした。しかし今回の設定ミスのおかげでだいぶ意味があるものだとわかりました。ちなみにvm.swappiness=0の効果なんですが、実メモリを使いきるまでスワップしなくなります(デフォルトはvm.swapp
メモリ使用量についてのメモ - Qiita
で計算できる。(共有メモリとかもあるだろうから実際よりも多めな数字) それでもメモリが少ない？ Zabbixを見るとやたらUsedが少ないマシンがあった。 役割が同じ別のマシンをみるともっとUsedは少ない。 psでプロセス毎の使用量見てみると差がなかった。 meminfoを見てみる $ cat /proc/meminfo MemTotal: 1697880 kB MemFree: 1476812 kB Buffers: 11360 kB Cached: 70192 kB SwapCached: 12 kB Active: 149724 kB Inactive: 34712 kB Active(anon): 89184 kB Inactive(anon): 13996 kB Active(file): 60540 kB Inactive(file): 20716 kB Unevictabl
/proc/meminfoを考える - めもめも
通りすがりの貴方・・・・ /proc/meminfoのあっちの値とこっちの値を足したら、なんでそっちの値と同じにならないの・・・・ と悩んだことありますよね？ /proc/meminfoは、カーネルが内部的に管理している枠組みでのメモリ情報をそのまま出しているので、残念ながらユーザ視点で知りたいメモリ情報とは一致しません。 とはいえ、変な解釈をして無意味に悩まないために、それぞれの値の意味合いと項目間の関係を知っておくのは有意義です。私の理解の範囲で、それらの関係をまとめていきます。 ＃私の理解も完璧ではないので、間違いあればやさしくご指摘お願いします。 参考資料 http://mkosaki.blog46.fc2.com/blog-entry-1007.html 2011/09/07 追記： tmpfsがSwapCachedに含まれるのは幻想でした。tmpfs=Shmemに修正しました。
MemAvailable metric for Linux kernels before 3.14 in /proc/meminfo
A great new metric has been introduced in “/proc/meminfo” in the Linux 3.14 kernel — MemAvailable: An estimate of how much memory is available for starting new applications, without swapping. Calculated from MemFree, SReclaimable, the size of the file LRU lists, and the low watermarks in each zone. The estimate takes into account that the system needs some page cache to function well, and that not
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building 'Failure as a Service' at Netflix without the Simian Army
Spark 1.4 adds support for R, Python 3, cluster management
Stash on Docker - Atlassian Blogs
GitHub - aspiers/git-deps: git commit dependency analysis tool
Getting Started With Docker Swarm | Blackfin Security
GitHub - docker-archive/classicswarm: Swarm Classic: a container clustering system. Not to be confused with Docker Swarm which is at https://github.com/docker/swarmkit
RNA-seqlopedia
GitHub - google/or-tools: Google's Operations Research tools:
Google、マテリアルデザインWebサイト作成キットを無償公開
toml-lang/toml: Tom's Obvious, Minimal Language
