TFUG#3 Retty流 「2200万ユーザさんを支える機械学習基盤」 の作り方TFUG で Retty 機械学習基盤について発表しました。 http://qiita.com/taru0216/items/dda1f9f11397f811e98a
マルチホスト上での、dockerコンテナ間ネットワーク環境整備メモ（Overlay Networking w/ Etcd） - Qiita
マルチホスト上での、dockerコンテナ間ネットワーク環境整備メモ（Overlay Networking w/ Etcd）Docker マルチホスト上での、dockerコンテナ間ネットワーク環境整備メモっておきます。 dockerコンテナ間ネットワーク情報は、事前に、KeyValueストア"etcd"で共有される dockerコンテナ間でのデータ通信は、VXLANでカプセル化される という仕組みになっている点が、特徴になります。 ちなみに、今回の環境整備にあたり、こちらのWeb記事"Multi-Host Overlay Networking with Etcd"を参考にしています。 ■ Ubuntu環境準備 今回、構築したdockerコンテナ間ネットワークは、次のようなUbuntu構成（３台）としました。 (1) Ubuntuサーバ環境 tsubo@docker-node1:~$ cat
第2回 大量トラフィックを支えるインフラ～独自プロトコル、ファイルシステムの実装もいとわない！～ | gihyo.jp
ドワンゴのエンジニア魂 第2回大量トラフィックを支えるインフラ～独自プロトコル、ファイルシステムの実装もいとわない！～ 大量のユーザーを抱える「ニコニコ動画（ニコ動）」「ニコニコ生放送（ニコ生）」をさらに進化させるべく、ドワンゴでは土台となる基盤を見直し、大幅なアップデートを実施した。ドワンゴのエンジニアである原耕司氏（写真1）、太田健氏（写真2）、川平航介氏（写真3）の3名にお話を伺い、プロトコルや分散ファイルシステムまで独自に開発したという、このプロジェクトの真相に迫った。 将来のサービス拡充に向けて土台を整備 ――今回、サービスの基盤部分を大幅に刷新された理由は何でしょうか。 原：ニコ動は、サービスの提供開始から時間が経ったことで裏側のコードが複雑になっており、これから新たな機能をバンバン追加するのが厳しい状況になっていました。そこで、将来的なサービス拡充に対応で
gemspec と Gemfile と Gemfile.lock との違い． - Qiita
依存する gem の取得先を記述します． 通常は取得先は source 行一行だけでよいはず． GitHub リポジトリなどから edge バージョンを取得する場合は，その場所をここに書く． 開発環境と運用環境とで同じ gem をインストールするために使います． bundle などで自動で生成されます． 依存 gem のバージョンと取得先が記録されます． Gemfile.lock の扱いについて Gemfile.lock については，これをリポジトリに含めるかどうかが議論されるのですが，前節で述べたように，「開発環境と運用環境とで同じ gem をインストール」したいかどうかで決めればよいかと思います．すなわち， 確実動作が期待されるアプリでは Gemfile.lock をリポジトリに含める． デプロイの自由度を確保したいライブラリは Gemfile.lock をリポジトリに含めない． （そ
Docker で Rails5 の開発環境を「rails new」から構築する - Qiita
追記(2017/02/13) 以下の方法では、Gemfileを修正するたびにDockerイメージをビルドし直す必要がありますが、もっと高速に開発できるテンプレートを作成しました。 高速に開発できる Docker + Rails開発環境のテンプレートを作った はじめに Dockerを使ってRails5の開発環境を構築します。 また、railsコマンドをspringを通して実行できるようにします。 rails new から rails db:createまで、すべてをDockerの上で行うことを目指して構築します。 また、実際のコードはこちらにアップロードしています。 私の手元の環境は、OS X で行いましたが、基本的にDockerが使えればできます。 手順 1. rails new する環境を作成する 以下のファイルを作ります。 Dockerfile.development docker-c
docker service の inspect --pretty を列挙する - Qiita
扱っているdocker serviceの数が３桁とかになってくると、このnodeに依存しているserviceはどれだっけ？ というような事を把握するのが大変になってきます。サービスの現在状態がローカルに存在してれば適当にgrepして探せるのですけど、docker service inspect して回らないといけないので大変です。 ということで、全てのserviceのinspect --prettyを列挙する以下のようなスクリプトを作りました。--prettyのほうが行志向なのでgrepとの相性が良いです。 ds_all.sh [-q] #!/bin/sh NAMES=`docker service ls | tail -n +2 | awk '{print $2}' | sort` n=0 N=`echo "$NAMES" | wc -l | bc` for I in $NAMES; d
dockerでいらないimage,container,networkを一括削除する - Qiita
【20170705追記】 全ての停止中のコンテナ、ボリューム、ネットワーク、イメージを一括削除するコマンドは下記です。 環境 docker version 1.13.1 使っていないimageの一括削除 存在しているimageを確認する docker images 使われていないimageを一括削除する docker image prune もう一度docker imagesで確認すると、不要なimageが削除されています。 使っていないcontainerの一括削除 起動しているcontainerを確認する docker ps 起動していないものも含め全てのcontainerを確認する docker ps -a 使われていないcontainerを一括削除する docker container prune もう一度docker ps -aで確認すると、不要なcontainerが削除されてdo
ns-3でTCPの輻輳制御を観察する - Qiita
1. はじめに インターネット上のほとんどのトラフィックは，TCP（Transmission Control Protocol）によって制御されていると言われています．TCPの特徴の一つとして，送信ノードが各々輻輳1制御アルゴリズム（Congestion control algorithm）に基づき，一度に送信するデータ量を調整する，という点があります．本記事では，ns-3で各アルゴリズムの動作をシミュレートし，NumPy + matplotlibで視覚化します． TCPの輻輳制御アルゴリズムを比較するために，ns-3にはtcp-variants-comparison.ccというサンプルシナリオが用意されています．しかし，このシナリオスクリプトをそのまま使うと，本記事で注目するいくつかの変数をモニタ（ns-3では，トレースと呼びます）できない，という課題がありました．そこで，本記事では，シ
Google翻訳をオープンソースプロジェクトに使うのはダメなのか？
免責： これは法律の専門家によるアドバイスではありません。この情報にしたがって行動した結果に対して責任を負うことはできません。 最近プログラマの間で 「Web翻訳の結果をオープンソースソフトウェア(OSS)の翻訳に突っ込んではいけませんという話」 http://blog.goo.ne.jp/ikunya/e/37e5a52e10ab26fcbd4f7ff867e9eace が、話題になってますね。 Ubuntuの翻訳プロジェクトで発生したトラブルの話です。 この話では、「もちろん、利用規約的に問題なければWeb翻訳の結果をOSSの翻訳に突っ込んでも*ライセンス的には*問題ありません。」という追記がされてます。 ですが、プログラマの間で単にWeb翻訳をOSSに使ってはいけないんだという認識が広まってるように見えます。個人的には、この認識が広まってしまうのはいやだなと感じたのでこの文を書いてい
gapps を使って Google Apps Script を継続的にデプロイする - kakakakakku blog
最近 GAS (Google Apps Script) を書く機会があって，Google 関連のリソースに簡単にアクセスできて便利だなー！と感じる反面，直接 js を書いて実行する開発プロセスに違和感を感じていた．普通に GitHub でバージョン管理して，継続的にデプロイする方法を探していたところ，専用の公式ツール gapps を知って，実際に使ってみたら便利だったので，紹介する． developers-jp.googleblog.com gapps (node-google-apps-script) gapps を使うと GAS を CLI でデプロイできるようになる．あまり難しいところはなく，README の通りに進めていけば使えるようになる．ザッと手順を残しておく． github.com gapps をインストールする npm で簡単に使えるようになる． $ npm install
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
$10 Showdown: Linode vs. DigitalOcean vs. Amazon Lightsail by Josh Sherman
VPS Showdown – May 2022 – DigitalOcean vs. Lightsail vs. Linode vs. UpCloud vs. Vultr Before we get to the metrics, there is big news this month. Firstly, DigitalOcean recently announced their “serverless functions” product being beta released. In the same fashion as AWS Lambda, GCP Cloud Functions, and Azure Function, if you are familiar. Additionally, Ubuntu 22.04 LTS was released. I planned to
How I Ruined Office Productivity With a Face-Replacing Slack Bot · zikes.me
How I Ruined Office Productivity With a Face-Replacing Slack Bot Meet Chris. aka @Malakhor9000 Chris works in an office full of people that like to Photoshop his face onto various things, and then post the results in the company Slack. But opening Photoshop and copy/pasting face cutouts can be tedious, especially when Chris is trying to distract you with tales of his Smite heroics. After weeks of
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker 1.13 はだめ - Diary
herrbischoff/awesome-osx-command-line: Use your OS X terminal shell to do awesome things.