Dockerコミュニティ近況
2. 2Copyright©2017 NTT Corp. All Rights Reserved. • Docker Engine Core Maintainer (いわゆるコミッタ) • Dockerに対するパッチのレビューやマージをしている (Docker社員以外では世界で8名) • ソフトウェア試験技術の研究開発 • FOSDEMやApacheConなどのオープンソース系会議で発表 自己紹介 • 日本電信電話(株) ソフトウェアイノベーションセンタ • NTT研究所のオープンソース活動部門 • 新卒入社3年目 • 須田 瑛大 (すだ あきひろ) • github: @AkihiroSuda • Twitter: @_AkihiroSuda_ 所属 業務
JSフレームワーク選定の勘所
大づかみなお話です 結論: 課題を知ったらなんでもいいから手を出してみよう！ （細かいところは犠牲にしてます。React でもステートフルコンポーネントつくれるよねとか）
インフラチームと開発チームの垣根をなくすためにAWSのCI環境を構築した話 - CARTA TECH BLOG
こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 PHPカンファレンス2016 の「老舗メディアが改善に取り組んでいる話」でもお話した通り、長年オンプレミス環境で稼働してきたECナビを、AWSに移転しようというプロジェクトが進行しています。 そしてなんと先日、約24時間のメンテナンスを経てECナビの本体(Webサーバ, 管理画面サーバの一部, データベースサーバ)がAWSに移転しました！ AWS移転において得た知見, 構築したシステム等は数多くありますが、今回はCloudFormationとTravis CIを用いて 生産的 で 安全 で 手軽 なAWSのCI環境を構築したお話です。 背景 ECナビは、500万人を超える会員を抱えたVOYAGE GROUPが運営している中でも特に大きなメディアの1つです。 今回、そんなECナビのインフラ調達期間の削減、検証環
[Bash] ファイルやディレクトリの存在をチェックする方法
Bashで、ファイルやディレクトリの存在を確認する方法を紹介します。 if testによる確認方法 ファイルやディレクトリの存在を確認するには、以下の構文を使います。 if [ -e パス ]; then # 存在する場合 else # 存在しない場合 fi 「パス」の部分に、チェックしたいファイルやディレクトリのパスを指定します。 (実際は、testコマンドを実行することになります。) ファイルtest.txtと、ディレクトリtestdirを用意した状態で、サンプルcheck.shを実行してみます。 test-check-file$ ls check.sh test.txt testdir check.shの内容は以下のとおりです。 #!/bin/bash file=test.txt dir=testdir # test.txtが存在するかチェック if [ -e $file ]; th
金融データのPythonでの扱い方 - 今日も窓辺でプログラム
はじめに Udacityというネット上のビデオを視聴する形で受講できる講義を提供しているサイトがあります。 Learn the Latest Tech Skills; Advance Your Career | Udacity サイトや講義は英語なのですが、その中で Machine Learning for Tradingという講義を見つけました。 この講義は主に3つのパートに分かれています 金融データをPythonで操作する コンピュータを使った投資 取引に使う機械学習アルゴリズム 1つ目のパートを視聴したので、Pythonの基本的な知識の部分で知らなかった点を、実際のデータを操作する中で紹介しようと思います。 2つ目と3つ目はまた後日にでも。。 目次 はじめに 目次 今回使用するデータとJupyter Notebook データの読み込み 移動平均の計算 pandasのrollingを使
ラピッドイテレーションを実現するRE ENGINEの設計
【Unite Tokyo 2019】大量のアセットも怖くない！～HTTP/2による高速な通信の実装例～
Private Presentation
Private content!This content has been marked as private by the uploader.
畳み込みニューラルネットワークの可視化 - 人工知能に関する断創録
Deep Learningの学習結果（重み）はブラックボックスで、隠れ層のユニット（特に深い層の！）が一体何を学習したのかがよくわからないと長年言われてきた。しかし、今回紹介する方法を使うとニューラルネットが何を学習したのか目で見える形で表現できる。 畳み込みニューラルネットで学習したフィルタの可視化というと以前やったように学習した第1層のフィルタの重みを直接画像として可視化する方法がある。 しかし、畳み込みフィルタのサイズは基本的に数ピクセル（MNISTの例では5x5ピクセル程度）のとても小さな画像なのでこれを直接可視化しても何が学習されたか把握するのはとても難しい。たとえば、MNISTを学習した畳み込みニューラルネット（2016/11/20）のフィルタを可視化しても各フィルタがどの方向に反応しやすいかがわかる程度だ。 各フィルタが何を学習したかを可視化する別のアプローチとして各フィルタ
Master C++ Programming with Free Open-Source Books - OSS Blog
C++ Books Books are very personal and subjective possessions. And programming books are no exception. But regardless of their style, focus, or pace, good C++ programming books take the reader on a compelling journey, opening eyes to the capabilities of the language, and showing how it can be used to build just about anything. I have carefully selected C++ books which all share the virtue of being
前任者から引き継いだ Eight Android アプリ内部の改善
Sansan tech meetup #1 モバイルアプリ編 https://sansan.connpass.com/event/48510/ 発表資料Read less
Azure Functions 入門
楽天市場ローンチ初期から 20 年続くレガシーなバックアップ環境が最新のストレージ技術により一新されようとしています。本セッションでは、楽天でのバックアップの全体像や、Azure のストレージ技術、関連する OSS がどのようにレガシーからの脱却に貢献しているのかについて、現場での運用に基づいた事例としてご紹介します。 受講対象: ツールやSDK、ライブラリのコードを読み書きし、積極的に運用を改善していく「新しい」Opsの生の声を聴きたいインフラ技術者、アーキテクトの方はぜひご参加ください。 製品/テクノロジ: DevOps/Linux/Microsoft Azure/OSS/アーキテクチャ/クラウド/運用 佐々木 健太郎 楽天株式会社 Global Operations Department Cloud Infrastructure Engineer
DeepLearningTutorial
DeepLearningTutorial 1. ディープラーニングの基礎と 画像認識への応用 山下 隆義 2. 自己紹介 Machine Perception and Robotics Group 2 ２０１４年度 学科を超えた研究グループを発足 藤吉弘亘教授 山下隆義講師 山内悠嗣助手 教員３名 博士課程後期 ２名 博士課程前期 ２名 秘書１名 学部４年生 １９名 学部3年生 20名 ロボット理工学科 ロボット理工学科 情報工学科 3. MPRGについて Machine Perception and Robotics Group 3 http://mprg.jp 4. MPRGについて Machine Perception and Robotics Group 4 機械知覚 ロボティクス 5. 機械学習を利用した研究 Machine Perception an
Consulを頑張って理解する
9. 大雑把な構成イメージ ※色々省略してます node01.example.jp IP：192.168.20.21 consul server 01 node04.example.jp IP：192.168.20.41 consul client 01 apach01 node02.example.jp IP：192.168.20.22 consul server 02 node03.example.jp IP：192.168.20.23 consul server 03 node05.example.jp IP：192.168.20.42 consul client 02 apach02 consul操作script等 consul操作script等 consulクライアントで自身のノー ドにあるApacheの状態を監視 Apacheで実行されているWeb アプリをサービスとして co
粗探しをしてGoのコントリビューターになる方法
1. 粗探しをして Goの コントリビューターに なる方法 2017/02/16（木） @Go1.8 Release Party The Go gopher was designed by Renee French. The gopher stickers was made by Takuya Ueda. Licensed under the Creative Commons 3.0 Attributions license. 2. 自己紹介 メルカリ／ソウゾウ 上田拓也 twitter: @tenntenn ■ コミュニティ活動 Google Cloud Platform User Group (GCPUG) Tokyo Goビギナーズ golang.tokyo Go Conference ■ 業務 GAE/Goでメルカリアッテを作ってます GoやGCPコミュニティを盛り上げる仕事 Go
【devsumi2017】人工知能の研究開発チームが
プロダクト・組織をどのように変えたのか
Developers Summit 2017【16-D-6】の発表資料です。
Node.jsのパフォーマンス最適化を阻むものの見つけ方 | POSTD
皆さんは “Node.jsではコードが動的に最適化される” という記事を幾つか読んだことがあるかもしれません。本稿では、この文言が意味するところとコードが最適化される箇所の見つけ方について見ていきます。 Node.jsのパフォーマンス最適化を阻むものについて述べた本稿をご覧いただいたあとには、以下のことができるようになります。 関数の最適化がJavaScriptエンジン(V8)で行なわれているかの解明 最適化された関数が最適化戻し（De-optimization）されていないかの解明 関数が最適化できない理由の解明 このアジェンダは大げさですが、記事は至ってシンプルです。目指しているのは、上記の方法論を多くのNode.js開発者に役立てることです。 V8におけるNode.jsのパフォーマンス最適化についての簡単な概要 Node.jsを どの仮想マシン上でも使用可能にするという計画 はあるも
標準出力にログを吐くアプリケーションのデーモンを start-stop-daemon で立てる - Qiita
GrowthForecast には残念ながらログファイルを書き出すオプションは無く，すべて標準出力に吐くようです しかしそのようなアプリケーションでも start-stop-daemon を使って daemon 化してかつ標準出力に吐くログをログファイルとして保存したいことがあります このような場合ただリダイレクトするだけではうまくいかないので以下のようにします start-stop-daemon --start --background --exec "/bin/bash" --make-pidfile --pidfile "$PID" -- \ -c "exec $DAEMON >> /var/tmp.log 2>&1" まず bash の daemon として立ち上げますが，このままだと bash が daemon として起動してしまいます そうなると pid が bash の da
数値最適化のインタラクティブ・チュートリアル | POSTD
「数値最適化」は機械学習における中心的手法の1つです。多くの問題では、最適解を直接突き止めることは難しいものですが、ある解がどれほど適しているかを測定する損失関数を設定し、解を見つけるためにその関数のパラメータを最小化することは比較的容易です。 かつてJavaScriptを初めて学ぼうとしていた時 、結果的に数値最適化ルーチンを多数書きました。そのコードを特に使うこともなく置いていたので、それらのアルゴリズムの動作をインタラクティブな形で可視化したら面白いのではないかと考えました。 本記事の良い点は、コードが全てブラウザで実行できることです。つまり、アルゴリズムの動作をより把握するために、各アルゴリズムのハイパーパラメータをインタラクティブにセットしたり、初期位置を変更したり、どの関数が呼び出されるかを変更したりすることができるのです。 (編注：本記事ではスクリーンショットのみ公開しており
pandas DataFrameを省メモリにpickleする - ABEJA Tech Blog
ABEJAでデータエンジニアをしています、千葉です。 少し前に、pandasのDataFrameをファイルに読み書きする際にメモリを消費しすぎる問題を発見したので、解決策を含めて紹介します。 通常手法の紹介 通常、DataFrameをファイルに保存する際には、pandasの提供するIOモジュールを使用します。 今回は、細かい変換規則を書く必要のないPython Pickleをベースとしたto_pickle機能について取り上げます。 # Dumping pandas.DataFrame import pandas df = pandas.DataFrame(..., columns=...) df.to_pickle(output_file_path) # Restoring pandas.DataFrame import pickle with open(input_file_path,
デブサミ2017「DeNAの機械学習基盤と分析基盤」講演メモ #devsumi - 元RX-7乗りの適当な日々
sonots先生の話を聞きに行ってきたので、そのメモを残しておきます。 瀬尾 直利 氏 DeNA Co., Ltd. AIシステム部 リードエンジニア DeNAの機械学習基盤 ディープラーニングの基盤 => GPU基盤 という認識 GPUすごくて、CPU使って30日のところ、GPUを使うと4日くらいのオーダー GPUの特徴 並列処理が得意 CPUだと24coreとかのオーダー GPUでは3000〜4000core 分岐処理は苦手 行列演算に向いている GPU製品 NVIDIA Tesla HPC向けにGPUシリーズ NVIDIA GeForce GRID クラウドゲーミング向け AMD FirePro NVIDIA Tesla API CUDA OpenCL DirectCompute CUDAのアーキテクチャ CPU(ホスト)からGPU(デバイス)にデータを転送 GPUで処理 GPUから
デブサミ2017「インテリジェンスで挑むサイバー攻撃の最前線」講演メモ #devsumi - 元RX-7乗りの適当な日々
IIJの方による大量トラフィックにおける情報セキュリティ＋機械学習的な話を聞いてきたので、そのメモです。 穴吹 健一 氏 (株)インターネットイニシアティブ IIJの"J"は何なのか、穴吹氏もよく知らないとのこと... ビッグデータや機械学習を少々 サイバーセキュリティをめぐる攻防 サイバーセキュリティとは データ改善やサービス継続の妨害のような犯罪を阻止 最近はMSS(マネージドセキュリティサービス)提供の会社が増えてきた サイバー攻撃は他人事ではない 標的型メールによるマルウェア感染による個人情報流出 派遣社員によるデータ持ち出しによる個人情報流出 CSRF/トロイの木馬による遠隔操作による不正操作 などなど 攻撃主体と目的 国家 諜報活動や他国の政治への介入 ハクティビスト 政治的主張 犯罪組織 利益目的の情報窃取や脅迫 よくある攻撃手法 DDoS攻撃 古典的だがどの通信が攻撃か判別
世界で闘うプログラミング力を鍛える本 - カメヲラボ
前著『世界で闘うプログラミング力を鍛える150問』から4年、米国ベストセラーの"Cracking the Coding Interview"の新版（第6版）の邦訳『世界で闘うプログラミング力を鍛える本 〜コーディング面接189問とその解法〜』が完成しました！2月27日発売予定です！！ 世界で闘うプログラミング力を鍛える本 ~コーディング面接189問とその解法~ 作者: Gayle Laakmann McDowell,岡田佑一,小林啓倫出版社/メーカー: マイナビ出版発売日: 2017/02/27メディア: 単行本（ソフトカバー）この商品を含むブログ (7件) を見る 発売記念プレゼント問題！ CodeIQから発売記念プレゼント問題を出題しています！（3月7日AM10:00まで） 不正解でも挑戦していただければ抽選対象になりますので、プログラミングに自信のない方も是非チャレンジしてみてくださ
Zabbix 3.2でsidekiqのキューなどを監視する - Amazon Linux編 - Qiita
前回のZabbix 3.2でsidekiqを監視する - Amazon Linux編では、sidekiqのプロセス監視などをしましたが、sidekiqにどのくらいのキューがたまっているかなどは監視できていませんでした。 キューの数を監視することにより、キューの数が溜まっていたらsidekiqの処理能力が限界を迎えている可能性があるので、ワーカーの数を増やす必要があるので、重要な監視項目です。 Stats sidekiqには監視APIがついており設定にもよりますが、/admin/sidekiq/statsのURLにアクセスすると以下のようなJSONが取得できます。 { "sidekiq": { "processed": 166, "failed": 79, "busy": 0, "processes": 1, "enqueued": 0, "scheduled": 0, "retries":
AWSでZabbixを構築したときにハマったこと(EC2 + Zabbix3.0 + nginx + php-fpm) - Qiita
PHP bcmath extension missing (PHP configuration parameter --enable-bcmath). PHP xmlwriter extension missing. PHP xmlreader extension missing. $ yum list installed | grep php php-cli.x86_64 5.6.30-1.el6.remi @remi-php56 php-common.x86_64 5.6.30-1.el6.remi @remi-php56 php-devel.x86_64 5.6.30-1.el6.remi @remi-php56 php-fpm.x86_64 5.6.30-1.el6.remi @remi-php56 php-gd.x86_64 5.6.30-1.el6.remi @remi-php
FPGA+SoC+Linux+Device Tree Overlay+FPGA Manager(PYNQ-Z1対応) - Qiita
注意(2017年9月20日追記) この記事は Linux Kernel 4.4 時点に投稿したものであり、古い内容が含まれています。Linux Kernel 4.10 以降、FPGA 関連は大きく進歩しました。詳しくは「Linux Kernel 4.10 でのFPGAのサポート事情」を参照してください。 参考(2017年11月2日追記) FPGA Region を含んだ Linux 4.12.14 のブートイメージを提供しています。詳しくは「FPGA+SoC+Linux+Device Tree Overlay+FPGA Region(ブートイメージの提供)」を参照してください。 はじめに 「FPGA+SoC+Linux+Device Tree Overlay+FPGA Manager(ブートイメージの提供) @Qiita」で、ZYBO と DE0-Nano-SoC 用の Device Tr
FPGAでフィボナッチを計算してみる - Qiita
フィボナッチをFPGAで書いてみた http://qiita.com/kazunori279/items/70030eaa08fe632b6b49 こちら方の記事をみて、高位合成ではなく、ガチのRTLでフィボナッチ数を計算したらどれぐらいの速さでできるのかやってみた。 ソースコード とりあえずこんな感じ？ n_inに0～127をセットしてstartを'1'にすると計算を開始して、 計算が終わるとend_flgが’1’になってresultに計算結果が出力される。 LIBRARY ieee; use ieee.std_logic_1164.all; use ieee.std_logic_unsigned.all; use ieee.std_logic_arith.all; entity fib is port( clk : in std_logic; rst : in std_logic; n
深層学習 を 用いた 異常値検知 手法まとめ 〜 (Denosing) AutoEncoder, LSTM, TDA（Topological Data Analysis) + CNN - Qiita
オーソドックス な アプローチ（一般的手法） まず は、以下 が よくまとまっている。 株式会社クロスコンパス・インテリジェンス（2016.10.5）「NVIDIA GPU TECHNOLOGY CONFERENCE JAPAN 2016 Industry Deep Learning」 異常値予測 を 行う アプローチ としては、以下 が 一般的な考え方 の ようだ。 （データ量の多い）正常時のデータ挙動の特徴パターンを学ばせて、 新規データが上記の特徴パターンから乖離している場合を、異常とみなす 上記のアプローチをとる理由 は、「異常発生時のデータ」の取得可能件数 は、「正常時のデータ」 に 比べて、取得できるデータの件数 が 圧倒的に少ない から である。 上記のスライド で 挙げられている AutoEncoderモデル や LSTMモデル を 採用し、 AutoEncoderモデル
Zabbixでオートスケーリングシステムを作る - Tech Inside Drecom
Zabbixは設定に癖があるもののデフォルトで監視単位の集合関数をサポートしており、オートスケーリングシステムを構成しやすいと言えるでしょう。 IaaSのAPI 最近のIaaSはほとんどAPIに対応していますが、オートスケーリングシステムを適用するには以下の点に注意が必要です。 IaaS側実行中進捗状況の取得 API実行の成功・失敗、又は長時間掛かった場合にリトライや通知をするために必要となります。 進捗状況が取得出来ない場合は一定時間経過をタイムアウトとみなし、状況によっては冪等性担保のため中途半端に作成してしまったサーバの削除等余計な処理をする必要があり、オートスケーリングシステムとして作るのは若干困難となるかもしれません。 オートスケーリングシステムで管理する情報 AWSやCloudstackを採用しているIaaSにはリソースタグやユーザーデータという、IaaS基盤側で仮想マシンイン
IDCF クラウドを利用したドリコムのインフラストラクチャー
ドリコムでは複数のクラウドサービスを利用してサービスを展開しています。 IDCFクラウド（以下IDCF）やAWS、IIJでサーバの構築方法や運用方法が違う部分があり、運用コストが上がってしまっていました。 そのため新規サービスからクラウドサービスを意識することなくサーバ構築、サービス運用が行える環境作りに取り組んできました。 その最初のサービスとして、IDCFで「ダービースタリオン マスターズ」を新たな環境でオープンさせ、またIDCFでリリースされたばかりの ILB（Infinite Load Balancer）の利用などを行いました。 構成としては簡単ではありますが、以下になります。 昨年末に実施した Drecom Advent Calendar 2016 でも紹介していますが、複数のクラウドサービスを利用している、また複数のクラウドサービスを利用を検討している方のサーバ構築やデプロイ方
SlackでKPT用botを仕込んでみた - リモートチームのKPTテクニック - - だいくしー(@daiksy)のはてなブログ
ぼくたちの開発チームは、現在1スプリント2週間のスクラムチームとして活動している。スプリントの最後には振り返りを実施しているが、そこではおなじみのKPTを採用している。 参考: 情報マネジメント用語辞典：KPT（けいぴーてぃー） - ITmedia エンタープライズ チームは複数拠点にメンバーが分散しているリモートチームで、振り返り会はテレビ会議を使って行われるので、KPTのやり方にもそれなりの工夫が必要となる。 Googleスプレッドシートを使ったKPT 通常のKPTでは、大きな模造紙やホワイトボードに、Keep、Problem、Tryの領域を定め、そこにそれぞれの内容について書かれた付箋紙を貼っていく。他の人が書いた付箋の内容が呼び水となって、他の人が別の課題を思いついたりもするので、全員が揃って付箋を次々に貼っていく、というスタイルが良いとされている。 メンバーが複数拠点にまたがって
eclipseがメインのIDEに指定されているプロジェクトでIntelliJを使って開発する - mike-neckのブログ
職場のプロジェクトがメインで指定するIDEはeclipseですが、IntelliJ IDEAが大好きなのでIntelliJ IDEAで仕事しています。 するとどうしても問題が出てきます。 importの順番が異なるために無駄なdiffが出てくる コードスタイルが異なるのでレビューしづらい インスペクションのレベルが違うのでレビューしづらい/チェックしづらい importの順番 importの順番は気合で直します(嘘) eclipseからコードスタイルフォーマットを出力してIntelliJで取り込んでもImportの順番は出力できないようです。 したがって下のQiitaの記事を参考に Code Style > Java > Impors > Import Layout にてImportの順番をeclipseのそれに合わせます。 qiita.com しかし、時折ですが、eclipseで書いたコ
アルゴリズム取引のシステムを開発・運用してみて分かったこと
趣味でアルゴリズム取引のシステムを開発・運用してみたことで得られた知見について、社内のテーマ自由な勉強会で発表しました。Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
start-stop-daemonいじってみた
Weekly Machine Learning #7
発表スライドまとめ − Productivity Engineering #forkwell_meetup - Forkwell Press
DeNA TechCon 2017 と Developers Summit 2017 でDeNAの機械学習基盤と分析基盤の講演をしました - sonots:blog
https://dripcap.org/
Reddit - Dive into anything
Dockerを利用して Elasticsearch + Kibana の環境で kuromoji + Neologd を試す - Qiita