シリコンバレーのスタートアップによくあるデータサイエンス・チームの作り方 - Qiita
これまでに、「データサイエンスに関してビジネスからよく聞かれる質問」というシリーズで以下の2つの記事の訳と解説を書いてきました。 あなたのビジネスのデータサイエンス本気度を試す4つの質問 - Link データサイエンスをいつ始めればよいか - Link 今回はこのシリーズの最後として、「データサイエンス・チームを組織の中でどう作っていけばよいのか」という質問に対する答えとして、いくつものシリコンバレーのデータ先進企業でデータサイエンスのチームを作り、率いてきた、このシリーズではおなじみのJeremy (Instacart, Sailthru, Collective) とDaniel (LinkedIn, Ebay, Apple) によるアドバイスを要訳という形で紹介します。 以下、要訳。 データサイエンスのチームはどこに作られるべきか 組織の中にデータサイエンスのチームを作る場合には大きく
Jenkins Pipeline から AWS SNS に publish する - Qiita
Jenkins でのビルド失敗時に AWS SNS で通知を送りたかったので、そのために試行錯誤したメモ。 AWS SNS について Simple Notification Service の略で、通知を扱うための AWS のマネージドサービス。AWS SNS にメッセージを Publish することで、設定に応じてメールやチャットツールなどに通知を送ることができる。 AWS SNS の設定方法についてはググればたくさん出てくるので割愛する。 今回は、AWS SNS の Topic は既に作成済みという前提で話をする。 Amazon SNS Build Notifier について 当初 Amazon SNS Build Notifier というプラグインを使おうとしていたが、これは動かなかった。 リポジトリを見ると 2016 年以降メンテナンスされていないようだし、そもそも Pipelin
ポッドキャストサイトをJekyllからNuxtでモダンに作り直した知見を余さず全部書く - Qiita
本記事は Vue.js #1 Advent Calendar 2017 の23日目の記事です。 TL;DR soussune（そうっすね）という技術系ポッドキャストのサイトをJekyllで構築してます よくVueの話をしてるのに肝心のサイトでは使ってない。のでVue使いたい Nuxt.jsにNuxtentモジュール入れて、nuxt generate で静的サイトを生成してデプロイしました ポッドキャストをやっている @trkw と @miyaoka の二人でこの一週間くらいスクラッチでサイトを作ってました。そこで実際にNuxt使ってみた話についていろいろ書いていこうと思います。 使用前・使用後 開発は8,9割程度終わった感じですが、現状まだ新サイトに移行してない状況です。 →移行しました。 旧サイト https://soussune-v1.netlify.com （開発リポジトリ） 新サイ
sqlparseによるSQLのフォーマット - Qiita
SQLをローカルでフォーマットするツールを探していてsqlparseというツールを見つけたので試してみました。 インストール sqlparseはPython製でpipを使ってインストールすることができます。 ウェブ上で使用する sqlparseはSQLFormatというオンラインサービスで使用されており、ブラウザやAPIでSQLを渡してフォーマットすることができます。 SQLFormat - Online SQL Formatter コマンドラインで使用する sqlparseをインストールすると使用可能になるsqlformatというコマンドに ファイルか標準入力でSQLを入力するとフォーマットされたSQLが出力されます。 -r で改行・インデント、-k upper でキーワードを大文字にすることができます。その他のオプションについては-h オプションで確認することができます。 $ SQL=
[小ネタ]MacからEC2のWindowsServerにRDPで接続する - Qiita
初めてだったのでメモ 環境 接続元ローカルマシン(Mac OSX 10.11.3) 接続先EC2(Microsoft Windows Server 2012 R2 Base) 接続はRDP(RemoteDesktopProtocol)を使う すでにEC2用のKeyPairは作成済み リモートデスクトップ用アプリのインストール MacでRDPを使うためのアプリをインストールします。 AppStore Microsoft Remote Desktop おそらくRDP対応のアプリは色々あるのかと思うので好きなものを使って良いと思いますが、最初はMSの公式のもので EC2の起動 EC2の起動を行います。 AMI選択時にWindowsServer2012を選択 SecuirtyGroupではRDPプロトコルによる接続を許可します。(TypeでRDPがあるので選択。内容としてはTCPの3389ポート)
![[小ネタ]MacからEC2のWindowsServerにRDPで接続する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a6559df6720e4fd9a42b5093e109401d0fee2f0b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JUIwJThGJUUzJTgzJThEJUUzJTgyJUJGJTVETWFjJUUzJTgxJThCJUUzJTgyJTg5RUMyJUUzJTgxJUFFV2luZG93c1NlcnZlciVFMyU4MSVBQlJEUCVFMyU4MSVBNyVFNiU4RSVBNSVFNyVCNiU5QSVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MjUzZmI5ZTNlY2IyMGI2ZTFhY2Y3ZWU3NmU3YTc4Mjc%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0b3NoaWhpcm9jayZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9OTdiMmUzMjVkZTYxNzVhZjZhOWQwMDZlYzc3Nzg5N2U%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D686af45431506a3570b7051c8cd0bc16)
ディープラーニングを使った画像の異常検知 －論文と実装－ - Qiita
※こちらはPythonデータ分析勉強会#04の発表資料です。 ディープラーニングを使った画像の異常検知は、GANを使った手法やAutoEncoderを使った手法など多くあります。以前に、Variational Autoencoderを使った画像の異常検知という記事も書きました。 今回紹介する手法は、通常の畳み込みニューラルネットワーク（CNN）を使って、損失関数を工夫することにより、異常検知する手法です。 「Learning Deep Features for One-Class Classification」（以下、DOC） https://arxiv.org/abs/1801.05365 結果からいうと、本手法は異常検知精度が良くて、異常個所の可視化も可能であることが分かりました。 概要 この論文は、発表当時にstate-of-the-artを達成したとのことです。 早速実装したいとこ
AWS でいままで起きた大規模障害を振り返る - Qiita
目的 2017/3/1 に us-east-1 の S3 大規模障害がありました。過去にもいくつか発生しているのと、いつ使っているリージョンで同じ事態が起きてもおかしくないと思い、これを機に過去どのような障害があったのか遡って調べました。 所感 毎年どこかのリージョンで大規模な障害が起きている ap-northeast-1 で起きていないのはたまたま、運がいいだけ AWS は復旧時間の改善・可用性向上に全力を尽くしているものの、未知の障害はいつかどこかで起きるもの ステータスダッシュボードは時に嘘をつく クラウドシェアトップである AWS はインターネット全体の SPOF になりつつある Chaos Monkey の思想は必須 報告書読むの面白い AWS の中身がすこし透けて見えてきます 前回データセンターについて調べたことが役に立った AWS のデータセンターに侵入する（妄想で） - Q
application/x-www-form-urlencoded指定されているフォームにNode.jsでaxiosを使ってPOSTする方法 - Qiita
const querystring = require('querystring'); axios.post('http://something.com/', querystring.stringify({ foo: 'bar' }));
マイクロサービスを作るのに、nuxt.jsが最高だった話 - Qiita
Vueでキャンペーンサイトを作った話を自社の記事で投稿してしまい、同じネタを使おうとしたら、二重投稿禁止というのを知らなくて、焦りました。 似たような投稿するのもあれなので、なんか違う話題も書きます。 nuxt.js+expressのvue-cliテンプレートを使って、api+SSRのシングルページアプリケーション構成のマイクロサービスを作っています。 ちっちゃいページ+ちっちゃいAPIを使うとすごくいい感じにマイクロサービスを作ることができました。その良さを今回は語ります。 重要なものが最初から簡単に用意できる webpackの設定は自分でローダーを設定すると柔軟に設定する代わりに割と手間が増えます。 特にVueでお決まりのアプリケーションを作りたいときに、下の要件は欲しいでしょう。 シングルファイルフォーマットでの開発(vue-loaderの設定) linterの実行 シングルページで
AWS Mobile Hub (Cognito) + Amplify.js + Nuxt.jsでユーザ認証（Email+Password）をセットアップする - Qiita
Cognitoの認証機能を簡単にsetupしつつ、webクライアント（js）からユーザ登録、ログイン、ログアウト、パス忘れに対応するお試し実装。 この実装フローではCognitoのWebコンソールを直接触らない。 前提 2018.11.14現在 yarn 1.10.1 https://yarnpkg.com/ja/ 要AWSアカウント 用語ざっくり Mobile Hub モバイルアプリやwebサービス開発で使えるAWSサービスを簡易にセットアップ出来るサービス（Mobile Hub自体は無料、他サービスは別途） Cognito ユーザ認証とAWSへのアクセスコントロールを行うサービス（月間アクティブ50,000まで無料） Amplify AWSの新しいライブラリ、Cognito等を簡易に利用できるよう作られたもの。 公式docではグローバルインストールしたamplifyからamplify
ニュース記事からのトレンドキーワード抽出〜サービスインまでをふりかえる - Qiita
こんにちは。 NewsPicks アドベントカレンダー 2018 23日目 を担当する打田です。NewsPicks では，サーバサイド開発（＋ときどきフロント）と，検索サービスの開発運用を担当しています。個人では，python製の形態素解析ライブラリ や Apache Lucene の GUI ツール を開発・メンテしたり，少し前には Apache Solr の本を執筆（共著） したりしています。 [お知らせ] トレンドキーワード機能をリリースしました！ NewsPicks では，これまで Pick された全ニュース記事の検索機能を提供していますが，先週，Web 版 NewsPicks の検索補助機能として，「トレンドキーワード」機能をリリースしました。これは，いまホットな話題に関連する単語を，検索キーワードとしておすすめする機能です。 Web 版 NewsPicks にアクセスして左上の
積極性と強い問題意識を要求する「振り返り」は、もうたくさん - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 「この人たちのために成長したい」といつも自分を駆り立ててくれる、大好きな職場のみなさんに本稿は捧げます。 はじめに これからの人生で、チームで「振り返り」をする可能性が1％でもある方々に本稿は贈らせていただきます。 皆さんの「振り返り」が行われる前にもう一度、読んでいただき、参考にしていただければ幸いです。 「振り返り」への違和感 「積極性」と「強い問題意識」を持ったメンバーがいることを前提とした方法論ばかりが叫ばれることに私は強い違和感を感じています。 その目的や背景は置いといて、「過去に起きた出来事をチームメンバーと共に目を向ける過
Machine Learningでの異常検知をトリガーにWatcherで通知するまで - Qiita
はじめに この記事はElastic stack (Elasticsearch) Advent Calendar 2018の21日目です。 流行りのMachine LearningがElastic StackのFeaturesでも簡単にできます。 異常の検知だけではなく、その異常に対して対処を行うまでが一連の動作だと思うので、異常を検知した後に通知をしたり、他のシステムと連携させて異常の原因を解決できてこそ、良いシステムになるのではないでしょうか。 そこで今回はElastic Machine Learningで異常検知した結果をトリガーにしてWatcherを使って通知するところまでを書いていきます。 ※ここで紹介している方法が最適かどうかは別として、まずはMachine LearningとWatcherを連携させてみましょう！という趣旨です。 以前ElasticのMachine Learni
作って理解する Transformer / Attention - Qiita
こんにちは。ミクシィ AI ロボット事業部でしゃべるロボットを作っているインコです。 この記事は ミクシィグループ Advent Calendar 2018 の5日目の記事です。 この記事の目的 この記事では2018年現在 DeepLearning における自然言語処理のデファクトスタンダードとなりつつある Transformer を作ることで、 Attention ベースのネットワークを理解することを目的とします。 機械翻訳などの Transformer, 自然言語理解の BERT やその他多くの現在 SoTA となっている自然言語処理のモデルは Attention ベースのモデルです。 Attention を理解することが今後の自然言語処理 x Deep Learning の必須になってくるのではないでしょうか。 この記事にかかれているコード (Github) 歴史 - RNN から
RailsにCloudFront噛ませたら10倍速くなった。RailsのエッジサーバとしてのCloudFrontの有用性について - Qiita
RailsにCloudFront噛ませたら10倍速くなった。RailsのエッジサーバとしてのCloudFrontの有用性についてRailsCloudFront RailsのエッジサーバとしてCloudFront噛ませたら10倍以上速くなりました。 構成 example.com(Route53) -> CloudFront -> Rails App server 単にappのdomainからcloudfrontを見るように設定し、Rails App Serverをオリジンとして設定。 今回は適当運用なのでLBすら置いてません。 しかし、後述するように冗長性は（比較的）保たれています。 CloudFrontのいいところ route別でオリジン分けたり出来る route別でキャッシュポリシー変えたり出来る POSTのパススルーが出来る（！） めっちゃエッジサーバ多い（Brazilとかでも速い）
Go 1.8 の HTTP Server Graceful Shutdown を試す - Qiita
Go 1.8 で net/http パッケージに Server.Shutdown メソッドが追加されます。 シグネチャはこちら: srv := &http.Server{Addr: ":8080"} // サーバはブロックするので別の goroutine で実行する go func() { if err := srv.ListenAndServe(); err != nil { log.Print(err) } }() // シグナルを待つ sigCh := make(chan os.Signal, 1) signal.Notify(sigCh, syscall.SIGTERM) <-sigCh // シグナルを受け取ったらShutdown ctx, _ := context.WithTimeout(context.Background(), 5*time.Second) if err :
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jenkinsfileの書き方 - Qiita
Vim起動時にできること - Qiita
fish 3.0がやってきた - Qiita
Docker multi stage buildで変わるDockerfileの常識 - Qiita
