Google, Facebookが提供する機械学習基盤まとめ – Moonshot 🚀 – Medium
TFX社内の勉強会でGoogle, Facebookが提供する機械学習基盤に関する論文を紹介したので、その資料を公開します 経緯機械学習をサービスとして提供開始すると、継続的な学習やプロダクション環境での機械学習の提供はモデル構築以外にもいろいろと考える問題が多くなります¹ 要するに機械学習をサービスとして届けるには、実はめちゃんこ大変なんだよという話なんですが、みんな同じ問題にぶち当たります。 そのためプロダクションレディなレベルで機械学習を提供できるプラットフォームを各社が提案しておりその中でもGoogle, Facebookの事例を提供します。 TL; DR;FBLearner: MLaaSの事例として最初に読むべき論文、MLaaSをどのような戦略で提供しているかを抽象的にまなべるため、鳥瞰図として読みましょうTFXは逆に機械学習基盤が必要とする技術スタックや要件などを詳細に説明して
なぜいま Heroku なのか - Qiita
開発中のサービスに Heroku を採用した経緯を社内で周知するために書いた文章なんですが、ついでに Qiita にも貼っておきます（ちなみに Heroku の回し者ではないので悪しからず）。 従来、Heroku は日本で使うにはレイテンシの問題で本番環境での利用が避けられることが多かった これは Heroku の Common Runtime には Tokyo region がなく US 等のサーバーと通信するとレイテンシが大きいため1 実際、Wantedly 社なんかもレイテンシを理由に Heroku から AWS に移行している だが、Service Worker の先読みと Fastly（のような instant purge 可能な CDN）の登場により、このレイテンシの影響は極小化された のではないか 多くのリクエストは Fastly のエッジサーバー からレスポンスを返せるはず
Prometheusによる数百台規模のモニタリングで直面した問題について | GREE Engineering
インフラの反田 (@mtanda) です。 GREEでは、多くのサービスをAWS環境で運用しており、それらサービスのモニタリングシステムとしてPrometheusを利用しています。 Prometheusを導入してから約2年がたち、1台のPrometheusで数百台規模のインスタンスをモニタリングするなかで、さまざまな問題に直面しました。 それら問題の原因を分析し、設定や利用の仕方を改善することで、ある程度安定して運用できるようになりました。 これらの知見が少しでもお役に立てばと思い、ここで共有いたします。 なお、対象とするPrometheusのバージョンは1.xです。Prometheus 2.0では、これら問題のほぼ全てに対して改善されています。そのため、2.0でどういった点が改善されているかを知るためにも有用だと思います。 Prometheusのストレージ実装の基礎知識 Promethe
システムビジョンを語り合ったペパボ・はてな技術大会〜インフラ技術基盤@福岡 - Hatena Developer Blog
Webオペレーションエンジニアのid:y_uukiです。 今日は10月7日にGMOペパボ株式会社さんの福岡支社にて開催しました「ペパボ・はてな技術大会〜インフラ技術基盤〜@福岡」のレポートをお届けします。ペパボさんのレポートはペパボ・はてな技術大会〜インフラ技術基盤〜をペパボ福岡支社で開催しました！ - ペパボテックブログにて公開されています。 ペパボさんとの技術大会は、昨年からの継続的な取り組みとなります。 今回の技術大会では、「Webサービス基盤技術の開発・運用の考え方やビジョンとその実践」をテーマにさせていただけないかと、はてなからペパボさんへお願いしました。 というのも、はてなのWebオペレーションチームでは、基盤システムのビジョンを現在策定しようとしているため、そのアウトプットの場になればという思いがあったからでした。 ペパボさんは、「なめらかなシステム」に代表されるように、We
大規模データ移行の失敗を防ぎたい。計画やプログラム、インフラの注意点と、ありがちなこと - Qiita
仕事柄、大規模なデータ移行を何度か経験してきました。 データ移行、特にDBのマイグレーションでもなく、 システム移行のときのようなデータ構造の変更を伴う際には気をつけることがたくさんあります。 クラウドではだいぶ楽になりますが、 特にオンプレミスで検討せざるを得ない皆さんに気をつけないといけない点を共有します。 スケジューリング編 最初から検討し始めよう 開発プロジェクトにおいてシステム移行だけで4割の工数がかかると言われています。 しかし、新規システム部分の開発で頭が一杯になっていると、重要度の割に移行部分が後回しにされがちです。 移行用プログラム、移行用サーバ手配はもちろん、新規、既存システムへの影響も検討しないといけません。 できればプロジェクト開始時から人をアサインして計画を立てていきましょう。 移行自体が一つの開発プロジェクト相当です。頑張りましょう。 後半になって移行計画を立て
ぼくはterraformだけ触ろうと思った - terraform でインフラ構築#1 - Kuchitama Tech Note
先日のホッテントリにこんな記事が… dekotech.dekokun.info 丁度この記事見る直前ぐらいにterraformを仕事で使って、全く同じ気持ちを抱きました。 terraformでもCloudFormationでも、CLIでクラウドインフラ構築とかやってた人は触ったら抜け出せなくなると思います。 ただ、terraformはAWSに限定されないです。強い。 www.terraform.io なぜterraform www.terraform.io terraformは安心のHashiCorp製のオーケストレーションツールです。 terraformを使うことで、インフラの Infrastructure as Code が実現できます。 というかインフラに限らず、かなり幅広く XXX as Codeできますね。 社内IT担当者とか結構嬉しいんじゃないでしょうか GitHubのリポジト
サイボウズのサービスを支えるログ基盤
Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
Redirecting…
Redirecting… Click here if you are not redirected.
目指せ！落ちない高可用性サーバ、ハードウェアの選び方 - Qiita
10年以上金融機関で働いているインフラエンジニアの落ちないサーバにするための考察です。 ハードウェアの専門家ではないので、正確ではないかもしれません。 今までの経験からの個人的考え方になります。 私たちオンプレ重視のインフラエンジニアは、 クラウドサービスではできない高可用性サーバを導入したり、 複数台構成で１台故障しても問題ない構成のサーバはコスト重視するなど、 システムに最適なサーバを導入しようとしています。 #高可用性サーバを追求する目的 ■アプリに影響を与えないように Active/Standby構成にしていて、インフラ的にはダウンタイムが数秒だとしても、 アプリによっては復旧に時間がかかったり、問題ないことの確認にも時間がかかってしまいます。 また、正しくサーバが落ちればアプリが問題ないとしても、 サーバが中途半端な状態のままになってしまい、なんだかおかしいということもあります。
ITインフラって面白い！一般人でも分かるインフラの入門スライド10選 - Findy
2016.06.06｜最終更新：2017.11.17 ITインフラって面白い！一般人でも分かるインフラの入門スライド10選 ITのインフラエンジニアと言われてどんな仕事か想像がつきますか？ 一般人ではインフラと言われれば水道や橋なんかをイメージするくらいで、ITインフラが何かと聞かれてもよく分からないものです。 そこで、今回は社会を支えるITインフラの基礎が分かるスライドを10個ご紹介します！ インフラエンジニアの定義、基礎、手順書の書き方、自動化など、インフラ初心者から中級者くらいまでを対象にしたスライドです。 これからはじめるインフラエンジニア スライド ⇒ これからはじめるインフラエンジニア 広告やゲーム、メディア事業を展開する株式会社ドリコムによるスライドです。 ITインフラで用いられるOS、ミドルウェア、ソフトウェア、ネットワーク、ハーデウェアなどについて理解しやすくまとめられて
TDD of Infrastructure as Code on CircleCI 2.0
概要Docker + Ansible + ServerSpec + CircleCI 2.0でTDDなCIビルドを行う話です。 今僕が在籍している企業では、プロビジョニング周りはAWS OpsWorksで管理されており、Chefのカスタマイズレシピが適用されて、ポンっと環境が構築されます。 個人的にはChefとItamaeの運用はしたことがありますが、OpsWorksを除けばAnsibleの方がStar数も多く活発に使われていそうなのと、どうせならDockerとServerSpecを使ってポータブルなテスト環境を作ってみよう、それをCircleCI2.0で効率的に回そう、と思い立って、やってみました。 ディレクトリ構成. ├── Dockerfile ├── README.md ├── ansible │ ├── ansible.cfg │ ├── ci.yml │ ├── circlec
メルカリのデータサイエンスチームと分析エコシステムのはなし | メルカリエンジニアリング
※各プロダクト名の頭の”Google”は省略しています ※もちろん実際にはGoogle社のツール以外にも様々な分析用プロダクトが使われています 各ツールの詳細についてはWeb上の良質な情報がたくさんあるので、説明はそちらに譲るとして、ここではそれぞれの簡単な特徴とメルカリでの活用の仕方について主に述べていきます。 ◆ 1.BigQuery “弊社分析の中核的存在” 利用シーン： データの集計 どんなツールか Google BigQuery SQLの超速いやつ どんな大きなデータでも、複雑なクエリでも、高速で結果を返してくれる頼れるアニキ メルカリの分析での使い方 速いは正義 メルカリは多くのユーザを抱えているため、そのログデータも非常に巨大です。 そのため、通常のSQLでは計算に時間がかかりすぎるということが多々発生します。 BigQueryは とにかく「高速」の一言。なのでトライアンドエ
AIが打音を聞き分け、人の感覚に頼らずインフラ点検
老朽化に伴い、今後需要が増大する見通しのインフラ点検作業。産総研は人工知能（AI）技術の1つである機会学習を活用し、インフラの打音検査を効率化できるシステムを開発した。人の経験や勘に頼らず、AIが打音の異常を判断する。検査作業の工数を削減できる他、非熟練者でも見落としなく点検作業が行えるという。 産業技術総合研究所（産総研）は、首都高技術、東日本高速道路、テクニーと共同で、インフラ構造物の打音検査を人工知能（AI）でアシストし、異常度マップを自動生成する「AI打検システム」を開発した。従来の打音検査の手順を変えずに図面化を含めた検査作業の工数を削減できる他、非熟練者でも見落としなく点検作業が行えるという。 産総研では、点検員の感覚に頼らずに打音の異常度を定量化し、精度のばらつきやミスを防止する技術の研究開発に取り組んできた。そのコア技術の1つであり、今回開発したAI打検システムに利用したの
Google Cloud Platformをフル活用してNo-Opsでビッグデータ処理基盤を構築した - オールアバウトTech Blog
オールアバウトシステム部技術基盤Gの@takkyです。 オールアバウトの技術基盤Gではコンテナを利用した開発の推進やクラウドを活用した開発のサポート、DevOpsの推進をしています。 詳しくはこちら： 今回はそのなかでもGoogle Cloud Platform(GCP)のサービスをフル活用してほぼNo-Opsでビッグデータ処理基盤の構築を行ったのでそのアーキテクチャについて説明します。 ビッグデータ処理基盤構築のきっかけ 案件の詳細に関しての記載はここでは伏せますが、フロント側でビッグデータを処理した結果を使用したいという要望が上がってきました。もちろんフロントで使用するため高速化・スケール化できることは最低条件となります。 GCEなどでオートスケールする手も考えたのですが障害時にOpsチーム(インフラチーム)に任せっきりになってしまい運用工数が増えてしまいます。また、開発者はインフラ側
Infrastructure as Codeにおけるテスト駆動開発実践入門(上) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Infrastructure as Codeにおけるテスト駆動開発実践入門(上) Infrastructure as Codeにおけるコード開発にテスト駆動開発を導入する具体的な方法を全二回に分けて説明します。(上)ではIaCとは何か、テスト駆動開発とは何かについて概要を説明します。 Infrastructure as Codeにおけるテスト駆動開発実践入門(下)はこちら はじめに クラウド/コンテナ技術の登場により、ITインフラは頻繁に作っては捨てられる時代になりました。このような時代において、ITインフラの構成管理を従来通り手動で行
『 データ分析基盤Night #2 』に参加してきた #データ分析基盤Night - 試纏
データ分析基盤Night #2 - connpass 2017/04/26 データ分析基盤Night #2 #データ分析基盤Night - Togetterまとめ 前回第1回に引き続き抽選に当たったのでこの日参加してきました。 『 データ分析基盤Night #1 』に参加してきた #データ分析基盤Night - 試纏 会場は株式会社FiNC様＠有楽町。有楽町駅ビックカメラのすぐ隣、交通の便は超良い場所です。 会場内もとてもオシャレで綺麗なオフィスでした！ 挨拶 ウェルネスタイム(軽いストレッチ) by FiNC FiNCの分析基盤の概要 発表資料 発表内容 freee のデータ分析基盤の全容 発表資料 特徴：他のサービスとどこが違うのか 構成：アーキテクチャ マーケティング 販売・サポート エンジニア ダッシュボード バッチ処理 辛み 展望・チャレンジ まとめ mercariのデータ分析基
Azureのインフラを支える技術(ハードウェア・アクセラレータ編) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Aplogogies 本稿は2017/4/14開催の「インフラ野郎Night おかわり」向けに準備していたものなのだが、某国に拉致されたため、無念のキャンセルになってしまったorz 書きかけの部分も多いのだが、フィードバック・突っ込み等いただければ...ということで公開する。 イントロ 本記事は、少し前に書いたこれ(「Azureのインフラを支える技術(概要編)」)の続きである。当該記事で整理した以下の項目のうちの、2.の深堀り調査として2016年10月に台北で開催されたIEEE MICRO49 での発表 "A Cloud-Scale A
「Infrastructure as Code - クラウドにおけるサーバ管理の原則とプラクティス」を読んだ - 元RX-7乗りの適当な日々
監訳者のmizzyさんからご連絡いただき、出版社の方からご献本いただきました。いつもありがとうございます！ 原著、ずっと読みたいと思っていたところにすごく良いタイミングでの訳書出版で大変ありがたいです。 Infrastructure as Code ―クラウドにおけるサーバ管理の原則とプラクティス 作者: Kief Morris,宮下剛輔,長尾高弘出版社/メーカー: オライリージャパン発売日: 2017/03/18メディア: 単行本（ソフトカバー）この商品を含むブログ (2件) を見る ここ数年、Infrastructure as Code や DevOps といったコンテキストで様々ツールが登場し、注目され、多くの現場で活用されているとは思いますが、まだまだ成熟しきっていない分野でかつ比較的トレンドやツールが移り変わりの激しいフェーズで、ツールで語られることも多い中、本書ではツールの使い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2017/12/07/2017-12-06-inflect-raises-3m-seed-round-to-make-buying-internet-infrastructure-easier/
hatebu.me
