LinuxのI/OやCPUの負荷とロードアベレージの関係を詳しく見てみる - Qiita
大人気TBSドラマ、「逃げるは恥だが役に立つ」でも話題になったインフラエンジニアという言葉ですが、今ではインターネットインフラを知らないまま開発をするのも難しい状況になっています。クラウドが一般化されたからといって単にリソースの調達が簡単になっただけで、つまりハードウェアの知識が無くても何とかやっていけるようになっただけであり、インフラの知識が要らなくなったなどということは全くなく、むしろdevopsの掛け声とともに、ソフトウェア開発者にインフラを見なければならない新たな責務が課せられたという、なかなか痺れる状況なのだろうと思います。 そういった中で、先日のさくらインターネットのAdvent Calendar最終日に「いまさら聞けないLinuxとメモリの基礎＆vmstatの詳しい使い方」という記事を書かせて頂きましたが、今回はLinuxサーバの「負荷」と、ロードアベレージに関して、掘り下げ
我々はいかにして技術選択を間違えたのか？ 2016 - Cybozu Inside Out | サイボウズエンジニアのブログ
どうも！アプリケーション基盤チームの横田(@yokotaso)です！ kintoneなどで利用していたJavaフレームワークのSeasarのEOLに伴い、S2Daoからの脱却を試みたのですが、パフォーマンス問題や障害を発生させてしまうなど問題を多々発生させてしまいました。 同じ過ちを繰り返さないという強い決意のもと、今回の失敗をブログで公開いたします。 失敗をあえて公開する点で斬新かつ濃いブログ記事となっております！ 失敗体験の公開は恥だが役に立つ！ 移行先の選定の失敗 移行先として選定したプロダクトは Hibernate*1です。 Hibernateを選んだ理由としては Spring Framework を選定した Spring Frameworkで Interface + アノテーションでプログラミングするならSpring Data JPA が有力 JPAに準拠したのORMの中でも、H
【ハンズオン資料】twitterのデーター�を取得し、Apache Sparkによる感情分析 - Qiita
■ Bluemix x Apache Spark ハンズオン資料 ・Bluemix新規登録（30日間、無料枠あり） Bluemix新規アカウント取得はこちら ※ この30日間、Bluemixと連携されている100以上のAPIやIBMのサービスがほとんど無料で使えます。 ■ Open Cloud Innovation Festa 2016を開催します。 2016年9月16日（金）- 2016年9月17日（土）、二日間電気通信大学にて技術カンファレンス「Open Cloud Innovation Festa 2016」を開催いたします。 ★ 今「旬」のテクノロジーや革新的なサービス一挙ご紹介 ★ オープンイノベーションを支える国内外の最新事例を始め、最先端の技術を活用しサービスを展開している企業やコミュニティの皆さまより、全32セッション（クラウド・ロボティックス・IoT・DevOps・ビック
データベースとしてのElasticsearch - Qiita
はじめに Elasticsearchはスケーラビリティに優れた全文検索エンジンですが、Relational Database(以下RDB)が持つ汎用性や機能の豊富さも追求しているように思います。この記事ではRDBの基本機能がどこまでElasticsearchで実現できるかをまとめました。データベースの知識だけで、全文検索を知らなかった私がElasticsearchを勉強し始めた頃に意外に感じた事を中心に両者の違いを比較しています。APIについては言語ごとの違いは言及せず、REST APIについてのみ述べています。特にバージョンの記述がない場合はElasticsearch 5.1を前提にしています。RDBは近年ポピュラーなOracle, SQLServer, DB2, Sybase, PostgreSQL, MySQLなどが準拠しているSQL92標準を前提としています。 基本的な違い RDB
let it crashが生んだ誤解 - Qiita
ここ2年程のelixir人気に伴い, BEAM (つまりerlangとelixir) を使う人が増えました. しかし, let it crashという思想は誤解を残したまま世に広まったように感じています. 郷に入っては郷に従え. let it crashの思想をしっかり理解して実装していきたいものです. 前置き 大層なことを書きましたが, あくまでも個人的な見解であり, ポエムです. Erlang/OTPチームの見解とは異なる可能性がある点に気をつけてください. また, ご意見があればコメント欄に頂ければ幸いです. なお, Elixirのタグも付けていますが, 記事中のコードは全てErlangです. Elixirを書いている人にも知って欲しい, 「届けこの想い！」ということでタグは付けています. これらの点をご承知起きの上で読んで頂ければ幸いです.m(_ _)m let it crashの
Elixir Documentation - Elixir
Elixirリファレンス elixirのリファレンスを翻訳している途中経過です。ソースは elixir、 eex、 ex_unit、 iex、 logger、 コンパイルにはexgettext および、GNU gettextも必要です。 v1.3.0-dev Elixir - 標準ライブラリ EEx - テンプレートライブラリ ExUnit - unit testライブラリ IEx - 対話型シェル Logger - 内蔵ロガー v1.2.0-rc.1 Elixir - 標準ライブラリ ExUnit - unit testライブラリ IEx - 対話型シェル v1.1.0 Elixir - 標準ライブラリ ExUnit - unit testライブラリ IEx - 対話型シェル v1.0.1 Elixir - 標準ライブラリ ExUnit - unit testライブラリ IEx - 対話
IntelliJ IDEAでErlangを読み書きすると捗る話 - mookjp.io
IntelliJ IDEAでErlangを読み書きすると捗る話 Dec 5, 2016 ( Dec 21, 2016 更新 ) この記事はErlang Advent Calendar 2016の5日目の記事です。 みなさんErlangはどんな環境で書いていますか？ 私はIntelliJ IDEAで書いています！ というか、最近はErlangだろうがNode.jsだろうが（あとメインサポート言語という位置づけのJava）何でもIntelliJ IDEAで書いてしまっている状態です。IntelliJ IDEA最高！！ Erlangerの開発環境はターミナルと好みのエディタかな？という勝手な印象があります。 その場合は各々自分でエディタのカスタマイズをしているかと思います。 IntelliJにはErlang pluginというものがあり、これを導入するだけで何のカスタマイズもなしに コード補完
ドメイン駆動設計と関数プログラミングをElixirで - Qiita
はじめに この記事は Elixir Advent Calendar 2016 - Qiita の 15 日目の記事です。 また、以下の記事の Elixir 版となっておりますので、こちらもご覧ください。 ドメイン駆動設計と関数プログラミングをScalaで - Qiita (一部上の記事と内容が重複する部分もありますが、この記事のみでも伝えたいことが伝えられるようにと思い、コピペして記載しています) この記事では、ドメイン駆動設計がどのように関数プログラミングと結びつくのか、非常にざっくりではありますが、Elixir で表現してみたいと思います (ちなみに、私の Elixir 歴は3ヶ月ほどですので、サンプルコードに間違いや改善点がありましたら、コメントいただけるとありがたいです)。 @type, @spec 等のディレクティブは省略していますが、Dialyzer を使った方がより堅牢なプロ
ElixirでSlackBotを簡単に作れるライブラリを作ったよ - Qiita
SlackのBotを簡単に構築できるライブラリを作りました。 私が調べた限り、ElixirにはSlackのBotを作るライブラリとして、 Elixir-Slack、slackerがありますが、求めているものとしてこれでは足りなかったためslackerの上に構築しました。 それがこちらです。 Sloth 使い方と構成、仕組みの解説をしたいと思います。 HowTo defmodule Echo do use Sloth.Plugin plugin ~r/^echo (.*)$/, :echo def echo(send_data, captures \\ []) do Sloth.Slacker.say(send_data["channel"], List.first(captures)) end end 上記sampleは、echo ほげほげのような発言に対して、 ほげほげと返すBotです。
アップル、AIに関する論文を初めて発表--秘密主義を返上？
Appleが人工知能（AI）に関する同社初の学術論文を発表したが、最も重要な点は、同社がAIシステムのトレーニングに使用する手法とは限らない。同社が論文を発表したという事実も重要だ。 米国時間12月22日に今回の論文が発表されるまで、秘密主義を貫いてきたAppleは同社の研究内容、特にAI関連については、すべて社外秘としていた。 AIは、Appleの音声アシスタント「Siri」をはじめとする、現在および将来の多数の用途を支える動力源だ。研究結果を学術機関で共有すれば、Appleだけでなく業界全体における同分野の発展につながる可能性がある。 AppleにとってAIの重要性はますます高まっている。同社は、有意義な人工知能をIT業界に取り入れるべく、Google、Amazon、Microsoftと直接的に競合している。同社の取り組みを公開することは、優秀な研究者の雇用にもつながる可能性がある。
3倍どころか10倍速い！ Jenkins のビルドを高速化して、シャアを超えた男 | 株式会社ヌーラボ(Nulab inc.)
実はガンダムを見たことがないので、時々社内のガンダムトークについていけないことがあります、中村です。今日は、 Jenkins のビルドを高速化し、リリースまでの時間を大幅に短縮した、改善策をご紹介します。全体で2~3倍程度、一部処理では何と10倍以上もビルドを高速化できました。 改善策1 : push 型デプロイから pull 型デプロイへ 改善策2 : テストケースを自動分割して、よりアグレッシブに並列実行 全体のリリース時間に対する改善結果 ビルド時間の可視化 改善策1 : push 型デプロイから pull 型デプロイへ まずはデプロイ時の方式を、push型デプロイからpull型デプロイに変更した改善策を説明します。ここで、push型デプロイは中央サーバからデプロイ用ファイルを転送する方式で、pull 型デプロイは各サーバがファイルを取得する方式とします。 各フェーズの構成は、下図の
構築でつまづかないためのECS+ALB構成ベストプラクティス(2016年版) | 技術畑 | 情報畑でつかまえて
構築でつまづかないためのECS+ALB構成ベストプラクティス(2016年版) 本記事ではECS-optimized AMIを使った構築を前提とし、つまずきやすいポイントにフォーカスしてECS+ALB構成でのベストプラクティスをご紹介します。
『Microsoft Flow』で業務タスク自動化。テンプレ活用で即実践！ | Ledge.ai
チャットや解析系ツール、BIツールの進化にクラウド管理体制の超発達。 あらゆる業務が効率化していった…のは、まぁ良いんです。良いことなんです。が、だからこそ起こってしまう問題って… ありますよね。 Slackメインなもんでメール読まない癖がついて…大事なメール見落とした！BIツールのアラートってなんでメールなの？タスクリストに入れてよ…TrelloとRedmineとTodoistで同じタスクをそれぞれ完了すんのメンドクサ！Salesforceとスプレッドシートってなんで連携デフォじゃないの！日々チェックする海外ニュース記事を自動翻訳してRSSに出してくれないもんか… とまぁ、こんな感じに。 上げればキリがないですが、それぞれの業務フローに最適特化したツールがごちゃごちゃ増えすぎて、作成と確認と管理のフローが重複したりスルーしちゃったり…と。困ったもんですよね。 Microsoftの出したタ
技術的負債の返済 – レガシーコードをリファクタリングで救うには | プログラミング | POSTD
レガシーコードをうまく手なずけて、もう一歩成熟させるにはどうすればいいのでしょう？この投稿では、大規模なレガシーウェブアプリケーションと格闘してきた私が学んだことを紹介します。レガシーコードをうまく手なずけて 、もう一歩成熟させるにはどうすればいいのでしょう？この投稿では、大規模なレガシーウェブアプリケーションと格闘してきた私が学んだことを紹介します。 レガシーコードはリファクタリングで救出可能 耳寄りなお知らせがあります！ リスたちは毎年何千本もの木を植えてくれています 。まあ自分たちが隠したドングリのありかを忘れてしまった結果ですけどね。そしてもうひとつ。 あなたのプロジェクトも救出できる のです。 ボスから任されたプロジェクトが どんなに醜い泥まみれのレガシーコードだったとしても 、そこには 必ず 道があります。道は曲がりくねっていて、木陰にはモンスターが待ち構えていることでしょう。
アプリケーションから例外を投げる派、投げない派 - Shin x Blog
例外をどのような状況に投げるかもしくは投げないか、というのはわりと意見が分かれるところです。もちろん、プログラミング言語によっても異なりますが、同じプログラミング言語ユーザ同士でも様々です。 基本の考え方 ベースとしては、Effective Java の項目 39 にある下記の方針が参考になります。 例外的な状況の時にのみ例外を使う。 Effective Java 禅問答のような定義ですが、これには異論は無いでしょう。例外を正常フローで利用したり、制御構造に用いるべきではありません。 人によって異なるのは「例外的な状況」の解釈です。 例外的な状況 この「例外的な状況」の解釈は人によって異なるようで、これまでも議論になっていました。これまで聞いた解釈を乱暴に分けると以下の 2 パターンに分かれます。 1. アプリケーションから独自の例外を投げる派 ランタイムやミドルウェア連携などプラットフォ
インフラエンジニアのいない会社で働いて 1 年半 - Diary
インフラエンジニアのいない会社で働いて 1 年半 が経った。 iOS で動く POS レジアプリとその管理インターフェイスの Web アプリケーションを作ってます。 iOS 側のことはほとんど分からなくて、データ同期用 API と Web アプリをずっと作っている。 ところで、 「NoOps」の時代がこない理由という記事が前にあったのですが、この点ぼくが働いている会社は NoOps です。アプリケーションは Heroku に乗っていて、 RDBMS が Amazon RDS で一部分析系に Google BigQuery を使っていること以外は全て Heroku 系の何かで動いています。 CI は Travis と circleCI を使っていて、 circleCI については来年初頭にも利用をやめて Travis に一本化する予定、というかんじ。 本当に自分達でなにもサーバーを管理してい
「小さくて良い会社」をどうやって探すか。
年末となり、そろそろ真剣に就職活動について考えている学生の方が増えているようである。 そして、学生たちに話を聴くと、特に見栄えのする学歴を持っている学生ほど「大手に行きたい」という志向が強いと感じる。 たしかに、マイナビの調査によれば、近年では「大手」で、かつ「安定している会社」を志望する学生が増えているという （2017年卒マイナビ大学生就職意識調査：http://www.mynavi.jp/news/2016/04/post_11203.html）。 何が正解かわからない今、少しでも安定を求める気持ちは分からないでもない。 だが、よくよく学生たちに突っ込んで話を聴くと、本当に「大きな会社」に行ってしまってよいのかどうか彼らも迷っていることがよくわかる。 彼らとて「単に大きい会社にいければ良い」とは思っておらず、彼らなりに真剣に考えている。 それでも「大手」という人が多いのは、結局のとこ
大学ノート（ルーズリーフ）をモチーフとした手書きまとめノート風Webサイトを制作したときに使用したCSSテクニック - Qiita
まとめノート風Webサイトを作ろうとしたきっかけ 本当はWeb制作本を執筆してみたかったのですが、資金等の関係もあり、Web上でブログ形式で書いていこうと考えました。そこで困ったのがWebサイトのデザインでした。最近では、ほとんどのブログでフラットデザインが使われていますね。Qiitaもその１つだと思います。フラットデザインとは、色に関していえば基本は白地や薄いグレー色で、その他1,2色をアクセント色としてデザインしているもののことですね。比較的簡単に作れて、かつ見やすいデザインなので重宝されていると思われます。 しかし、それではどこも同じような感じなので訪問者の頭に残りづらいと思うんです。そこで、思い出したのが今でもよく使っている大学ノート(ルーズリーフ)です。中学・高校時代はよく要点をまとめたまとめノートを作ったものです。ルーズリーフを使ったことがない人はいないと思うくらい、馴染み深い
実務の現場においてモデリング（統計学的・機械学習的問わず）を行う上での注意点を挙げてみる - 六本木で働くデータサイエンティストのブログ
気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。 と言うのも、色々な現場で様々なモデリング（統計学的にせよ機械学習的にせよ）が行われていることが伝わってくるようになった一方で、ともすれば「え？こんな基礎的なポイントも守ってないの？」みたいなとんでもないモデリングがまかり通る現場があると愚痴る声を業界内で聞くことが少なくないので。自戒の意も込めて重要なポイントを備忘録としてブログ記事にまとめておくのも有益かなと思った次第です。 この記事では手法選択（線形・一般化線形・ベイズ＋MCMC・識別関数・識別モデル・生成モデル・樹木モデル・Deep Learning etc.）の話題は割愛しました。一般に、モ
資格ゲッターが教える！短期間で資格試験に合格する7つの勉強法 - WORQLIP
初めまして、数々の資格を取得してきた資格ゲッター安藤あつしです。 私は、宅地建物取引士や行政書士、貸金業務取扱主任者、色彩検定など様々な資格を短期間で取得してきました。 「そんな人は、どうせ元から頭がいい人なのでしょ？」と思われるかもしれませんが、私はそんなに頭が良い方ではありませんでした。むしろ、学生時代の成績は下から数える方が早いくらいでした。 では、なぜそんな私がこれらの資格を短期取得できたのかというと、勉強方法を工夫したからです。勉強方法さえ間違えなければ、短期での資格取得はなんら難しいことではありません。 ここでは、そんな私が資格取得の経験で培った“資格試験に合格する7つの勉強法”をお教えいたします。勉強ができるようにならない、勉強をすることができない……そんなお悩みを抱える方は、ここで共に解決しましょう。 1. 勉強部屋には何も置かない 2. 勉強をはじめる時は、軽い作業から
【初心者向け】Jupyter+Pandas+matplotlibを使ったデータ分析入門 - Gunosyデータ分析ブログ
こんにちは、データ分析部でバイトをしている子田（id:woody_kawagoe）です。 ニュースパスのログを集計して分析するといった業務を行っています。Gunosyで分析に利用しているツールとしては主にJupyter, Pandas, matplotlibがあります。 この組み合わせは非常に相性が良く、研究でも役立つと思います。 そこで今回のブログではデータ分析に役立つtipsや学んだことをまとめます。 Jupyter Pandas matplotlab データ分析の基本的な流れ 参考資料 Jupyter jupyter.org ブラウザ上で利用できる開発環境です。 対話型で、作成したスクリプトと出力結果の対応関係が非常に見やすいです。 スクリプトでprint文をかかなくても最終行に変数おけば表示してくれます。 またgithub上にJupyterで作成できるipynbファイルを置くと他の
Pythonエンジニアが紹介する、Pythonの超便利なライブラリ・フレームワーク13個 - paiza times
Photo by hoerner_brett 秋山です。 私は主にPythonを使って開発をしているので、今回はPythonの便利なライブラリやフレームワークを紹介していきたいと思います。 といっても割と定番のものを中心に使っているので、既にPythonをがんがん使っている人にとっては「知ってるわ！」というものも多いかと思います。「最近Python書くようになりました～」という人たちにも「これ良い！」ってものが見つかればと思います。 ちなみに前回はPython2系と3系の違いについて書いてますので、「3系に移行しよっかなー」と考えている人は合わせて見てみてください。 paiza.hatenablog.com ■Pythonの便利なライブラリやフレームワーク ◆Web開発系フレームワーク ◇Django みんな大好き有名なDjango。RubyでいうところのRailsのような……全部のせ的な
ネットワークでなぜ遅延が生じるのか
5. プロセス遅延 (Processing Delay) パケット 出⼒先決定 ヘッダ書き換え フィルタリング QoS 統計情報取得 カプセル化 筐体内転送 • 伝送装置 • メディアコンバータ • スイッチ • ルータ • NAT装置 • 仮想化装置, IPsec, etc • 通信機器の⼊⼒インターフェイスで受信して 出⼒インターフェイスのキューへ送るまでにかかる時間 出⼒ キュー パケット ルータの例 暗号化 6. キューイング遅延 (Queueing Delay) • 通信機器の出⼒インターフェイスキューに⼊ってから 出⼒処理を⾏なうまでにかかる時間 出⼒キュー • 出⼒処理より速いペースでパケットが届くとキュー待ちが増える • 広帯域回線から狭帯域回線への転送、⼀時的な輻輳 (バーストト ラフィック) などへの対応 優先制御 キューイング スケジューリング 7. シリアル化遅延
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Angular 2 を利用した開発の実際
Elixir + Phoenix + ESpecでBDDするまで - Qiita
https://qiita.com/aimof/items/ade1afeb2859c286889a
SimpleとEasyの選択
JavaのテストGroovyでいいのではないかという話