Test Tool Advent Calendar 2015の3日目です。Javaで使用できるMockライブラリの現状をお伝えします。ググッて観測できた範囲なので、全部は網羅できていないです。なお、自分はここ3年ほどはJavaを使った開発から遠ざかっているので、最近のはやりはお伝えできないです、ごめんなさい。 Mockライブラリ一覧 名称 最終更新日 URL mockito 1.10.19:2015-06-15 2.0.31-beta:2015-07-21 http://mockito.org EasyMock 3.4:2015-09-05 http://easymock.org jMockit 1.202015-10-25: http://jmockit.org jMock 2.6.1:不明 1.2.0:不明 http://www.jmock.org Unitils 3.3:2011-1

この記事はCyberAgent エンジニア Advent Calendar 2015の14日目の記事です。 昨日は13卒の鈴木さんのブログでした、明日は同期のchoheyさんです。 はじめに こんにちは、サイバーエージェントアドテクスタジオ15新卒のフィ（@dxhuy)と申します。 アドテク新卒の中で「YYY初心者の新卒がXXXでYYYを勉強してみた」というタイトルが流行っていますので、パクらせていただきました。 ネットワーク初心者の新卒がDockerでネットワークの勉強をしてみた Scala初心者の新卒が頑張ってLispを作ってみた 現在RightSegmentという子会社でData Management Platform (DMP)を作っています。データの会社なのでHadoopのバッチの開発とか、フロントサーバでJavaの開発などをしています。 GCメモリについて 会社に入る前にはスク

RxJava Advent Calendar 2015 14日目の記事です。 本記事は6日目・基礎編の続きです。 前回読んだ記事に現れたCold/Hotの話題から始め、SubjectとBackpressureを見ていきます。 Cold/Hot 【翻訳】あなたが求めていたリアクティブプログラミング入門の最後には、こんなことが書いてあります。 Rxでのプログラミングのコツを理解したければ、Cold vs Hot Observablesのコンセプトの理解が絶対に欠かせない。 Cold/Hotを説明する英語の文章がリンクされているので、少し長いですが冒頭を読んでみます。 Cold observables start running upon subscription, i.e., the observable sequence only starts pushing values to the o

本記事はTIS Engineer Advent Calendar 2015、16日目の記事です。 AkkaのAkka Remoting、Akka Persistant、AtLeasetOnceDelivelyあたりについて書きます。 はじめに 早いもので2015年もあと少しで過ぎ去ろうとしていますが、Web界隈ではリアクティブで盛り上がった年でした。そして、来る2016年早々に開催されるScala Matsuriもリアクティブネタ目白押しです。 そこで、リアクティブシステムはエンタープライズのようなガッチリしたシステムでも使えるのかをメッセージの信頼性や到達保証という観点で考えてみることにします。 リアクティブシステムはReactive Manifestoが論じている「Responsive（即応性）」, 「Resilient（耐障害性）」, 「Elastic（弾力性）」, 「Messsag

Apache Spark を使い始めた人，あるいは少し突っ込んで使ってみたい人にとって，どうやって情報を集めるのが良いかというのがひとつ問題になると思います．そこで簡単に Apache Spark の情報源を紹介したいと思います． 利用サイド Spark Documentation http://spark.apache.org/docs/latest/index.html はじめて使う方は Quick Start が役立ちます 機械学習ライブラリを試してみたい人にとっては MLlib がヒントになります Spark API Documentation http://spark.apache.org/docs/latest/api.html Scala, Python, Java, SparkR の各言語の API について調べたくなったらこちら SPARKHUB：Spark のコミュニテ

はじめに この記事は、Python その2 Advent Calendar 2015の16日目の記事です。 注意 今回は、 新しいモジュール 改良されたモジュール 非推奨のモジュール 最適化 IDLE ビルドとC API 内部のオブジェクトについてなどなど については触れないこととし、Pythonの文法やプリミティブ型などの本質に近い部分のみの紹介にしようと思います。（幾つか触れている部分があるのでその場合は飛ばしてください・・） 最後のほう、時間がなくて雑になってますがお許しを・・・。 Python3.0 -> Python3.1 順序付き辞書 collections.OrderedDictクラスが導入されました。 挿入された順序を覚えている辞書、という感じです。 from collections import OrderedDict >>> {2:"a", 1:"b", 3:"c"}.

from bs4 import BeautifulSoup import urllib.request # webからhtmlを取得する場合 url = '××××××××××××' req = urllib.request.Request(url) response = urllib.request.urlopen(req) html = response.read() soup = BeautifulSoup(html, "lxml") # ローカルのhtmlを直接開くとき soup = BeautifulSoup(open("index.html"), "lxml") - classを指定 soup.find(class_='class_name') # classの後にアンダーバーがないとエラーがでる。 - idを指定 soup.find(id="id_name") # idはその

この記事は CAMPHOR- Advent Calendar 2015 の16日目の記事です． こんにちは．@asadamanです． 最近，OpenCV-Pythonで遊んでいるので，それについて書いてみようと思います． OpenCV-Pythonのチュートリアルをやっているだけでも十分楽しいのですが，それを使ってこんなのができたらいいなっていうのがあるとワクワクしてきますよね！ ということで，「囲碁の勝敗判定をさせてみる」という目標を立ててみました． 囲碁は陣地取りのゲームで，勝敗はどちらの方が多く陣地を取れたかで決まります．陣地とは，自分の石（黒石か白石）で囲まれた碁盤の交点の数です． （分かりやすい説明は囲碁の基本：囲碁の勝負の付け方を参考にしていただればと思います．） さて，処理の流れとしてはざっくり分けて， 画像から碁盤の領域を切り出す （→ ダメ詰め，死石などの処理） → 交点

ちゃお... Python Advent Calendar 2015 18日目の記事です... Pythonといったらデータサイエンスに強いし、データサイエンスといったら形態素解析が必要になることがあるし、形態素解析といったらMeCabだし――ということで、今回はPythonでのMeCabの処理を少しでも速くする豆知識を共有したいと思います！ parseToNodeを捨てよ parseを使おう MeCabの解析結果を得るにはparseとparseToNodeの2つのメソッドがあります。 わたしはもっぱらparseToNode使ってたのですが、なんか遅いなーって思って、本当に遅いのか確かめるために処理時間測ってみました。現実的な設定でやった方が実用的だと思ったので、今回は夢野久作のドグラマグラから名詞を抽出することにします。 コード import MeCab tagger = MeCab.T

なぜ今アサーション? 現時点でJUnit5ではHamcrestのMatcherは提供せず、使用者が自由に選択する方針で進んでいます。 そうなった場合、標準でサポートされるassertTrueやassertEquelsなどだけでは、ちょっと頼りなく車輪の再発明になりそうなので、候補になりそうなHamcrestとAssertJのよく使いそうなメソッド比較表を作りました。 Google Truthも気になるところなので、時間があれば追加しようと思います。 尚、FESTは現時点で更新がストップしているようなので候補から除外しています。

TL;DR Mockito.mock(Class, Answer)でデフォルトの返り値を設定しよう。 Fluent Interface についてざっくり復習 最近は Fluent なインタフェースを取り入れたものが多くなってきています。 例えば、以下のようなインタフェースは Fluent なインタフェースと呼ばれます。

こちらの記事 AWS - bashだけで簡単ec2 ssh接続（踏み台対応） - Qiitaに触発されて、前から自分がほしかったものを書いてみた。 今の職場ではプロジェクトごとにAWSのアカウントが分かれており、さらに海外向けもあるので複数のリージョンを使っていたりで、管理するのがめんどくさい。都度プロファイルとリージョンを指定してコマンドを叩くのも面倒なので、credentialファイルにある全アクセスキーの全リージョンにあるEC2インスタンスの情報をとにかくもってきたい。 その後はpecoに任せて、SSH接続するなり、「m3.medium」とかで絞り込んでこのインスタンスタイプのEC2はこれだけあるのかとか見ながらニヤニヤするとかしたい。 ただEC2対応リージョンが現時点で8つあり、さらに複数のアカウントとなるとAPIを何度も投げる必要があり、シーケンシャルに実行するととても待ってられ

ペロリでエンジニアをしているDeNAの平山と申します。Goの経験は約1年で、主に広告配信サーバーの開発に活用していました。 このエントリでは、これまで実際にGoのテストをどう書いてきたかや、モックの活用について書きます。1 Goのテスティングフレームワーク Goには標準のテスティングフレームワークとしてtestingパッケージが付属しています。標準のtestingパッケージは最低限の機能のみが提供されています。 参考：Go の Test に対する考え方 実際にテストにおける問題 上記の通り、シンプルさを追求するというポリシーはあるものの、実際の開発においては、やはり標準のtestingパッケージの機能だけでは使い勝手がよくない、というのが現実です。 Assertionがない テスティングヘルパーがほとんどない テストスイートの仕組みがない Setup/TearDownの機構がない また、ユ

第1回NTT-WEST学生向けアプリ開発コンテスト（WebRTC）の勉強会資料です。 ※コンテスト情報はFacebookページよりご覧ください！ https://www.facebook.com/nttw.w.con 各資料のURL WebRTCの技術解説 第二版 公開版 完全版 http://www.slideshare.net/nttwestcon/20140805-technical-description-of-webrtc-second-edition-public-edition-full-version WebRTCの技術解説 第二版 公開版 本編 http://www.slideshare.net/nttwestcon/20140805-technical-description-of-webrtc-second-edition-public-edition-main-pr

This document discusses a case study on fraud detection using Hadoop. It begins with an overview of fraud detection requirements, including the need for real-time and near real-time processing of large volumes and varieties of data. It then covers considerations for the system architecture, including using HDFS and HBase for storage, Kafka for ingestion, and Spark and Storm for stream and batch pr

Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと Machine Learning Casual Talks #4で登壇した際のスライドです。 今までデータに関わってきた立場、サービス開発してきた立場として、データに関わる人たちが平和になるスキームを現在模索しています。 DMM.comラボでのビッグデータの取組みをご紹介すると共に、この辺を意識して取組むべきでは？と言う投げかけを行ないました。 ご参考になればと願いつつ。 ------- 【ビッグデータチームを発足するにあたって気をつけておきたいn個のこと】 1.ビッグデータチームの結成の仕方により、戦略・推進の方法が異なることを意識しないといけない 2.送信されるログ、転送してきたデータは完全ではないことを意識しておくこと 3.集計したい対象は常に拡大する

ぼく（たち）のかんがえた最新のJS開発環境 光野達朗, ヤフー株式会社 2015.12.15 SCRIPTY#04 http://scripty.connpass.com/event/22663/Read less

This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery

Gotanda.pm #7 vs Yokohama.pm #13

今年もPostgreSQL Advent Calendar 2015に参加しています。 前からちょくちょく『PG-StromってXeon Phiだとどーなんですか？』的な質問を受ける事があんですが、データ構造から見て難しいので『勘弁！』という理由を紹介してみたいと思います。 PostgreSQLのレコードは、内部的には HeapTupleHeader 構造体を先頭とする可変長データとして表現されています。 struct HeapTupleHeaderData { union { HeapTupleFields t_heap; /* MVCC関連情報 */ DatumTupleFields t_datum; /* xmin, xmaxとか... */ } t_choice; /* current TID of this or newer tuple */ ItemPointerData t_

Google Guava とは Guava とは Google が開発している Java の Common ライブラリ。 先日、最新バージョン v19.0もリリースされました。 非常に便利なライブラリなので、使っている人たちも多いはず。面倒なロジックを組まないといけない場合は、とりあえず使える機能がないか調べるようにしています。 Java8 が出てきて、FluentIterable など競合する機能や出番の少なくなった機能も多いですが、使える機能はたくさんありますので、紹介してみようと思います。使うときに不便だった点も付け加えておきます。 Table キーを2種類持てる Map のようなもの。 複数のキーで(といっても2種類)オブジェクト集合を検索するための一時的な索引として使うと便利。 2種類があれば3種類も、と思うが、3種類以上のキーを持てるものは、残念ながら無い。 List<Empl

elastic須田さんの明るい挨拶から始まりました、基調講演。 堅苦しくない、会場のスーツ率も低めな、エンジニアのイベントという雰囲気あります！ Elasticsearchが生まれたきっかけは？ 最初はElasticのファウンダーでありCTOであるShay Banonから、 elasticsearchの生まれた経緯の紹介がありました。 奥様が使う検索システムとして、Java + luceneを使ったのがきっかけなんだとか。 やばい、初耳だけどいい話やん！ 事例紹介。NASAでも使ってるよ！ そして大きな事例紹介。 Wikipediaが検索エンジンとしてElasticsearchを利用した。 またmozillaはFirefoxのクラッシュレポートをelasticsearchで集めて、 セキュリティ問題への対策などを行った。 NASAは火星のRoverで取ったデータをElasticsearch

この投稿は「Windows & Microsoft技術 基礎 Advent Calendar 2015」の16日目の記事です。 本稿では、Windows（広く一般のOSでも、基礎的な知識としては適合する）の、「メモリ使用量」の取り扱いについてまとめたものです。特に、コードからメモリを使用するとはどういうことなのかがちょっとでも明らかになれば良いかなと思っています。 普通の人、普通のプログラム、普通のプロセス .NET環境であったり、C++で各ネイティブなコードであったり、通常プログラムを書くと「ユーザープロセス空間」で動くコードがビルドされます。C#でコードを書けば、newしたりすることで、「どこかにあるメモリ」を適量確保し、それを使用可能にしてくれます。 このメモリ使用量はどのように決まってくるのか？ 例えば以下のコード： var data = new byte[10 * 1000 *

工夫したこと リソースの分離をファイル単位で行い、使い回しができるように配慮した Backlogチーム以外でも利用できるようになるべくAWSリソース単位でファイルを分割しておき組み合わせるだけでリソースが構成できるように配慮しました。 ファイル構成例を記載していますがterraform applyを実行したときに全ファイル読み込んですべてのリソースを作成してくれます。 depends_on設定をしておくと各リソースの依存関係を制御できすべてのリソースをいっきに作成することが可能です。 . ├── config.tf ├── terraform.tfstate ├── terraform.tfstate.backup ├── user_data │   └── api.tpl ├── variables.tf ├── vpc-db-instance.tf ├── vpc-db-subnet-

はじめに re:Inventでアナウンスされていたaws-shellプロジェクトがavailableになりました。 ハンズオンしてみたところ、かなりいい感じだったのでまとめました。 参考 https://aws.amazon.com/jp/about-aws/whats-new/2015/12/aws-shell-accelerates-productivity-for-aws-cli-users/ aws-shellとは？ githubのリポジトリには、The interactive productivity booster for the AWS CLIとあります。 aws-cliの為の、生産性を向上させるようなインタラクティブなツールという位置づけです。 また、リポジトリを見る限りDeveloper Preview のステータスなので、その点は注意が必要です。 さっそく リポジトリは

初めまして、マーケティング部マネージャーとして広告事業を担当しているdrillです。 アドネットワークやSSP等の配信広告運用や広告売上の管理を主な業務としてやっています。 私からは「広告運用でRTB優先配信を行う際に気をつけたい3つのこと」をテーマにしてお届けします。 【1】 適切なフロア設定について 【2】 フィラーへの影響について 【3】 定期的な見直しについて と、その前にまず前提のRTB優先配信の説明から。 前提：「RTBの優先配信」とは？ RTB（Real-Time Bidding）とはユーザーのアクセスが発生するごとに各々の配信広告システム側で広告掲載の競争入札を行い、最も高い入札の案件を配信する方式のことです。高価値なユーザーのアクセスを高単価で買付けする仕組みのことですね。 このRTB配信に優先的に広告リクエストを飛ばし、あらかじめ設定しておいた最低価格（floor pr

このポストを書こうと思ったのは、先日参加したIVS CTO Night & Day 2015 Winter powered by AWS で「アンカンファレンス」がきっかけ。IVS CTO Nightに参加しているので自分も当然CTO(テモナ株式会社)なのだが、衝撃だった。 ※他の登壇やインタビュー記事はWantedlyから見てください。 アンカンファレンスでは以下の画像のようなコンテンツに分かれてワークショップに参加した。 その中で自分は「経営者としてCTOがすべきこと」というお題目にも参加したのだが、CTOという職業ほど、CxOといわれるオフィサーの中でも幅が広い役職は無いということを痛烈に感じた。 一般的に高給ポジションであるにも関わらず、求めている人物像とミスマッチングが起こるポジションだなと思ったのである。少しでもミスマッチな採用により、不幸せな人が増えぬようCTO採用を検討して

最近、SREが話題ですね。 tech.mercari.com www.wantedly.com ということでSREについて調べてたら、SREconなんてものが開催されていたので中を見てたら、「Building a Billion User Load Balancer」というタイトルでFacebookのDNS〜LBまでの話があったので、そのメモです。 Building a Billion User Load Balancer | USENIX tl;dr tinydns + IPVS で Facebook規模はいける httpsの接続確立はかなり重い(RTTの4倍 = RTT 150msとするとGETまで600ms)ので、太平洋越えとかは厳しい httpsを終端させるCDNとかは活用の可能性ありそう (国内だけを考慮するなら影響は軽微かも) メモ L4 LB shiv (IPVS + pyt

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめまして。Impulse開発チームの木村です。 今回は、Amazon DynamoDBを、 Apache Cassandraと同じように扱おうとした際に、ハマった点とその解決策を紹介します。 なお、DynamoDBの操作には、AWS SDK for JavaScript (Node.js)を使用しています。 テーブル定義編 テーブルをまとめる機能がない 複合primary keyに使える属性は、最大で2つ 日付・時刻型がない NS/SS/BS型は、配列ではない AttributeDefinitionsにkey属性以外を入れてはならない データ取得編 Range属性のみのkey条件指定はできない SQL(ライクな)文が使えない Expressionに、数値や文字列を直接書けない Range属性に対して2つの条件を指定できない Expressionには、含めてはならない予約語がある 一度に

機械学習アルゴリズム実装　線形回帰編 こんにちわ。 ブレインズテクノロジー最年少樋口です。 、、、と言っても、もうすぐ27なのですが...orz 今回から何回かに分け、「機械学習アルゴリズム実装シリーズ」と題して機械学習アルゴリズムをPythonで実装をしていきます。もちろん、scikit-learnなどの機械学習ライブラリを使うのではなく重要な部分は全て自分で実装するという試みです。なるべく難しい数式などの説明は最小限にして、機械学習アルゴリズムを少しずつ解説・実装していきたいと思いますので、「これから機械学習いじってみたいけど、何したらいいか分からない。。。」って人の助けになれたら嬉しいです！(と言いつつ自分の備忘録代わりにしているのは秘密ですw) 因みにここで書いている事はCourseraという有名なオンライン学習サイトのMachine Learning by Stanford Un

背景 僕が本格的にWebのエンジニアになったのは2014年頃からで、早いものでもう丸2年ほど経ってしまうことになります。 Webに転向してからは主にフロントエンドエンジニアとして勤務してきました。 よく言われることですが、最近のフロントエンドの趨勢は本当に早いです。 最初はキャッチアップに苦労したことを覚えています。 しかし段々と新しい何かを覚えることは苦でなくなり、今はこの流れに身を置くことが楽しいと思えるようになってきました。 激動の趨勢の中で、Webのフロントエンドエンジニアが口にするパラダイムは日ごとに変化しています。 この記事は元々社内向けに書いたものです。 色々なバックグラウンドを持つエンジニアと一緒にフロントの設計を考える場面で、共通言語を持つきっかけになればいいなー、という思いから書いたものですが、いい機会なので外向けに修正して公開してみます。 Webのフロントエンドを新し

MySQLやSSDとかの話です 前編はこちら http://www.slideshare.net/takanorisejima/mysqlssd 後日談はこちら http://www.slideshare.net/takanorisejima/mysqlssd-70162609Read less

Embulk Meetup Tokyo #2 の LT で発表しました。 意味のある情報を取り出せないログが大量にある場合に、Embulkを活用したログ監視システムを導入し、サービスの現状把握および改善活動に繋げた事例の紹介です。

連載一覧Blog Series Tabulator tips naka2020.07.29 更新 Vimのすゝめ改 v2021.07.21 更新 Vimとセキュリティ問題 v2019.02.01 更新 プログラマーの理想と現実 tom2015.07.08 更新 フレッツ光ネクスト用IPv6 PPPoEアダプターを作ってみる ko2012.12.05 更新 Gfarm takuya2013.10.17 更新 FreeBSD kernel SOCKET I/F 探検 asou2018.10.03 更新 机上デバッグ asou2013.03.06 更新 toza2013.09.04 更新 自炊本をスマートフォンで読むための convertガナス naka2015.07.23 更新 Vim 8.0 のすゝめ v2016.12.22 更新 スクリプトの勉強 tanino2015.12.16 更新 V

Ansible2.9 ネットワーク対応のアップデート 「Ansiblejpネットワーク部 2019.11」での発表資料です。 https://ansible-users.connpass.com/event/151107/ ・訂正 P11 右下吹き出し 誤: Ethernet3 正: Managament1

Embulk Meetup Tokyo #2 LT 自社プロダクトのログを分析するためにEmbulkを活用したログ管理システムを開発しているので、その事例と開発したプラグインの紹介をしたいと思います。Read less

OpenCV-Python & Scikit-image　-「必見『OpenCV-Python Tutorials』２」への追記PythonOpenCV画像認識scikit-imageOpenCV-Python 「OpenCV-Python Tutorials」についてもう少し訳してみましたので、OpenCV-Pythonバインディングとともに役立つライブラリである scikit-imageについても、あわせてリンクをつけてみました。 どちらも、Pythonでnumpyのデータ構造を使うライブラリなので、両者を組み合わせて使うことが可能です。 Scikit-imageが提供するもの Scikit-imageの場合には、OpenCV-Pythonで提供されていない手法を中心に、OpenCV-Pythonと連携を組みやすい形で、提供されています。 Scikit-imageは、OpenCVに含ま

English

初めてこのブログに投稿します、PlNOKlOです！ 皆さんよろしくお願いします。 このエントリーは、Elasticsearch Advent Calendar 2015の15日目です。 さて、 今日紹介したいのは、elasticの新プロダクト「Beats」シリーズです。 社内で @cero_t さんが「みんなでBeatsのWebinarを見る夕食会」なるイベントを 突発的に企画したので、よく分からないながらも参加してきたのですが、、、 震えました モニタリングツールとしてかなりよくできている感じで、 @cero_t さんが騒ぐ理由も分かる気がしました。 特にPacketbeatは想像以上にヤバかったですね。 皆さん、こいつは注目です！ ということで、そんなBeatsシリーズのうち、 TopbeatとPacketbeatの2つについて、私の震えポイントを紹介します！ 1. Beatsとは？

Research indicates that carbon dioxide removal plans will not be enough to meet Paris treaty goals