テストのスペシャリスト集団！SWETが、DeNAの品質・生産性を支えられる理由
近年、アプリケーションには高機能さが求められるようになり、かつ開発サイクルは徐々に短くなってきています。それに伴い、ソフトウェアの品質を担保するための「テスト自動化」の重要性が高まってきました。 DeNA社内には、テスト自動化を専門とするグループが存在しています。それは、SWET（Software Engineer in Test）。彼らは「DeNAサービス全般の品質向上」と「DeNAエンジニアの開発生産性向上」のミッションのもと、テストの自動化やエンジニアの生産性向上のためのツールの開発・導入などを行うソフトウェア・エンジニアの集団です。 SWETはこれまでどのようにしてDeNAの“縁の下の力持ち”を務めてきたのかを、グループマネージャーの沖田邦夫とメンバーの平田敏之に聞きました。DeNAの開発体制をフルスイングさせる、SWETの取り組みに迫ります！ テストを形式知化・効率化する ――S
AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する | Amazon Web Services
Amazon Web Services ブログ AWS Glue と Amazon S3 を使用してデータレイクの基礎を構築する データレイクは、大量の様々なデータを扱うという課題に対処するため、データを分析および保存するための方法としてますます一般的になっています。データレイクを使うと、組織は全ての構造化データおよび非構造化データを１つの中央リポジトリに格納できます。データはそのまま保存できるため、あらかじめ定義されたスキーマに変換する必要はありません。 多くの組織は AWS をデータレイクとして使う価値を理解しています。例えば Amazon S3 は高い耐久性があり、コンピューティングとストレージの分離をしながら、オープンデータフォーマットをサポートする費用対効果の高いオブジェクトの開始ができ、全てのAWS 分析サービスと連携します。Amazon S3 はデータレイクの基礎を提供します
科学技術イノベーションと社会実装イノベーション
林先生の「AIブームは本物か？－米国の場合、日本の場合－」というレポートが、はてなブックマークで上がってきていました。 そのレポートの最後には、「イノベーション」という言葉の誤解について触れている文があります。 ・日本は、いまだに、イノベーションとは、「素晴らしい技術を世界で最初に見つけること」だと誤解している。 ・イノベーションのほんとうの意味は、「技術を用いて世界を変えていくこと」。その技術が、電気自動車のような古い技術であるかどうかは、関係がない。 http://www.shayashi.jp/20161115tokyoVer20161116.pdf より。強調部は引用者によるもの。シュンペーターによる5つの類型に立ち戻れば、技術的なもの以外もイノベーションとして挙げられています。 こうした誤解の原因は「イノベーションが技術革新と訳されてしまったのが原因」という指摘が幾度もなされてお
退屈なブラウザ作業はSeleniumにやらせようーーはじめてでもできるブラウザ操作自動化 | メルカリエンジニアリング
こんにちは、メルカリのQA-SETチームで自動化をぶりぶりしている tadashi0713 です。 これまではモバイルアプリ・WebアプリのE2Eテストを中心に自動化をしていましたが、最近ではプロダクト部門・カスタマーサポート部門・コーポレート部門の業務自動化にも挑戦しています。 今回はSelenium WebDriver (以下 Selenium) を使って簡単にできるブラウザ作業自動化についてご紹介します。 10/25にGitHub JapanでLT発表した資料もありますので、合わせてご覧ください。 english-lt.connpass.com 意外と多い、ブラウザを使った繰り返し作業 社内の色々な職種・チームの方々とコミュニケーションをしていると、ブラウザを使った繰り返し作業が多く感じました。 例えば 社内で使用しているWebサービスのアカウントを社員に付与する Chartio(h
cachectld〜無駄なページキャッシュの削除を自動化〜 | メルカリエンジニアリング
原稿の執筆が一段落して心に余裕が出てきた@cubicdaiyaです。 今回はサーバを運用しているとありがちなページキャッシュに関する問題とメルカリのアプローチについて解説します。 Fluentdによるログ転送 話は変わりますが、メルカリの各サーバ上ではプログラムが吐いたログデータをKibanaやNorikraといった各種コンポーネントに転送するためにFluentdが稼働しています。各ログデータは原則単一のファイルに追記されてFluentdのtailプラグインによって各所に転送されていきます。 ログデータのサイズはまちまちで、1日で数GB程度のログデータもあれば数十GB以上のログデータもあります。 ページキャッシュと巨大なログファイル 各サーバに吐かれるログデータのサイズはサーバに搭載されているメモリのサイズと比べると1日分だけでもかなりの量になります。そして、このように絶えず書き込まれる巨
Shared Code Management With Incomplete Microservices - Speaker Deck
Transcript ҰาΛࢧ͑Δ %FW� �4UVEZ�/JHIU��� $POOFIJUP �JOD��4IP�*UP 4IBSFE�$PEF�.BOBHFNFOU� 8JUI�*ODPNQMFUF�.JDSPTFSWJDFT � $POOFIJUP�*OD�� 1SPpMF ҏ౻�ᠳ !JUPTIP � (PMBOHͱٿͱΞΠυϧ͕͖Ͱ͢ $POOFIJUP �JOD��&OHJOFFS ʢ4VQFSTIJQגࣜձ͔ࣾΒग़தʣ $POOFIJUP�*OD�� w དྷि։࠵͞ΕΔ೫ࡔ��ॳͷ౦ژυʔϜެԋʹ͍ͭͯ ��࠙ձͰ͍ͨ͠ w lෆશzͳϚΠΫϩαʔϏεͰͷڞ༗ίʔυͷѻ͍ʹ͍ͭͯ ��݁Λઌʹݴ͓ͬͯ͘ͱɺۜͷؙ͋Γ·ͤΜɻ "HFOEB � ࠓ͢͜ͱ %FW� �4UVEZ�/JHIU��� ෆશͳϚΠΫϩαʔϏεͱʁ � $POOF
APCキャッシュを安全に扱うSafeApcを作った - nazolabo
https://github.com/nazo/safeapc なにこれ？ APC(APCu)のユーザーキャッシュ（アプリから指定するキャッシュ。ソースコードのキャッシュではない）を「そこそこ安全に」扱うための簡単なラッパーです。 どう使うの？ packagistに登録してあるので普通にcomposerから入れてください。 基本的には普通にapc_fetchとかするのがSafeApc::get等に変わっただけです。 あと、リクエストの最初に、以下を入れる必要があります。 // キャッシュで使用するリクエスト開始時間を指定 SafeApc::setCacheStartTime($_SERVER['REQUEST_TIME']); // キャッシュのバージョン番号を指定（この例では外部ファイルから） SafeApc::setCacheVersionKey(file_get_contents('
さくらのクラウドとGCPでサイト間VPNをコマンド一発構築 - Qiita
Terraform + Terraform for さくらのクラウドでGCP <=> さくらのクラウドでサイト間VPNを一発構築する例です。 今回のネットワーク構成 以下のような構成をterraformで構築します。 さくらのクラウド側 さくらのクラウド側でVPCを構築するにはVPCルータアプライアンスを利用します。 参考: さくらのクラウド VPCルータとは VPCルータアプライアンスは非常に以下のような機能を持つ多機能な仮想アプライアンスです。 NAT機能 IPマスカレード(Forward NAT) ポートフォワーディング(Reverse NAT) -VPN機能 L2TP/IPsec PPTP サイト間VPN機能 その他 DHCPサーバ機能(スタティックマッピング設定可) 7個のVPCネットワーク(プライベート)側インターフェース トラフィックモニタ機能(Inbound/Outboun
ログ収集基盤に求められる要素技術を理解する - まーぽんって誰がつけたの？
○○○じゃダメなのか 単なるアプリケーションサーバー 秒間数百とか大量のデータを受け付ける場合に向いてない。 SQSじゃダメなのか キューイングが目的だけど、SQSは大量のデータを受け付けることは目的としてない。 SQSは命令をつっこむ、別のworkerがそれを取得して処理をキックするみたいな使い方に向いている。 参考: Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ | GiXo Ltd. ストリームデータ処理 こういう、大量にリクエストがきて、低レイテンシで処理をしなきゃいけない場合は、ストリームデータ処理というジャンルの話になってくる。 Googleが考えるストリームデータ処理とは？ IoT時代におけるストリームデータ処理と急成長の Apache Flink 分散ストリーム処理エンジンあれこれ ただし、単にストリ
再考 GAE/Goのプロジェクト構成 - Qiita
以前、GAE/Goでglideを使用する場合のプロジェクト構成についての記事を書いた。 GAE/Go+glide的な構成での環境構築 ~ローカルサーバー立ち上げまで~ - Qiita あれからしばらくGAE/Goで開発を続けていて、こんな構成もよさそうだなーと思うものが出てきたので、改めてまとめてみる。 前回はパッケージ管理にglideを使用したが、今時depだろjkという気分なので、今後はdepを使って行くことになると思う。 ディレクトリ構成 前回の記事ではこんな感じの構成だった。 $GOPATH(PROJECT_ROOT) ├── app │ ├── app.yaml │ └── main.go └── src ├── glide.yaml ├── glide.lock ├── PACKAGE └── vendor 違いとしては、プロジェクトルートにGOPATHを設定するのをやめ、基本
『スターティングGo言語』を読んだ
1 年前に買って積んでいたのは勿体なかったですが、最近ようやく golang と向き合うようになったので、致し方なしか。 対応バージョンは 1.6 で最新の 1.9 より古いですが、golang は後方互 換性は保たれているので、あまり問題ないかと。 型や構文、よく使われるパッケージの説明など、網羅的に書いてあります。 ネット上の情報をつまむくらいなら、この本で学んだほうが良いと思いま すよ…。> 過去の自分 一番良かったところ# 私は元々組み込みエンジニアで、clang に馴染みがあります。そういう意 味では、golang は馴染みやすくはあるのですが、ポインタまわりがどう もしっくり来ませんでした。 この本を読んで、その辺りを理解できて大変良かったです。 ・(*p)[i] の省略が p[i] であるなど、ポインタ記法を省略できる ・参照型（スライス、マップ、チャネル）はポインタを取り扱
Amazon S3 静的ウェブホスティングの継続的デリバリ | DevelopersIO
こんにちは、藤本です。 先日、Amazon S3 の静的 Webホスティングにコンテンツをデプロイする方法が気になったので考えてみました。ちなみに静的ウェブホスティングだけじゃなく、S3 バケットと Git リポジトリの連携全般に利用できます。 概要 AWS 上で Webシステムを構成する際に、CloudFront のパスルーティングで、静的コンテンツは S3、動的コンテンツは EC2（前段に ELB）にアクセスすることで、低コスト、高可用性な構成を組むことができます。（静的コンテンツのみであればEC2レス） デプロイツールが発展してきて、CIツール、CIサービスを利用することでデプロイの自動化を簡単に実装することができるようになりました。AWS でも CodeDeploy を利用することで、EC2 へのデプロイが自動化できます。最近では Blue/Green デプロイ機能が追加され、既存
Netflix: From Clouds to Roots
Surge 2014: From Clouds to Roots: root cause performance analysis at Netflix. Brendan Gregg. At Netflix, high scale and fast deployment rule. The possibilities for failure are endless, and the environment excels at handling this, regularly tested and exercised by the simian army. But, when this environment automatically works around systemic issues that aren’t root-caused, they can grow over time.
コラム - クラウド時代のサーバー運用入門 | 第1回 クラウド時代の障害対応術 (1) コンピューターの部品をイメージしよう｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第1回 クラウド時代の障害対応術 (1) コンピューターの部品をイメージしよう (濱田康貴) 2017年10月 はじめに みなさま初めまして。株式会社パイプラインの濱田と申します。このたび、「クラウド時代のサーバー運用入門」というタイトルでコラムを担当させていただくことになりました。サーバー運用担当者の「こんなときどうすればいいんだろう？」の疑問に少しでもお役に立てれば幸いです。 こんな方にお役立ていただきたい 私が想定している読者はこのような方々です。 はじめてサーバーエンジニアになった サーバーエンジニアになってクラウドは使いこなせているが、オンプレミスな環境はほとんど経験がない 障害対応に強くなりたい もはやクラウドは当たり前、サーバーレ
tig/hubでレビューしやすい環境を作る - yasuhisa's blog
コードレビューをするとき、コメントや判断をするには様々な情報が必要です。例えば 変更箇所とそれに対応するcommit message 該当行のblame、その変更が行なわれたpull request 今見ている変数の型、関数の定義元 などです。レビューのコメントを書く場所はGithub/GHEである場合が多いと思いますが、上述した内容と行ったりきたりするのは大変です。これらの起点をtigに置くとスムーズに行ったので、その方法をメモしておきます。 tigはもはや説明するまでもないですが、gitの見やすいcliインターフェイスです。commit logを見たり、diffを分かりやすく表示できます。 jonas/tig: Text-mode interface for git レビュー対象になっているPull Requestで行なわれた変更のみをtigで見たいときは、以下のように範囲を絞ります(
開発者向けに無料かつ期間無制限でクラウドが使える「IBM Cloudライト・アカウント」発表。Cloud Foundry、Watson API、NoSQLなどが無料で利用可能
日本IBMは開発者向けに無料かつ期間無制限でIBM Cloudが使える「IBM Cloudライト・アカウント」を発表。11月1日から開始する。Cloud FoundryやWatson API、NoSQLなどが利用可能。 日本IBMは、開発者向けにIBMクラウドを無料で利用できる「IBM Cloudライト・アカウント」を11月1日から開始すると発表しました。 ライト・アカウントでは、IBM Cloudが提供している完全無償プランの「ライト・プラン」のサービスのみ使用可能。このライト・プランは制限の上限に近づくとアラートがメールで通知され、料金は発生しないというもの。 クレジットカードなどの登録は不要で、期限はないためいつまでも無料で利用可能。 Cloud FoundryやWatson APIなどが利用可能 ライト・プランでは、256MBのCloud Foundryメモリと1つのインスタンスが
雰囲気でシェルを使っている人のためのシェル入門 | κeenのHappy Hacκing Blog
κeenです。雰囲気でシェルを使ってる人が多いとのことだったので少しばかり込み入った知識を。 あと一応POSIX準拠かどうかも気にしながらやっていきます。 基礎知識編 シェルの種類 まず、POSIXにシェルが定義されています。 これに最低限の機能で準拠しているものをPOSIXシェルと呼ぶことにします。いわゆる/bin/shです。具体的な実装はbsh、ash、dashあたりでしょうか。 最低限の機能以上に色々拡張されているシェルを拡張POSIXシェルと呼ぶことにします。具体的な実装はbash、zsh、kshなどでしょうか。 ここでは触れませんがPOSIX準拠でないシェルも存在してcshやtcshなどのシェルがあります。あと確か最近話題のfishも違ったような。 さて、1つ問題になるのは普段使いのコマンドラインはおおむね拡張POSIXシェルでしょうが、サーバで使うシェルやデプロイスクリプトで呼
[AWS]CLBからALBへ移行してコストを安くする[ELB] | DevelopersIO
コンニチは、千葉です。 ELBは2017年10月現在3種類あります。 Classic Load Balancer(CLB) Application Load Balancer(ALB) Network Load Balancer(NLB) ALBとNLBが出たため、CLBは旧世代のロードバランサーと位置付けられています。昔から利用している方の中で、現在もCLBを利用している方がいるかと思いますが、ALBへの移行モチベーションを整理したのでこれを機に検討してみてください。 もしかしたらALBへ移行することでコストが安くなるかも？ 因みにこのネタは、ある方からいただきました。ご査収ください！ ※ALBはHTTP/HTTPSを喋りますのでご注意ください。(TCPが必要な場合はNLBへ移行を検討ですね) ALBへ移行するモチベーション CLBからALBへ移行するモチベーションは以下となります。 ロ
![[AWS]CLBからALBへ移行してコストを安くする[ELB] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b87e732c82c8791fc86eac4689996b0481f8d3db/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F02%2Felb.png)
AWSのマネージドサービスとVPCを設計するときの要件まとめ | DevelopersIO
2018/02/05 表の記載に誤りがあったたため、訂正(RDSとRedshiftのPublic/Private併用は可能でした) ども、大瀧です。 AWSでシステムを設計するときに欠かせないポイントとして、ユーザー専用のネットワークを提供するVPCの適用があります。VPCは柔軟なネットワークが構成できる一方でAWSのマネージドサービスごとにサポート状況や制約がまちまちで、設計フェーズで要件を確認するのは結構大変だったりします。そこで今回は、AWSマネージドサービスとVPCを設計するときの要件をまとめてみました。 クライアント→AWSマネージドサービスのVPC対応 マネージドサービスで作成したサーバーリソースに対してクライアントからアクセスするときのVPCの対応について、表でまとめてみました。 サービス名 インターネットからのアクセス(Public) VPC内からのアクセス(Private
ゼロからはじめるPython(16) ゼロからはじめるPython 第16回 PythonからGoogleドライブを操作しよう(その1)
Pythonには多様なライブラリが用意されているので、様々な分野で活用することができる。今回は、Pythonからオンラインストレージの「Googleドライブ」を操作してみよう。PythonからGoogleドライブにアクセスできれば、任意のタイミングでクラウドにデータをアップしたり、定期的にファイルを更新したり、とアイデア次第で活用できるだろう。 Googleドライブとは？ Googleドライブは、Googleが提供しているオンラインストレージのサービスだ。15GBを無料で利用可能で、各種ファイルをクラウド上に保存できる。加えて、オフィス文書などはWebブラウザ上でも閲覧することが可能なので、利用している方も多いだろう。 OAuth認証について 普通に使っても便利なGoogleドライブだが「Google Drive API」と言って、プログラミング言語から、Googleドライブを操作するため
【セキュリティ ニュース】ISOG-J、効果的なセキュリティ情報共有のポイントを整理した資料公開（1ページ目 / 全1ページ）：Security NEXT
日本セキュリティオペレーション事業者協議会（ISOG-J）は、セキュリティ対応時の情報共有に関して、ポイントなどを整理した資料を公開した。 今回あらたに公開した資料は、「セキュリティ対応組織（SOC,CSIRT）強化に向けたサイバーセキュリティ情報共有の『5W1H』」。 セキュリティ対策において、「情報共有」の重要性が指摘される一方、発展途上にあり、成熟したやりとりが行われていないケースもあるとして、十分な情報の発信や共有された情報を有効に活かせるよう、情報共有の目的やタイミング、共有する関係者や情報の内容、手段など、ポイントを整理した。 同資料は、同協議会のウェブサイトよりダウンロードすることが可能。同協議会では、引き続き議論を深め、同資料を更新していきたいとしている。 （Security NEXT - 2017/10/30 ） ツイート
Property-Based Testing for Godly Tests
The document discusses property-based testing and its advantages over example-based testing. It describes how property-based testing uses generators to generate random inputs from the set of all possible inputs for a function. This allows tests to cover a wide range of cases rather than just specific examples. It also discusses how property-based testing frameworks like Testcheck use techniques li
「みんなジョブズに騙されている！」 iPhoneの日本語入力システムを開発した男が語る、理想のスマホとは - 価格.comマガジン
2017年11月3日、いよいよ新型iPhoneのフラッグシップモデル「iPhone X」が発売される。5.8型の大型有機ELディスプレイの採用やホームボタンの廃止など、従来モデルから大幅な変更が加えられているが、はたして、この進化はユーザーにとって歓迎すべきものなのだろうか。 成熟したスマートフォンの未来には何があるのか――そのヒントを探る本連載。インタビュー第4回に登場するのは、「Palm」の日本語入力システム「POBox」の生みの親、増井俊之氏。彼は、iPhoneの日本語入力システムを開発するのに必要な人材として、あのスティーブ・ジョブズから引き抜かれたという伝説の男としても知られている。 iPhoneが大きなターニングポイントを迎える今、増井氏が思い描く理想のモバイル端末とは、何なのか。率直な意見を聞いてみた（※聞き手＝PDA博物館初代館長 マイカ・井上真花）。 増井俊之氏。工学者、
伝説のRPG『moon』20年目の同窓会──ラブデリックメンバーが語る、ディレクター3人という奇跡のような開発スタイル…そして「あのころ」の始まりと終わり【座談会】
この『moon』を作ったスタジオ、ラブデリックはわずか3作品を残して解散している。 『moon』、そしてアパート内のチキュー人たちを観察し、その様子からそこに隠れた見えない宇宙人たちを発見するという、発展的続編とも言えるアドベンチャーゲーム『UFO ～A day in the life～』、さらにミュージシャン坂本龍一氏との共同制作を掲げ、音楽、画面構成、そして思想までをアーティスティックな方向に振り切った『L.O.L.～Lack of Love～』の3本だ。 これらの作品は、発売から数年後に再販されたきり、アーカイブなどに入ることもなかったため、ただただ人々の記憶の中でイメージが増幅され、「そういう尋常じゃない名作があった」とだけ語り継がれた。そうしていつしかラブデリックは、伝説のスタジオとして語られるようになった。 YMOのアルバム『テクノデリック』にヒントを得たという名を冠した、この
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ママリを支えるAmazonECS~Docker駆動でのサービス開発事例~
Eric Evans氏: ドメイン駆動設計は、以前より以上に妥当性を獲得している
本当は恐ろしい分散システムの話