データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
無料の API 自動生成ツールを使って、Excelファイルから REST API を生成してみる：CData API Server - Morning Girl
今月はじめに CData API Server というAPIの自動生成ツールで無料版・freeのライセンスがリリースされました！ 今日はこの CData API Server を使ってExcel ファイルから REST API を生成する方法を解説したいと思います。(ちなみに機能的にはExcel だけでなく、MySQL などのRDBからもAPIの生成が可能です。というかそっちの方がメインです) ちなみに今回作ったAPIは以下の内容で公開しています。 O'Reilly Demo API ID：user Token：7y3E6q4b6V1v9f0D2m9j CData API Server って何？ こんな REST API を生成するよ 実施手順 1. Excel データソースの接続設定を追加する 2. ExcelのシートをAPIリソースとして追加する 3. アクセス用のユーザーを追加する
AWSでセキュリティを高めるために今すぐやるべき7つのこと
まずは鉄板の重要なドキュメントとツールから AWSのネイサン・ケース氏は冒頭の自己紹介で「セキュリティを担当しています。例えば月曜日の朝、GitHubにお客様のAWSクレデンシャルが……というケースに対応することもあります」と述べた。ケース氏はそれ以上の説明は省略したが、重要なことなので補足しておこう。 Amazon Web Services, Inc. AWS Security Strategist ネイサン・ケース氏 GitHubでは多くのソースコードが共有されている。開発者が有用なモジュールをみんなと分かち合うのはとてもいいことだ。しかし、たまにうっかり、ソースコードにAWSのアクセスキーやクレデンシャルなどが混入されたまま公開されていることがある。会社の鍵を公共の場に放置しているようなものだ。 ハッカーは常時GitHubを探索していて、GitHubにあるソースコード内に認証情報があ
AWS + Azure ADによるSingle Sign-Onと複数AWSアカウント切り替えのしくみ作り - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、生産性向上チームの五十嵐(@ganta0087)です。 今回はAWSアカウントの管理についてのお話です。 AWSアカウントをみなさんの組織ではどのように管理されているでしょうか？ シングルアカウントで運用していると、人やチームが増えて規模が大きくなってきたときに権限管理が中央集権的になり、管理者への負担が増大してしまいます。また、新規ユーザーの登録だけでなく、退職時の削除漏れにも注意が必要です。利用者側としても管理するパスワードが増えるのは避けたいです。 そこで、生産性向上チームではマルチアカウント構成によるシングルサインオン(以下SSO)とチームに委譲できる権限管理のしくみを作ることでこれらの問題を解決し、社内でAWSを活用しやすくなるようにしました。 サイボウズには社員のアカウント情報を管理しているActive Directory(Azure AD)があります。今回はそのA
バンクシーが低価格オンラインショップをオープン。「富裕層のアートコレクターは購入しないでください」
バンクシーが低価格オンラインショップをオープン。「富裕層のアートコレクターは購入しないでください」覆面アーティスト・バンクシーが、期間限定のオンラインショップ「Gross Domestic Product™」をオープン。10月28日（イギリス時間）までに購入希望商品1点を選び、情報を登録、質問に回答することで、抽選で作品を購入できる。 2020年夏、日本で展覧会が開催されることも決定した覆面アーティスト・バンクシー。今春には東京で「バンクシー作品らしきネズミの絵」が公開、パリではストリートアートの盗難など、世界各地で話題を集め続けている。 そんなバンクシーが10月17日、期間限定のオンラインショップ「Gross Domestic Product™」を正式オープンした。「国民総生産」を意味するこのウェブサイトは、ロンドンに突如出現した同名のポップアップショップ（10月1日から2週間限定オープ
複数条件の組み合わせによるテストケース数爆発と戦うPairwise(ペアワイズ)法とそれを支えるツール「PICT」 | DevelopersIO
ペアワイズ法を使うことで、効率的にテストケースを絞り込めることがわかったかと思います。 --- 2019/10/31 追記 --- どうしてテストケースを絞り込んでも大丈夫なのか？という意見がSNSやはてブのコメントで見受けられたので、フォローアップエントリを書きました。こちらも合わせてご覧ください。 ペアワイズ法は本当に有効なのか？組み合わせテスト技法と上手に付き合う方法 ｜ DevelopersIO ペアワイズ法を支えるツール「PICT」 ペアワイズ法が有効なことはわかりましたが、この組み合わせをどうやって作れば良いでしょうか？条件の数が少なければ前述のように手作業でもやれないことはありませんが、現実の問題はもっと複雑ですので、到底無理でしょう。 そこで役に立つのが、ペアワイズ法のテストケースを生成してくれるツール「PICT」です。 microsoft/pict: Pairwise I
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
