データ基盤の3分類と進化的データモデリング - 下町柚子黄昏記 by @yuzutas0
この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と書いてあるので、約半年前の内容となります。 もくじ もくじ はじめに 「データ基盤の3分類」と「（一般的な）技術要素」 1.データレイク（Data Lake） 2.データウェアハウス（Data Warehouse） 3.データマート（Data Mart） 私が考えるデータ基盤の定義 私が考える「あるべき構成」 技術要素を分けるのはアンチパターン 進化的データモデリングを容易にしよう チームとアーキテクチャを選ぶ まとめ 参考 余談 追記 はじめに データ基盤と世間一般で言われるシステムには分類
バグハンターのためのクライアントサイドJavaScriptの静的解析 - No1zy Web Security Blog
はじめに JavaScriptは、最新のWebブラウザで最も普及した技術の1つになっています。AngularJS、ReactJS、Vue.jsなどのクライアントサイドJavaScriptフレームワークを使用して構築されたアプリケーションは、多くの機能とロジックをフロントエンドに提供します。そしてロジック、機能の増加によってクライアントサイドのAttack Safaceも増加します。これらのAttack Safaceを理解し、脆弱性を発見する方法を身に着けることが必要です。 このブログ記事では、効率よくWebアプリケーションの脆弱性を発見するために、クライアントサイドJavaScriptの静的解析に注目して説明します。 今回は脆弱性を探す対象はOWASP Juice Shopです。Juice ShopはJavaScript製の意図的に脆弱に作られたアプリケーションです。 何を探すか? セキュ
マイクロソフト、AzureやOffice 365にログインできなくなる多要素認証の障害を二度も発生。アップデートしたコードにバグが潜り込んでサーバがフリーズ
マイクロソフト、AzureやOffice 365にログインできなくなる多要素認証の障害を二度も発生。アップデートしたコードにバグが潜り込んでサーバがフリーズ ユーザーIDとパスワードだけでログインが可能なシステムは、もはやセキュアなシステムとはいえません。セキュリティトークンやショートメッセージの利用や、生体認証などの要素を加えた多要素認証を用いることが、特に企業向けサービスなどセキュリティを重視するシステムへのログインでは欠かせない仕組みになっています。 ところが、マイクロソフトのクラウドサービスであるMicrosoft AzureやOffice 365、Microsoft Dynamicsなどへログインするための多要素認証のシステムが、この2週間で2回もダウンするという障害を引き起こしています。障害が発生しているあいだは多要素認証を用いたログインができない深刻な状態でした。 一度目の障
Slackのログ（JSON形式）をCSVに変換させた - Qiita
Slackのログ（JSON形式）をCSVに変換した やりたいこと Slackの活動数やユーザー間のつながりを分析したい 発言数、リアクション数、リアクション・被リアクション関係、メンション関係など データはJSONの階層形式なので、分析しやすいようにCSVに変換する DLできるデータ 詳しくは Slack からエクスポートしたデータの読み方 参照 Slackのログはパブリックチャンネルであれば全期間出せる 設定と権限＞データのインポート／エクスポート でいける ログ channnel.json：チャンネル一覧 users.json：ユーザー一覧 チャンネル名フォルダ下にログが存在する日付ごとのファイルがある 2018-01-01.json 2018-01-02.json やりたいことをもとに見たいデータの形を考える 今回は汎用的に分析できるように、RDBライクなデータにする チャンネル一覧
PixelaでSlackにおける自分の発言数を記録する - テノニッキ (@hideack 's diary)
githubでお馴染みのコミット数に応じて頻度が色付けされるグラフを任意の数字で作れる Pixela というサービスをリリースされた時点から知って、何か試してみたいなと思っていたので、Slackの自分の発言したメッセージ数を記録してみた。 こんな感じになる まずは、前提としてPixelaのGetting Startedを完了させてユーザー登録とグラフの作成が完了しているとします。*1実際にPixelaに記録する方法として以前自分が作ったSlack全チャンネル眺めるくん ( slack-cli-stream - npm )に特定のユーザーの発言のみを表示対象にするオプションとメッセージ検知をトリガーにhookして任意のコマンドを実行できる様に実装してみています。インストール自体はnpmに登録しているので $ npm install slack-cli-stream で完了するはず。壊れていた
[SRE Advent Calendar] 監視システムの特徴から考える監視設計のポイント - かつひささんの日記
SRE Advent Calaendar 1日目の記事です。 qiita.com SRE Advent Calaendar 1 がすぐ埋まってしまったので、SRE Advent Calaendar 2 もあります。 qiita.com 本記事では、SREのみなさんに向けて、監視システムの特徴から考える監視設計のポイントをお伝えします。 SREと監視 SREのみなさんにとっては当たり前すぎると思いますが、SREと監視は切っても切り離せない関係にあります。 SREのお仕事は、サービスの信頼性を維持・向上させることであり、そのためには信頼性を計測しなければなりません。 モニタリング？監視？ さて、SREの文脈では、度々、「モニタリング」というキーワードが登場します。 モニタリングと監視は、どのような関係性にあるのでしょうか。 私の解釈は、以下です。 - 監視: 状態を見張ること - モニタリング
![[SRE Advent Calendar] 監視システムの特徴から考える監視設計のポイント - かつひささんの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/f0b22dae98d231da0190dba5a669c9950cf53e15/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F6653586347150881272%2F10257846132678638916%2F1543667435)
Istio入門 その4 -基礎から振り返る- - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2017年のZ Lab Advent CalendarでもIstio入門シリーズについて書きました。あれからはや1年。Istioのバージョンもv0.2からv1.0.4まで11バージョンもリリースされています。またIstioで使われているEnvoyは、Kubernetesなどと同じご卒業フェーズ1になりました。 もちろんコンセプトは変わっていませんが、v0.8あたりからv1にむけてコンポーネント名や設定方法などは大幅に変更されています。これらの変更点に注意しつつ、Istioを基本から振り返って見ましょう。2 マイクロサービスとその問題点
エンジニア企業の人事評価の今～Matzさんと考えるエンジニアのための評価制度～｜TECH PLAY Magazine［テックプレイマガジン］
人事×エンジニアによるコミュニティ『Re:OD Hack』。第二回目のミートアップが2018年9月14日に開催されました。今回は、IT企業4社より、それぞれ人事・エンジニアが集まりました。プログラミング言語Rubyの生みの親、Matzこと まつもとゆきひろさんを交え、人事評価の今について熱いディスカッションが繰り広げられました。 Re:OD Hackとは Re:OD Hack（リ：オーディーハック）とは、エンジニア組織における組織開発の知見交流コミュニティです。 Re:OD Hackというコミュニティ名には、Organization Development:組織開発(OD)を再定義して（Re）より良いものにしていく(Hack)という意味が込められています。 第1回目の様子：日本のエンジニア組織を活性化する！Re:OD Hack開催レポート 参加企業は、株式会社リクルートマーケティングパート
Oculus Goを使ったVR勤怠打刻で気持ちを高める - freee Developers Blog
freee Developers Advent Calendar 2018の3日目、会計 freee のUI設計とかプロダクトマネジメントとかを担当している @toofu__ です。業務と関係ない話を書きます。 気持ちを高める打刻 みなさん、打刻していますか？私は正直「面倒だな〜〜～」とか思いながら、いち従業員の責務として毎日打刻しています。 みんな同じような気持ちなのでしょう、怠惰な人類はいかに手間をかけずに勤怠打刻するかに知恵を絞り、スマホアプリを使ったり、音声入力で打刻したりします。しかし個人的には「よし、頑張るぞ！」と、やる気が出る打刻方法があってもいいのでは？と考えています。 ブラウザから退勤打刻をした様子 無機質 たとえば、打刻したらお気に入りのキャラクターが目の前で声をかけてくれるというのはどうでしょうか。気持ちが高ぶるのではないでしょうか。ちょうど手元にVR機器のOculu
すぐに使える便利なWEBツール | Tech-Unlimited
ドメインのWHOIS情報が検索できます。「http://」が含まれていてもOK。調べたいURLをそのまま検索して下さい。
IssueHunt | The biggest Bug Bounty and VDP platform in Japan
What is the bug bounty program?But bounty program allow individual bug hunters to report bugs to a company and receive rewards. These bugs are usually security exploits and vulnerabilities. 1. ResearchReview the program scope to ensure that you are looking for vulnerabilities that companies are interested in and start research. 2. ReportWrite a clear and understandable report when you found vulner
Web開発環境をMacBook ProからWindows機に移行してみた話｜TechRacho by BPS株式会社
メイン著者記事としてはご無沙汰しておりますmorimorihogeです。 今年もTechRachoではアドベントカレンダー特集ということで、普段あまり記事を書く機会がなくて表に出ないメンバーにも記事を書いてもらえる運びとなりました。クリスマスまではアドベントカレンダー特集進行のTechRachoをお楽しみ下さい。 今回は最近メイン開発環境をMacからWindowsに移行したので、そのあたりの感想や設定の勘所などをまとめてみたいと思います。 なぜMacから移行するのか？ 僕はOS XのIntel Macが出たころからのMacユーザー（当時はまだRosettaとかがありました）で、かれこれ10年以上Macを使い続けてきました。多分Webシステム開発用途でMacを使い始めたという人の中では古参の方なのではないでしょうか。 というわけで、なんで移行するの？という話からぽえみーに綴ってみようと思いま
プロジェクト計画について思うこと - 大西ブログ
この記事は、はてなエンジニア Advent Calendar 2018 の3日目の記事です。 昨日の記事は, id:t_kyt の｢time_zone設定の違うMySQLのレプリケーションについて - 角待ちは対空｣でした。 最近のわたし オープンなプロジェクト計画 PMBOK PMBOK における 5個のプロセス群 PMBOK における 10の知識エリア プロジェクトマネジメント計画書 1. プロジェクト統合マネジメント 3. プロジェクト・スコープ・マネジメント 8. プロジェクト・リスク・マネジメント 10. プロジェクト・ステークホルダー・マネジメント その他の知識エリア プロジェクト憲章とインセプションデッキ プロジェクト計画の共有とアップデート まとめ 最近のわたし アドベントカレンダーでしかブログを書いてない有様の id:onishi です、こんにちは。最近はこんなことをして
【前編】サイバーエージェント 曽山氏と語る組織論。「エンプロイーエンゲージメントを高めれば、組織は変わる」｜モチベーションクラウド
日本を代表するCHRO（最高人事責任者）のひとりが、サイバーエージェント取締役の曽山哲人氏だ。自社用に開発した従業員のコンディション把握ツール「GEPPO」が多くの会社に導入されるなど、同社の仕掛ける人事施策は注目を集める。 国内初の組織改善システム「モチベーションクラウド」を立ち上げた、リンクアンドモチベーション取締役の麻野耕司と語るのは「なぜ、サイバーエージェントの施策は組織を変えられるのか」。全2回シリーズの前編。 【イベント実施日】 2018年7月25日 【プロフィール】 株式会社サイバーエージェント 取締役 人事統括 曽山 哲人氏 株式会社リンクアンドモチベーション 取締役 / 株式会社ヴォーカーズ 取締役副社長 麻野 耕司 従業員エンゲージメントを可視化・改善するモチベーションクラウドはこちら ▼ エンゲージメントを可視化し、組織改善を行うサービス【モチベーションクラウド】はこ
GitHub Enterpriseとの付き合い方 - Qiita
https://help.github.com/enterprise/2.15/admin/guides/installation/installing-github-enterprise-on-vmware/#hardware-considerations しかしながら、表はかなり利用頻度が低い状況を想定しているようです。たぶん普通は、これだけのスペックでは足りません。 そもそもこの値は古代のGHE 2.1の頃から更新されていない様子がある上、特に最近はGHE 2.14からリソース消費が激しくなったように思います。 GitHub Enterprise 2.12 → 2.14 にしてパフォーマンスデグレしてると思うのでサポートに連絡しつつしぶしぶオーバーサイズなスケールアップをして、お話の結果「うん、スケールアップしてCPUに余裕出てるね^^」と言われて「は?」ってなっている。 — そらは
https://blog.animereview.jp/zero-trust-architecture/
シンジです。社内インフラを構築するとき、何を指標として設計しているか、何のために作るのか、誰が嬉しいのかを考えずに淡々と予算を投入している企業の多いこと多いこと。これから会社を作るならまだしも、既存企業は長年の蓄積があるわけです。物理機器や、買収合併の弊害、シャドーITに働き方改革推進の圧力。これらに個別的に対処することこそが無駄かつ自己満足なので、自社のインフラはどうなるべきだったのかを考えたい物です。 ITは企業にとってコアである 企業や組織運営において、ITを使うことで便利になったり、効率が良くなったりする程度の時代はとっくに終わっています。企業や組織からIT全てをとっぱらってしまうと、企業や組織が消え去る可能性が非常に高い、というか確実に死ぬであろう状態にまでITに依存しています。つまり現代においてはITはコアなのです。 情報システム部門はその重要性を理解していない 企業においての
Announcing the Second Edition of "Refactoring"
For the past two years, I've been working on a second edition of my book “Refactoring”. Here I have details about the new edition and some memos describing my thoughts in the last months of this project. The book is now available and you can buy it from informit (the web presence of the publisher), Amazon, or your favorite book seller. Purchasing the book gives you access to the canonical web edit
A Programmer's Introduction to Mathematics
A Programmer's Introduction to Mathematics
JavaScript Standard Style
JavaScript Standard Style Sponsored by English • Español (Latinoamérica) • Français • Bahasa Indonesia • Italiano (Italian) • 日本語 (Japanese) • 한국어 (Korean) • Português (Brasil) • 简体中文 (Simplified Chinese) • 繁體中文 (Taiwanese Mandarin) JavaScript style guide, linter, and formatter This module saves you (and others!) time in three ways: No configuration. The easiest way to enforce code quality in your
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
E Inkが書き込みテクノロジーを発表――JustWriteは安価で消費電力最小 | TechCrunch Japan
GitHub - emotion-js/emotion: 👩🎤 CSS-in-JS library designed for high performance style composition
GitHub - ggerganov/kbd-audio: Tools for capturing and analysing keyboard input paired with microphone capture