2020年10月1日、東京証券取引所はアローヘッドの機器故障によりシステム障害が発生し、終日売買を停止すると発表しました。故障した機器は交換が行われ、取引は翌日再開されています。ここでは関連する情報をまとめます。 機器故障起きるも縮退運用に失敗 障害概要図 アローヘッド内の共有ディスク装置1号機で機器故障が発生した。実際故障したのはサーバー上のメモリ周辺機器とされる。 1号機故障により両現用で稼働していた2号機のみのフェールオーバー（縮退運用）が行われるはずだったが何らかの問題により行われなかった。 共有ディスク装置を使用する相場配信、売買監視のシステムで障害が発生。 障害復旧時に発生する注文データ消失による市場混乱を避けるため当日終日の取引停止の措置を実施。（遮断） フェールオーバー失敗原因は設定ミス フェールオーバーに失敗した理由が特定できたとして10月5日に発表。 障害発生時のフェー
2019年12月6日、インターネットオークションで落札したハードディスクから行政文書とみられるデータが復元されたと報じられました。その後の調査でこのハードディスクはリース会社が委託した処理業者の従業員が転売して事実が明らかになりました。第一報を報じた朝日新聞は今回の流出事案を「世界最悪級の流出」と表現しています。ここでは関連する情報をまとめます。 発端は落札者のデータ復元 IT会社の男性が仕事で使うためにネットオークションで中古のHDDを落札。 使用しようとしたところ、エラーメッセージが表示されたため過去の経験からHDDのデータを確認。 復元ソフトを用いてデータサルベージを実施し、神奈川県の公文書情報とみられるデータを発見。 同じ出品者から同じ製造元のHDDが他にも出品されていたことからその後も落札した。 朝日新聞を通じて神奈川県へ情報提供し事案が発覚した。 以下は関連する出来事を整理した
Dockerの概念や仕組みまではなんとなく理解できるもののDockerfileを書こうとするとスムーズに書けなかったり、そもそものDockerの基礎、あるいはコンテナ技術というものの基礎が抜け落ちていてDocker環境に移行できていないところも多いのではと思い、この記事を翻訳しました。 Source：The Docker Handbook by Farhan Hasin Chowdhury（@Twitter） 本記事は、原著者の許諾のもとに翻訳・掲載しております。 コンテナ化の概念自体はかなり古いですが、2013年にDocker Engineが登場したことで、アプリケーションのコンテナ化がはるかに簡単になりました。 Stack Overflow Developer Survey-2020によると、 Dockerは#1 最も望まれるプラットフォーム、#2 最も愛されるプラットフォーム、および
こちらのReddit投稿 (https://www.reddit.com/r/sysadmin/comments/eaphr8/a_dropbox_account_gave_me_stomach_ulcers/) の和訳記事です。本番環境でやらかしかった人シリーズが盛り上がっていたので波に乗って（？）Twitterにヤバすぎる恐ろしい話が流れてきたのをすかさず和訳してみました。やらかしちゃった人というよりはやらかされちゃった人目線ですがいずれにせよそこら辺の怪談話よりよっぽど怖いです。 Dropboxのアカウントのせいで胃潰瘍になった。 皆は誰もが触れたがらない、会社を靴紐やガムやクリップでつなぎとめている「例のアレ」を見つけたことってある？そういうのって往々にして大型連休前の金曜午後4:45に落ちるし、般若のような様相を呈した上司が「このままだと第二のスターリングラード攻防戦が勃発するぞ
![[和訳] Dropboxアカウントのせいで胃潰瘍になった - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f481e3d127f46f813fff2765915bf59c30b13273/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JTkyJThDJUU4JUE4JUIzJTVEJTIwRHJvcGJveCVFMyU4MiVBMiVFMyU4MiVBQiVFMyU4MiVBNiVFMyU4MyVCMyVFMyU4MyU4OCVFMyU4MSVBRSVFMyU4MSU5QiVFMyU4MSU4NCVFMyU4MSVBNyVFOCU4MyU4MyVFNiVCRCVCMCVFNyU5OCU4RCVFMyU4MSVBQiVFMyU4MSVBQSVFMyU4MSVBMyVFMyU4MSU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MDI0ZTllYWIyYzFmMWM1ZTIyNDZiMzE5NWFlYTRiNGI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrdG55dCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ZDg5MWEyZDY4Y2JmZGFiNDgwYzI4YmIyMGRkZWNmNGM%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Db093e5f4e6f9d2395013c7aed16d7f1d)
🍓 Raspberry Pi 4 が買えるようになりました2019年11月、待望の Raspberry Pi 4 技適取得版が発売されました。H.264 ハードウェアエンコーダを搭載した、リッチなシングルボードコンピュータです。2020年5月28日には 8GB メモリ搭載の上位モデルも登場しています。 はたしてこれは何をするためのデバイスなのでしょうか？ そうです、録画ですね。もうテレビの録画をするために高価なパソコンを購入する必要はありません。5000円台から入手できるマシンを利用して、安価に録画サーバーを構築することができるようになったのです。 この記事では Raspbery Pi 4 を利用した Mirakurun + EPGStation での録画サーバー構築方法と、ハードウェアエンコーダを利用した録画ファイルのエンコードについて解説を行います。 筆者の⾃宅で運⽤している録画サー
新しいプログラミング言語やライブラリ、フレームワークを学ぶには、実際にそれらを試して挙動などを見てみることが大事ですが、実行環境を用意するのは手間がかかります。 そこで役立つのが、いわゆる「プレイグラウンド」と呼ばれる、Webブラウザでプログラミング言語やライブラリ、フレームワークをすぐに試すことができるサービスです。 主要なプログラミング言語の公式サイトには、実際にその言語をすぐに試せるプレイグラウンドが用意されていることも多く、また公式サイト以外にもネット上にはさまざまなプレイグラウンドがあります。 プレイグラウンドを使えば、気軽にいろんなプログラミング言語やライブラリ、フレームワークを試せます。 この記事ではそうしたプレイグラウンドをまとめてみました。ここで紹介したプレイグラウンドの他にも、あなたのお気に入りのプレイグラウンドがあればX/Twitterやブックマークのコメント、メール
新人ITインフラエンジニアに役立つ学習リソース まとめ
まえがき IT業界で10年弱努めて見て、現在は教育部門にいることもあり”新人教育に向いている教材は有りませんか？”という質問を頂くことがあります。 昨今ITに関する様々な知識は情報が溢れていて、少し検索エンジンで調べれば大量のリソースにすぐアクセスができます。 一方で、本当に価値があるものも大量の情報の中に埋もれてしまいがちです。 本記事が目指すポイントとしては、”これからIT業界でインフラエンジニアとして頑張るぞ”という方向けが、短時間で良質なリソースにアクセス出来るようにすることです。(私自身のおすすめ色が強いです) なお、ここで想定する”インフラ”というのは次の要素を想定しています。 サーバ オペレーティング システム ストレージ ネットワーク 仮想化 パブリッククラウド ですから、次のようなカテゴリについては全く触れていない、あるいは触れていてもかなり部分的だと言う点をご理解下さい
1か月ほど前まで初代第1世代Core iのPCをほぼノーマルで使っていたが、Windowsの肥大化（*1（本増田の最後に参考webページを記載。以下同様））のせいかweb閲覧やExcel操作程度の作業でも引っかかりを覚えるようになったり、Windows11ブームに煽られてセキュリティ関連の記事を読み古いCPUには脆弱性が付き物だと知った（*2・3・4）り、あれこれあったためPCを新しくすることにした。 その際に色々な知見を得て情報の更新ができたため、日記帳兼リンク集として増田に残しておくことにした。極少数の人にしか役に立たないであろう文章だが、体験談の類として暇つぶしに読んでもらえれば幸い。ただ、過去のPC事情を懐古したりするのが目的なら、数年前にホッテントリ入りした別の記事（*5・6）を読む方が有意義かもしれない。 改装作業にどう臨んだかまず、パーツの買い方を3種類に大別して検討した。
個人開発のコストはDB次第 - laiso
個人でWebサービスを継続的に運用するのは金がかかってかなわんという問題がある 「個人開発」だと定義が曖昧なので自己資金かつ赤字のプロジェクト(Webサービス)ということにする。 そういうプロジェクトではプロダクトオーナー=自分、開発者=自分、予算管理者=自分というロールになるので予算管理者としてコストを図る必要がある(ここでいうコストはWebサービスを実現するアプリケーションのランニングコストのこと)。 通常はみんな自分の人件費を0として計算していると思う(逆にいうとそれが負債という考え方もできると思う)。 ただしメンテナンス時間とコストのトレードオフもあるので、人件費0ではあるけど有限の時間は別軸として管理しているのが普通だと思う。極端な例だと「コスト削減できるけどメンテナンス時間10倍になる」というのは避けられる。 仮に個人開発のプロジェクトの予算を月数千円から高くても1万円ぐらいか
iPhoneで始める3Dスキャン生活｜iwama
皆さん！3Dスキャンしてますかーーーーー！? どうもiPhone3Dスキャン大好きおじさんです。今回はiPhoneで始める3Dスキャンというお話をしていこうと思います。 iPad Pro(2020)にLiDARセンサーが搭載されたことで3Dスキャンが誰でも出来る時代が到来しました。 ただいきなりiPhoneやiPadで3Dスキャンができるよ！と言われてもピンとこない方が大半だと思うので、今回のnoteでは簡単な3Dスキャン技術の紹介からスキャンアプリ、スキャン方法などを説明していこうと思います。 3Dスキャンのざっくりとした区分まず3Dスキャンとは何なのかという話ですが、3Dスキャンとは現実にある物体を様々な手法でスキャンし、それをコンピュータ上で再現することだと個人的に思っています(もしかしたら違うかも) 3Dスキャンの方法としては、写真から3Dモデルを作成するフォトグラメトリとレーザー
このエントリは、2018年、2019年に公開したAWS全サービスまとめの2020年版です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。 こんにちは。サービスグループの武田です。 このエントリは、2018年、2019年に公開した AWS全サービスまとめの2020年版 です。これまではいくつかに分割して公開していましたが、1エントリにまとめてほしいという要望をもらっていたため、今年は1エントリに集約してみました。どちらがいいのか正直わからないので、フィードバックなどあれば参考にさせていただきます。 2020-01-08 リクエストがあったためAmazon Mechanical Turkを追加。 2018年まとめ 【2018年】AWS全サービスまとめ その1（コンピューティング、ストレージ、データベー
2021年3月17日、日本国内のLINE利用者の個人情報に対し、国外から技術者らがアクセスできる状態にあったにもかかわらず、規約上で十分な説明が行われていなかったと報じられました。ここでは関連する情報をまとめます。 何が問題と報じられたのか LINEの（主に日本国内利用者における）個人情報保護管理の不備が報じられた。報道で問題として指摘されたのは国内LINE利用者の個人情報移転先である国名の明記。移転先やアクセスを行う国名は原則として明記を行った上、利用者から同意を得るよう個人情報保護委員会が求めていた。 LINEは利用者へ国外で一部利用者情報を取り扱っていたことについて十分な説明ができていないと判断。利用規約において、「利用者の居住国と同等のデータ保護法制を持たない第三国に個人情報を移転することがある」と説明するも国名までは明記していなかった。 今回は管理不備とされる問題が報道で指摘され
Disclaimer 当記事はNewSQL開発ベンダの技術ブログや各種論文、その他ニュースサイト等の内容を個人的にまとめたものです。 そのため、理解不足等に起因する誤解・誤認を含む可能性があります。更なる理解が必要な方はリファレンスに挙げた各種文献を直接参照下さい。技術的な指摘は可能であれば取り込み修正しますが、迅速な対応はお約束できません。 NewSQLの解説は二部構成 当記事は前編でNewSQLの概要編となる。 全体の目次は下記である。 NewSQLとは何か NewSQLのアーキテクチャ NewSQLとこれまでのデータベースの比較 NewSQLのコンポーネント詳解 1章から3章までの内容を当記事で解説する。 4章はさらに詳細な技術的解説となり、後編の「NewSQLのコンポーネント詳解」で記述している。 こちらも合わせて一読いただきたい。 1. NewSQLとは何か NewSQLとは、海
未経験から1ヶ月でWeb系企業に就職する勉強法
取り上げた技術は、本格的な開発でも役に立つもので、最も学習コストが低いものを選んだ。 重要度が低いものは載せていない。たとえばHTMLとCSSなんてググりながら書けば全く問題ない。Bootstrapなどのフレームワークも全くやる必要はなく、仮に就職先で使っていたら覚えればいい。 逆に言えば以下に挙げる技術は、そもそも概念自体がプログラミングにとって普遍的なものであり、（基礎的な部分を）調べながら使うようではエンジニア失格ということ。 基本的に現在では、バックエンド・フロントエンド・運用保守全てができないエンジニアに価値は無い。 以下に挙げた技術（①⑤⑥は他の言語やフレームワークで代替可能）が身に付いていなければまともな企業に就職することは難しい（もちろん、下らない業務システムを下請けで作ってる底辺企業には入れるだろうが）。 経験者でも、これらができない/わからないのは、相当恥ずかしいことだ
ストレージの基礎
ストレージを知らない人/苦手な人向けに実施した勉強会の資料です。
こんにちは、JUNERAYです。 皆さんは日本酒がお好きですか？私は大好きです。夏の午後、プールへ行った帰りにアイスを食べて、クーラーの効いた部屋でする昼寝くらい好きです。 長いことお酒や飲み物にまつわる仕事をしていて、ありがたいことにビギナーさんにお酒の基礎知識や美味しい飲み方などのレクチャーをさせていただく機会も増えました。 日本酒についても何度か解説記事を書いているのですが、実は毎回ぶつかる壁（でかい）（かたい）があります。 まじこれ。 馴染みのない専門用語がたくさん出てくるだけでなく、そのいちいちが「特別本醸造」とか、「山卸廃止酛」とか、墾田永年私財法か？？ってくらい漢字の繋がった用語だらけ。ぷよぷよだったら連鎖して消えてます。 ビギナーさんの中には、「日本酒のことが知りたいと思って入門書を買ったけど、ちょっと読んだだけで投げ出しました」なんて方も少なくなく、レクチャーする側として
新人エンジニアにおすすめする一冊 2022 | CyberAgent Developers Blog
こんにちは！CTO統括室の黒崎(@kur_m88)です。2022年度のサイバーエージェントには新卒のエンジニアが約90名入社してくれました。 アフターコロナー1期生の新入社員へ、代表藤田からのメッセージ 2014年までエンジニアブログを遡ると、こんな企画がありました。この企画を8年ぶりに復活させてみようと思います。 #e100q 新人エンジニアにお勧めする一冊 思いつきで企画してみたので100人に聞く時間はありませんでしたが、約40名から返事をもらえました。 社内でアンケートを募集した様子 おすすめする一冊の被りが多ければランキング形式にしようと思っていたのですが、あまり被りがありませんでした。 ちょっと分量が多いですがせっかくなので全部紹介しようと思います。 先輩エンジニア達から新人エンジニアに向けた言葉ももらったので、最後に載せてあります。ぜひ最後までご覧ください！ 新人エンジニアにお
いくつかのクラウドサービスでは、1年程度の無料トライアルや一定額のクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスが提供されています。 こうした無料枠は試行用の環境や一時的なテスト環境などとして、期間を気にせずサービスを試すうえで非常に有効です。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2022年版としてまとめました。 ただしこれらの無料提供サービスは提供側の都合によって終了することもあり得ます。また、最近では半導体不足などの影響でクラウドのサーバリソースなどが不足がちのためか、無料枠の申し込みが制限される場合もありますので、それらに留意して利用しましょう（一部では無料枠が空いたらすかさず取得する自動スクリプトなども出回っているそうです）。 Amazon Web Serv
連日さまざまなサイバーセキュリティ犯罪のニュースが報じられる中、いまだに日本のセキュリティレベルは高いとは言えない状況にあります。一方で、企業がサイバーセキュリティ対策を進める上では、人材不足や経営層の意識・関心、コスト、導入による利便性の低下など、さまざまな壁が立ちはだかっています。 そこで今回は、株式会社網屋が主催する「Security BLAZE 2023」より、サイバーセキュリティのエキスパートによる講演をお届けします。本記事では、米金融大手で1億人以上の個人情報が漏えいした事件の背景をひもときながら、問題点とセキュリティ対策のポイントを解説します。 Webセキュリティの第一人者が語る、個人情報流出事件の裏側 徳丸浩氏：ただいまご紹介いただきました、EGセキュアソリューションズの徳丸でございます。本日は「米国金融機関を襲った個人情報大規模流出事件の真相」というテーマでお話をさせてい
お知らせ 2022年初頭に本記事を元にしたAWS書籍が技術評論社より全国出版決定いたしました。 関係者各位のご協力に深く感謝いたします。 タイトル：AWSエンジニア入門講座――学習ロードマップで体系的に学ぶ 本書籍出版までの制作プロセス、チーム執筆の方法論などをまとめました チームで技術書を出版して学べた共同執筆メソッド はじめに インフラ初学者がAWSを用いた設計・構築レベルに到達するため、学習の全体像をロードマップ図にまとめました。 背景 パブリッククラウド全盛期においてAWSは全エンジニアにとって「常識」となりました。 しかしながら、情報過多によってAWS学習に必要な情報がネット上のノイズに埋もれてしまい、初学者の直感による判断が誤った学習に行き着くこともあります。 このロードマップはAWS学習の全体像を俯瞰でき、パブリッククラウドを用いた設計・構築レベルに到達するまで導く体系的なス
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの村上 @0x003f です。 本稿では、Webアプリケーション上で実装される「ログイン機能」の実装パターンをいくつか示し、その「仕様の中で起きうる脆弱性」とその対策について解説していきます。 「ログイン機能」はToB、ToC問わず多くのWebアプリケーションで実装されている機能で、XSSやSQL Injection、Session Fixationといったような典型的な脆弱性の観点については、なんらかの解説を見たことのある方も多いと思います。 しかし、「仕様の脆弱性」というのはあまり多く語られていない印象です。今回はそのようなタイプの脆弱性についての解説を行います。なお、IDaaSを用いずに自前でログイン機能を実装しているケースを複数パターン想定しています。 はじめに ログイン機能の仕様パターンとセキュリティ
クックパッドを退職しました - 昼メシ物語
2024年1月末まで在籍していますが昨年12月に業務は終えていて、いまは有休消化期間中です。2010年から約14年間勤めてきた、自分の生き様そのものとも言えるクックパッドを離れるのには、表現しきれないほど大きく、複雑な思いがあります。 僕がこの14年間でやってきたことを振り返ってみます。 入社 クックパッドに入社した時は新卒3年目相当で、26歳でした。もともと料理と Ruby が好きで、当時まだ珍しかった Ruby on Rails でサービス開発をしているらしいという点や、当時からネットウォッチしていた @ryo_katsuma さんが所属していること、直属の上司の井原さんが転職したことが決め手になり、体当たりで飛び込みました。当時の僕はほとんど実績もなく、入れてもらえるかギリギリのところだったと思いますが、おそらく井原さんが頑張って交渉してくれたのだと思います。本当に感謝しています。こ
Cloudflare D1 がヤバい
まだ検証足りないけど、マジで想像通りのブツなら魂震えるかもしれん…。 Announcing D1: our first SQL database Cloudflare D1 = Edge SQLite Cloudflare D1 は Cloudflare Worker で、つまり CDN Network 上で sqlite が動きます。これだけなら普通の sqlite ホスティングなんですが、もちろん Cloudflare が出すからにはそれだけではなく、CDN Edge 上に Read Replica がバラ撒かれた sqlite になります。ヤバくないですか？ 僕はヤバいと思いました。 このヤバさを知るために、Cloudflare が開発した基盤についていくつか抑えておく必要があります。 Durable Objects は CDN 上の Actor モデルを構築できます。この Acto
日米OSDN離合集散、苦闘の21年史
さて、ついに退職エントリだ。私は米国のオープンソース・ムーブメントを日本で再現するためのコアを作るために民間企業へやってきたはずだった。それから21年、随分と長い航海になってしまったが、結局様々な尻拭いを続けてきたという感慨ばかりが起きてくる。一つの歴史として書き残すいいタイミングなのでその苦闘を振り返っておこう。 なお、長く付き合いが続いてしまう米国側法人は下記のように名称が変化している。なるべく頭に米国と付けて日本側法人と区別しやすいように記述するが、突然名称が変わったりするので注意してほしい。多くがもはや消滅した法人のことなので、さすがに一気読みするような酔狂な人はほぼいないと思うが。 VA Research Andover.net ↓ ↙︎ (VAによる買収) VA Linux Systems ↓ ↘︎ (Andoverから社名変更) VA
「Mac」に入れておきたい便利アプリ10選
筆者のように、「Mac」をメインの作業用マシンとして使用している場合、マシンを生活と仕事のあらゆる問題に対応できる状態にしておく必要がある。つまり、適切なパフォーマンス向上アプリ、セキュリティアプリ、生産性アプリをそろえておかなければならない。 「CleanMyMac X」 Macをスキャンして、不要なファイルやマルウェアを削除 CleanMyMac Xは、Macに蓄積される不要なデジタルデータを取り除く最良の手段である。このアプリを使えば、ストレージスペースを解放できるだけでなく、マシンの動作を高速化することも可能だ。Macをスキャンして、マルウェアや大きな隠しファイル、古いアーカイブ、未使用のアプリを削除する機能を備える。何もしなければOSの奥深くに埋もれてしまう不要なデジタルデータを見つけ出す能力が非常に優れており、筆者はいつも驚嘆させられる。 「Authy」 ほぼすべてのデバイスと
いや、お前データを守る側ちゃうんか。 なんでお前に大事なデータ消されなきゃならんのよ。 調べてみたらひどいクソ仕様だったので、同じ轍ふまないように知見共有します。 なお、消えてしまったデータは息子の卒業式の動画データ。復元不能。 ダメージでかすぎで立ち直れないかもしれない。 リテラシーの話にしたくないので、一応くわしい状況を説明。 興味ない人は読み飛ばしOK ストレージは壊れるものという前提は理解しているつもりなので、状況ごとにいくつかのバックアップ体制は取ってある。 なのでデスクトップは基本的に一時的なデータしか置かない。 そのため、今回の被害は本当に息子の卒業式の動画データだけ。 安くなったとは言えすべてのストレージをSSD化するには至っていない。 そのため、OSやソフトウェアなんかはSSDにインストール、写真や動画などのサイズがでかいデータはRaid HDDでミラーリングして格納する
はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
マッチングアプリ「Omiai」会員情報管理サーバーへの不正アクセスについてまとめてみた - piyolog
2021年5月21日、ネットマーケティングは同社が運営するマッチングアプリ「Omiai」の会員情報の一部が不正アクセスにより、流出した可能性が高いと発表しました。ここでは関連する情報をまとめます。 171万件の年齢確認書類画像が流出 www.net-marketing.co.jp 不正アクセスを受けたのはOmiaiの会員情報を管理するサーバー。意図しない挙動がサーバー上で確認され、その後内部点検から不正アクセスの痕跡を発見。 流出した情報は法令で確認が義務づけられた年齢確認書類の画像データ。通信ログ分析から数回にわたり画像データが外部へ流出したと判明。流出した画像データの約6割は運転免許証で、画像データの暗号化も行っていなかった。*1 当初流出の可能性と公表していたが、8月11日の第三報では流出が確認されたことを公表した。 流出アカウント件数 171万1756件 （会員累計数は20年9月末
これは何 以下記事のアンサーブログです。 qiita.com 以下のことはコメントに書いたんですが、書ききれなかった部分もあったり整理したほうがいいなと思い記事に起こしています。 現代のアプリケーションではC10K問題よりも先にDBやアプリケーションのボトルネックが先に来るため、C10K問題に遭遇するよりも先にやることがある ミドルウェアとしての成り立ちから設定ファイルの書き方に至るまで、それぞれのソフトウェアで思想が根本的に異なるので、単なるパフォーマンス比較をしてもあまり意味がない NginxとApacheの違いをC10K問題を中心に語るのは時代が違う この記事に限らず、多くの「Nginx vs Apache」系記事では「ApacheはC10K問題を抱えている」という論理をベースにそれぞれの違いを表現しています。 が、これは2022年においては(実際にはもっと前からですが)既に事実では
「CDN」（content delivery network）という言葉からは、Googleのような大企業がいくつもの巨大なハードウェアを管理し、1秒当たり何百ギガビットものデータを処理する様子が想像されます。しかし、CDNは単なるWebアプリケーションです。私たちのイメージとは違いますが、それが事実です。8年前に買ったノートパソコンを使って、コーヒーショップの席に座りながらでも、きちんと機能するCDNを構築できます。この記事では、これから5時間でCDNを開発しようとするときに、直面するかもしれないことを紹介します。 まずはCDNの機能を明らかにしておきましょう。CDNはセントラルリポジトリ（通称：オリジン）からファイルを吸い上げ、ユーザーに近い場所でコピーを保存します。初期のオリジンはCDNのFTPサーバーでした。現在、オリジンは単なるWebアプリとなり、CDNはプロキシサーバーとして機
はじめに WASMをブラウザの外で動かすトレンドに関して「Linuxコンテナの「次」としてのWebAssemblyの解説」というタイトルで動画を投稿したのですが、動画では話しきれなかった内容をこちらの記事で補完したいと思います。 2022年もWebAssembly(WASM)の話題が多く発表されましたが、そのひとつにDocker for DesktopのWASM対応があります。FastlyやCloudflareもエッジ環境でWASMを動かすソリューションを持っていますし、MSのAKS(Azure Kubernetes Service)でもWASMにpreview対応しています。WASM Buildersでも2023年のWASMの予想としてWASMのアプリケーションランタイム利用に関して言及されました。 WASMといえば元々ブラウザ上で高速にC++のコードなどを実行するところから始まっている
はじめに LINE はユーザー数が 8,400万人、日本人口の約7割が利用しているという巨大なチャットツールです。メールや電話より手軽にコミュニケーションが取れることから、業務連絡にも LINE を使っている会社も多く存在します。 操作性・利便性が高い一方で、LINE を業務利用することは「シャドーIT」という状態にあたり、情報セキュリティ上のリスクを抱えています。 この note では会社が LINE を業務利用してはいけない理由について解説します。ユーザー数の多い LINE を例として挙げていますが、これは会社で管理ができないツール全般に置き換えることが可能です。シャドーIT全般に対するリスクであり、LINE 自体の危険性を指摘するものではありません。 シャドーIT とは 会社には多くの社内ITツールがあります。例えば Microsoft 365（Word、Excel、PowerPo
ソースコードを公開したソフトウェアで収益を得ている会社をまとめる。いわゆる「オープンソースソフトウェア（OSS）」という有名な言葉を使わなかったのは、OSS の定義に当てはまらない、またはその可能性があるものが含まれているため。 この記事では "OSS" の定義に当てはまらないものも含め、主要な事業を構成するソフトウェアを一定のライセンスの下で公開している会社をまとめていく。このようにソースコードを公開して利用者やフィードバックを集めるビジネスモデルは open core とか COSS: Commercial Open Source Software と呼ばれているようだ。 企業が「ソースコードが公開されているソフトウェア」を利用するメリットとしては、主に以下の2つがあると考えられる。 コア機能の開発に集中できる 自社のビジネスの核となるソフトウェアの開発に集中し、それ以外の機能的・非機
米Googleの「Workspace」を含む同社の多くのサービスが12月14日の午後9時ごろから約45分間使えなくなっていた障害の原因は、各種サービスにログインするための認証ツールのストレージクォータの問題だったと、Googleが同日、英Guardianなどのメディアに声明文を送った。 Googleの広報担当者によると、このダウンの原因は、Googleとサードパーティのサービスへのログイン方法を管理する認証ツールの障害だったという。認証を処理するサービスのためのストレージが不足すると自動的に割当を増やす（ストレージクォータ）ツールが正常に動作しなかった。 この問題により、GmailやGoogleカレンダーなど、利用するためにログインが必要なサービスが利用できなくなった。また、Googleの認証プラットフォームを利用するサードパーティのサービスでも、ユーザーがログインできなくなっていた。Go
去年からフロントエンドのパフォーマンスについて断続的に学んでいるが、自分の頭のなかにある知識はどれも断片的で、まとまりを欠いているような感覚があった。 知識と知識がつながっておらず、各施策が何のために行われるのかも、必ずしも自明ではなかった。何となく「パフォーマンスに効果がある」と言ってしまうが、それが何を指しているのかは実は曖昧だった。 このような状態では新しい知識を得ていくのが難しいというか、効率的に行えないように思えた。議論の背景が分からないし、文脈や問題意識を上手く掴めないから。何の話をしているのかよく分からない、という状態になりがち。書かれてあることの意味は分かっても論旨を掴めているわけではないから、自分のなかに定着しない。 そこで、現時点で自分が知っていることを整理して、自分なりに分類しておくことにした。 当たり前だが、どのテクニックがどの程度有効なのかは、状況によって違う。
私はプロではないのでわからないので、間違っているのは当たり前だと思って読んでください。 個々人のエンジニアの能力がとかクレジットカードがとかは基本関係ないという話です。 （関係なくてもパスワードを使い回している場合は、同じパスワードを使っているサービスのパスワードはすぐ変えるの推奨） 三行VPN→プライベートクラウドの管理システムとオンプレ認証→各システムと言う流れで侵入されていると思われるオンプレのディレクトリサービスとクラウドのidMが接続され、オンプレの認証資格でSaaSは一部やられた可能性がある現在クラウドにリフトアップ中で、新システムはモダンな対策された方法で保護されており無事だった。が、それ故にオンプレへの対策が後手だったのでは会社のシステムはどうなってるか私は長年社内システムの奴隷をやって参りました。現在のクラウドになる前のサーバも触って参りましたので、その辺りからお話しをさ
個人用メモです。 「git gcってあんまし容量減らないよなぁ」 と思ったのが動機です。調べたけどパッと腑に落ちる記事がなかったので「自分で git のソースコード見た方がいいな」と急にモチベ発動してグワっと勉強しました。またついでに歴史改変の方法も調べたのですが、公式で既に WARNING が出てるほど非推奨化されてるfilter-branchを使用してる記事が多かったので、2021 年現在で多分一番推奨されてるfilter-repoを使ってやる方法もまとめました。 ちなみに容量減らしても高速化するかというとそこまで単純ではないです。そもそも減らさなくても partial clone で blob オブジェクトを必要最低限に指定して昔の blob をデフォルトで持ってこないようにしたり(--no-checkoutと併用するとより効果有る)、その後本当に自分が必要なやつだけ sparse-
昨年7月に発表されたMicrosoft Teamsの1,300万DAUという数字にテック業界は一瞬騒然となりました。破竹の勢いで成長していたSaaSユニコーンで大型IPO銘柄のSlackを、ほとんど瞬時に抜き去ったからです。 コロナ禍はTeams、Slackの双方に追い風となりましたが、特にTeamsは3月初旬に1週間で40％増の4,400万DAUとなり、その後の4月末の時点では、さらに70％増となる7,500万DAUとなるなど、凄まじい伸びとなっています。Slackは最近はDAUを明かしていませんが、最後の公式の数字は2019年10月で、そのとき1,200万DAUだったことを発表しています。Slackの発表文にあるように、サービスの普及や利用は単純なDAUだけで計測できるものではなく、接続可能なサービスの数やエンゲージ時間なども考慮に入れるべきでしょう。しかし、DAUは極めて重要な指標で
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2020年10月に発生した東京証券取引所のシステム障害についてまとめてみた - piyolog
「世界最悪級の流出」と報じられた廃棄ハードディスク転売事案についてまとめてみた - piyolog
Dockerハンドブック - 教会エンジニアの開発日記
[和訳] Dropboxアカウントのせいで胃潰瘍になった - Qiita
Raspberry Pi 4 で構築する録画マシン | 空気録学電子版【公式】
プログラミング言語をすぐに試せる「プレイグラウンド」まとめ。2024年版
10年以上同じPCを使っていたが、25,000円で新調した
【2020年】AWS全サービスまとめ | DevelopersIO
管理不備と報じられたLINEの問題についてまとめてみた - piyolog
2020年現在のNewSQLについて - Qiita
【酒屋さん監修】「世界一やさしい日本酒入門」を目指して、資料を作ってみました - JUNERAY
期限の制約なく無料で使えるクラウド「Free Tier」主要サービスまとめ。2022年版
ITに強いはずのハイテク企業で、1億人超の個人情報が流出…… 「新技術こそ優れている」という思い込みが招いた大規模事件
クラウドエンジニア(AWS)ロードマップ2021 - Qiita
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
Webサービスにおけるログイン機能の仕様とセキュリティ観点 - Flatt Security Blog
onedriveが原因でデスクトップのデータが消えた
Re: NginxとApacheって何が違うの？？ - inductor's blog
CDNは5時間で開発できる | POSTD
Linuxコンテナの「次」としてのWebAssembly、の解説
なぜ業務で LINE を使ってはいけないのか｜rotomx
ソースコードを公開したソフトウェアで収益を得ている会社
Googleの45分間ダウンの原因は認証ツールのストレージクォータの問題
「Gmail」の不要メールを大掃除！ Googleのストレージを取り戻すテクニックが話題に／GB単位で空きストレージを増やせるかも【やじうまの杜】
フロントエンドのパフォーマンスチューニングを俯瞰する - 30歳からのプログラミング
KADOKAWAのハッキングの話チョットワカルので書く
git gc の仕組みを原理から理解してサイズを 136MB → 7.2MB(95%減)まで削減した時の勉強メモ
なぜSlackはTeamsに抜き去られたのか | Coral Capital