Database Engineering Meetup #1 DBアーキテクチャの比較と選択 Cloud-native storage service for bulk load & random lookup workload https://scalar.connpass.com/even…
ハードディスクドライブ(HDD)のデータはフォーマット程度では完全に消えないので、安易に捨てられなくて困りがち。これを1台につき100円(税込)で物理的に破壊できるサービス、「黒歴史最終処分場。」が話題です。業務上のあれこれやら若気の至りで書いたポエムやら、いろんな秘密を闇の中へ。 「逝けっ! 黒歴史(ハードディスク) 忌まわしき記憶とともに……」と、シャアの逆襲的な煽り文句でHDDを完全処分。池田秀一ボイスで脳内再生余裕でした 利用者立ち会いの下にHDDを破壊。店に引き取ってもらってもいいし、持ち帰ってもいい 秋葉原のジャンクショップ「秋葉原最終処分場。」が、2020年末に始めたサービス。PCを持ち込んだお客さんからHDDの処理を心配する声が多かったことから開始したそうです。持ち込んだHDDは専用の機械で破壊。利用者自らスイッチを入れて目の前で壊せるので、何かと安心です。 3.5インチH
Flutter×GCP/Firebaseで何かを作っていく(る)方に参考になればと思います。 上記の技術構成でリリースした Othellode というアプリは、 iOS/Android で公開済みなので、興味あればダウンロードしてみて下さい。 “しっかり”とは?下記のような観点を考慮することを指しています。 運用を前提とする設計やフロー整備多言語対応負荷分散セキュリティモニタリング費用バックアップロギングdevelopment/staging/production 管理これらに関する知見から、13個厳選して広く浅く書きました。 (ポイントというより感想みたいな項目もありますが..) なお、情報漏洩対策(IP制限やBasic認証)やアセットパイプライン,BQによる分析等は、今回本腰を入れてない( 必要がなかった)ため触れませんし、詳しくありません。 目次Useful Information
Cloud Run CPU 0.08 ~ 8 Core (2nd gen は最小 0.5~) Memory 128 MiB ~ 32 GiB (2nd gen は最小 512MiB~) Deploy App Engine は Deploy (gcloud app deploy) を実行すると Cloud Build が暗黙的に動いて Deploy が行われるが、これがなかなか時間がかかる。 開発環境だと CI でとりあえず main branch に merge されたら、Deploy したりするけど、Deploy を Skip してもよいような時でも CI 回してると Deploy を待つことになって、ちょっとめんどうに感じる。 更にこの仕組みは成果物は Deploy しないと生まれないので、CI と CDを分離しづらい。 Cloud Run は Container Registry a
はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの梅内(@Sz4rny)です。 本稿では、弊社がこれまでに実施してきたFirebase診断の事例や筆者独自の調査をもとに、Firebaseを活用して開発されたサービスにおいて発生しやすい脆弱性の概要やそれにより引き起こされるリスクおよびその対策を深刻度や発生頻度の評価を踏まえつつお伝えします。本稿を通じて、Firebaseを活用したサービスにおいて発生しやすい脆弱性にはどのようなものがあるのか、また、そのような脆弱性を埋め込むことなくセキュアなサービス実装を実現するためにはどのような観点に気をつければよいのかについて理解を深めていただけますと幸いです。 なお、本稿では「Firebase活用時に限って発生しうる脆弱性(例:Firestoreのセキュリティルールにおけるバリデーション不備)」と「Firebaseを活
のようなイメージです。 ※192.0.2.0/24、198.51.100.0/24、203.0.113.0/24 は例示に利用できる IP アドレスブロックです。 実在する IP アドレスではありません。 以上のように、CDN では オリジンサーバーのドメインと CDN 用ドメインの紐づけ CDN 用ドメインに対応する IP アドレスの動的な名前解決 を用いて、オリジンサーバーへのリクエストを地理的に近いエッジロケーションへのリクエストに振り替るのが一般的です。 CDN サービスの例ここでは、CDN サービスの例を各クラウドベンダーごとに簡単に紹介します。 AWS - Amazon CloudFrontAWS の提供する CDN サービスは Amazon CloudFront です。 Amazon CloudFront では、CDN のオリジンサーバーとして EC2 や S3、ELB など
はじめに さくらのクラウドにはいくつかの開発チームがありますが、その中で私が所属しているガンマチームにおけるTerraformやAnsibleの活用というテーマで川井が発表させていただきます。 内容としては、まずこの発表の目的を説明し、IaC (Infrastructure as Code)とはそもそも何かという話をして、それからさくらのクラウドでTerraformをどのように活用しているか、またAnsibleをどのように活用しているかを発表します。 目的 今回はIaCの勉強会ということで、IaCの理解と実践を目的としています。この勉強会に参加することで皆さんがTerraformやAnsibleを理解し、インフラ構築に活用できるようになることを目指したいと思います。 IaCの理解と実践 この発表ではIaCを以下のように定義します。 「IaC(Infrastructure as Code)と
Preview feature: New CSS Overview panel Use the new CSS Overview panel to identify potential CSS improvements on your page. Open the CSS Overview panel, then click on Capture overview to generate a report of your page’s CSS. You can further drill down on the information. For example, click on a color in the Colors section to view the list of elements that apply the same color. Click on an element
本記事は 【Advent Calendar 2023】 15日目の記事です。 🎄 14日目 ▶▶ 本記事 ▶▶ 16日目 🎅 はじめに 想定している読者 一覧 まとめてみて 参考 はじめに クラウド事業推進部の小野内です。昨年5月にキャリア入社してから早1年半以上が経ちました。 入社以降、AWS、Google Cloud のデータ分析基盤の開発・運用に関わっておりますが、現在はGoogle Cloud メインでやってます。 試行錯誤の毎日ですが、Google Cloud案件をどんどん盛り上げていきたい所存です。 1年ほど前の投稿記事では、 Google Cloudの学び方について触れましたが、本記事ではGoogle Cloud案件を1年半程度経験してみて、 AWSと比較しながら、Google Cloudの主要なサービスについて、違いを整理しました。 想定している読者 AWS案件に半年以
Sections What is time Representing time Where do we usually find time on Unix System time, hardware time, internal timers Syncing time with external sources What depends on time Human perception of time What is time Time is relative Measuring time and standards Coordinating time Time zones DST Time, a word that is entangled in everything in our lives, something we’re intimately familiar with. Keep
【検証】古いパソコンにAndroid入れたら最強じゃね? → 違う意味で予想通り アキル 2022年12月30日 皆はAndroidとApple、どっち派? 僕はもちろんAndroid信者だ。 そんなAndroidだが、パソコンにインストールできるようにする「Android-x86」というプロジェクトが存在する。そう、あのAndroidがパソコンデビューだ。 そんなAndroid-x86なるものを、今回は実際にパソコンにインストールしてみることにした。何ができるかな、どこまでできるかな、ゲームができたら最高だな。期待はしていないが。 本記事はあくまで検証記事で、インストールの仕方とか細かいことは載せないつもりだ。試してみたいよって人はどうぞ自己責任で、ちゃんと調べてから試すように! まぁ推奨はしないが。 ・本日のスター さぁ、まずは本日のスターをご紹介しよう。インストールする「Androi
クラウドサービス「Google Cloud」のパリリージョン(europe-west9)で、4月26日午前11時ごろ(日本時間)から障害が発生している。データセンターに水が浸入したといい、一部のサービスを除いて27日午後3時41分時点で障害が続いている。障害は長引く見込みで「現時点では、リージョンの運用が完全に回復する予定はない」(米Google Cloud)としている。 仮想マシンを立ち上げる「Google Compute Engine」(GCE)、ストレージサービス「Google Cloud Storage」(GCS)、音声認識サービス「Speech-to-Text」など複数のサービスが影響を受けた。このうちGCSなど4サービスはリージョン全体で復旧済み。GCEなど3サービスはリージョン内の一部ゾーンで復旧したという。 ただし、他のサービスは障害の影響が続いている。Google Clo
class: middle, center <img src="./assets/logo.svg" align="center" width="200" /> Deno の これまで と これから --- アジェンダ - Deno とは - Deno のこれまでのロードマップ - Deno のこれからのロードマップ --- # 話す人 <img src="./assets/hinosawa.jpg" align="right" width="300" /> 日野澤歓也 twitter @kt3k - GREE (2012 - 2013) - Recruit (2015 - 2019) - Deno Land (2021 -) <small>2018年から Deno にコントリビュートを開始。2020年作者に誘われ Deno Land に転職。現在はフルタイムで Deno と Deno D
クラウドストレージは便利だけど 何十年もお金を払い続けられるか心配…… あらゆるファイルのサイズが拡大傾向にある昨今。スマホで撮影した写真は1枚あたり数MB、画面キャプチャなら10MBを超えることも。子どもの成長記録を動画で保存しようものならGB単位でデータが増えていく。 そうしたファイルの保存先として選択されるHDDは、大容量化・低価格化が進んでいる。大量のデータを低コストで保存できるのはうれしい限りだが、使い続けるほどに故障のリスクも増える、つまり大切なデータを失ってしまう可能性が高まる。 ならばNASという選択肢はどうだろう。しかしNAS環境を自分で構築できるほどITリテラシーが豊富な人ばかりとも限らない。いくら大容量HDDが手に入れやすくなったとは言え、多くのファイルを長期間、的確に管理するのはハードルが高い。 というわけで、このところHDDよりも頼りにされているのが「クラウドスト
8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各社の技術選定の背景や工夫などの知見を得ていただく場となれば幸いです。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております BigQueryBigQuery は、Google Cloud の費用対効果に優れたフルマネージド型の分析データ ウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。 ▼BigQueryとは?機能や特徴・製品の概要まとめページはこちら https://findy-tools.io/products/bigquery/49 ▼Findy Too
Amazon Web Services(AWS)は、数週間以内にDockerコンテナイメージをパブリックに公開できる新たなコンテナレジストリサービスを発表すると明らかにしました。 Docker Hubの無料プランはプル回数を制限へ 現在、Dockerコンテナイメージのパブリックなレジストリとして事実上の標準となっているのは、Docker社が運営するDocker Hubでしょう。 Docker Hubは誰でもコンテナイメージを公開でき、また、誰でも公開されたイメージを取得(プル)できます。しかしDocker社は今年夏の時点で15ペタバイトにまで膨れ上がったDocker Hubのサービスの無料プランをこのまま続けていくのは難しいと判断し、無料プランに対しては以下の制限を加えることを発表しました。 6カ月以上使われなかったコンテナイメージは削除する アノニマスユーザーからのプルは6時間で100回
この記事はRecruit Engineers Advent Calendar 2020の11日目の記事です。 TL;DR 対象読者は転置インデックスを少し知ってるくらいの検索初心者です 検索エンジンに興味が湧き、仕組みを知るためにGoで自作しています 自作検索エンジンのAnalyzerとIndexerとSearcherを紹介します はじめに ここ最近、以下の観点から情報検索への興味が強いです。 技術面: フリーワード検索機能を実装した際にElasticsearchの使いやすさと多機能さに圧倒されたこと。 プロダクト面: 検索がプロダクトに不可欠な機能かつ、 非エンジニアにとって検索エンジンは未知であり知識の乖離が大きいため、エンジニアだからこその価値を提供しやすいこと。 検索エンジンの仕組みを知り情報検索分野に詳しくなるために自作し始めました。 プログラミング言語Goを読んで学んでいるので
クラウドサービスのインスタンスは用途に応じて「汎用」「メモリ特化」「GPU特化」といった具合で、さまざまなカスタマイズが可能。しかし、あまりにも選択肢が多すぎて比較検討が難しいのも事実です。そんなインスタンスの価格やスペック比較を簡単に行えるウェブサービス「EC2Instances.info」をVantageが公開しているので、実際に使ってみました。 Amazon EC2 Instance Comparison https://instances.vantage.sh/ EC2Instances.infoはAmazon EC2とAmazon RDSのインスタンスを比較検討できるサービス。さっそくアクセスしてみると、EC2インスタンスの名称やメモリ、仮想CPU(vCPU)数、ストレージ、ネットワーク性能、利用料金が表示されました。デフォルトでは利用可能なすべてのインスタンスが表示されている状
C:\GOV\TopSECRET │ .compile-cache │ .htaccess │ boot.md │ kernel.bin │ boot.ini ├─application │ │ encryptor.bin │ │ filters.bin │ │ routes.exe │ │ └─security │ │ vuln_go.exe │ │ penetrate.log │ ├─config │ │ │ _controller.md │ │ │ application.exe │ │ │ auth.bin │ │ │ cache_log.crt │ │ │ dtbs.exe │ │ │ session.bin │ │ └─admin │ │ application.exe │ │ error.bin │ │ session.exe │ ├─controll
「Rails Developers Meetup 2018 で「MySQL/InnoDB の裏側」を発表しました」でちゃんと触れられてないので今更ながら key_len について補足します。発表で触れた内容については言及しないので、storage engine や B+ tree といった用語がよくわからない方は発表内容を参照してください。 なお、MySQL のバージョンは 5.7.38 です。 mysql> SELECT @@version; +-----------+ | @@version | +-----------+ | 5.7.38 | +-----------+ 1 row in set (0.00 sec) 事前準備 sample-data-railsdm-2018 の orders テーブルを少しいじって、キャンセル時刻(canceled_at)、配送予定時刻(deliv
Watch Our Google Algorithm Leak Webinar Replay Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to the Google algorithm leak. Internal documentation for Google Search’s Content Warehouse API has been discovered. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 趣味でWebサービスを作ったはいいものの、サーバーの運用にコストがかかり結局停止してしまった経験、ありませんか? これらの趣味で作ったサービスはアクセス数が少なく、数日に1人程度しかアクセスがないことも多いため、収益がない場合がほとんどです。 しかし、せっかく開発したのだから動かし続けたい気持ちはあると思いますし、運用し続けることで機能追加などをしてさらに楽しめることもあると思います。 このような運用コストに悩みがちな趣味開発Webアプリケーションですが、自分は趣味で現在いくつかのWebアプリケーションを月当たり2円というほぼ無料と言っ
社内に古いInternet Explorer(IE)専用Webページ/アプリが残っていたり、自治体などのIEしか対応していないWebサイトへアクセスが必要であったりするせいで、いまだにIEの利用が強いられている。しかも、IEでは利用できないネットサービスが増えていて、他のWebブラウザと併用せざるを得ず、面倒だ……。 さらに、2022年6月にはブラウザとしてのIEのサポートが終了し、IEが起動できなくなるとのこと。このままでは、IE専用のWebページ/アプリを使い続けられなくなる。かといって、IE以外のブラウザでも利用できるようにサーバ側のシステムを改修するのは到底間に合わない……。 このような場合、Chromiumベースの「Microsoft Edge(以下、Edge)」への移行を検討してみるとよい。「IEモード」という、EdgeのタブでIE専用のWebページ/アプリをシームレスに表示で
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う! オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 徹底攻略 AWS認定 クラウドプラクティショナー教科書 第2版[CLF-C02]対応 トレノケート株式会社 高山裕司 超楕円関数への招待 楕円関数の一般化とその応用 松谷 茂樹 手を動かしてわかるクリーンアーキテクチャ ヘキサゴナルアーキテクチャによるクリーンなアプリケーション開発 Tom Hombergs(著), 須田智之(訳) 詳解 AWS CloudFormation 潮村 哲 その決定に根拠はありますか? 確率思
東芝と東芝デバイス&ストレージのグループは2021年12月27日、HDDの大容量化に向けた次世代の磁気記録技術「共鳴型マイクロ波アシスト記録 (以下、MAS-MAMR) 」を用いて、記録能力を改善できることを実証したと明らかにした。MAS-MAMRはこれまで、記録密度を向上できることが原理的に示されてきたが、実際に記録媒体や磁気ヘッドなどを試作して実証したのは「業界初」(同グループ)だという。今回の成果を実用化できれば、ニアライン向け3.5型HDDで30Tバイトを超える容量を達成できるとみる。具体的な時期を明かしていないものの、30Tバイトを超えるニアライン向けHDDの早期実用化を目指す。 マイクロ波アシスト記録(MAMR、ママー)は、記録時にマイクロ波を記録媒体に照射する記録方式である。ハードディスクの面記録密度を向上させるためには一般に、記録媒体中の磁性体粒子を小さくし、それに伴い記録
Going through the files inside a tab's folder. For example, the url.txt, text.txt, and title.txt files tell me those live properties of this tab (Read more up-to-date documentation for all of TabFS's files here.) This gives you a ton of power, because now you can apply all the existing tools on your computer that already know how to deal with files -- terminal commands, scripting languages, point-
OSSとしてリリースされたばかりのReactベースのフルスタックWebフレームワークであるRemixをためしてみました。 はじめに こんにちは、CX事業本部MAD事業部の森茂です。 re:Inventを前にAWSの情報も気になるところですが、フロントエンド界隈もReact Conf 2021を前にReact v18 betaをはじめ、Next.js v12やReact Router v6、新しいRoutingライブラリReact Locationのリリースなどなど注目のリリースラッシュが続いているようです。そんな中Reactをベースにした新しいフレームワークであるRemixが本日(2021/11/23日本時間)リリースされました。 Remixとは RemixはReactRouterの作者でもあるMichael Jackson氏(@mjackson)とRyan Florence氏(@ryan
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております! 今回は、次世代データ基盤であるデ
こんにちは、フロントエンドエキスパートチームです。 フロントエンドエキスパートチームでは、フロントエンドに関する情報共有会を社内向けに行っています。 2017年から2020年までに10回開催しており、「Web ページのパフォーマンス」、「React の今とこれから」、「Google I/O セッションまとめ」などフロントエンドに関する情報を社内に共有してきました。 今回行ったのは、2020年6月30日から7月2日にかけて3日間オンラインで開催された web.dev Live2020 のセッションについての情報共有です。各セッションはYouTubeにて視聴できます。 今回は各チームメンバーが視聴したセッションの中から、それぞれ2つのセッションを選んで内容と感想を紹介します。 まだ web.dev Live2020 を見ていない方が興味を持つきっかけになれば幸いです。 BaHoのオススメ Ba
2025年1月28日紙版発売 えーじ,倉林雅,小岩井航介 著 A5判/256ページ 定価3,300円(本体3,000円+税10%) ISBN 978-4-297-14653-5 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Amazon Kindle この本の概要 本書のテーマは,パスワードレス認証を実現する「パスキー」です。パスキーはApple,Google,Microsoftといった3大プラットフォーマを含む多くの企業が協力して開発している認証技術で,大手から中小企業までさまざまなサービスで導入が進んでいます。 「パスキーとは?」の疑問に答えるとともに概要はもちろんのこと,従来の認証技術の課題と比較して何が優れているのか,パスキーの導入で知っておくべき特性,パスキーの登録・認証・管理画面などのUX設計,WebサイトだけでなくiOSや
米Amazonが、オンラインストレージサービス「Amazon Drive」の提供を2023年末で終了する、と顧客宛のメールで発表しました。写真保存サービスのAmazon Photosは継続されます。 日本では2012年11月にサービス開始 Amazon Driveは、2011年3月に米国で、日本では2012年11月に利用可能になったストレージサービスで、ユーザーは無料で5GBのストレージが、iOSデバイス、Android、Webブラウザから利用できます。 米Amazonが利用者に送信したメールによると、2023年1月末をもって新規アップロードの受付を終了し、2023年12月31日をもってファイルへのアクセス、ダウンロードができなくなります。 Amazon Photosは継続して利用可能 Amazonは顧客へのメールで、Amazon Driveのサービス終了の理由を「Amazon Photo
となっています。 構成図 クラスタを構成するものを図にすると以下のようになります。 この中の一部コンポーネントは次節以降で登場します。 Kubernetes基盤 クラスタの基盤部分についてどのような構成になっているのか説明します。 kubeadm クラスタの構築自体については kubeadm を利用しています。 kubeadm を利用したクラスタの構築方法については公式のドキュメントが参考になります。 Static Pod と systemd kubeadm でデプロイすると kube-apiserver 等は Static Pod で、kubelet は systemd 以下で動作するようになります。 kube-apiserver は意外にメモリを食ってしまうのでそのまま動作させているとメモリ不足になることがあります。(ありました) なので kube-apiserver と etcd の
M1 ProのMacBook Pro '14を買いました。ちょうど業務PCとして買えるタイミングだったのでラッキーだった。多少トラブルはありますが、それも含めて楽しんでいます。 SDカードスロットが復活したことも話題でしたが、正直要らんなと思っていました。しかし @yamaz さんの以下のツイートを見て、確かにTime Machine運用するのは面白いかもしれない、と思ってやってみた。 なんでなんで!?みなさん、Timemachineのディスクは外付けのSDカードじゃないの?? https://t.co/YTj4QNixNm — 最速配信研究会 山崎大輔 (@yamaz) October 18, 2021 これまでTime Machineは自宅のQNAPに取っていたのだが、正直Time Machineが役に立ったことは全く無い割にはメンテナンスコストがかかっていたので微妙に思っていた。正直
こんにちは。仕事でAWSの構築し、プライベートでAWSの研究と技術書の執筆をし、Amazonで本を売っているAmazon依存症疑惑のある佐々木(@dkfj)です。 AWS使い始めてまず悩むことのベスト10の一つが、ストレージサービスの選び方です。AWSにはS3やEBSの他に、EFSやFSxなど多種多様なストレージサービスがあります。今回は、ストレージサービスの種類から、AWSのサービスの使い分けを説明したいと思います。 ストレージサービスの種別 一口にストレージといっても、用途に応じて幾つか分類できます。代表的なのが、ファイルストレージ・ブロックストレージ・オブジェクトストレージです。まずは、この3つの違いをみてみましょう。 ブロックストレージ まず一番イメージしにくいのが、このブロックストレージ。ブロックストレージは、ものすごくザックリいうとハードディスクのようなもので、ブロックと呼ばれ
AWS News Blog AWS Asia Pacific (Osaka) Region Now Open to All, with Three AZs and More Services AWS has had a presence in Japan for a long time! We opened the Asia Pacific (Tokyo) Region in March 2011, added a third Availability Zone (AZ) in 2012, and a fourth in 2018. Since that launch, customers in Japan and around the world have used the region to host an incredibly wide variety of applications
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く