並び順

ブックマーク数

期間指定

  • から
  • まで

361 - 400 件 / 10169件

新着順 人気順

storageの検索結果361 - 400 件 / 10169件

  • AWS、無料のアプリ開発トレーニングシリーズ--Twitchで毎週配信

    印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Amazon Web Services(AWS)は先週、AWSクラウド上でのサーバーレスアプリケーションの開発方法に関するライブストリーミング講座をTwitch経由で提供すると発表した。この講座は、全8回で週次の配信が予定されている。米国時間1月28日に第1回目が配信された。 開発者はこの「AWS Dev Hour:Building Modern Applications」(AWS開発アワー:モダンアプリケーションの構築)シリーズを通じて、AWSクラウド上でフルスタックのクラウドネイティブアプリケーションを構築する方法を段階を追って学ぶことができる。第1回目は、「AWS Cloud Development Kit」(AWS CDK)を用

      AWS、無料のアプリ開発トレーニングシリーズ--Twitchで毎週配信
    • nasneの内蔵HDDが壊れて起動しなくなったのでHDDを開けてみたら…。「CDかと思った」「見える地獄」

      ⬛️ @yukogets 録画データは諦めてとりあえず nasne だけでも復旧したいところなんだけど、HDD 交換にプロテクトがかかる前の古いファームウェアのバックアップなんて取っているはずもなく。 ダメ元で比較的新しい壊れてない nasne から吸い出したイメージを書き込んだ HDD を載せてみたけどやっぱりダメでした。

        nasneの内蔵HDDが壊れて起動しなくなったのでHDDを開けてみたら…。「CDかと思った」「見える地獄」
      • GitHub における大規模なモノリポのパフォーマンスの向上

        GitHub は、毎日 5600 万人以上の開発者にサービスを提供し、2 億以上のリポジトリをホストしています。これらのリポジトリのごく一部を除いて、世界中の顧客に驚くべきパフォーマンスでサービスを提供しています。 GitHub のような大規模なシステムでは、コードとアーキテクチャのずれというのは限界に達したときに初めて見つかるものです。例えば、何千人もの開発者が毎日同じリポジトリを更新するといったケースです。GitHub は、大規模なモノリポを使用する一部の顧客から、プッシュ操作が失敗するといったパフォーマンスの問題が発生しているというフィードバックを受けました。 そして、それは GitHub においても発生していました。 github/github は GitHub のモノリポですが、私達自身も時々プッシュに失敗することがありました。 調査を開始するにあたり、私たちは社内のチームや顧客

          GitHub における大規模なモノリポのパフォーマンスの向上
        • Wikipediaの全記事をSDカードやUSBメモリに詰め込んで持ち運べる「Kiwix」の使い方まとめ

          オンライン百科事典「Wikipedia」は調べ物をする際に有用なサービスですが、「インターネットに接続しないと閲覧できない」という問題も存在します。「Kiwix」はWikipediaなどのオンライン上のデータをローカルに保存していつでも閲覧可能にするアプリで、Windows、macOS、Linux、iOS、Androidなど各種OSで使用可能とのこと。データ通信量を削減しつつWikipediaを閲覧できて便利そうだったので、インストール手順や閲覧手順をまとめてみました。 Explore Offline Wikipedia and Educational Content with Kiwix- Kiwix https://kiwix.org/en/ KiwixはPC本体ではなくUSBメモリやSDカードなどの外部ストレージにインストールして持ち運ぶことも可能です。今回はWindows版Kiwi

            Wikipediaの全記事をSDカードやUSBメモリに詰め込んで持ち運べる「Kiwix」の使い方まとめ
          • スタートアップの小規模Webサービスのリアルな技術スタック - Qiita

            はじめに プレースホルダというスタートアップのWebエンジニア兼マネージャーのAkahoriです。 弊社はエンジニアは10人以上いるものの、Webエンジニアは私含め3人ほどです。 3人のWebチームで、どのような理由で、どのような技術を使っているか、苦労している点などを共有します。 サービス概要 先月、リトルスパークというサービスをリリースしました。 子ども向けの、オンラインでの習い事プラットフォームで、先生と生徒をマッチングしています。 技術的にはいくつかの特徴を持ち、今回サンプルとして解説します。 授業はライブ授業のみで、お互いにZoomで行います。 ZoomのIDは弊社で管理し、先生側、生徒側、双方が参加ボタン1つで参加できるようになっています。 コース登録(審査有り)や日程登録、プロフィール更新などは全て先生が行うため、その仕組みがあります。 言語・フレームワーク・ライブラリ サー

              スタートアップの小規模Webサービスのリアルな技術スタック - Qiita
            • なぜ今も Google App Engine を選ぶのか - ぽ靴な缶

              Google Cloud で何かアプリケーションを動かしたい時、いつも App Engine (GAE) を第一の選択肢として挙げています。 なのにみ〜んな Cloud Run に行ってしまう。なぜなのか?? 確かに Cloud Run のほうが新しくて公式に露出が多いし、GAE はこういうランディングページからの言及も消えているので無理もない。Google Cloud 的にもあんまり使って欲しくない雰囲気が漂っている。 cloud.google.com App Engine は GCP 最初期からあるサービスで今年で 14 年目になるらしい。 当時学生だった僕はすげーのが出たぞと聞いて GAE を触っていた記憶がある。その頃は Google App Engine 単体で出ていて、他のサービスが続いて Google Cloud Platform になったような気がする1。 そんな歴史あるサ

                なぜ今も Google App Engine を選ぶのか - ぽ靴な缶
              • Modern web apps without JavaScript bundling or transpiling

                August 12, 2021 Modern web apps without JavaScript bundling or transpiling I didn't much care for vanilla JavaScript prior to ES6. Through all of the 2000s, I chased different approaches to avoid writing too much of it. First there was RJS (Ruby-to-JavaScript). Then there was CoffeeScript. Both transpiling approaches that turned more enjoyable-to-write source code into the kind of JavaScript that

                  Modern web apps without JavaScript bundling or transpiling
                • やっぱりカッコいい!! うちのパソコンに「紙テープ装置」がやってきた!

                  コンピューターのプログラムやデータの記録メディアとして「紙テープ」(情報交換用紙テープ)が、かつて使われていたのをご存じだろうか? 1980年頃までは、割と普通に見かけたので「知ってる!」という人も少なくないはず。幅1インチ(約2.5センチ)のテープに1列8個のパンチ穴を連続して記録するものだった。 これを、紙テープ装置にかけてやるとビーーッと読み込んだり、ガジガジガジとパンチ出力できるのが、なんとも端切れよく気持ちよかった。直径2ミリほどの穴1個が1ビット、1列8個の穴で1バイトという目に見えて、音や手応えもあるのもうれしい。デジタルの語源である「指を折って数える」に近いデータの形ですからね。 しかも、そのパンチ穴のパターンというのが、暗号のようでもマガマガしい生き物の文様のようでもある感じだ(冒頭の写真ではいちばん上の2本だけがちゃんとしたデータの出力でそれ以下は後述する花文字)。それ

                    やっぱりカッコいい!! うちのパソコンに「紙テープ装置」がやってきた!
                  • 新しいHDDを使用する時に執り行うべき「儀式」とは?

                    自分のPCや会社のサーバーのHDDを交換するために購入した新しいHDDが「信頼に値する」かどうかの判断は難しいものです。そうしたHDDを新しく購入した際に行う「儀式」について、ここ10年間Linuxのサーバーを管理し、20台を超えるHDDを交換してきた経験を持つIronicBadger氏が語っています。 New Hard Drive rituals https://blog.linuxserver.io/2018/10/29/new-hard-drive-rituals/ IronicBadger氏は2009年にSeagate製のHDDの故障に見舞われ、HDDに保存していた全てのデータを失ってしまったのこと。また、購入した時は問題ないように見えたHDDも、しばらくすると不良セクタが発生したり、ひどい場合は電源を入れて1日足らずで故障したりしたこともあったそうです。 そうした経験から、Iro

                      新しいHDDを使用する時に執り行うべき「儀式」とは?
                    • Full Third-Party Cookie Blocking and More

                      This blog post covers several enhancements to Intelligent Tracking Prevention (ITP) in iOS and iPadOS 13.4 and Safari 13.1 on macOS to address our latest discoveries in the industry around tracking. Cookies for cross-site resources are now blocked by default across the board. This is a significant improvement for privacy since it removes any sense of exceptions or “a little bit of cross-site track

                      • ServerlessDays Tokyo 2023が最高すぎた! - Qiita

                        はじめに 4年ぶりの開催となるServerlessDays Tokyoに参加してきました https://tokyo.serverlessdays.io/ 「もっとうまくやりたい、誰よりも上手にやりたい」 というメッセージとともに開催されたServerlessDays Tokyo 2023ですが、超豪華なスピーカー陣を国内外から集め、ここ数年のServerlessの成熟と未来をしっかりと味わえる濃いイベントです。 1日目がセッション、2日目がワークショップということで、熱力の高いうちに激熱なサービスを素早く学べる構成になっていて、とても充実した内容でした。 所感 4年前のServerless LambdaをはじめとするFaaSをいかに簡単にデプロイ、運用していくかというツール系の話と S3やSQS,SNSなどのFaaS以外のServerlessなサービスの組み合わせでLowOpsな仕組みを

                          ServerlessDays Tokyo 2023が最高すぎた! - Qiita
                        • Googleフォトに保存している昔の写真が壊れていると報告するユーザーが急増中

                          2022年9月25日、Googleのクラウドサービス「Googleフォト」の公式フォーラムに「以前Googleフォトにアップロードしたデータが破損している」という問題が投稿され、その後も同様の報告が多数行われ始めました。 Corrupted photos - Google Photos Community https://support.google.com/photos/thread/180787712/corrupted-photos Scott Miller 8444氏は、2014年頃にGoogleフォトへアップロードしたという写真を数枚フォーラムに投稿し、「写真を振り返っていたところ、写真の一部が崩れていることが分かりました。適切にアップロードし、保存されていたにもかかわらず、この問題が発生しました」と訴えました。 Scott Miller 8444氏が投稿した写真の1つが以下のも

                            Googleフォトに保存している昔の写真が壊れていると報告するユーザーが急増中
                          • 偽装されたMicroSDの正体を探る | データSOS

                            「GoProで使っていたMicroSDカードのデータ読み込みができなくなった」とMicroSDカードのデータ復旧をご依頼いただきました。「Windows10のエクスプローラーで見ると、ファイル、フォルダが文字化けしている。撮影中にバッテリーが切れたので、その影響でおそらくFATが破損しているのではないか」と詳しい状況もお知らせいただきました。 何となく違和感を覚えるSanDiskのMicroSD お預かりしたMicroSDは「SanDisk Extreme PRO」容量1TBのMicroSD。表面を見たところ、なんとなく違和感を覚えます。印刷のテカリといい、文字の大きさやバランス、何かしっくりしません。 まずはこのカードの仕様を確認しようと、SanDiskの日本公式サイト(SanDiskはWesternDigitalが買収しWesternDigitalのブランドとなっています)を見ると「E

                              偽装されたMicroSDの正体を探る | データSOS
                            • テープの時代は終わらない!2030年頃には、400テラバイト対応か

                              テープの時代は終わらない!2030年頃には、400テラバイト対応か2020.07.08 22:0040,081 Andrew Liszewski - Gizmodo US [原文] ( Rina Fukazu ) 進化し続ける「リニアテープオープン」。 データは大量にあるが、毎日アクセスする必要のあるものではないーーーそんなときにはテープカートリッジが適しています。富士フィルムによれば今後、ひとつのカートリッジあたり400TB(テラバイト)の容量に対応できるようになるのだとか。 テープの時代は終わってなかったテープという形式はもはや古いのではと思われる方もいるかもしれません。カセットテープや8トラックなど、もう長いあいだ使われていない存在のようですが、実際のところテラバイトのデータを保存するには手ごろで信頼性の高い方法として考えられています。 テープドライブからデータを取り出すのは、ハード

                                テープの時代は終わらない!2030年頃には、400テラバイト対応か
                              • 150万MAUのNuxt.js製サービスを機能開発を止めずに1ヶ月&1人でNext.jsに置き換えた話

                                Nuxt.js で開発されていたAI受診相談ユビーのフロントエンドを Next.js で作り直しました。 まだまだ仮説検証を繰り返すフェーズのスタートアップのため、機能開発を止めて一気に置き換えることはできず、機能ごとに少しずつ置き換えてリリースをしました。結果、5人のプロダクト開発チームによる機能開発と並走して、全体の移行を1人で1ヶ月の短期間で終わらせることができたので、その意思決定や過程、工夫を紹介します。 移行前の課題 まず前提として、移行前の Nuxt.js による実装は 2018 年に立ち上がったもので、当時 toC の Web サービスを持っていなかった Ubie が ほぼ 1 人の小さいチームで PoC 的に作り始めたものでした。また、当時の Next.js は今ほど多機能ではないプレーンなフレームワークでした。 これらを踏まえて、当時の状況で MVP を最速で作るための技

                                  150万MAUのNuxt.js製サービスを機能開発を止めずに1ヶ月&1人でNext.jsに置き換えた話
                                • 元々は /usr は user の略に決まってるじゃん?ホームディレクトリを置く場所だったんだから - Qiita

                                  Twitterとか見て「そうだったのかー」とか言うんじゃなくて、ちゃんと調べてみましょうよ。/usr は元々ユーザーのホームディレクトリをおいていた場所ですよ。/bin などを置いていたシステムディスクの容量が足りなくなったので別ディスクだった /usr 以下を使うようになっただけです。Unix System Resources とかそんな長い名前、後付けに決まってるでしょ? 翻訳は面倒なので、DeepL(の少し手直し)です。 初期の Unix のドキュメントから URLと1972年という年から、おそらく Version 1 Unix (1971) のドキュメントだと思います。ここ 経由で見つけました。 12ページにこのようなものがあります。詳細はよくわかりませんがディレクトリ構造でしょう。 idata: / root 41. 140016 .byte 7,1 9f-.-2 41. <..

                                    元々は /usr は user の略に決まってるじゃん?ホームディレクトリを置く場所だったんだから - Qiita
                                  • データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ

                                    あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システムの開発をやったり、カジュアルゲーム作ったり。新規事業のスマホアプリを作りつつサーバーサイドの API を作って立ち上げたり、海外向けのサービスを作ったり。いつのまにかメディア運営に関わったりしてきましたが、最近はデータ基盤の開発もやってます。そんなキャリアを歩んできましたが、いつか森の中の開けた草原にあるネット環境の整ったポツンと一軒家で、庭にチャボを放飼にしつつ養蜂をやってみたいと思っています。 話は戻りますが、今回はこの稼働したてホカホカ状態のデータ基盤について概要を紹介したいと思います。よろ

                                      データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ
                                    • Amazon S3互換の低価格ストレージを手がけるWasabiが日本進出

                                      オブジェクトストレージサービスのWasabi Technologiesは、アジアパシフィック(APAC)での事業拡大に向けて、日本国内にAPAC本社を設置。APAC地域では初となるパブリッククラウドサービスの拠点を、東京都内にあるNTTコミュニケーションズのデータセンターに展開。年内には、国内2つ目のデータセンターを開設する予定であるほか、APAC地域でのデータセンターの設置も検討しているという。 Amazon S3の1/5のコスト S3互換のAPIを提供 Wasabi Technologiesは、米マサチューセッツ州ボストンに本社を置き、2015年に創業。2017年からクラウドストレージサービスを開始している。米国、欧州にデータセンターを設置。社員数は150人以上に達する。また、顧客数は2万5000社以上となっており、メディア&エンターテイメント、研究開発、ヘルスケア、教育、公共、エネル

                                        Amazon S3互換の低価格ストレージを手がけるWasabiが日本進出
                                      • 育児支援ダッシュボードを支える技術 - 人間だったら考えて

                                        この記事はなに? 構成・実装 育児記録 室内の温湿度 現在の天気 ダッシュボード 取得情報のデータベースへの格納 ダッシュボードに何を掲出すべきか? まとめ 参考 この記事はなに? 以下の育児支援ダッシュボードの構築ポストに触発され、自分もダッシュボートを作ってみました。 我が家の最終形態こんな 日中妻が試す→不満・希望を夕方俺に伝達→夜俺が治すみたいなサイクルを2週間回した後の図 pic.twitter.com/PHYRx7m1MS— Dr.10(どく・とぉと読んでください) (@Dr10_TakeHiro) 2023年10月2日 現時点で、自分が作ったダッシュボードは以下のようになっています。 育児支援ダッシュボード この記事では、上記の育児支援ダッシュボードを支える技術について解説します。 構成・実装 ダッシュボードには大きく分けて以下の3つの項目を載せています。 育児記録:「ぴよロ

                                          育児支援ダッシュボードを支える技術 - 人間だったら考えて
                                        • 円安だけどSSDやフラッシュメモリ価格は下落傾向、480GB SSDは過去最安クラスの3,499円に

                                            円安だけどSSDやフラッシュメモリ価格は下落傾向、480GB SSDは過去最安クラスの3,499円に
                                          • Lispを実装したくなったら読んでほしい本6選 - Arantium Maestum

                                            言語実装 Advent Calendar 2022の1日目の記事として書いた。 Lisp Advent Calendar 2022でも枠が空いていたのでダブル投稿。 プログラミング言語を実装してみたい!と思ったらまずは簡単なLispインタプリタから始めるというのは一つの王道だと思う。 複雑な構文解析は要らず最低限の再帰下降法パーサで手に入る構文木を、そのまま再帰的な関数で実行していくtree walking評価器。メモリ確保もヒープにそのまま置いていって、メモリ解放は実装言語のGCに任せるなりプログラムの終了時までやらなかったり。そんなインタプリタを作る経験から得られるものは非常に大きく、どんなプログラマでも一回は試してみてもいいのではないか?と思っている。(個人的な感想です) そんな簡易Lispを実装してみて沼にハマってしまい、より精緻な言語処理系を作りたいと思ったとする。その時点で:

                                              Lispを実装したくなったら読んでほしい本6選 - Arantium Maestum
                                            • おうちKubernetes feat. cybozu-go/neco-apps - ぽよメモ

                                              はじめに なぜおうちKubernetes? ハードウェアの選定 クラスタのブートストラップ cybozu-go/neco-apps Metallb cert-manager Contour TopoLVM Rook SealedSecret ArgoCD GitHubアカウントでSSOする gRPC用とWeb UI用でサービスを分ける VictoriaMetrics Grafana operator moco 開発環境 今動いているもの これからやりたいこと バックアップとリストア 監視の充実 まとめ はじめに これはCybozu Advent Calendar 2021 7日目の記事です。是非他の記事も読んでみてください。 Kubernetesの名を聞くようになって久しく、皆様も業務・プライベート問わず日々YAMLを書かれていることでしょう。自分専用のプライベートクラスタが欲しいと思われ

                                                おうちKubernetes feat. cybozu-go/neco-apps - ぽよメモ
                                              • こんなSSDはデータが消える? 不穏な兆候が表れたら今すぐバックアップを(BCN) - Yahoo!ニュース

                                                SSDが飛んでしまった。ノートPCに増設して使っていた500GBのNVMe対応M.2 SSDだ。幸いにして200GB程度しか使っていなかったが、それでも膨大なデータが消えてしまったのは痛い。実は前兆があった。怪しいと思った時にすぐバックアップを取っていれば最悪の事態を避けられた、と思うと悔やまれる。どんなディスクであれ、いつかは壊れる。そこで、データが取り出せなくなった経緯をまとめた。同様の状況に遭遇した場合の参考になれば幸いだ。 トラブルは立て続けに起こる。キーボードが壊れて修理に出したノートPC。無事修理完了したかと思いきや、今度は増設していたSSDのデータが飛んでしまった。どうやらSSDの物理的な破損のようだ。特にショックを与えたり、高温の場所に放置するなどしたわけでもなく、普通に使っていただけだが、ある日、全くアクセスできなくなってしまった。 PCは昨年5月に購入した14インチのノ

                                                  こんなSSDはデータが消える? 不穏な兆候が表れたら今すぐバックアップを(BCN) - Yahoo!ニュース
                                                • DB初心者が自作DBMS始めてみた - Qiita

                                                  この記事は DeNA 24 新卒 Advent Calendar 2023 の 23 日目の記事です。 TL;DR DBMSの基本的な仕組みを知るのに有益だったリソース CMUのDBMS講義 先人の素晴らしい自作DBMSの解説記事&ソースコードリーディング 小さな小さな自作DBMSの設計と実装 最小限SELECTやINSERTなど基本的なSQLが動く この記事のゴール データベースの内部構成を超ざっくり理解するために有用なリソースを知り、そして(全開発者のロマンである)自作 DBMS に一歩踏み出すきっかけになればうれしいです。 モチベーション 自分は普段業務でアプリケーションのような割と高レイヤーな開発がメインなこともあって、ミドルウェアやOS、ネットワークと言った低めのレイヤーに憧れを持っており、この気持ちをまずは自作DBMSをやってみることによって解放してあげようと思ったことがきっか

                                                    DB初心者が自作DBMS始めてみた - Qiita
                                                  • GitHub Actions ことはじめ - tech.guitarrapc.cóm

                                                    GitHub Actions 以前調べたのですが、いろいろあって個人プロジェクトでサクッとビルドするのみに使っていました。 今回改めて調べを進めたのでメモ。 幾つかのリポジトリを GitHub Actions に移行したけど、記事にしようとまとめてたらやった内容以上に調べることになってめちゃめちゃ時間かかった。 目次 目次 TL;DR トレンド GitHub Actions の基本 使用条件 使用制限 料金 ホストランナーの指定 ハードウェアリソース インストールされるツール IP OSの選択 実行権限 ファイルパス 環境変数 シークレット GITHUB_TOKEN コンテキスト Artifact トリガーイベント Cache Actions 通知 YAML Getting started YAMLシンタックス on env jobs.<job_id>.needs jobs.<job_id

                                                      GitHub Actions ことはじめ - tech.guitarrapc.cóm
                                                    • 【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します

                                                      ―― 今のチーム課題と課題解決に向けた取り組みを教えてください。 Wang:私たちのチームでは、主に3つの課題について取り組みを進めています。 まずは1つ目の課題は「マルチテナントのクラスターの運用」についてです。 Hadoopは一般的に、有数のユーザと予測可能なワークロードで運用されていますが、LINEのData OpenによってDAUが700人弱であり、且つワークロードも10万+/日となっています。Isolationがまだ完備されていないので、ユーザ間にリソースの競合が発生している状況です。 2つ目は「Data catalog」についてです。ユーザが自由にデータを生成したり利用したりする環境においては、データのカタログがとても重要です。そのため、Data Lineageを自動的に生成する仕組みが必要となってきます。 そして「大規模のインフラを効率よく運用すること」も私たちの課題です。私

                                                        【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します
                                                      • 千代田まどか(ちょまど)さんがさくらインターネットとの思い出を語る! | さくマガ

                                                        千代田 まどか(ちよだ まどか)さん 通称「ちょまど」さん。マイクロソフト社員。エンジニア兼漫画家として活動中。2017年に行われたデベロッパーズサミットでベストスピーカー賞 総合1位受賞。 X(@chomado)Instagram(chomado)ホームページ(千代田まどかのブログ『ちょまど帳』) 各業界の著名人にインタビューをしていく、この企画。今回はマイクロソフトで「クラウド・デベロッパー・アドボケイト」として活躍しているちょまどさんにお話をうかがいました。さくらインターネットとの思い出や、マイクロソフトでのエピソードを語っていただきました! ちょまどさんはさくらのレンサバユーザーだった ーーちょまどさんは以前にさくらのレンタルサーバを使っていたことがあるとうかがいましたが、どのような用途に使われたのかを教えてください。 学生時代に使っていました。大学1年生のときに、はじめて親にパソ

                                                          千代田まどか(ちょまど)さんがさくらインターネットとの思い出を語る! | さくマガ
                                                        • Cloud Native時代のデータベース

                                                          2021/6/11 #InfraStudy 2nd Season

                                                            Cloud Native時代のデータベース
                                                          • ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog

                                                            はじめまして、Azuma(@azuma_alvin)です。現在大学院の1年生で、2024年2月から4ヶ月間ミラティブのインフラチームにインターンとして参加しました。普段はインフラやMLOpsといった領域に興味があり、最近はVim環境の整備がマイブームです。 本記事では、ログ基盤をFluentdからFluent Bitへ部分移行した経緯とその2種類の監視ツールの実装についてお話しします。 記事の最後に、インターンから見たインフラチームの特徴と私が4ヶ月間で学んだことを紹介しています。興味がある方は末尾までスクロールしてぜひご覧ください。 1. 背景と目的 2. ミラティブのログ基盤について 3. ログ欠損の原因調査 Fluentdのバッファリングの仕組み fsnotifyを用いたバッファリングの観察 負荷試験 日付時刻フォーマットとワイルドカードによるログ欠損 ログ保存とサーバータイムスタン

                                                              ログ基盤のFluentdをFluent Bitに移行して監視ツールを実装した話 - Mirrativ Tech Blog
                                                            • Rails 7.0でアセットパイプラインはどう変わるか | Wantedly Engineer Blog

                                                              Rails 7.0ではフロントエンドサポートが刷新されます。新たなライブラリが多数導入され、選択肢が増えるため、「Rails公式のものを選べばOK」という戦略が通用しなくなります。 本稿では、Railsでフロントエンドを書くための選択肢について、その歴史と実装を踏まえて比較検討します。 結論から言うと(まだアルファ版なので今後も状況が変わる可能性はありますが、) 新規アプリケーションではSprocketsの役割は無くなりそうです。新しいライブラリとして Propshaft, importmap-rails, jsbundling-rails, cssbundling-rails が登場し、主要な選択肢として以下が提供されます。 (各ライブラリの詳細については後述します) Propshaft + importmap-railsデフォルトの選択肢。Node.jsが不要。トランスパイルを含め、複

                                                                Rails 7.0でアセットパイプラインはどう変わるか | Wantedly Engineer Blog
                                                              • M1搭載Macで「SSDの寿命が縮むほど異常な量のデータ読み書きを確認した」という報告

                                                                一部のM1搭載MacBook Proのユーザーの間で、「SSDで異常な量の書き込みが行われている」ことが確認されています。深刻なケースでは、わずか半年でSSDが寿命を迎えてしまう可能性すらあるとのことです。 M1 Mac users report alarming hard drive health readings | iMore https://www.imore.com/m1-mac-users-report-alarming-hard-drive-health-readings M1 Mac owners are experiencing extremely high SSD writes over short periods of time, likely thanks to aggressive swap - Tech News - Linus Tech Tips https:

                                                                  M1搭載Macで「SSDの寿命が縮むほど異常な量のデータ読み書きを確認した」という報告
                                                                • Firestoreセキュリティルールの基礎と実践 - セキュアな Firebase活用に向けたアプローチを理解する - Flatt Security Blog

                                                                  こんにちは、株式会社Flatt Security セキュリティエンジニアの梅内(@Sz4rny)です。 本稿では、Cloud Firestore (以下、Firestore) を用いたセキュアなアプリケーション開発を行うためのアプローチについて説明するとともに、そのアプローチを実現するセキュリティルールの記述例を複数取り上げます。 本稿を読むことで、そもそも Firestore とは何か、どのように Firestore に格納するデータの構造を設計、実装すればセキュアな環境を実現しやすいのか、また、Firestore を利用するアプリケーションにおいてどのような脆弱性が埋め込まれやすいのかといったトピックについて理解できるでしょう。 なお、本稿は以前に投稿した記事と共通する部分があります。理解を補強するために、こちらの記事も適宜ご覧ください。 flattsecurity.hatenablo

                                                                    Firestoreセキュリティルールの基礎と実践 - セキュアな Firebase活用に向けたアプローチを理解する - Flatt Security Blog
                                                                  • 我が家の BigQuery による台所事情分析 - nownab.log

                                                                    弊家では銀行やクレジットカードの明細を BigQuery に取り込んでダッシュボードを作ったりしています。 また、そのために作った BigQuery 向けの Go 製 ETL フレームワークを OSS として公開しました。 本記事ではざっくりどんなもんかを紹介して、どう作るのかを説明します。 Google Cloud Platform Advent Calendar 2020 の 13 日目の記事です。 Google Cloud Japan の Customer Engineer の Advent Calendar もぜひご覧ください。 TL; DR 明細が BigQuery にあると、可視化もできるしアラートも出せるし、まぁなんでもできて便利 銀行明細レベルのデータならほぼ無料で保存、ETL、分析できる ETL フレームワーク bqloader を OSS として公開したから使ってくれよ

                                                                      我が家の BigQuery による台所事情分析 - nownab.log
                                                                    • AWS Amplifyが変えた世界

                                                                      筆者の技術スタック AWSに出会う前 筆者の技術スタックは以下のとおりです。 Webに関するフルスタックエンジニアエンジニアというのがわかりやすいのかもしれません。 フロントエンドからバックエンドまでいっしょくたに提供してた時代からのエンジニア その名残で今もフロントエンド、バックエンド、インフラ構築までおしなべて行ういわゆるフルスタックエンジニア 前職にて社内のインフラ整備だったりお客様の環境構築を任されることが多かった 現在の会社からAWSを学び始める とりあえずやってみよう!という精神を生かして 何でも手を出してた事から、アプリケーションを構築する会社で絶対数が少なくなりがちな インフラ部分を任されることが多かったと思います。 さくらのVPSなどに対して すべてのアプリケーションが整うお手製のシェルをメンテナンスしながら、 一発で環境を整えることに快感を覚えておりました。 Ansib

                                                                        AWS Amplifyが変えた世界
                                                                      • Railsアプリの開発環境向けDockerfile + docker-compose.yml - アジャイルSEの憂鬱

                                                                        人に説明するときに記事あると便利なので、開発環境向けのDockerfileとdocker-compose.ymlを書いておく。 Dockerfile FROM ruby:3.0.0 WORKDIR /app # Using Node.js v14.x(LTS) RUN curl -fsSL https://deb.nodesource.com/setup_14.x | bash - # Add packages RUN apt-get update && apt-get install -y \ git \ nodejs \ vim # Add yarnpkg for assets:precompile RUN npm install -g yarn # Add Chrome RUN curl -sO https://dl.google.com/linux/direct/google-ch

                                                                          Railsアプリの開発環境向けDockerfile + docker-compose.yml - アジャイルSEの憂鬱
                                                                        • Microsoft、クラウドサービスの構成ミスで約6万5,000社の機密文書が漏えい

                                                                            Microsoft、クラウドサービスの構成ミスで約6万5,000社の機密文書が漏えい
                                                                          • 【Ubuntu日和】 【第41回】流行りの超小型USB SSDを使い、Ubuntuをポータブルに運用する

                                                                              【Ubuntu日和】 【第41回】流行りの超小型USB SSDを使い、Ubuntuをポータブルに運用する
                                                                            • 破砕機フル稼働、HDDを「鉄くず」に 処理業者ら困惑:朝日新聞デジタル

                                                                              ","naka5":"<!-- BFF501 PC記事下(中⑤企画)パーツ=1541 -->","naka6":"<!-- BFF486 PC記事下(中⑥デジ編)パーツ=8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下(中⑥デジ編)パーツ=8826 -->","adcreative72":"<!-- BFF920 広告枠)ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag PC誘導枠5行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"

                                                                                破砕機フル稼働、HDDを「鉄くず」に 処理業者ら困惑:朝日新聞デジタル
                                                                              • Cloudflare、CDNエッジで使えるオブジェクトストレージ「R2」発表。Amazon S3互換、読み出しの帯域コストなし、イレブンナインの信頼性

                                                                                Cloudflare、CDNエッジで使えるオブジェクトストレージ「R2」発表。Amazon S3互換、読み出しの帯域コストなし、イレブンナインの信頼性 Cloudflareは、同社のCDNエッジで実行されるワーカープロセス「Cloudflare Workers」などから使えるAmazon S3互換のオブジェクトストレージ「Cloudflare R2 Storage」を発表しました。 Announcing Cloudflare R2 Storage: Rapid and Reliable Object Storage, minus the egress fees. https://t.co/U2dVhVSb2U #BirthdayWeek — Cloudflare (@Cloudflare) September 28, 2021 Cloudflare R2の特徴は、イレブンナインの信頼性を提

                                                                                  Cloudflare、CDNエッジで使えるオブジェクトストレージ「R2」発表。Amazon S3互換、読み出しの帯域コストなし、イレブンナインの信頼性
                                                                                • Ultimate Guide to Improving MySQL Query Performance

                                                                                  MySQL is certainly a powerful open source database management system, but even the most robust engine struggles when queries take an eternity to execute. For DBAs and developers, improving MySQL query performance is an ongoing goal. Efficient query performance is crucial for ensuring the smooth operation and optimal user experience of applications powered by MySQL databases. When businesses rely h

                                                                                    Ultimate Guide to Improving MySQL Query Performance