並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 683件

新着順 人気順

1gb どのくらいの検索結果1 - 40 件 / 683件

  • クラウドエンジニア(AWS)ロードマップ2021 - Qiita

    お知らせ 2022年初頭に本記事を元にしたAWS書籍が技術評論社より全国出版決定いたしました。 関係者各位のご協力に深く感謝いたします。 タイトル:AWSエンジニア入門講座――学習ロードマップで体系的に学ぶ 本書籍出版までの制作プロセス、チーム執筆の方法論などをまとめました チームで技術書を出版して学べた共同執筆メソッド はじめに インフラ初学者がAWSを用いた設計・構築レベルに到達するため、学習の全体像をロードマップ図にまとめました。 背景 パブリッククラウド全盛期においてAWSは全エンジニアにとって「常識」となりました。 しかしながら、情報過多によってAWS学習に必要な情報がネット上のノイズに埋もれてしまい、初学者の直感による判断が誤った学習に行き着くこともあります。 このロードマップはAWS学習の全体像を俯瞰でき、パブリッククラウドを用いた設計・構築レベルに到達するまで導く体系的なス

      クラウドエンジニア(AWS)ロードマップ2021 - Qiita
    • QGISを使って「災害データを地図で分析」してみよう 初心者向けの入門マニュアル|NHK取材ノート

      分析を身につけるには実際に「手を動かす」ことが一番の近道です。 分析ソフトと自治体のオープンデータを使った分析の進め方をとことん詳しく、マニュアル風にご説明します。やってみたいけど難しそう、わからない!という方の参考になればうれしいです。 (※あくまでもイメージをつかむためのものですので、詳しくはネットや参考書など他の情報もご覧ください) 今回のゴール地震による津波で浸水が想定されている区域に、子どもが通う施設がどのくらいあるのか。公開データから分析、可視化する。 以前、私が分析に携わったこの記事では、津波によって浸水が想定されている区域に、高齢者施設がどのくらいあるかを調べました。 このときのデータは、県や自治体などから取材で提供を受けたものがベースになっていました。そのままオープンにすることはできないので、今回は高齢者と同じく避難に手助けが必要な、「子どもの施設」に津波のリスクがあるか

        QGISを使って「災害データを地図で分析」してみよう 初心者向けの入門マニュアル|NHK取材ノート
      • ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2021年版

        いくつかのクラウドサービスでは、1年程度の無料トライアルや一定額のクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスが提供されています。 こうした無料枠は試行用の環境や一時的なテスト環境などとして、期間を気にせずサービスを試すうえで非常に有効です。 もちろん、無料提供サービスは提供側の都合によってある日突然終了することもあり得ますが、いまのところ1年前の記事「ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2020年版」で紹介したサービスで終了したものはないようです。 本記事では期限の制限なくFree TierやAlways Freeとして提供されている主なサービスを、2021年版としてまとめました。 Amazon Web Services(AWS) 「AWS 無料利用枠」のWe

          ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2021年版
        • ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2020年版

          クラウドの多くでは、1年程度の無料トライアルやクーポンなどに加えて、期間の制限なくずっと無料で使える、いわゆる「Free Tier」や「Always Free」と呼ばれる無料枠のサービスも提供されています。 こうした無料枠は開発環境やテスト環境としてクラウドを試すうえで非常に有効です。ここではクラウドのFree TierやAlways Freeとして提供されているおもなサービスをまとめました。 Amazon Web Services(AWS) 「AWS 無料利用枠」のWebページを開き、左側にあるフィルター条件で「無期限無料」をチェックすることで、無期限に無料で提供されるサービスの一覧を見ることができます。 おもに次のようなサービスが無期限無料で提供されています。 AWS Lambda サーバレスコンピューティングの実行環境を提供します。 1カ月あたり100万リクエスト、最大320万秒コン

            ずっと無料で使えるクラウドの「Free Tier」主要サービスまとめ。2020年版
          • この個人サイトは自作OSで動いています

            追記 (2022 5/29): サーバ代をケチるべくVercelに移行しました。動いていたソースコードは ココ に置いてあります。 あなたの予想に反して、このページが見えているでしょうか?このWebサイトは自作OSのKerlaが提供しています。 これは自作OS Advent Calendar 2021の23日目の記事です。 自作OS「Kerla」の紹介 Kerla(かーら)はRustで書かれたLinux ABI互換モノリシックカーネルです。今年の春頃から作り始め、DropbearというSSHサーバが動作する程度には基本的なUNIXの機能が実装されています。具体的には、ファイルの読み書きやUDP/TCPソケット、fork/exec、シグナル、擬似端末といったものです。 カーネル実装の雰囲気を軽く紹介すると、Kerlaでは以下のようにシステムコールが実装されています。 /// write(2)

              この個人サイトは自作OSで動いています
            • 一銭も払わずにクラウド上でWebサービスを公開する(2021/02時点) - Qiita

              これはなに? Webサービスを開発する際に使えるサービスのうち、無料枠があるものをまとめました。 自分でちょっとしたWebサービスを作ろうと思ったときに一銭も払いたくないなという気持ちがあるが、そもそもどの程度までちゃんとした構成が取れるんだっけというのをこれまでに100万回調べている気がするので自分用にまとめたメモです。 前提として、基本的にはAWSとGCPを対象に調べて、一部はそれ以外のサービスも追加で調べている、という感じです 最初に結論 「無料でWebサービスを提供する」というところだけに集中するならAWSよりはGCPのほうが良さそう(ハードルが低そう + できることが多そう) 無料枠だけで完結させるならherokuはSQLも使えるし視野に入れて良さそう ドメイン周りだけはどうにもならないので諦めてお金を払うか各クラウドサービスのドメインのまま使いましょう 無料の範囲内で最低限のW

                一銭も払わずにクラウド上でWebサービスを公開する(2021/02時点) - Qiita
              • 月間500万PV&転送量80TBのサイトをたった4万円で維持する方法

                月間ページビュー(PV)が500万PVあり、データ転送量も80TBあるという人気ウェブサイトを400ドル(約4万6000円)以下で維持する方法を、3Dのアセットライブラリを一般公開しているPoly Havenがまとめています。 How we handle 80TB and 5M page views a month for under $400 – Poly Haven Blog https://blog.polyhaven.com/how-we-handle-80tb-and-5m-page-views-a-month-for-under-400/ ウェブサイト運営のポイントの1つは「資金リソースをどう管理するか」です。資金があればAmazon S3のようなクラウドプラットフォームを利用するのが簡単ですが、データ転送量が月間80TBもあるPoly HavenのようなウェブサイトでAmaz

                  月間500万PV&転送量80TBのサイトをたった4万円で維持する方法
                • 月額440円/2GBで音声通話もOK 「povo2.0+IIJmio」でスマホ料金を激安にする

                  現在さまざまな携帯会社からさまざまな料金プランが出ている中で、これぞお得!といえる料金プランを探すのは至難の業。安いからといって契約したものの、すぐに通信制限がかかってしまったり、電波状況が悪かったりしてしまうと、安物買いの銭失いという結果になり元も子もありません。 そこで、携帯電話ショップの代理店に10年以上勤めた筆者が、携帯料金を節約できる契約方法をお伝えします。※料金は全て税込み。 それはズバリ、0円で維持できるプランと、料金の安いデータSIMを契約することです。今回私がオススメする使い方は、povo(povo2.0)とIIJmioを組み合わせる方法です。それぞれの料金プランについて詳しく見ていきましょう。 povo2.0は「0円」で維持できるが注意点も まずはpovoの現行プラン「povo2.0」の特徴を見ていきましょう。 基本料金が0円 電話はかけたらかけた分だけ22円/30秒発

                    月額440円/2GBで音声通話もOK 「povo2.0+IIJmio」でスマホ料金を激安にする
                  • ランニングコストほぼゼロから始めるスケーラブルな本番環境

                    はじめに 私は個人開発で一山当てたいと常々思っていて、そのためにいくつかヒットしそうなサービスのアイデアがあります。エンジニアであればアイデアを具現化することに躊躇してはいけないと思うわけですが、一度リリースしてしまうとランニングコストが発生するわけで、仮に全く人気がでなかったとしたらランニングコスト分の赤字を垂れ流すことになります。 一方、個人開発者というのはおそらく誰しも夢見がちなので、リリース後バズったりしてユーザーが大量に押し寄せてきてしまってサーバーダウンする可能性も考えてしまいます。 その結果、「全く誰も来なくてランニングコストが赤字になったらどうしよう」という不安と「めちゃくちゃバズってしまってサーバーダウンしてチャンスを逃したらどうしよう」という不安が、心の中でせめぎ合うことになります。 そこで、今回はその2つの不安を一気に解消する「使われなければランニングコストが限りなく

                      ランニングコストほぼゼロから始めるスケーラブルな本番環境
                    • 監視について思うとこ - y-ohgi's blog

                      TL;DR 監視はユーザーにサービスを提供できているかを観測するための行為 SLI/SLOを定めて、SLOを守れるようにモニタリングする ダッシュボードは定常的に表示しておくものと障害時に活用するものを作ると良い アラートはレベル分けして人間が対応しなければならないものだけ人間へ通知する 監視とは サービスを健全に動作させ続けるために監視を行います。 「健全に動作している」の定義はサービスによって異なり、ユーザーにWebページを見せることができることだったり、バッチが正常に終了することだったりします。 最終的にユーザーに正常にサービスを提供できていることを観測するために行うことに変わりはありません。 さてユーザーにサービスを提供するために何を監視しましょうか? クラウド前提であれば個人的にリソースベース(CPU/Memory)より、 SLI/SLOをベース に監視する事が望ましいと考えてい

                        監視について思うとこ - y-ohgi's blog
                      • パソコンユーザーのためのDRAM入門 Part 1 パソコンにおけるDRAM、DRAMの構造 - Qiita

                        序 : プロセッサへの嫉妬 DRAMさん「最近みんなCPUやGPUにばかりうつつを抜かしやがって…。みんながやれRyz○nだの、FinFET ○nmだの盛り上がって、みんなが次世代プロセッサを楽しみにしている。新しいアーキテクチャやISAが出てきて話題も絶えない。」 DRAMさん「たしかによ…CPUはパソコンの花形だし、GPUの性能上げればゲームのグラフィックスがきれいになるよ。それに比べると俺は目立たない。」 DRAMさん「挙句の果てに、Memory wallだなんて言われて、CPUやGPUの足を引っ張る存在だと疎まれている。」 DRAMさん「だけど…だけど…俺がいなかったらパソコンは動かない…!それに、俺だって頑張ってる!お腹にviaを貫通させたりして、CPUやGPUの足を引っ張らないようにしている!」 DRAMさん「だから…だから…俺を…DRAMを…見てくれ…!!!」 対象読者 DR

                          パソコンユーザーのためのDRAM入門 Part 1 パソコンにおけるDRAM、DRAMの構造 - Qiita
                        • 森友問題、桜を見る会…「開示請求」で戦うWADA氏とは何者か | FRIDAYデジタル

                          「赤木ファイル」野党合同ヒアリングに参加した一般市民「開示請求クラスタ」とは? 5月11日、学校法人森友学園をめぐる財務省の公文書改ざん問題で、財務省がその存在を認めたいわゆる「赤木ファイル」について、「野党合同ヒアリング」が行われた。 そのヒアリングに、野党議員と共に、Zoomで一般市民も参加したことが注目を浴びている。その一般市民とは、Twitter上では有名人の「開示請求クラスタ」の「WADA」さんだ。 日本中が注視する「赤木ファイル」について、一般市民が「開示請求」というかたちで真相究明に貢献することができるとは。 そもそも「開示請求」を始めたきっかけは何だったのだろうか。今回の合同ヒアリング参加の経緯なども含め、WADAさんにZoomでインタビューを行った。 「赤木ファイル」とは、森友学園に関する財務省の公文書改ざん問題で、改ざんの強要を苦に自殺した財務省近畿財務局の職員・赤木俊

                            森友問題、桜を見る会…「開示請求」で戦うWADA氏とは何者か | FRIDAYデジタル
                          • Twitter(X) コミュニティノートについて知って欲しいことを暑苦しく語る - フジイユウジ::ドットネット

                            誤解を招きそうなツイートに対してTwitter(X)ユーザーが背景情報を書くことができるコミュニティノート機能が日本でも正式リリースになりましたね。 このTwitterコミュニティノート機能、フェイクニュースや陰謀論などを見た人が冷静に判断しやすくなる背景情報を付与でき、とても意義深いです。 しかし、この機能自体に対する誤解も多い上に、僕が見て残念な使い方も増えてきているように思います。 そこで、この記事では Twitterコミュニティノートについて解説しながら、いかにこれが超絶スゴい複雑さで「インターネットっぽい仕組みか」を語っていきたいと思います。 Twitterが好きな人も嫌いな人も、どうか最後まで読んでもらえれば嬉しいです。 コミュニティノートは書いただけでは表示されない、複雑な仕組みだよ。 コミュニティノートは、誤解を招きそうなツイートに対してTwitterユーザーが背景情報を書

                              Twitter(X) コミュニティノートについて知って欲しいことを暑苦しく語る - フジイユウジ::ドットネット
                            • Obsidianが大学生活を変える! 学生必見の活用術 - Qiita

                              ナレッジベース共有ではなく、自分のためだけのクローズドなローカル環境で動作する点において差別化がされている。何かを発信するのではなく自分自身のためにテキストをまとめるのです。 このテキストも外出先で書いています。 金欠学生はもちろん格安を売りにしたプロバイダーと契約しているので3GB程度しか余裕がないはずです(私は月の半ばでなくなりました)。しかしローカルで動作するので速度制限を恐れることなく使うことができるのです。 Obsidianは単なるノートアプリではなくアイデアを書き溜め、思考をまとめ上げ、一つの思想を創り上げる、最強のセカンド・ブレインである。 —私 メリット 日常的に使えばマークダウン記法に慣れて、サークルや研究室のesaの記事を書く心理的ハードルが下がる QiitaやZennなどの記事を公開するハードルも下がる 有名な使い方としてはドイツの社会学者が考案したツェッテルカステン

                                Obsidianが大学生活を変える! 学生必見の活用術 - Qiita
                              • コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ

                                はじめに SREチームの @minamijoyo です。 先日 CrowdWorks (crowdworks.jp) の本番環境のRailsアプリケーションを Docker (AWS ECS: Elastic Container Service) に移行しました。 CrowdWorksは2012年にサービスを開始し、2019年10月現在、ユーザ数は300万人、月間で数億円規模のお仕事がやりとりされる、国内最大級のクラウドソーシングプラットフォームにまで成長しました。 サービスの規模拡大に合わせて、ソースコードも数十万行規模に成長し、 決して小さくはない規模のRailsアプリケーションに成長しました。 CrowdWorksの開発環境にDockerが導入されたのはもうかれこれ3年半前の2016年の4月頃、2017年1月頃にはCrowdWorks本体から切り出された一部の機能で本番環境に投入され

                                  コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ
                                • なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決する

                                  なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人!? SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える(やらなければいけない)のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル

                                    なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決する
                                  • ベストなパスワードマネージャーはこれ!数十種類から厳選してみた

                                    ベストなパスワードマネージャーはこれ!数十種類から厳選してみた2020.11.25 21:0063,872 Andrew Cunningham, Thorin Klosowski -WIrecutter [原文] ( satomi ) Tags : プロダクトバイヤーズガイドWirecutterソフトウェアレビュー ネットで個人情報が盗まれたら大変! 保護の基本は2段階認証とパスワード管理ソフトというわけで、今回はガジェット徹底比較でおすすめをバシッと言い切る信頼の米国メディア「Wirecutter(from The New York Times)」 が数十種類を審査、4つをテストして、機能と互換性、堅牢性、使いやすさの観点から選んだベストを紹介します。 イチ押し:1Password1Passwordアプリは使いやすさ抜群。読みやすい文章でセキュリティのおすすめが表示され、使う人の身に立っ

                                      ベストなパスワードマネージャーはこれ!数十種類から厳選してみた
                                    • Linux procfs 徹底入門

                                      これは Linux Advent Calendar 2019の 15 日目の記事です。procfs について勉強したことをまとめます。 検証環境CentOS 8 を利用する。 ]# cat /etc/redhat-release CentOS Linux release 8.0.1905 (Core) ]# uname -a Linux localhost.localdomain 4.18.0-80.el8.x86_64 #1 SMP Tue Jun 4 09:19:46 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux procfs とは疑似ファイルシステムのひとつ。 ディスク上に実体は存在せず、メモリから情報を取得する。 カーネルだけが知っている情報 (例えばシステム全体のロードアベレージ/CPU負荷/メモリ利用状況や、プロセスごとの情報)が取得できる。

                                        Linux procfs 徹底入門
                                      • 【ZOZOTOWNマイクロサービス化】API Gatewayを自社開発したノウハウ大公開! - ZOZO TECH BLOG

                                        はじめに こんにちは。ECプラットフォーム部のAPI基盤チームに所属している籏野 @gold_kou と申します。普段は、GoでAPI GatewayやID基盤(認証マイクロサービス)の開発をしています。 ZOZOテクノロジーズでは、2020年11月5日にZOZO Technologies Meetup〜ZOZOTOWNシステムリプレイスの裏側〜を開催しました。その中で発表されたAPI Gatewayによるマイクロサービスへのアクセス制御に関して、当日話せなかった内容も含めて、API Gatewayについてこの記事で網羅的にまとめました。 API Gatewayやマイクロサービスに興味ある方、「API Gateway」という言葉は知っているけど中身はよく分からないという方向けの記事なので、読んでいただけると幸いです。 はじめに ZOZOTOWNのリプレイス マイクロサービス化の目的 ストラ

                                          【ZOZOTOWNマイクロサービス化】API Gatewayを自社開発したノウハウ大公開! - ZOZO TECH BLOG
                                        • 日本で最も看板激戦区の渋谷を専門家と歩く

                                          ある時から渋谷のスクランブル交差点で記念撮影をする外国の人が増えた。ここは何が特徴なんだろうか。大きな看板が多いこともその一つだろう。 専門家と街を歩くシリーズ、今回は屋外広告の専門家と街を歩いた。街に掲げられた看板にどんな秘密があるのだろうか。 今回渋谷の看板を一緒に見てくれる専門家は屋外広告の会社である光伸プランニングの原壯さん。 広告の製作会社といってもデザインはやらず、印刷も加工も現場(施工)もやる屋外に広告を掲示することの専門家である。 デイリーポータルZウェブマスター林雄司(左)さんと光伸プランニングの原壯さん(右)の3人で歩きます 渋谷駅前は屋外広告だらけ 林 :すでにこのハチ公前広場にあるもの全て今日の話の対象ですよね。 原 :全部看板ですね。 大北:これってどういう仕組みなんですか? 原 :これは媒体(※)売りなので、2週間でいくらと決まってるんです。 ※看板を掲示する場

                                            日本で最も看板激戦区の渋谷を専門家と歩く
                                          • Node.js,Python,RubyなどのWebアプリを完全無料でホスティング可能な「Unubo」を使ってみた! - paiza times

                                            どうも、まさとらん(@0310lan)です! 今回は、フロントエンドによる静的なWebページだけでなく、Node.jsなどのサーバサイドも含めた動的なWebアプリを無料でホスティングしてくれるサービスをご紹介します。 GitHubのリポジトリと連携することで、とにかくWebアプリを公開するまでの作業が簡単かつ高速に実現できるのが大きな特徴です。 サーバレスによる実行も可能なので、ご興味ある方はぜひ参考にしてみてください! 【 Unubo 】 ■「Unubo」の使い方 それでは、「Unubo」をどのように使っていけば良いのか見ていきましょう! まずは、サイトにアクセスしたら【SIGN UP】ボタンをクリックします。 無料のユーザー登録画面が表示されるので、ユーザー名・メールアドレス・パスワードを入力しましょう。 登録したメールアドレス宛にリンクが送られてくるので、それをクリックすれば登録完了

                                              Node.js,Python,RubyなどのWebアプリを完全無料でホスティング可能な「Unubo」を使ってみた! - paiza times
                                            • 海外パケ死の心配なし。200以上の国で使えるSIM「Google Fi」使用レポート - 価格.comマガジン

                                              日本国外に出かける間もスマートフォンを使用したいけれど、「通信回線はどれを使えばいいのだろう?」 というのは旅行者や出張族に共通する悩みです。元バックパッカーで、現在は海外取材に奔走する筆者にとっても、この問題は身近なので色々と調べてみたところ、全世界200以上の国や地域で使用でき、しかもデータ通信料金はどこの国でも一律1GB当たり10ドル(約1,080円)という手頃な値段で利用できるサービス「Google Fi」をGoogleが提供していることを知りました。というわけで、今回は実際に「Google Fi」に契約してその使い勝手を確かめてみることにしました。 Googleが提供するモバイル回線「Google Fi」 とは? 「Google Fi」は、GoogleがMVNO(仮想移動体通信事業者 )として提供するモバイル回線サービス(4G LTE)です。日本のMVNOとしては楽天の「楽天モバ

                                                海外パケ死の心配なし。200以上の国で使えるSIM「Google Fi」使用レポート - 価格.comマガジン
                                              • おうちKubernetes feat. cybozu-go/neco-apps - ぽよメモ

                                                はじめに なぜおうちKubernetes? ハードウェアの選定 クラスタのブートストラップ cybozu-go/neco-apps Metallb cert-manager Contour TopoLVM Rook SealedSecret ArgoCD GitHubアカウントでSSOする gRPC用とWeb UI用でサービスを分ける VictoriaMetrics Grafana operator moco 開発環境 今動いているもの これからやりたいこと バックアップとリストア 監視の充実 まとめ はじめに これはCybozu Advent Calendar 2021 7日目の記事です。是非他の記事も読んでみてください。 Kubernetesの名を聞くようになって久しく、皆様も業務・プライベート問わず日々YAMLを書かれていることでしょう。自分専用のプライベートクラスタが欲しいと思われ

                                                  おうちKubernetes feat. cybozu-go/neco-apps - ぽよメモ
                                                • Go製ミドルウェアのメモリリークを解決した話 - Mirrativ Tech Blog

                                                  インフラ・ストリーミングチームの id:udzura (@udzura)です。今回は、Goミドルウェアのメモリリークを見つけて解決する際に、どのようなプロセスを踏んでいったかを解説します。 Go製のミドルウェアの概要 ミラティブでは、Webアプリケーションのみならず、ミドルウェアに相当する部分についても必要なものは内製しています。その中の一つに、社内で「Radisha」と呼んでいる各種集計とキャッシュなどを行うためのミドルウェアがあります。Radishaは以下のような特徴を備えています。 GET、SET、SETEXなど基本的なRedis互換のコマンドを実装している。そのため、既存のRedisクライアントライブラリから操作が可能である。 ランキング集計、一定時間内のアクセス集計などが行えるよう、Redis にない独自のコマンドを実装している。 高い可用性を志向しており、オンメモリのデータは

                                                    Go製ミドルウェアのメモリリークを解決した話 - Mirrativ Tech Blog
                                                  • PandasからPolarsへ移行した方がいいのか - Qiita

                                                    なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・`) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 (画像元:葬送のフリーレン公式Xアカウントのポストより) そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり

                                                      PandasからPolarsへ移行した方がいいのか - Qiita
                                                    • Firebase利用時に発生しやすい脆弱性とその対策10選 - Flatt Security Blog

                                                      はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの梅内(@Sz4rny)です。 本稿では、弊社がこれまでに実施してきたFirebase診断の事例や筆者独自の調査をもとに、Firebaseを活用して開発されたサービスにおいて発生しやすい脆弱性の概要やそれにより引き起こされるリスクおよびその対策を深刻度や発生頻度の評価を踏まえつつお伝えします。本稿を通じて、Firebaseを活用したサービスにおいて発生しやすい脆弱性にはどのようなものがあるのか、また、そのような脆弱性を埋め込むことなくセキュアなサービス実装を実現するためにはどのような観点に気をつければよいのかについて理解を深めていただけますと幸いです。 なお、本稿では「Firebase活用時に限って発生しうる脆弱性(例:Firestoreのセキュリティルールにおけるバリデーション不備)」と「Firebaseを活

                                                        Firebase利用時に発生しやすい脆弱性とその対策10選 - Flatt Security Blog
                                                      • サーバーレスと僕のこれまでとこれから - Sweet Escape

                                                        本投稿は2021年3月31日の21時から開催予定のイベント(ライブストリーミング)で話す内容(の一部)です。もしお時間があればぜひこちらにもご参加ください。登録はこちら。 Update!!: ライブ配信のアーカイブが公開されてますのでよろしければこちらもどうぞ。 www.youtube.com TL;DR 2020年にやってきたサーバーレスに関するこのシリーズは最終回だよ 6年以上サーバーレスやってきたので思い出話するよ はじめに Twitterでも言ったのですが、本日がAmazon Web Service Japan(AWSJ)での勤務最終日です。これもTwitterで言ったとおりなんですが、AWSJに入社してからの僕のキャリアはサーバーレス(というかAWS Lambda)とともにあったと言っても過言ではないです。 突然ですが本日を最終日としてAWS Japanを退職します! AWSで僕

                                                          サーバーレスと僕のこれまでとこれから - Sweet Escape
                                                        • [AWS][Fargate]ECS Scheduled TasksによるNAT Gatewayの通信費肥大化について

                                                          [AWS][Fargate]ECS Scheduled TasksによるNAT Gatewayの通信費肥大化について投稿者: adachin 投稿日: 2021/04/082021/04/08 まずはNAT Gatewayの膨大な通信費を見てほしい….(驚愕) ECS/FargateでECS Scheduled Tasksを運用していると、NAT Gatewayの通信費が膨大にかかってしまうことがあると思います。今回はこちらをどのようにコストを削減したのかブログしたいと思いますので、ぜひ参考にしてみてください。まずは経緯から! 経緯 改善する前の構成図を書いてみました。ECS/Fargateで動作しているAppコンテナ(Private subnet)ですが、デプロイ時やECS Scheduled TasksでのバッチはNAT Gatewayを経由してECRからDocker imageをpu

                                                          • ecrm - Amazon ECRから不要イメージを安全に削除するOSSを作った - KAYAC engineers' blog

                                                            SREチームの藤原です。今回は、AWSのコンテナレジストリであるAmazon ECRから、不要になったコンテナイメージを安全に削除するツールをOSSとして作った話です。 Amazon ECRのライフサイクルポリシーでは、設定によっては実際に利用中のイメージを削除してしまうことがあります 現在利用中のイメージを避けて、それ以外の不要なイメージを安全に削除できるCLIツールをOSSとして作成しました Amazon ECSとECRでのイメージ運用 カヤックでは、コンテナのオーケストレーションにAmazon ECSを主に使用しています。ECSにタスクをデプロイする場合は、イメージのタグにアプリケーションのGitリポジトリのコミットハッシュ(git log -1 --format=%Hで計算した値)を付与してAmazon ECRにpushし、タスク定義ではそのタグを含めたURLを指定しています。 例

                                                              ecrm - Amazon ECRから不要イメージを安全に削除するOSSを作った - KAYAC engineers' blog
                                                            • AWS re:Invent 2020で発表された新サービス/アップデートまとめ - Qiita

                                                              AWS re:Invent 2020の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました! 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 12/1 (火) 今年の開幕は「Amazon EC2 Mac instances」でした。 Amazon EC2 Mac instances macOS用のAmazon Elastic Compute Cloud (EC2) Macインスタンス EC2 Macインスタンスを使用すると、iPhone、iPad、Mac、Apple Watch、Apple TV、Safari用のアプリ開発者は、macOS環境を数分でプロビジョニングしてアクセスし、必要に応じて容量を動的に拡張し、AWSの従量課

                                                                AWS re:Invent 2020で発表された新サービス/アップデートまとめ - Qiita
                                                              • Zoom、Cisco WebEX、TeamsをCASBでセキュリティで比較。結局Zoomは何が駄目?(大元隆志) - エキスパート - Yahoo!ニュース

                                                                未だに多くの人が関心を寄せるZoomのセキュリティ。Zoomのようなクラウドサービス導入を検討する際にリスクアセスメントを迅速に行うCASBというツールが有るので、CASBを用いて比較を行った。 ■多くの企業がクラウドのセキュリティ評価に課題を抱えている 新型コロナウィルスによる「緊急事態宣言」発令によって多くの企業が急速にテレワーク環境の整備に追われている。テレワーク実現にあたって直ぐに利用を開始できるクラウドサービスの利用を検討する企業が多い。こういったクラウドサービスの利用に伴い情報システム部門を悩ませているのが「クラウドサービスのセキュリティ評価」だ。クラウドサービスは各クラウドサービス事業者が構築したシステムをサービスとして利用することになるため、セキュリティのレベルは各社統一されておらず、自社のセキュリティ基準を満たしているかを判断することが求められる。 こういったクラウドサー

                                                                  Zoom、Cisco WebEX、TeamsをCASBでセキュリティで比較。結局Zoomは何が駄目?(大元隆志) - エキスパート - Yahoo!ニュース
                                                                • [神アップデート]GuardDutyがEC2やECSのマルウェア検知時のスキャンに対応したので実際にスキャンさせてみた #reinforce | DevelopersIO

                                                                  [神アップデート]GuardDutyがEC2やECSのマルウェア検知時のスキャンに対応したので実際にスキャンさせてみた #reinforce 神機能が提供されました。EC2やコンテナでマルウェア感染の挙動を検知したら、GuardDutyがマルウェアスキャンを実施できるようになりました。ユーザーが頑張ることが1つ減りました。控えめに言って最高ですね。 こんにちは、臼田です。 みなさん、AWSで脅威検知してますか?(挨拶 神機能がリリースされました!現在開催されているAWSのセキュリティカンファレンスre:InforceにてEC2やECS/EKSなどのコンテナワークロード上でマルウェアを検知した際にスキャンする機能が発表されました! New for Amazon GuardDuty – Malware Detection for Amazon EBS Volumes | AWS News Bl

                                                                    [神アップデート]GuardDutyがEC2やECSのマルウェア検知時のスキャンに対応したので実際にスキャンさせてみた #reinforce | DevelopersIO
                                                                  • ソシャゲサーバー開発するとき始めに考慮しておかないと死ぬポイント備忘録

                                                                    事前知識編 システム開発するプログラマも読んでおいたほうがいい資料とか。 今時のシステムならまず仕様や運用に反映される。されてなかったらむしろこっちから確認取りに行った方がいい。 JOGAガイドライン 昔ガチャとかが問題になったときに出てきた協会のガイドライン。 オンラインゲーム安心安全宣言 オンラインゲームにおけるビジネスモデルの企画設計および運用ガイドライン ランダム型アイテム提供方式を利用したアイテム販売における表示および運営ガイドライン オンラインゲームガイドライン 開発環境編 GitHubみたいなPullRequestを出せる環境 GitだけじゃなくてGitHub。必然的に規模が大きくなるのでプルリク出して進めることになります。 CIまで設定をする 最初のうちにCircleCIのようなテストの自動実行する仕組みまで揃えてしまっておいたほうが良いです。後からだとそもそも対応できなく

                                                                      ソシャゲサーバー開発するとき始めに考慮しておかないと死ぬポイント備忘録
                                                                    • 7連装CDチェンジャー付き光学ドライブ「MBR-7.4」(1995年頃~):ロストメモリーズ File004 | テクノエッジ TechnoEdge

                                                                      [名称] 多連装CD-ROMドライブ (製品名) Nakamichi MBR-7.4 [種類] 光ディスク [記録方法] ---- [容量] 最大7枚 [サイズ] 195×320×95mm [接続] SCSI-2 [電源] 100V AC [登場年] 1995年頃~ ひとつ、またひとつと消えていき、記憶からも薄れつつあるリムーバブルメディア。この連載では、ゆるっと集めているメディアやドライブをふわっと紹介します。 「Nakamichi MBR-7.4」は、ナカミチが開発/販売したCD-ROMドライブ。ドライブ内に7枚までのCD-ROMを格納でき、利用時に任意の1枚へ自動で入れ替えてくれるのが特徴です。 CD-ROMの容量は、650MB前後。今ではPCの内蔵ストレージに保存してもたいしたことない容量ですが、1990年代半ばのPCに搭載されていたHDDは、数百MB~数GB程度しかありません。そ

                                                                        7連装CDチェンジャー付き光学ドライブ「MBR-7.4」(1995年頃~):ロストメモリーズ File004 | テクノエッジ TechnoEdge
                                                                      • 個人運用k8sクラスタの構成要素の技術選定 - でこてっくろぐ ねお

                                                                        これは、k8sクラスタを個人で運用する際に行った構成要素の技術選定の記録である。 技術選定の理由を書くのも見るのも楽しい、という心情のもとにここに公開する。 前提知識 以前、こんなエントリを書いた。 bitcoinのfull nodeをAWSでなるべく安く運用してみる - でこてっくろぐ ねお 上記の通り、個人でbitcoinのfull nodeという、状態をバリバリもつサービスを、AWSでのコスト面で最安を狙って作り運用を行っていた。 しかしその後、Oracle Cloudで運用したほうが安くなることに気づいたため引っ越した。 Oracle CloudではARMのVMが4台無料で使えて複数台構成が組め、AWSやGCP同様k8sのマネージドサービスもあり、また仕事でk8sを扱う部署に異動したのもあり、勉強のためk8sクラスタ上で運用することにした。 構成要素 以下の構成要素を選択している。

                                                                          個人運用k8sクラスタの構成要素の技術選定 - でこてっくろぐ ねお
                                                                        • 自動プログラミングAIの「AlphaCode」をDeepMindが発表、競技プログラミングレベルのコード生成が可能

                                                                          DeepMindが競技プログラミングレベルのプログラミングが可能な人工知能(AI)の「AlphaCode」を発表しました。AlphaCodeのほかにも自動でプログラミングが可能なAIは存在しますが、AlphaCodeは414億ものパラメーターを保持した特に精度の高いAIに仕上がっているとのことです。 Competitive programming with AlphaCode | DeepMind https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode Competition-Level Code Generation with AlphaCode (PDF)https://storage.googleapis.com/deepmind-media/AlphaCode/competition_leve

                                                                            自動プログラミングAIの「AlphaCode」をDeepMindが発表、競技プログラミングレベルのコード生成が可能
                                                                          • 2005年11月のYouTube投資検討|平田 智基|note

                                                                            単刀直入に聞きます。 あなたは将来のYouTubeになりうるサービスを見抜く目が欲しいですか? 私は何としても欲しいです。 2005年2月14日にローンチされたYouTubeは、2年も経たない2006年11月に$1.65BでGoogleに買収されました。 当時のYouTubeはほとんど売上がなかったこと、当時のGoogleにとって最大級の買収だったことからも絶対にリターンを回収できないと批判する声もありました。 しかし先日初めてYouTubeの収益が公開され、2019年には約150億ドルの売上を叩きだしており、さらに広告収入は前年比+36%で成長していることが明らかになり、Googleの慧眼たるやと思わずにはいられませんでした。 YouTubeの収益が初めて公開されました。 2017年:$8,150M 2018年:$11,555M 2019年:$15,149M 直近3年のCAGRは約35%

                                                                              2005年11月のYouTube投資検討|平田 智基|note
                                                                            • Nuxt + Sails + TypeScript + Fargateでタスク管理ツールを作ったら快適だった話 - Qiita

                                                                              Repsona LLCの@GussieTechです。無料ガントチャート、無料カンバン、無料ドキュメント管理が便利な「理想のプロジェクト管理ツール」を作っています。 タスク管理ツール、情報共有ツール、便利ですね! これまでいろんな仕事で、いろんなツールを使ってきました。それぞれ、特に不自由もなく、乗り換えるほどのモチベーションもなく使い続けていたんですが、不満が全くなかったわけではありませんでした。 ・遅い ・ダサい ・わかりにく ・カンバンがない ・ガントチャートがない ・Wiki的なものがない ・なぜか仕事がうまく進まない ・SNSみたいな感じで、社員がもっと楽しくつながれたらおもしろそう ・スキルがレベルアップしてる様子とか、可視化されたらおもしろそう ・勝手に仕事してくれたりしないかな、AIとかで ・使ってたら無意識にPMBOKみたいになるように、レールが敷かれていると便利な気がする

                                                                                Nuxt + Sails + TypeScript + Fargateでタスク管理ツールを作ったら快適だった話 - Qiita
                                                                              • ZOZOTOWNの基幹データベースをリプレースした話 - ZOZO TECH BLOG

                                                                                はじめに こんにちは、技術本部SRE部ZOZOSREチームの堀口です。普段はZOZOTOWNのオンプレミスとクラウドの構築・運用に携わっています。またDBREとしてZOZOTOWNのデータベース全般の運用・保守も兼務しております。 ZOZOTOWNではSQL Serverを中心とした各種DBMSが稼働しています。その中でZOZOTOWNサービスの根幹となるいわゆる基幹データベース(以下、基幹DBと呼ぶ)を5年ぶりにリプレースしました。 基幹DB群は、商品情報、在庫情報、注文情報、会員様情報、ブランド様情報、配送管理、キャンペーン情報、分析系情報などZOZOTOWNサービスにおけるほぼ全ての情報を管理しているものとなります。 リプレースのモチベーションは5年のハードウェア(以下、HWと呼ぶ)保守期限終了およびSQL ServerのEnd Of Life(以下、EOLと呼ぶ)を迎えるため、HW

                                                                                  ZOZOTOWNの基幹データベースをリプレースした話 - ZOZO TECH BLOG
                                                                                • え、そんなに!?意外と知らないAWSでお金がかかるポイント5選!! JAWS DAYS 2020登壇資料 #jawsdays #jawsdays2020 | DevelopersIO

                                                                                  こんにちは(U・ω・U) AWS事業部の深澤です。 さて僕はこれまで次のようなブログを書いてきました。 全部で15ポイントもあるのですが、今までの中から厳選して5つの特に注意したいポイントをピックアップしオンライン開催されたJAWS DAYS 2020のランチセッションで登壇/発表してきました。 資料 動画 解説 ポイント1: 通信費 AWSではわずかではありますが、通信を行うと課金が発生します。AWSから外への通信は$0.114(12.33円)/GB、リージョン間通信の場合は$0.09(9.74円)/GB、同一リージョンであっても異なるAZへの通信は$0.01/GB(1.08円)です。 こちらはEC2だけでなく他のサービスも含めたサービス間通信の合計であることに注意してください。ディザスタリカバリで複数リージョンに跨ったりログを他のリージョンに転送したりして意外と料金が上がりがちです。

                                                                                    え、そんなに!?意外と知らないAWSでお金がかかるポイント5選!! JAWS DAYS 2020登壇資料 #jawsdays #jawsdays2020 | DevelopersIO