並び順

ブックマーク数

期間指定

  • から
  • まで

361 - 400 件 / 2134件

新着順 人気順

redisの検索結果361 - 400 件 / 2134件

  • AWSエンジニアから見たGCPサービス(DB/ストレージ編)

    こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。先日、Google Cloud のProfessional Cloud Architect(以下PCA)を取得する機会があったので今回はその合格までの道のりについてお話しいたします。きっかけきっかけとなったのは、Google Cloudが主催している特別トレーニング「G.I.G.」に参加する機会が巡ってきたことです。GMOアドマーケティングに入社して約1年が経つと

      AWSエンジニアから見たGCPサービス(DB/ストレージ編)
    • 【個人開発】Qiitaの人気の記事・ユーザー・書籍を見つけられるWebサービスを作りました - Qiita

      *印が付いているものは初めてさわった技術です。はい、お恥ずかしながらすべて初物です。(普段はJavaとかJavaとかJavaとかさわってます) Vue.jsを使用したSPAで作成しています。当初はRuby on Railsで作り始めたのですが、作るWebサービスを考えるとバックエンドはフルスタックなものはいらない・むしろデータ加工したAPIを返すだけで良いんじゃ?と思い、一気に方針転換してSPAで作るように変更しました。 バックエンドフレームワークも、Flaskに変更しました。 Flaskは一般にマイクロフレームワークと呼ばれていて、1ファイルで成り立つようなくらいなモノで小さく始められます。 が、Flaskの機能自体は少ないわけではなく、ディレクトリ構成なども特に規定があるわけでもなく、自由なので初心者には結構難しいFWなのかなという感じでした。 (RailsやDjangoのように規約に

        【個人開発】Qiitaの人気の記事・ユーザー・書籍を見つけられるWebサービスを作りました - Qiita
      • Docker 公式イメージが Amazon Elastic Container Registry Public で利用可能になりました | Amazon Web Services

        Amazon Web Services ブログ Docker 公式イメージが Amazon Elastic Container Registry Public で利用可能になりました この記事は Docker Official Images now available on Amazon Elastic Container Registry Public を翻訳したものです。 コンテナベースのアプリケーションを構築する開発者は、Amazon Elastic Container Registry (Amazon ECR) Public から直接 Docker 公式イメージを見つけて、ダウンロードできるようになりました。この新しい機能により、AWS のお客様は豊富な AWS 無料利用枠を利用しながら、Docker 公式イメージをプルするためのシンプルで可用性の高い方法を得ることができます。Am

          Docker 公式イメージが Amazon Elastic Container Registry Public で利用可能になりました | Amazon Web Services
        • Feature Toggleを用いたRailsアプリの継続的なリリースと要注意事項 - メドピア開発者ブログ

          はじめに 皆様こんにちは、サーバーサイドエンジニアの草分です。 突然ですが、開発者の皆様、実装したソースコードはこまめにリリースしていますか? 「大きい機能なので開発に時間がかかる」「障害が起きないよう念入りにテストする必要がある」などの理由で、Featureブランチのままコミットグラフが伸びに伸びたりしていませんか? 大きな機能を作ること自体は悪いことではありませんが、大きすぎるFeatureブランチは、本流ブランチとの挙動の乖離やコードの衝突が発生しやすく、レビューやマージに多大な苦労を伴います。 この記事では、この問題の解決策の1つとなる「Feature Toggle」を、Ruby on Railsにおける実装方法と共にご紹介します。 Feature Toggle自体は開発手法の一種であるため、言語/フレームワークを問わず広く活用されています。 Feature Toggleとは 「機

            Feature Toggleを用いたRailsアプリの継続的なリリースと要注意事項 - メドピア開発者ブログ
          • ElastiCacheはMemcachedとRedisのどっちを選ぶ? | DevelopersIO

            こんにちは(U・ω・U) AWS事業部の深澤です。 AWSにはElastiCacheと呼ばれるマネージド型のキャッシュストアサービスがあります。利用を始めようと色々調査すると「RedisとMemcached、どっち使ったらいいの?」というのは結構悩みがちなポイントかと思います。今回は2つの特徴を比べてみて、どちらのサービスを使うか一緒に考えてみましょう! 可用性 ElastiCacheでは最小の構成単位を「ノード」と呼びます。EC2で言うところのインスタンスに相当するものです。このノードを組み合わせた集合体をクラスターと呼びます。ノードに直接接続してしまうと、もしそのノードに問題が発生した場合には新しいノードのアドレス(エンドポイント)をアプリケーション側で書き換えなくてはなりませんし、サービスの成長と共に負荷が上がってくるとノードの台数を増やして負荷やメモリ(キャッシュ)を分散したりとい

              ElastiCacheはMemcachedとRedisのどっちを選ぶ? | DevelopersIO
            • AWS + ngx_mruby で SSL 証明書の動的読み込みシステム構築 - メドピア開発者ブログ

              CTO室SREの @kenzo0107 です。 2021年6月24日に「 kakari for Clinic ホームページ制作 」がリリースされました。 kakari for Clinic ホームページ制作 今回は上記サービスで採用した、 AWS + ngx_mruby で構築した SSL 証明書の動的読み込みシステムについてです。 SSL 証明書を動的に読み込みする理由 kakari for Clinic ホームページ制作の1機能で、制作したホームページに独自ドメインを設定する機能がある為です。*1 複数ドメインでアクセスできる =複数ドメインの SSL 証明書を読み込む を実現する必要があります。 動的に SSL 証明書を読み込むには? 以下いずれかのモジュールを組み込むことで SSL 証明書の動的読み込みが可能になります。 ngx_mruby lua-nginx-module 以下理

                AWS + ngx_mruby で SSL 証明書の動的読み込みシステム構築 - メドピア開発者ブログ
              • Kubernetes 8 Factors - Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件 | Wantedly Engineer Blog

                Kubernetes 8 Factors - Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件 こんにちは、Wantedly で技術基盤に関わる Developer Experience Squad で Engineer をしている大坪(@potsbo)です。 今日は、WANTEDLY TECH BOOK 7 から「Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件」という章を抜粋し加筆修正を加えたものを Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もそ

                  Kubernetes 8 Factors - Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件 | Wantedly Engineer Blog
                • LINEの多様なサービスを支える機械学習のプラットフォームと開発事例

                  2020年6月24日に、LINEの「Data Labs」のオンライン採用説明会が開催されました。Data Labsは、データ分析や機械学習の活用によって、LINEのすべてのサービスの価値向上を目指す、データの分析・研究を行う専門の開発組織です。説明会の後半は、Machine Learning1チーム/マネージャーの菊地悠氏とフェローの並川淳氏が登壇し、機械学習エンジニアチームの仕事内容や事例を紹介しました。1記事目はこちら Machine Learningチームのミッション 菊地悠氏:Machine Learning1チームの菊地と申します。よろしくお願いします。今日の内容は以下のような順で話をしていきたいと思います。 まず最初にミッションです。多種多様なサービスがあるので、機械学習を適用する領域はいろいろあります。そういう中で、我々のチームは各事業組織から独立しています。LINEのさまざ

                    LINEの多様なサービスを支える機械学習のプラットフォームと開発事例
                  • Elasticsearchを使ってリストAPIを100倍高速化した話

                    はじめに こんにちは!私がつとめている CastingONE という会社の SaaS には、テーブル形式のデータ一覧ページがあります。この一覧ページですが、最近データ数が増えれば増えるほど、じわじわとパフォーマンスが悪くなっていってました…。そこで今回は、そのリストデータ取得におけるパフォーマンス改善を行なった時の、パフォーマンス計測方法や検討内容、最終的な結果をまとめてみました。 対象読者 バックエンドのパフォーマンス改善の方法や改善の流れに興味がある方 ちなみに私がこの改善を行なった時のスペックですが、パフォーマンス改善については初心者寄りでした。「パフォーマンス改善って何それ美味しいの?」というレベル感だった当初、「達人が教える Web パフォーマンスチューニング 〜ISUCON から学ぶ高速化の実践」という本には基礎を知るところから大変お世話になったので、ご興味のある方はぜひ読んで

                      Elasticsearchを使ってリストAPIを100倍高速化した話
                    • Omakub

                      Turn a fresh Ubuntu installation into a fully-configured, beautiful, and modern web development system by running a single command. That’s the one-line pitch for Omakub. No need to write bespoke configs for every essential tool just to get started or to be up on all the latest command-line tools. Omakub is an opinionated take on what Linux can be at its best. Omakub includes a curated set of appli

                        Omakub
                      • 8年続くPerlプロダクトをKotlinに書き換えた話。システムリプレイスの勘所

                        LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「 DEVDAY21 +Interview 」では、登壇者たちに発表内容をさらに深堀りし、発表では触れられなかった内容や裏話についてインタビューします。今回の対象セッションは「8年続くPerlプロダクトをKotlinに書き換えた話」です。 「LINEポイント」はLINE Payでの支払いやLINEの各種サービスで貯めたり使ったりできる共通ポイントです。この「LINEポイント」を貯められるさまざまなミッションの提供や、連携サービスでの利用案内をするポータルサービスが

                          8年続くPerlプロダクトをKotlinに書き換えた話。システムリプレイスの勘所
                        • How to Write Good Documentation (And Its Essential Elements)

                          This post highlights some of the key components of good documentation, and goes through some of the steps you could take to improve the way you document your code. Documentation is one of the most important and under-rated aspects of any library or open-source project. If you are writing code that will be used by someone other than yourself, it needs to be documented. Period. After using many libr

                            How to Write Good Documentation (And Its Essential Elements)
                          • がんばらないDBaaSの作り方 - KADOKAWA Connected Engineering Blog

                            はじめに はじめまして、KCS部のmaruです。KCS部では、部長といくつかのサービスのオーナーをやっています。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、私がオーナーをしているサービスにはDataBase as a Service(以下DBaaS)があります。 主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 今回はKCSが提供しているDBaaSについて、いかに頑張らないで運用できるようにしているかについて投稿します。 規模で見るKCS DBaaS KCSが現在提供しているDBaaSは下記の3つです。 KCS RDB基盤 for MySQL バージョン:MySQL 5.7系 MySQL数(概算):450 masterの総データ量(概算):3TB KCS Cache基盤 for Redis*1 バージョン:Red

                              がんばらないDBaaSの作り方 - KADOKAWA Connected Engineering Blog
                            • ElastiCache Redisのメモリ溢れが起きたときの挙動、正しく理解できてますか?? | DevelopersIO

                              こんにちは(U・ω・U) ElastiCacheおじさんを目指して日々鍛錬を続ける深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 皆さん、ElastiCacheのRedisにどんどん情報を保存していって、メモリが溢れたらどんな挙動になると思いますか?ざっくりEvictionが発生してキーが削除されていくんじゃないの?と思われている方も多いかと思います。ですが実はそうとも限らないんですよ。今回はEvictionってなんだろう?というところから、メモリが溢れた場合の挙動について整理していきたいと思います。 Evictionとは?? どんどんデータが保存されて行ってmaxmemoryに到達した際、発生する挙動です。ちなみにCloudWatchのメトリクスで検知が可能

                                ElastiCache Redisのメモリ溢れが起きたときの挙動、正しく理解できてますか?? | DevelopersIO
                              • GitHub ActionsのワークフローをオートスケールするSelf-hosted runnerに移行した話 - Mobile Factory Tech Blog

                                こんにちはエンジニアのEadaedaです。 皆さんのチームではGitHub Actionsを使っていますか?ブロックチェーンチームではテストやリンター、デプロイといったワークフローをGitHub Actionsで行っています。 今まで、デプロイ以外のワークフローはGitHub-hosted runnerで実行、デプロイはSelf-hosted runnerで実行していましたが、運用していくうちに特定の環境内にあるサーバーで実行されるように仕組みを見直す必要がでてきました。このため全てのワークフローをSelf-hosted runnerに移行する対応を行いました。この記事では移行の際に見つけた便利なものや困ったことを紹介します。 Self-hosted runner GitHub Actionsでは、基本的にGitHubが用意したVMでワークフローが実行されます。このVMをGitHub-ho

                                  GitHub ActionsのワークフローをオートスケールするSelf-hosted runnerに移行した話 - Mobile Factory Tech Blog
                                • Deno Deploy を触ってみよう ~ アプリケーションの作成と更新 ~ - 虎の穴開発室ブログ

                                  皆さんこんにちは、積みを重ねています。おっくんです。 Deno の アプリケーションをホスティングしてくれる Deno Deploy が、2021 年 03 月 29 日に公開されました。 毎度 Deno のリリース内容を追いかけている本ブログでも Deno Deploy を試してみたいと思います。 その前に... 2021 年 03 月 29 日 に Deno Deploy の公開と同じタイミングで、Deno が会社に変わりました。 Announcing the Deno Company deno.com この中でポイントになるのが、以下の 2 点だと思います。 Deno のライセンスは、MIT を維持する 商用アプリケーションを構築できるインフラを提供する ライセンスに変更が無いので、今後も存分に Deno を使えることがありがたい限りです。 そして商用サービス構築の入口が、今回の D

                                    Deno Deploy を触ってみよう ~ アプリケーションの作成と更新 ~ - 虎の穴開発室ブログ
                                  • 【TypeScript】Deno で匿名掲示板を作ろう! with upstash & supabase その 1 (環境構築と、簡単なアプリケーション) - 虎の穴開発室ブログ

                                    皆さんこんにちは、「ぼっち・ざ・ろっく」の PV にやられました。期待しか有りません。 おっくんです。 今回の投稿から、「Deno で掲示板サイトを作ろう! with upstash & supabase」 と題して、数回に分けて必要な要素を分解しながら、実際に匿名掲示板のリリースを進めていきます。 最初に計画 この連載では、次のような副題を掲げて段階を踏みながら、最後は匿名掲示板を実際にデプロイすることを目標にします。 環境構築と、簡単なアプリケーション(☆ 今回 ☆) 機能の実装とテスト デプロイと自動化 Upstash の導入 調整と公開 作成するもの タイトルで出していますが、この連載では Deno で匿名掲示板を作ります。 紹介したいサービスを使うことと、なるべくメンテナンスフリーにすることを目的として以下の機能を盛り込んでいく予定です。 いわゆる匿名掲示板を作ります 閲覧は自由

                                      【TypeScript】Deno で匿名掲示板を作ろう! with upstash & supabase その 1 (環境構築と、簡単なアプリケーション) - 虎の穴開発室ブログ
                                    • 死んだ猫を蘇らせたい - KAYAC engineers' blog

                                      この記事は Tech KAYAC Advent Calendar 2019 の17日目の記事です。 こんにちは、バックエンドエンジニアの @commojun です。 本日は死んだ飼い猫をLINE botとして蘇らせようとしたことについて記事にさせていただこうと思います。なんだbotかよと思った方申し訳ありません。 猫の死 2017年8月、子供の頃に拾って以来ずっと一緒だった猫が死にました。18年も生きたのでなかなか長く生きてくれた方だと思います。こればかりは仕方ないですね。 ところが、しばらく経っても、僕はなかなか彼を忘れることはできませんでした。 スマホのケースも自作しました そしてだんだんと、一つの願望が湧き上がってくるのです。 猫を蘇らせたい。 どうやって蘇らせるか? 弊社のサービス運用では、chat opsが積極的に取り入れられています。chat opsとは、slackのようなチャ

                                        死んだ猫を蘇らせたい - KAYAC engineers' blog
                                      • WebSocket の辛さを Yjs で解決した話 | CyberAgent Developers Blog

                                        こんにちは。AI事業本部 オンライン接客事業部のGokanです。 オンライン接客システム「リモてなし」の開発チームの中で、フロントエンドを主に担当しています。 今回は、システムにYjsを導入したので、その紹介をしたいと思います。 話としては「WebSocketとYjsを使うことで抱えていた課題を解決できた」という内容になっています。 目次 オンライン接客システム「リモてなし」の特徴 今までの課題 新たに導入した Yjs とは データがマージできる仕組みの概要 リモてなしでの活用 オンライン接客システム「リモてなし」の特徴 まず、リモてなしの特徴は、システムを挟んで人と人がリアルタイムにコミュニケーションをとることです。これは相手の顔が見える、声が聞こえるというだけではありません。他にも、パワポなどの資料共有、商品の提案、アンケート送付などをすることができます。 また、リモてなしは「対面以上

                                          WebSocket の辛さを Yjs で解決した話 | CyberAgent Developers Blog
                                        • Linux Foundation Launches Open Source Valkey Community

                                          6 MIN READ Linux Foundation Launches Open Source Valkey Community The Linux Foundation | 28 March 2024 Community maintainers, contributors, and users will continue collaborative development of an open source, in-memory data store under the new Valkey name. SAN FRANCISCO – MARCH 28, 2024 – Today, the Linux Foundation announced its intent to form Valkey, an open source alternative to the Redis in-me

                                          • 自宅サーバーにお一人様Misskeyサーバーを構築してみた

                                            はじめに 自宅にあるサーバー機に、私が一人で使うためのMisskeyサーバーを構築してみました。難しいことはしたくなかったので極力シンプルな構成にしてみました。 使った技術 Arch Linux Docker及びDocker Compose postgres redis (まぁ私は勝手にeqalpha/keydbにしてしまったのですが……) Cloudflareのいろいろなサービス Cloudflare Registrar Cloudflare DNS Cloudflare Tunnel Cloudflare R2 Cloudflare Turnstile Misskeyとその周辺の技術について MisskeyはOSSとして開発されている分散型SNSのひとつです。バックエンド・フロントエンドともにTypeScriptで開発されていて、Gitでバージョン管理されています。ですのでMisske

                                              自宅サーバーにお一人様Misskeyサーバーを構築してみた
                                            • Next.js 13 vs Remix: An In-depth case study

                                              Next.js 13 vs Remix: An In-depth case studyLast updated on 29 Sep 2023 by Prateek Surana   •   - min read When it comes to building web applications, React has been at the forefront for a while now, and its adoption continues to grow. Among the most common approaches to building web applications with React, Next.js stands out as one of the most preferred options. Next.js has also been in the limel

                                                Next.js 13 vs Remix: An In-depth case study
                                              • Redis Clusterとgo-redisの深刻な性能劣化を解決した話 - ゆううきブログ

                                                さくらインターネット Advent Calendar 2020の23日目です。 現時点では最新版のRedis 6.0のRedis Clusterに対して、Go言語の代表的なRedisクライアントライブラリであるgo-redisからアクセスしたときに、性能が深刻なレベルで劣化しました。 この記事では、ミドルウェアを利用したGo言語アプリケーションの性能劣化に関する問題調査の事例として、この性能劣化を修正するまでの話をまとめました。 go-redisへのPull Requestはhttps://github.com/go-redis/redis/pull/1355です。 はじめに 半年ほど前の論文の締め切りに追われていたある日、評価実験のためにRedisを使った時系列データベースのプロトタイプを開発していました。 ベンチマークツールでプロトタイプの性能を測定したところ、単一インスタンスのRed

                                                  Redis Clusterとgo-redisの深刻な性能劣化を解決した話 - ゆううきブログ
                                                • Misskeyのパフォーマンス改善の取り組み⁠⁠・2023年11月 | gihyo.jp

                                                  本連載は分散型マイクロブログ用ソフトウェアMisskeyの開発に関する紹介と、関連するWeb技術について解説を行っています。 Misskeyでは、新機能の追加や改修・バグ修正はもちろんですが、運営者がより少ないコストでサーバーを維持できるよう、Misskeyのスケーラビリティ改善も継続して行っています。 今回はそういった最近のMisskeyのパフォーマンス改善の取り組みについて紹介します。 Fan-out Timeline Misskey v2023.10.0[1]では、以前より検討を重ねていた、タイムラインのアーキテクチャをPull型からPush型に変更する改修を行いました。 Note:MisskeyではこのPush型アーキテクチャ実装を「Misskey®︎ Fanout Timeline Technology™︎ (FTT)」と名付けています。お察しのように、Intel社の技術のネーミ

                                                    Misskeyのパフォーマンス改善の取り組み⁠⁠・2023年11月 | gihyo.jp
                                                  • 【2020年5月版】AWSのサービスをゆるく大体3行で - Qiita

                                                    はじめに 本記事はAWS SAAの勉強中に、「とりあえず主要なサービスの概要ぐらい知っておいたほうがいいよな...」と思い立ち、自分用にまとめたものです。 2/3ほど記事を作成した後に見つけてしまった(悶絶) クラスメソッド先生の 【2020年】AWS全サービスまとめ がこの上なく、コンパクトで的確にまとまっていた ので、こちらを見たほうがいいと思います(本末転倒) 各サービスの雰囲気を掴むぐらいの温度感で見ていただければ(逃げ道) 対象のサービス 本記事で取り扱うサービスは2020年5月時点のAWSマネジメントコンソールの ここをクリックした際に表示されるサービス群が対象です。 結構な頻度でレイアウトが変更されたり、サービスが追加されるので 「おい!!!このサービスが書いてねーぞ!!!」 とかは許してほしいのだ(ハム太郎) コンピューティング アプリケーションを動作させるためのマシンリソ

                                                      【2020年5月版】AWSのサービスをゆるく大体3行で - Qiita
                                                    • さくらインターネットの技術スタックをまとめてみた(2020年版) - Qiita

                                                      この記事は さくらインターネット Advent Calendar 2020 4日目の記事です。 本記事をご覧のみなさまお久しぶりです。さくらインターネットの大久保です。 ふと気づいたら、去年のアドベントカレンダーでゆるふわな趣味の記事 を書いてから、あっという間に1年が過ぎてました。 自分自身振り返ると、新型コロナの影響で働き方が大きく変わったのに加え、仕事上の役割も変化し、激動の1年間だったように思います。 下っぱエンジニアが突然マネジメントもやることになった話 さくらインターネットでは2020年7月に大きな組織変更がありました。自分は、2009年7月からちょうど11年間所属していた「研究所」を離れ、新たに発足した「クラウド事業本部」の副本部長を務めることとなりました。 当方の本部は、サービス企画・開発から、データセンター運用、お客さまサポート、マーケティングなどを含めた7つの部門、45

                                                        さくらインターネットの技術スタックをまとめてみた(2020年版) - Qiita
                                                      • Feature Storeについてふんわり理解する - Re:ゼロから始めるML生活

                                                        最近こちらのサイトを参考にfeature storeに関して勉強してみたので、今回はそのメモです。 www.featurestore.org Why:なぜ必要か? 機械学習の実運用時の困りごと 実験環境と本番環境を揃えたい 過去のある時点の状況を再現したい 特徴量に関する車輪の再発明をなくしたい 歴史的経緯 What:Feature Storeとはなにものか? 求められる要件 共有性 学習系と推論系の一貫性 Feature Engineeringと透明性 バージョン管理と再現性 ガバナンスとアクセスコントロール バッチとオンライン処理 How:どうやって実現する? 標準的なFeature Storeの構成 Serving Storage Transformation Monitoring Registory その他、主なプロダクト群 OSS Feast Hopsworks Rasgo マネ

                                                          Feature Storeについてふんわり理解する - Re:ゼロから始めるML生活
                                                        • 株式会社リクルート データスペシャリストコース新人研修レポート(2021年)①

                                                          自己紹介 はじめまして!株式会社リクルートにデータスペシャリストとして新卒入社しました橋本大輝と申します。 自分は入社当初はデータサイエンティストって結局具体的には何をする仕事なんだろう、エンジニアリングにも興味あるけどどこまで手を伸ばせるのかな、という不安感を持っていたのですが、新人研修を通して社内で触れることができる技術の幅と自由度を知りその不安が大きく解消されました。 ここではそんなデータスペシャリスト入社者に向けた新人研修の概要について、個人的に面白かった/ためになったところに重点を置きながら紹介していきたいと思います。 全体の流れ スケジュール データサイエンス×ソフトウェアエンジニアリング ソフトウェアエンジニアリング データサイエンス まとめ 最後に スケジュール 技術に関する研修は全てリモートで実施され、大まかに下図のようなスケジュールで行われました。 図1: 研修のスケジ

                                                            株式会社リクルート データスペシャリストコース新人研修レポート(2021年)①
                                                          • urlscan.ioとShodanでお手軽にマルウェアの通信先サーバを調べる | IIJ Engineers Blog

                                                            セキュリティ本部データ分析課所属。2020年新卒入社。情報分析基盤のセキュリティログ分析を行う傍ら、マイニングマルウェアやIoTマルウェアを調査しています。 はじめに こんにちは、セキュリティ本部の森下です。 普段は情報分析基盤でセキュリティログの分析を行う傍ら、感染活動の動向を把握するためにマイニングマルウェアやIoTマルウェアを調べたりしています。 一般的にマルウェアに感染すると、C2サーバに通信して攻撃の指令を受けたり、マルウェア配布サーバからさらに別のマルウェアをダウンロードしてきたりします。 セキュリティ製品などによる検知を回避するために、マルウェアの通信先サーバは短期間で変わっていくことが多く、追跡し続けることが必要です。 マルウェアの通信先サーバでは、一般的なサーバとは異なる特徴が表れることがあり、その特徴を把握することで、新しく使われるサーバを迅速に発見できる可能性がありま

                                                              urlscan.ioとShodanでお手軽にマルウェアの通信先サーバを調べる | IIJ Engineers Blog
                                                            • AWSアカウント間のS3, DynamoDBデータ移行計画の記録(データ完全性検証方法の検討) | DevelopersIO

                                                              こむろ@事業開発部です。 前回 の続きです。 そろそろ諸々の記憶が薄れ始めている頃なので早めに全部書ききっておきたいところです。 前回までのまとめ データの取得と転送方法についての検討は終わりました。 Amazon S3 の転送方法の検討と想定される時間の計測 → 完了 Amazon ElastiCache for Redis の転送方法の検討と想定される時間の計測 → 完了 Amazon DynamoDB の転送方法の検討と想定される時間の計測 → 完了 転送対象の絞り込み → 完了 重要データ、ログイン情報の3テーブルにフォーカスを絞る 認証情報は除外 データ完全性検証の方法検討 → 未着手 全体のスケジュール作成 → 未完成 転送作業の実施 → 未着手 今回のテーマ データ完全性検証の方法を検討します。 データ完全性検証について。ここでは、「移行元のデータ」と「移行先のデータ」が完全

                                                                AWSアカウント間のS3, DynamoDBデータ移行計画の記録(データ完全性検証方法の検討) | DevelopersIO
                                                              • Webアプリケーションにおけるレートリミット、サーキットブレーカー、リトライの役割を調べて実装してみた - RAKUS Developers Blog | ラクス エンジニアブログ

                                                                はじめに Webアプリケーションにおけるレートリミット、サーキットブレーカー、リトライの役割 リトライ サーキットブレーカー レートリミット レートリミット、サーキットブレーカー、リトライの実装 サンプルアプリケーションの実装 リトライ、サーキットブレーカー、レートリミットを追加 まとめ 年に1度の技術イベント「RAKUS Tech Conference」を開催します!! はじめに こんにちは!エンジニア2年目のTKDSです。 今回は、レートリミット・サーキットブレーカー・リトライについて調べた内容を紹介し、ライブラリを使ってGoで実装してみます。 Webアプリケーションにおけるレートリミット、サーキットブレーカー、リトライの役割 リトライ リクエストが失敗した場合に再試行します。 リトライは、一時的な障害に対して効果を発揮します。 ネットワークの瞬断やサービスの一時的な過負荷など、やり直

                                                                  Webアプリケーションにおけるレートリミット、サーキットブレーカー、リトライの役割を調べて実装してみた - RAKUS Developers Blog | ラクス エンジニアブログ
                                                                • Rails: SidekiqはActive Jobを経由せずに直接使おう(翻訳)|TechRacho by BPS株式会社

                                                                  概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Use Sidekiq Directly, Not Through Active Job - Andy Croll 原文公開日: 2021/10/04 著者: Andy Croll 参考: 週刊Railsウォッチ20211018: SidekiqをActive Job経由ではなく直接使う 参考: Active Job の基礎 - Railsガイド Webアプリケーションを構築する場合は、ユーザーごとのレスポンスに要する時間を最小限に留めるべきです。Webサイトが速ければ速いほど、その分ユーザーも幸せになれます。 そのための方法の1つは、重くなる可能性のある処理(実行に長時間かかる、パラレル化可能な処理)を、イミディエイトなWebリクエストの外で非同期実行することです。メール送信、計画的なクリーンアップ、長時間かかる計算、外部API

                                                                    Rails: SidekiqはActive Jobを経由せずに直接使おう(翻訳)|TechRacho by BPS株式会社
                                                                  • オフェンシブ視点による Cloud Security 入門 ~AWS 編~ - blog of morioka12

                                                                    1. 始めに こんにちは、morioka12 です。 本稿では、AWS 環境における攻撃者のオフェンシブな視点で Cloud Security の入門として紹介します。 1. 始めに 免責事項 想定読者 2. クラウドにおける脅威 クラウドの重大セキュリティ脅威 11の悪質な脅威 クラウドサービス利用に関連するリスク Top 10 AWS セキュリティ構成ミス Top 10 3. AWS 環境における攻撃者の観点 3.1 AWS 環境の外部からの観点 3.2 AWS 環境の内部からの観点 4. MITRE ATT&CK Framework for Cloud (IaaS) 4.1 初期アクセス (Initial Access) 4.2 実行 (Execution) 4.3 永続化 (Persistence) 4.4 権限昇格 (Privilege Escalation) 4.5 防御回避

                                                                      オフェンシブ視点による Cloud Security 入門 ~AWS 編~ - blog of morioka12
                                                                    • Redis Adopts Dual Source-Available Licensing | Redis

                                                                        Redis Adopts Dual Source-Available Licensing | Redis
                                                                      • JavaScriptランタイム「Bun v0.5」登場。MySQLやPostgreSQLのデータベース接続対応、新機能「Workspaces」、Bun.dnsなど搭載

                                                                        JavaScriptランタイム「Bun v0.5」登場。MySQLやPostgreSQLのデータベース接続対応、新機能「Workspaces」、Bun.dnsなど搭載 サーバサイドで実行可能なJavaScriptランタイム「Bun」の最新バージョン「Bun v0.5」がリリースされました。 Introducing Bun v0.5 - bun install workspaces && bun install bugfixes - postgres, mysql, redis & more DB-related npm pkgs work in bun now - Bun.dns && some of node:dns, node:net, & node:tls - new WebSocket supports headers - HTTP client proxy supporthttp

                                                                          JavaScriptランタイム「Bun v0.5」登場。MySQLやPostgreSQLのデータベース接続対応、新機能「Workspaces」、Bun.dnsなど搭載
                                                                        • 「Valkey」がRedisを急速に置き換えつつある ー バックエンドエンジニアは地殻変動に備えよう

                                                                          4月20日、DevOps.comが「Valkeyが急速にRedisを置き換えつつある(Valkey is Rapidly Overtaking Redis)」と題した記事を公開した。 この記事では、Redisのソース利用可能なライセンスへの移行と、その結果として生じたValkeyへの大規模な移行について詳しく紹介されている。以下に、ポイントを絞って内容を紹介する。 Redisのライセンス変更による影響 ちょうど一ヶ月ほど前(3/20)、 RedisがBSD 3-clauseライセンスからRedis Source Available License (RSALv2)およびServer Side Public License (SSPLv1)へとライセンスを変更 した。 BSD 3-clauseライセンスは非常に寛容なオープンソースライセンスで、著作権表示と免責事項の維持が含まれるが、商用利用

                                                                            「Valkey」がRedisを急速に置き換えつつある ー バックエンドエンジニアは地殻変動に備えよう
                                                                          • 【Go/GCP】ライブゲーム「あてっこ!ぷにまるず」を支えるバックエンド技術 - Mirrativ Tech Blog

                                                                            バックエンドエンジニアの makino です。本日は、先日リリースしたライブゲーム「あてっこ!ぷにまるず」のバックエンド技術について紹介します。 ライブゲーム「あてっこ!ぷにまるず」について ライブゲームとは、Mirrativアプリ上で遊べるゲームであり、配信中のゲームに視聴者が介入できることが特徴です。 「あてっこ!ぷにまるず」では、配信中に視聴者を招待して一緒にGvGバトルを楽しむことができます。 開発スタッフがプレイした動画をご紹介📺✨ バウンド数に注目👀⁉ こんなに連鎖できたら気持ちよさそう…🐰💕 動画を参考にレッツ❗チャレンジ💁 SNSスタッフは2回バウンドできました🙌 まだまだ道のりは険しい…🏔 pic.twitter.com/YdZMRKxbgv— 【公式】あてっこ!ぷにまるず (@punimals_jp) 2023年7月18日 Mirrativのライブゲームは

                                                                              【Go/GCP】ライブゲーム「あてっこ!ぷにまるず」を支えるバックエンド技術 - Mirrativ Tech Blog
                                                                            • Microservice in Python using FastAPI

                                                                              Creating Microservices with Python Introduction to Microservices Benefits of Microservice Drawbacks of Microservice Why Microservice in Python Introduction to FastAPI Why FastAPI Installing FastAPI Creating Simple REST API using FastAPI Using PostgreSQL Database with FastAPI Microservice Data Management Patterns Database Per Service Shared Database API Composition Creating a Python Microservice in

                                                                                Microservice in Python using FastAPI
                                                                              • mirage-ecsで各メンバー専用開発サーバーを実現!まちのコインの運用事例を紹介します - KAYAC engineers' blog

                                                                                SREチームの長田です。 突然ですが、 mirage-ecs というツールをご存知でしょうか? 今回はこのツールをまちのコインの開発チームでの使用例をもとに紹介します。 coin.machino.co mirage-ecs を使うと動作確認用のサーバー環境を、サーバーサイドのエンジニアでなくとも自由にいくつでも立ち上げることができるようになります。 「環境」は AWS のECSクラスタ上で起動し、専用のURLが割り当てられ、 認証*1を通過すればどこからでもアクセスできます。 これにより 「クライアントアプリとつなぎ込んで動作確認したいけど、開発環境が空いてないから確認できない」 や、 「プロダクトオーナーに新機能を確認してもらいたいけど、開発環境が空いてないから(以下略)」 といった問題が解消し、 開発と動作確認のサイクルをスピーディーに回すことができるようになります。 mirage-e

                                                                                  mirage-ecsで各メンバー専用開発サーバーを実現!まちのコインの運用事例を紹介します - KAYAC engineers' blog
                                                                                • Deno で掲示板サイトを作ろう! with upstash & supabase その 2 (ミドルウェアと掲示板の作成) - 虎の穴開発室ブログ

                                                                                  皆さん、こんにちは。 自宅では、トラドラオニタイジン極がご本尊みたいになっています。おっくんです。 今回は、「Deno で掲示板サイトを作ろう! with upstash & supabase」企画の2回目として、掲示板の登録と参照の実装を進めていきます。 今回の実装で、次のように、掲示板の登録ができるようになります。 前回記事はこちら toranoana-lab.hatenablog.com 訂正 始めに、第1回で取り扱った環境変数の取り扱いについて、一部訂正をさせていただきます。 第1回に紹介した、以下のdotenvの実装がありました。 [anonymous-board/util/config.ts] import { config } from "dotenv/mod.ts"; export const envConfig = await config({ safe: true })

                                                                                    Deno で掲示板サイトを作ろう! with upstash & supabase その 2 (ミドルウェアと掲示板の作成) - 虎の穴開発室ブログ