DX（デジタルトランスフォーメーション）やIoT（Internet of Things）の進展により、ますますその存在感が増しているオープンソースソフトウェア（OSS）。ソフトウェアの高機能化、大規模化によるサプライチェーンの複雑化を背景に、SBOM（Software Bill of Materials）によるOSSサプライチェーンマネジメントに注目が集まっています。米国では既に必須化・標準化の動きが始まっており、日本企業も対応を迫られるようになってきました。本記事では、あらためてSBOMとは何か、そして日本におけるSBOM活用の普及促進にはどういった課題があるかについて、詳しく解説します。 SBOMとはいったい、どのようなものなのか Software Bill of Materials（SBOM、「エスボム」と読みます））とは、ソフトウェアを構成するOSSや商用ソフトウェアなどのライブラ
こんにちはこんにちは。技術部クックパッドサービス基盤グループの id:riseshia です。 本記事では直前の記事で提案された新しい検索システム(以下、 solr-hako と呼びます)を利用し、レシピサービスの検索インフラの切り替えた話をします。 solr-hako の設計を直接参照する内容はありませんが、それを前提においた移行作業ですのでそちらの記事を先に読むことをおすすめします。 インフラ構成の変化 まずインフラ構成の変化ををみておきましょう。 検索インフラ(変更前) 今まではこのようなインフラ構成でした。特徴としては、 search-cache というキャッシュサーバ(Varnish)が手前にあることくらいでしょうか。今回、 solr-hako を利用することで以下のような感じになりました。 検索インフラ(変更後) しれっとキャッシュレイヤーである Varnish がなくなったこ
AWS再入門2019AWS WAF編ということで、AWS WAFの知見を共有したいと思います。主なトピックは「WAF全般のこと」「AWS WAFの基本」「AWS WAFマネージドルール」「WafCharm」です。 AWS再入門2019AWS WAF編ということで、AWS WAFの知見を共有したいと思います。主なトピックは以下の通りです。 WAF全般のこと AWS WAFの基本 AWS WAFマネージドルール WafCharm WAF全般のこと WAFに期待される主な働きは、悪意のある通信をブロックし、悪意のない通信を許可することです。実際に可能な動作は、通信がWAFを通過する時にルールに一致する場合はブロックまたは許可するものです。ブロックまたは許可したい通信とWAFのルールが一致するとは限りません。WAFを導入していても、悪意のある通信が通過する可能性はありますし、正しいユーザーの通信を
Flutterとは何か？ 使うメリットや特徴を理解する
2018年12月、Googleは「Flutter」というモバイルアプリ用のフレームワークをリリースしました。さまざまなモバイルフレームワークがある中で、改めてGoogleがリリースしたFlutterとはどのようなもので、どういった利点や特徴があるのでしょうか。まだ知らないという方や聞いたことはあるがよく分からないという方も多いと思います。今回は、筆者の経験や感想などを踏まえて、Flutterについて紹介していきます。 はじめに Flutterは、「モバイルアプリフレームワーク」という位置付けで紹介されることが多くなっています。「モバイルアプリフレームワーク」とは、「モバイル」つまり、AndroidとiOSを同じソースを共有して、同時に作成することができるもの。もちろん、厳密には100％同じソースとは言い切れない場合もあります。そこで、もう少し広義の意味では同じ言語でiOS／Androidの
仕様に沿ったプログラミングができるようになったエンジニアが設計に取り組むために、その全体像と具体的な手順を解説した技術書が『はじめての設計をやり抜くための本 第2版』（翔泳社）です。本書では大きく外部設計と内部設計、さらにアーキテクチャについて取り上げ、システムをゼロから作り上げるためのノウハウを解説。今回は「第2章 設計の目的」から、そもそもエンジニアは何を設計するのかを説明したパートを紹介します。 設計ができるようになるには、設計とは何かを知る必要があります。世の中には、設計に関する書籍がたくさん出回っています。最近では、オブジェクト指向設計に関するものが多いようです。書店に行くと、「オブジェクト指向」「UML」「ユースケース」といった文字が目に留まります。他にも、「アーキテクチャ」「デザインパターン」「フレームワーク」などもよく見かけるでしょう。これから設計を学ぶ皆さんは、学ぶことが
PythonでApache beam 入門
2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列
オラクル、Java開発を効率化するVSCode用拡張機能「Oracle Java Platform Extension for Visual Studio Code」を公開
オラクル、Java開発を効率化するVSCode用拡張機能「Oracle Java Platform Extension for Visual Studio Code」を公開 New Oracle open source project released! Oracle Java Platform extension brings full featured @Java development (edit-compile-debug & test cycle) for Maven and Gradle projects to VS Code. Get started: https://t.co/knjeFPRY1Q Learn more: https://t.co/77SIeky3cE#OracleOSS pic.twitter.com/whXIKFsBHV — Oracle Open So
元値15万円の人型ロボット「プリメイドAI」が2万円で買えるようになったのでハックして遊ぶとすごく楽しい。という話 - izm_11's blog
簡潔なまとめ 人型ロボットが2万円で買えます。 元値が高いだけあってしっかりした作りなのでおすすめ。 ハードウェア無改造でPCから、こんな感じで操作できます。 たのしい…！ pic.twitter.com/AKzX03D6H2— izm (@izm) 2019年7月4日 こちらから買えます。 【楽天市場】ホビーロボット > ロボット完成品：グラスロードカンパニー ウキウキでプリメイドAIの良さを語る様子 illustrated by 河地りん 河地りん💡三日目西Q30a (@gingatrain814) | Twitter さん、ありがとうございます！！！ 経緯 DMM.make ROBOTS さんで取り扱いがあるプリメイドAIという50cmくらいの25軸(25個のサーボが入っている)人型ロボットがあります。 プリメイドAI - 世界最高水準ダンスコミュニケーションロボット - DMM.
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは！ 山下郁矢です。2018年新卒で入社し、現在はNoSQLデータベースエンジニアとして働いています。 サービスを作るにあたってデータベースは必要不可欠ですよね。ヤフーでは100を超えるサービスで毎日生み出される膨大なデータを、データベースを用いてリアルタイムで蓄積し、運用管理しています。 今回は、その中でも利用規模の大きい、NoSQLデータベースの1つであるApache Cassandraを皆様に知ってもらうべく、ヤフーでどのようにして利用されているのかをお伝えしたいと思います。 NoSQLの立ち位置 Cassandraについてご紹介する前に、NoSQLについて軽く説明します。 NoSQLデータベースは一般的に非RDBM
現代のシステムでは、冗長化や負荷分散の観点から、複数のサーバーにサービスを分離することが当たり前となりました。しかし、キャッシュやキューの乱用など、システム構成が必要以上に複雑化している場合もあります。「複雑化したサーバー構成」を簡素化すべく、Goのローカルデータベースとして知られるBoltの開発者・ベン・ジョンソン氏が生み出したのが「Litestream」です。 Why I Built Litestream - Litestream https://litestream.io/blog/why-i-built-litestream/ ジョンソン氏が「古き良き時代だが、実のところは最悪な時代」と語る数十年前は、単一のプログラミング言語とSQLの知識があればどんな開発現場でも通用し、すべてのウェブサイトが基本的なHTML技術で作成されていた時代だったとのこと。1990年代後半には「Linux
Cloudflare WorkersのJavaScript/WASMランタイム「workerd」がオープンソースで公開。NanoservicesやHomogeneous deploymentなど新技術を実装
Cloudflare WorkersのJavaScript/WASMランタイム「workerd」がオープンソースで公開。NanoservicesやHomogeneous deploymentなど新技術を実装 Cloudflareは、同社のCDNエッジでJavaScript/WebAssemblyを実行するサービス「Cloudflare Workers」のコアランタイム部分を「workerd」（読み方はワーカーディー：worker- dee）としてオープンソースで公開しました。 GoogleがオープンソースのChromiumをベースにGoogle Chromeを製品として提供しているのと同様に、CloudflareはworkerdをベースにCloudflare Workersのソフトウェアを開発していると説明されています。 It’s here! workerd (no that’s not
こんにちはクラスメソッドのスジェです。 今回、devio 2021 decadeでECSに関する内容で登壇するので、その内容をブログでまとめてみようと思います。 ECSというサービスがあることも分かっているし、たくさん使っていることも分かっているけど、どんなサービスなのか？ なぜ使うのか？コンテナは何か？ などコンテナについてよく知らない初心者でも理解できるように、コンテナとDocker、ECSについてご説明したいと思います。 始まり Amazon Elastic Container Service (Amazon ECS) は完全マネージド型コンテナオーケストレーションサービスであり、コンテナ化されたアプリケーションを簡単にデプロイ、管理、スケールするのに役立ちます。- AWS ECS 公式ページ紹介文 コンテナについてよく知らない初心者に「コンテナ化されたアプリケーション」、「コンテナ
- はじめに - 本記事では、Rustで扱える機械学習関連クレートをまとめる。 普段Pythonで機械学習プロジェクトを遂行する人がRustに移行する事を想定して書くメモ書きになるが、もしかすると長らくRustでMLをやっていた人と視点の違いがあるかもしれない。 追記：2021/02/24 repositoryにしました。こちらを随時更新します github.com 追記；2021/07/26 GitHub Pagesでウェブサイトにしました vaaaaanquish.github.io - はじめに - - 全体感 - - 機械学習足回り関連のクレート - Jupyter Notebook Numpy/Scipy Pandas 画像処理 形態素解析/tokenize - scikit-learn的なやつ - 各ライブラリと特徴比較 - Gradient Boosting - XGBoos
プロキシサーバとは プロキシとは、クライアントとサーバの間に中継サーバとして配置するサーバのことです。プロキシは、クライアントから見た場合、サーバのように振る舞い、サーバから見た場合、クライアントのように振る舞います。クライアントアプリケーションは、プロキシへ通信を行い、プロキシはそのリクエストを受信し、受信したリクエストを本来送られるべきサーバへ転送するかのように送信します。サーバは、リクエストを送信してきたプロキシへ応答を返します。プロキシは応答に対応したクライアントに対して、応答を送信します。 プロキシサーバの種類 プロキシは、通信を中継するため通信内容をログに残したり、検査したり、書き換えたりといった処理が可能です。そのため、様々なプロトコルに対応した汎用的なプロキシと、アプリケーション（プロトコル）毎に特化した処理を行うソフトウェアがあります。 なお、Webプロキシは、HTTPプ
Startupのよくある課題をAWSで解決する 塚田朗弘氏（以下、塚田）：みなさん、こんにちは。「こんにちは」ですよね？ 朝、藤倉（成太）さんが間違えて「こんばんは」と言っていましたが。よろしくお願いします。 今ご紹介があったとおり、このセッションは「[AWS Startup ゼミ] よくある課題を一気に解説！ ～御社の技術レベルがアップする 2019 春期講習～」というかたちで、3名でお送りしていきたいと思います。 まず、3名がどういう人間かだけ、ちょっとお伝えしていきたいと思います。 私は塚田朗弘といいまして、スタートアップのお客さまを支援するソリューション アーキテクト……技術支援の担当者ですね。3人ともそうなのですが。そのなかでもモヒカンで、モバイルとかサーバレスとか、そういったテクノロジーを扱っている者になります。 よかったら、ここで祝福をしていただきたいのですが……今日は誕生日
任意のリモートコードが実行可能になってしまうゼロデイ脆弱性が問題になったJava向けロギングライブラリ「Apache Log4j」に、また脆弱性が見つかった。提供元の米The Apache Software Foundation（ASF）は、脆弱性を修正したバージョンへのアップデートを呼び掛けている。 新たな脆弱性（CVE-2021-44832）は、攻撃者がログ設定ファイルを変更できる権限を持った場合にリモートコードの実行が可能になるというもの。影響範囲はバージョン2.0-alpha7から2.17.0までの2系（ただし特定のセキュリティ修正バージョンを除く）。 CVSS（共通脆弱性評価システム）スコアは6.6で深刻度は「Moderate」。当初のゼロデイ脆弱性（CVSS10.0で「致命的」）より影響レベルは低いが、直前に見つかっていたDoS（サービス拒否）攻撃の脆弱性よりは高く見積もられて
恐れずに「アウェイに飛び込め」ー ソフトウェアエンジニアが活躍できる場所づくりに私が挑む理由 - Findy Engineer Lab
コミュニティの代表を務めたりカンファレンスでキーノートを任されるソフトウェアエンジニアともなれば、代名詞ともなるプロダクトやサービスを何かしら持っているものです。そういった意味で、株式会社リクルートのデータエンジニアリング組織でマネージャーを務める竹迫良範さんは少し変わったキャリアを歩んできたのかもしれません。 Webアプリケーション開発の初期にプログラミング言語Perlのコミュニティで代表を務め、Webセキュリティの領域でも活動し、今でもブログで技術的な投稿をしながら、未踏事業やセキュリティ・キャンプといった若手エンジニアの育成にも積極的に取り組んでいます。むしろ自分が手を動かしてプロダクトを作り上げるより、誰かが自由に手を動かせる環境作りにこそ熱心であるようにも見えます。 経験したことのない仕事に誘われたら基本的に断らないと語る竹迫さんが、頼まれたアウェイな機会をどのように生かして活動
正規表現を学んでみませんか | さくらのナレッジ
それぞれの意味については使っているうちに自然と身につくかと思います。無理に急いで丸暗記しなくても良いです。 ほかにもたくさんあります。また、使用するツールやプログラム言語によって異なる場合があります。 実践 ディレクトリだけを一覧表示 例えば /etc 以下のファイルを一覧で表示させ、その中からディレクトリ(フォルダ)であるものを表示させたい場合、以下のようにします。 % ls -l /etc | grep '^d' 実行結果(例) % ls -l /etc | grep '^d' drwxr-xr-x 2 root root 4096 Apr 11 06:01 ImageMagick-6 drwxr-xr-x 1 root root 4096 Apr 11 06:02 alternatives drwxr-xr-x 1 root root 4096 Apr 11 06:02 apache
順を追って学ぶKubernetesのキホン〜ローカル環境でKubernetesクラスターを作成してKubernetesの概念を理解する〜 - Qiita
順を追って学ぶKubernetesのキホン〜ローカル環境でKubernetesクラスターを作成してKubernetesの概念を理解する〜Dockerインフラkubernetescontainermicroservices こちらの記事は、Jonathan Natanael Siahaan 氏により2019年 10月に公開された『 Step by Step Introduction to Basic Concept of Kubernetes 』の和訳です。 本記事は原著者から許可を得た上で記事を公開しています。 Kubernetesを聞いたことがありますか？ 興味があることは間違いないはずです。 だからこそこの記事を開いたのでしょう。 この記事では、Kubernetesの基本概念とその使い方について説明します。 最終的には、Minikube上で動くKubernetesを使用してdocker
私も大変有り難く利用させてもらっている、みんな大好きLet's Encryptはいろんな方の寄付のおかげで無料で利用できるSSLサーバー証明書の発行サービスですが、何やらルート認証局の移行が話題になっているので、ちょっと調べてみました。 問題の概要は、こちらのブログでとても詳しく解説されており、とても参考になりました。ありがとうございます。 公式から出ている説明だと、出てくる証明書の関係がわかりにくく、図もちょっと間違っていたので、別の図を起こしました。簡単には、DST Root X3ルート証明書が期限切れを迎えそうなので、新しいISRG Root X1ルート認証局に移行したいわけです。 certbotを使っていると /etc/letsencrypt/archive/ドメイン/ に発行された証明書、チェーン、秘密鍵の履歴が残りますが、その時期を頼りにどうなっていたのか見てみます。 2020
すべてのログは標準出力・標準エラー出力に出力 ・Dockerのlogging driver ・ログの集約がしづらい ・Fluentdに転送設定 コンテナ起動時に既にFluentdが死んでいる場合、コンテナが起動できない など。詳細は以下のサイトを参照 Dockerコンテナ上のログ集約に関するまとめ Dockerのlogging driver: それぞれの特徴と使いどころ(json-file, syslog, journald, fluentd) 対象のログ リアルタイムに出力されるログが対象 ・Fluentd / fluentd-ui ・FluentBit ・Filebeat ・Logstash 既にあるログが対象 ・Embulk Fluentdのバッチ版Embulk(エンバルク)のまとめ Docker-composeを使ってEmbulk,Elasticsearch,Kibana環境を構築
株式会社クリアコード（本社：埼玉県所沢市、以下クリアコード）は本日、オープンソースソフトウェア『Fluentd』プロジェクトの開発・メンテナンスにおいて、トレジャーデータ株式会社（本社：東京都千代田区、以下トレジャーデータ社）が担当していた活動を引き継ぎ、開発体制を強化することをお知らせします。 『Fluentd』は2011年にトレジャーデータ社によって開発の始まったオープンソースソフトウェア（以下OSS）プロジェクトで、クリアコードは2015年9月から同プロジェクトに参加。コミュニティサポート、プラグインのメンテナンスといった活動を開始し、以降『Fluentd』本体の不具合修正、機能拡張、ドキュメント整備など活動範囲を拡大してきました。法人向けの各種サービスも提供しており、トレジャーデータ社と協働で、トレジャーデータ社の顧客に対する『Fluentd』の導入支援等も行っています。また、20
こんにちは。LINE Growth Technology福岡開発室でサーバーサイドエンジニアをしている中村です。 この記事では担当していたプロジェクトで実施した、Swaggerを使ったAPIドキュメントの作成と、BE（バックエンド）とFE（フロントエンド）間の連携について紹介します。 プロジェクトの説明 はじめに、今回LINE Growth Technology福岡開発室（以下「GT」）がシステムの設計開発を担当した、LINE公式アカウント審査ツールのプロジェクトについて説明します。 LINE公式アカウント審査ツールとは、LINE公式アカウントで認証済アカウントが申請された際に、申請内容が適切であるか審査するシステムです。 このシステムは、LINE公式アカウントが利用されている各国に存在する審査パートというチーム（以下「審査チーム」）によって利用され、日本以外の国家も含め、一日あたり平均約
はじめに 「UNIX 哲学 (Unix philosophy)」とは、一つの大きなシステムを、独立した小さなソフトウェアの集まりとして作るという考え方です。UNIX のように大きく複雑なものをシンプルに作るための考え方で、技術的な用語で説明するならば、大きなシステムをモジュール化された構成可能なプログラム設計で開発するということです。 UNIX 哲学に公式の定義は存在しません。ケン・トンプソンを始めとする UNIX の創始者が UNIX の開発を通して示したソフトウェア開発の考え方が UNIX 哲学と言われるようになり、それを他の人が独自に解釈して解説したものが UNIX 哲学として知られています。UNIX 哲学と呼ばれているものが複数あって、それぞれで異なっているのはそのためです。UNIX 哲学の本質的な考え方は今も通じるものですが、これまでの UNIX 哲学の解説の多くは古い技術を元に
こんにちは、会員事業部の新井です。余暇を全て Auto Chess に喰われています。 過去このブログにはサービス開発に関する記事*1を投稿させていただいているのですが、今回はシステム改修についての記事になります。 クックパッドには検索バッチと呼ばれる大規模なバッチが存在するのですが、今回それを刷新することに成功しました。 そこでこの記事では旧システムに存在していた問題点、新システムの特徴や実際の開発について述べたいと思います。 背景 クックパッドのレシピ検索では Apache Solr を検索サーバーとした全文検索を利用しています。古くは Tritonn を利用して MySQL に作られた専用 table を対象に全文検索を実行していたようですが、その頃から「検索バッチ」と呼ばれるバッチが存在していました。 このバッチは、簡単に言うと「検索インデックス」と呼ばれる検索用メタデータを生成す
Kubesharkとは 図は公式 より抜粋 KubesharkはKubernetesのための観測性・監視ツールで、マイクロサービスの動的解析、異常の検出などを実現するツールです。 Wireshark、BPF Compiler Collection（BCC）ツールなどを組み合わせた、Kubernetesを意識したものとお考えください...と説明されています。 Kubesharkは、クラスタ内の一部またはすべてのTCPトラフィックをスニッフィングし、PCAPファイルに記録し、HTTP1.0, HTTP1.1, HTTP2, AMQP, Apache Kafka, Redisなどのアプリケーション層プロトコルを分析できるとのことです。 今回はHTTPに絞って実際に環境を動かしてみて、トラフィックを覗いてみたいと思います。 Kuberentesクラスターの用意 まず、Kuberentesクラスター
関連キーワード Amazon Web Services | システム構築 | アプリケーション開発 | 事例 | クラウドコンピューティング | PaaS 「PayPay」は2018年10月に開始したQR・バーコード決済サービスで、加盟店数は60万店以上、累計登録者数は700万人を超える。運営会社のPayPay社は、消費者向けには決済用のスマートフォンアプリケーションを、加盟店舗向けにはダッシュボード「PayPay for Business」を提供している。 PayPayの山本啓介氏 2019年12月にPayPay社が実施した「100億円あげちゃうキャンペーン」の第1弾は、10日間でキャンペーン原資を全て使い切るほどの反響を呼んだ。しかし大量のアクセスでシステムの稼働が不安定になり、キャンペーン中に数度のメンテナンスを実施する必要が生じたという。同社でPayPayのアプリケーション開発を担
そもそもHTTP/2やHTTP/3とは何か？ HTTP/2やHTTP/3とは、例えばあなたが今利用しているパソコンと、本コラムのデータが保存されているサーバーとの通信をやり取りするための「ルール」のようなものです。HTTP/3では、HTTP/2よりも通信効率が上がりWebサイトの表示速度が速くなると言われています。「HTTP/2」について知りたい方は、当コラムの『「HTTP/2」とは？あなたのサイトを高速化する次世代プロトコルに迫る』をご覧ください。 「SSLコラムなのにどうしてHTTP/3の記事を書いているんだろう？」と思う方もいるかもしれませんが、「HTTP/3」はSSL/TLSの利用が前提となっているため、SSLサーバー証明書（以下、SSL証明書）とは切っても切れない関係なのです。さて、本題に戻りますが「本当にWebサイトの表示が速くなるの？」「どうして速くなるの？」「対応を検討した
ツイッターライクなSNS「Nostr」を Damus アプリで使う。初期の設定と、認証バッジを付ける手順 イーロン・マスク氏がツイッターを買収して以来、APIが有料化されて多くのツールが終了の危機を迎えたり、大量のユーザーが突然凍結されて不穏な空気が広がったり、先行きが不安になるできごとが続いています。 そうしたなか、ツイッター以外のSNSを模索する動きも始まっていて、すでにマストドンがユーザーを多く獲得しつつあります。ちなみに私はいまのところ @meh@mstdn.jpでつぶやいていますが、近日中に自分のサーバーを立てようかとも考えています。 それ以外にもPost、PlanetaryなどといったSNSがいろいろありますが、元ツイッターCEOのジャック・ドーシー氏が出資したことで知名度の上がったNostrについて、最近 iOS クライアントDamusが公開され、一部で話題になっています。
書き手：@takegue (分析チーム) Rettyのデータ活用の多くにはBigQueryが現在利用されており、その活用の方法についてこれまでこのブログでもいくつかとりあげさせていただきました。 engineer.retty.me そのほか分析チームの記事一覧 これらの記事はおかげさまで好評いただいております。いつもありがとうございます。 しかしながら、我々が初期からこのようにBigQueryを使い続けてきかというと、実はそうではありません。 事業の成長とともにデータ基盤を変化させてきた経緯があり、今の成果は過去のトライアンドエラーの賜物であり、数多くの苦労を背景にしてできあがっています。 ほんのつい最近まで、Rettyで構築されていたデータ基盤は表立って見える実態よりもかなり複雑なパイプラインで構成されていました（以降で触れますが、4種類のデータパイプラインが共存しているカオスな状態でし
はじめに アクセス数がすごい環境は大抵高負荷環境でもあるので対策としてApacheの設定やサーバ構成のセオリーをすぐ見つけられて実際試しても目に見えて良くなります。 アクセス数の多さで起こる問題は実際に負荷をかけてみないと表面化しません。 問題が分かったら設定やパラメータを調整して現状がましになるようにするだけです。 ですが限りあるリソースの中でTCPセッションを十分にコントロールしようとするとすぐ手詰まりです。 WEBサーバがしているやりとりの基礎が足りていないそんな気がしていたのでTCPに目を向けてみました。 行き着いた結果は 待ち受け側とリクエスト側ではボトルネックが違う リクエスト時はTCPのエフェメラルポートが上限 待ち受け時はTCPよりもファイルディスクリプタが上限 になりやすい という良く見かける設定を見直すということになりましたが、どうやってそうなっているのかが今回の成果だ
【Team & Project】LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームを紹介します
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。 今回は、LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームについて紹介します。Z PartチームのWonpill Seo、井出真広、Javier Luca de Tena、河村勇人に話を聞きました。 ―― まず、自己紹介をお願いします。 Wonpill：LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用を担当しているZ Partチームでマネージャーとして働いています。 井出：今所属しているZ Partでは、主にMessaging platformで利用しているRedisクラスタの運用やRe
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
Webサービスにおけるファイルアップロード機能の仕様パターンとセキュリティ観点 - Flatt Security Blog
はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの村上です。セキュリティ・キャンプ卒業後、新卒入社組としてFlatt Securityでセキュリティエンジニアをしています。 本稿では、Webアプリケーション上で実装される「ファイルアップロード機能」の実装パターンをいくつか示し、「開発者が設計をする上で気をつけるべき脆弱性」とその対策について解説していきます。 「ファイルアップロード機能」の脆弱性は特定の言語やサービスによって発生する脆弱性だけでなく、特定の拡張子のファイルでのみ発生する脆弱性など非常に多岐にわたります。そのため、本稿では全ての脆弱性を網羅する事は目的としておりません。しかし、「ファイルアップロード機能」のセキュリティについて考えるための基本となる知識と対策観点を本記事で知って、今後の開発に応用していただければ幸いです。 はじめに ファイルアッ
ユニットテストをGitHub ActionsからCodeBuildに移行し、実行時間を35%削減した - Uzabase for Engineers
こんにちは。NewsPicks SREチームの 海老澤 です。 今回はGithub Actionsで実行していたテストを高速化したので紹介したいと思います。 課題 取り組み テストの並列化 AWS CodeBuildへの移行 CodeBuildの設定 コンピューティングタイプ トリガー buildspec.yml 結果 課題 NewsPicksでは Junitのテスト等をGithub Actions から実行しているのですが、2013年のサービス開始当初から存在する、一番コードベースが大きいリポジトリのビルド・テストの実行時間に 20~30分ほどかかっていました。 テスト自体はバグを産まないためにも必要なものですが、時間がかかるため開発効率が下がってしまいます。そのためテスト高速化の取り組みを行いました。 取り組み テストの高速化をする上でやったことは大きく下の二つです テストの並列化 G
新規事業開発での技術選定の意思と意図 (バックエンド編) - Sansan Tech Blog
こんにちは、新規事業開発室に所属するソフトウェアエンジニアの加藤です。私は関西支店でBill Oneという新規サービスの開発に携わっています。 弊社にはSansanのカタチという企業理念があり、働く人々が体現すべきValuesの1つに「意思と意図をもって判断する」があります。ソフトウェアエンジニアとして、意志と意図をもって利用する技術を選定することは当然かもしれませんが、細部までそれを徹底するのは難しいこともあります。本稿では、私たちが使用している技術やライブラリを振り返って、どんな意志と意図があるかを確認していきたいと思います。 などと硬めのことを書きましたが、他所のチームでは普通に使われているライブラリを意外と知らなかったりするので、似たような記事を読みたいなと思って、技術選定を公開してみる次第です。まずはバックエンド編です。 前提 私たちのチームで開発しているBill Oneは今年の
Apache HTTP Server の深刻な脆弱性CVE-2021-41773とCVE-2021-42013についてまとめてみた - piyolog
2021年10月4日（現地時間）、Apache HTTP Serverの深刻な脆弱性を修正したバージョンが公開されました。同ソフトウエアの開発を行うThe Apache Software Foundationは既に脆弱性を悪用する活動を確認していると報告しています。ここでは関連する情報をまとめます。 何が起きたの？ Webサーバーソフトウエア「Apache HTTP Server」の特定バージョン（2.4.49）において、深刻な脆弱性（CVE-2021-41773）を修正したバージョン（2.4.50）が公開された。また、修正前より悪用する動きがThe Apache Software Foundationによって確認されていた。 脆弱性の修正が行われた2日後、修正方法が不十分で継続して攻撃が可能であったこと、さらに再度脆弱性の影響が評価された結果深刻度が最高となり、修正版（2.4.51）がリ
Go: A Documentary
Go: A Documentary by Changkun Ou <changkun.de> (and many inputs from contributors) This document collects many interesting (publicly observable) issues, discussions, proposals, CLs, and talks from the Go development process, which intends to offer a comprehensive reference of the Go history. Disclaimer Most of the texts are written as subjective understanding based on public sources Factual and ty
BIツールとは、蓄積されたデータを集約し、レポーティング機能により共有・比較・分析などを行い、データを有効活用することができるツールです。企業内でも、このBIツールのデータをチェックすることで、スムーズな意思決定に役立てることができ、最近では、営業部門から経営戦略等のさまざまな分野で活用されています。また、データを自動で分析してくれるため、DXの分野でも年々シェアが高まってきています。ここでは、BIツールの概要から導入メリットを解説した後、無料で使えるオープンソースソフトウェアのBIツールの特徴を比較し、用途や利用者レベルに合ったおすすめの選定ポイントを紹介します。 ＋ 目次 BIツールとは何か？ BIツール導入のメリット データを分かりやすく可視化し、活用しやすい 業務の効率化につながる 課題をリアルタイムに把握し、迅速な意思決定ができる BIツール導入のデメリット コストがかかる どの
WordPressの次を担うサービスを作る
はじめまして。 私達は、2021年4月に創業したスタートアップ企業です。現在は、東京都の有楽町を拠点に3名のメンバーでヘッドレスCMS「Newt（ニュート）」を開発しています。私達は、プレイドというSaaS企業で共に仕事をしてきた仲間で、この新しいプロダクトについてのアイデアで意気投合し会社を創業しました。 今回は、2022年3月8日のNewt無料版リリースに寄せて、私達がこれから挑戦しようとしているテーマについて、少しお話したいと思っています。 Creating the Next WordPress. 私たちのミッションは 「Creating the Next WordPress（次のWordPressをつくる）」です。 その言葉の通り、私たちはWordPressを置き換えることのできる新たなプロダクトを作り出し、現在のWordPressのように世界中で広く利用されるものへと成長させたい
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
米国では既に標準化の流れ、日本企業も対応を迫られる「SBOM」とは
検索インフラを安全に切り替えた話 - クックパッド開発者ブログ
AWS再入門2019 AWS WAF編 | DevelopersIO
そもそもエンジニアは何を設計するのか？ 『はじめての設計をやり抜くための本 第2版』から解説
NoSQLデータベースCassandraの紹介 〜 ヤフーのデータ基盤を支える技術
「複雑すぎるサーバー構成」を原点にまで簡素化する「Litestream」が生まれた理由
初心者でもわかるコンテナ / Docker / ECS 話 | DevelopersIO
Rustで扱える機械学習関連のクレート2021 - Stimulator
無料で使えるプロキシ/ロードバランサのOSS 比較18選 | OSSのデージーネット
スタートアップでありがちな問題をAWSで解決する––認証基盤からログの扱い方まで
「Log4j」2.17.0にもリモートコード実行の脆弱性 修正バージョン公開
Let's Encryptのルート認証局移行についてちょっと調べてみた - Qiita
Dockerのログ収集方法の調査 - Qiita
高速データ収集ツール『Fluentd』の開発体制強化 - クリアコード
Swaggerを使ったAPIドキュメントの作成と、バックエンドとフロントエンド間の連携
シェルスクリプトを学ぶ人のための「新しいUNIX哲学」 〜 ソフトウェアツールという考え方 - Qiita
レシピ検索を支えるレガシーでクリティカルな大規模バッチを刷新した話 - クックパッド開発者ブログ
KubernetesのモニタリングツールのKubesharkを触ってみた - 仮想化通信
PayPay「100億円祭り」を襲うトラブルの数々 AWSでアクセス急増をどう耐えたか
Webサイトの表示速度をさらに高速化！「HTTP/3」とは？ | さくらのSSL
ツイッターライクなSNS「Nostr」を Damus アプリで使う。初期の設定と、認証バッジを付ける手順
Rettyのデータ基盤の歴史と統合 - Retty Tech Blog
WEBサーバのTCPコネクション数に上限はあるのか？ - Qiita
BIツールとは？無料で使えるおすすめOSSの比較6選（2023年版） | OSSのデージーネット