Dataflow Indexer データ整合性担保と性能改善 - LegalOn Technologies Engineering Blog
はじめに こんにちは。LegalOn Technologies 検索・推薦チームの臼井（jusui）です。 私たちのチームは、LegalOn Technologies が提供する主要サービス—「LegalOn Cloud」、「LegalForce」、「LegalForceキャビネ」—の検索・推薦システムの開発と運用を担当しています。 2024年7月に当チームから「Dataflow 実践開発セットアップ」を公開しました。 tech.legalforce.co.jp 今回は、2024年4月から提供開始した弊社の新サービス「LegalOn Cloud」の初回リリースに向けて開発した Indexing pipeline とその後の改善についてご紹介します。具体的には、Cloud Pub/Sub と Cloud Dataflow を活用した Indexing pipeline の開発により、Elas
Istio API を使用した Cloud Service Mesh のセキュリティに関するベスト プラクティス | Google Cloud
Anthos Service Mesh と Traffic Director は Cloud Service Mesh になりました。詳細については、Cloud Service Mesh の概要をご覧ください。 Istio API を使用した Cloud Service Mesh のセキュリティに関するベスト プラクティス このドキュメントでは、Google Kubernetes Engine（GKE）で実行される安全な Cloud Service Mesh の構成を確立して管理するためのベスト プラクティスについて説明します。このドキュメントでは、セキュリティ脅威からアプリケーションを保護するために、Cloud Service Mesh の構成とプロビジョニングで使用する設定と、Cloud Service Mesh と他の Google Cloud プロダクトおよび機能を使用する方法につ
Kubernetes v1.31: Elli
編集者: Matteo Bianchi, Yigit Demirbas, Abigail McCarthy, Edith Puclla, Rashan Smith Kubernetes v1.31: Elliのリリースを発表します！ これまでのリリースと同様に、Kubernetes v1.31では新たなGA、ベータ、アルファの機能が導入されています。 継続的に高品質なリリースを提供できていることは、私たちの開発サイクルの強さと、活発なコミュニティのサポートを示すものです。 今回のリリースでは、45の機能強化が行われました。 そのうち、11の機能がGAに昇格し、22の機能がベータに移行し、12の機能がアルファとして導入されています。 リリースのテーマとロゴ Kubernetes v1.31のリリーステーマは"Elli"です。 Kubernetes v1.31のElliは、優しい心を持つ愛らし
ソフトウェアのもっとも重要な品質は発展性 - ソフトウェア設計を考える
ソフトウェアでもっとも重視すべき品質は「発展性」なんだと思う。 機能要求や非機能要求は、時間とともに変化する。その要求の変化に対応してソフトウェアを発展させていける能力、つまり発展性こそがソフトウェアの価値を大きく左右する。 発展性に問題があり変化ができないソフトウェアと、発展性に優れ変化と成長を続けやすいソフトウェアの価値の差ということだ。 発展性の価値 顧客のニーズは変化する。また、市場の競合関係も変化する。そういう事業環境の変化にあわせて、ソフトウェアにも変化を続ける能力が求められている。 また、顧客のニーズや市場環境の変化がゆるやかだとしても、事業活動をすれば組織は経験を通じて学び成長していく。開発チームに限っても、ソフトウェア開発運用の経験を積むことで、開発の考え方とやり方にさまざまな学びと成長がある。そうやって学んだ知識を適切にかつ迅速にソフトウェアに反映できるほど、事業により
フロントエンド開発に役立つ Datadog 活用法 - LegalOn Technologies Engineering Blog
はじめに 本記事では、Datadog の設定方法を解説しながら、どのようにフロントエンド開発に活用できるかを話していきます。Datadog とは SaaS 型で提供されている監視サービスです。システムやアプリケーションの監視ができ、収集したログを分析するのに役立つ機能をたくさん提供しています。 こんにちは、株式会社LegalOn Technologiesで Software Engineer（Frontend）をしている山越 ( @yukishinonomeIT ) です。弊社では2024年4月に『LegalOn Cloud』というプロダクトを提供開始しました。Datadog は既存のプロダクトでも使っていたので、この新しいプロダクトでも活用することになりました。そこで、『LegalOn Cloud』における Datadog の運用を担当することになったので、実際にどのような活用をしている
Dataflow with Python practical setup guide - LegalOn Technologies Engineering Blog
こんにちは、LegalOn Technologies検索・推薦チームの志水です。 私たちのチームでは Elasticsearch へのデータのインデキシングをCloud PubSub を queue として挟んで非同期にしており、その処理にDataflowを活用しています。Dataflow(=Google managed Apache Beam) はサーバーレスでスケーラブルなデータ処理を得意としています。 Python を用いたDataflowの活用については、例えばこちらの記事が網羅的です。 この記事では似たような観点に加え、Docker上で動かす工夫やintegration testの工夫も合わせて書いていければと思います。 全体像 パッケージ構成 pyproject.toml (Poetry) Pipeline Integration test DoFnのテスト DirectRun
GitHubの削除されたリポジトリや非公開のリポジトリに誰でもアクセスできてしまうのは仕様通り
GitHubでは削除されていたりプライベートに設定されていたりするフォークやリポジトリに誰でもアクセスでき、さらにその動作が欠陥ではなく仕様通りであるとオープンソースセキュリティ企業のTruffle Securityがブログに投稿しました。 Anyone can Access Deleted and Private Repository Data on GitHub ◆ Truffle Security Co. https://trufflesecurity.com/blog/anyone-can-access-deleted-and-private-repo-data-github GitHubでの一般的なワークフローとして、「新しいフォークを作成する」「コミットする」「フォークを削除する」というものを考えてみます。 この時、削除したはずのフォークの中身を誰でも確認できてしまうとのこと。
Netflixが大規模ワークフローの管理システム「Maestro」をオープンソース化
Netflixが自社製ワークフローオーケストレーター「Maestro」をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Technology Blog | Jul, 2024 | Netflix TechBlog https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78 Netflixは「ユーザーが次に視聴する作品の予測」などを目的に機械学習を活用しており、記事作成時点では何千もの機械学習ワークフローインスタンスを起動し、平均して1日当たり50万のジョブを
累計4億円調達したシリーズAのスタートアップやってたけど破産したヨ｜Yutaro Higashi
こんにちは、教育系のスタートアップでCTOをしていたヒガシ(@suica_versa)と申します。 表題の通り、私は約6年前から教育機関向けのシステム開発を行うスタートアップでCTOとして働いていましたが、7/10付けで破産開始決定が申し渡されました。 破産に伴い、取引先をはじめ関係各所には大変なご迷惑をおかけしていることを経営メンバーの一人として、謝罪いたします。 このnoteでは、なぜ破産に至ったのか？破産の手続きってどういう内容？破産するとどうなる？という、スタートアップではなかなか語られない点について同じ轍を踏まないよう共有いたします。 ただし、まだ本件については進行中ですので、ある程度内容は省いている点をご容赦ください。 【免責】 当記事は私が所属していたDoorkel社の正式な文章ではございません。内容については時系列含め不正確なものも多々ございますので、あくまで1社員の視点か
【資料公開】価値創造と開発生産性
みなさんこんにちは。@ryuzeeです。 2024年6月28-29日に開催の開発生産性Conference 2024で登壇しましたので、資料を公開します。 最近「開発生産性」という言葉を耳にする機会がすごく増えたような気がしますし、自分でもあるメディアの取材で「開発生産性」という単語を使ったのですが、なんとなくスッキリしない感じを抱えていました。 僕自身は「生産性」という単語の不透明さをさけるべく「開発生産性」を使ったのですが、これでも不透明さは残ったままだったわけです。 ということで、「開発生産性」が何を指すのかを深堀りした上で、この単語とどう付き合っていくべきなのかを整理したのが、このセッションです。 スライド全部を読む時間のない方もいると思いますので、以下に結論を書いておきます。 「開発生産性」に関心を持つ理由も、「開発生産性」の定義もさまざま 重要なのはコンテキスト 数字だけで全て
JetBrainsのIDE製品のセキュリティ脆弱性について – 更新をお願いいたします | 株式会社サムライズム
JetBrainsのIDE製品にセキュリティ脆弱性が報告されております。 本脆弱性は悪意のあるプルリクエストにより、GitHubへのアクセス情報が漏洩する可能性があるというものです。 – Updates for security issue affecting IntelliJ-based IDEs 2023.1+ and JetBrains GitHub Plugin JetBrains IDEをご利用の皆様は速やかに以下(またはそれより最新)のバージョンへ更新をお願いいたします。 製品の更新にはToolbox Appをご利用ください。 – Aqua: 2024.1.2 – CLion: 2023.1.7, 2023.2.4, 2023.3.5, 2024.1.3, 2024.2 EAP2 – DataGrip: 2024.1.4 – DataSpell: 2023.1.6, 2023.
ちょこっと弁護士Q&A（ちょこ弁）
当社では、テレワークの社員に対しては時間外労働を一律で禁止しています。先日、テレワークをした従業員から「実は先月の業務量が多く、80時間の残業をしたため残業代を支払ってほしい」と言われました。ヒアリングすると、確かに通常の業務量よりは多かったものの、残業が発生する見込みが出た段階で相談してくれれば調整できたのにと考えています。この場合でも、残業代を支払わなければならないのでしょうか。
広く使用されている「xz」にssh接続を突破するバックドアが仕込まれていた事が判明。重大度はクリティカルでLinuxのほかmacOSにも影響 | ソフトアンテナ
Red HatやDebianを含むLinuxディストリビューションで広く使用されている圧縮ツール「xz」の最新版に悪意のあるバックドアが含まれていた事がわかりました(Ars Technica)。 発見した開発者のAndres Freund氏は、xz version 5.6.0と5.6.1に悪意のあるコードが含まれていることが分かったと指摘しています。幸い、このバージョンは主要なLinuxディストリビューションの製品リリースでは使用されていませんが、Fedora 40やFedora Rawhide、Debian testing/unstable/experimentalなどのベータ版リリースには含まれていたそうです。 macOSのHomebrewでは、複数のアプリがxz 5.6.1に依存している事が判明し、現在xz 5.4.6へのロールバックが行われています。 悪意のある変更は難読化され、バ
社外勉強会への参加は個人のキャリア戦略だけでなく組織が取り組まなければならない課題でもある | Marginalia
引用第7章 越境学習 7.2 越境学習の深層に存在する主要な社会的ニーズ 一般的に人は同じ組織のなかに長くいると、「過剰適応の罠」 や 「能動的惰性」 にとらわれる可能性が高くなるといわれている。ここで 「過剰適応」とは、組織に人が過剰に適応しだすことによるデメリットである (Chao 1988)。また、能動的惰性とは 過去の成功体験にしがみつき、それを永遠に繰り返そうとする個人の状態をさす(松尾2011)。 第3章で論じたような組織社会化の諸力の影響が強ければ強いほど、個人は組織に慣れていく一方で、 ともすれば組織に過剰適応を果たす。自己の組織の特殊性,ステレオタイプ、特有の思考形式を獲得し、 次第に無自覚になり、「文化的無自覚性」の境地に至る。それが進行しだすと、今度は「能動的惰性」 を獲得する。かくして、創造的な仕事を行おうとする個人,自らのキャリアや能力開発に意識的な個人は次第に減
Zero Touch Productionとは何か
GoogleのSREとSecurityによるBuilding Secure Reliable Systems という本の中で「Zero Touch Production (ZTP) 」という考え方が紹介されていた．これはインフラの権限管理やインフラの構築そのものの指針となる概念であり，自分がそうあるべきだとずっと思ってきた考え方でもある．これはどのような考え方なのか?をこれまでの歴史を踏まえて具体的なツールや事例とともにまとめておく． Zero Touch Production Building Secure Reliable Systems においてZero Touch Production (ZTP) は以下のように定義されている． The SRE organization at Google is working to build upon the concept of least
OpenTelemetry Instrumentation for Javaの自動トレースの仕組みの調査 - VA Linux エンジニアブログ
はじめに 前提事項 お試し動作確認 仕組みの調査 javaagentとは バイトコード変更が行われている箇所 バイトコードの変更内容 アプリケーション間のコンテキスト伝播 Spanに設定される名前 Spanに追加されるタグ 未調査項目 OpenTelemetry Instrumentation for Java のカスタマイズ WARやEARアプリケーションへの適用 まとめ 執筆者 : 山下雅喜 はじめに 分散トレーシングを行うためのソフトウェアとして、最近は OpenTelemetry が流行してきているように感じます。 OpenTelemetry は CNCF の Incubating プロジェクトであり、OpenTracing や OpenCensus を統合したものとして活発に仕様策定や開発が行われています。 一方、実際に分散トレーシングを行うためには、トレースを出力する仕組みをア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
グーグル、「サードパーティーCookie廃止」方針を転換へ
Global KINTO ID Platform のパスキー
Infrastructure planning: users, baselines and timeframes.
Backstage Software Catalog and Developer Platform
