ソースコードを公開したソフトウェアで収益を得ている会社をまとめる。いわゆる「オープンソースソフトウェア（OSS）」という有名な言葉を使わなかったのは、OSS の定義に当てはまらない、またはその可能性があるものが含まれているため。 この記事では "OSS" の定義に当てはまらないものも含め、主要な事業を構成するソフトウェアを一定のライセンスの下で公開している会社をまとめていく。このようにソースコードを公開して利用者やフィードバックを集めるビジネスモデルは open core とか COSS: Commercial Open Source Software と呼ばれているようだ。 企業が「ソースコードが公開されているソフトウェア」を利用するメリットとしては、主に以下の2つがあると考えられる。 コア機能の開発に集中できる 自社のビジネスの核となるソフトウェアの開発に集中し、それ以外の機能的・非機
JP Contents Hub
AWS 日本語ハンズオン Amazon Web Services(AWS) の 日本語ハンズオンやワークショップを、カテゴリごとにまとめています。 右側の目次や、ヘッダー部分の検索ボックスから、各コンテンツにたどり着けます。 また、Ctrl + F や command + F を使ったページ内検索もご活用いただけます。 料金について ハンズオンで作成した AWS リソースは通常の料金が発生します。作成したリソースの削除を忘れずにお願いします。 もし忘れてしまうと、想定外の料金が発生する可能性があります。 画面の差異について ハンズオンで紹介されている手順と、実際の操作方法に差異がある場合があります。 AWS は随時アップデートされており、タイミングによってはハンズオンコンテンツが追いついていない事もあります。 差異がある場合、AWS Document などを活用しながら進めて頂けますと幸い
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
M1搭載MacBook Airが届いたのでJavaやDockerなどいろいろベンチマークした - きしだのHatena
M1 MacBook Airが届いていろいろやってたら年も明けてだいぶたったけども、ビルド速度とかJavaとかDockerとかTensorFlowとか、技術者が気になるベンチマークを試してたので、まとめました。 MacBook Airを買ってしまった なんかM1 Mac解説動画をとるためにいろいろ調べていたら、悪質サイトのリンクを踏んだみたいで、MacBook Airを買ってしまっていた。 その悪質サイトは最初は7万円台ですよーっていっておいて、結局12万円くらいになっていた。 みんなもapple.comってサイトには注意しましょうね。 www.youtube.com とどいた！ 12/12到着予定といいつつ11日になっても羽田から動いてなかったので大丈夫かーと思ったら11日深夜というか12日未明というかそのあたりには福岡に届いてて、朝発想されて夜にとどいた。 でこれだ！ ベンチマーク G
昨年書いたサーバーサイドエンジニアとして2020年に使った技術1の2021年版となります。 昨年と同じく、冒頭の画像はwakatimeによる2021年1月1日から12月26日までのプログラミング言語使用率です。2位はTypeScript、3位はYAML、4位はTerraformです。 立場 フリーランスで、主にRailsやAWSを使用しているサービスの運用、開発に関わっています。いくつもの会社を見てきた訳ではなく、数社に深く関わっている1都合上、視野が狭いかもしれません。(昨年と同じ) 今年公開している成果については以下です。 Agones移行物語 - Kubernetes Meetup Tokyo 42 #k8sjp｜うなすけ｜note なぜ我々はクラウドゲーミング基盤をKubernetesに移行したのか #CNDT2021｜うなすけ｜note Repro のサーバーサイド開発環境を M
達人出版会
知識ゼロからノーコードではじめる Studio Webサイト制作入門 gaz 徹底攻略 データベーススペシャリスト教科書 令和7年度 株式会社わくわくスタディワールド 瀬戸美月 徹底攻略データサイエンティスト検定問題集［リテラシーレベル］対応 第2版 小縣 信也, 斉藤 翔汰, 森田 大樹, 田澤 賢, 小宮 寛季, 野口 敏久, 山田 弦太朗, 安… Proxmox VEサーバー仮想化 導入実践ガイド エンタープライズシステムをOSSベースで構築 青山 尚暉, 海野 航, 大石 大輔, 工藤 真臣, 殿貝 大樹, 野口 敏久 1週間でLPICの基礎が学べる本 第4版 中島 能和 Windowsで作る侵入検知システム 自作IDS/IPSで学ぶ実践セキュリティ dora シリコンに導入されたドーパントの物理 公益社団法人 応用物理学会 半導体分野将来基金委員会 Pythonを使った数値計算入
BIGLOBEで1年間業務をすると、どれだけDDDのスキルが向上するか - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」
基盤本部（開発部門）の小野田です。 私は 2019 年に中途採用で BIGLOBE に入社して以来、主に既存システムのリニューアル案件に関わり、その中で、モデリングの経験を多く積んできました。本記事では業務で得たモデリングの知見を基に 鉄道料金計算問題 を再モデリングした結果と 1 年前のモデリング結果とを比較して、1 年間でどれだけスキルアップしたかを紹介したいと思います。ここで紹介する内容は、同じ名前のオブジェクトでも性質が異なれば別の値オブジェクト ( Value Object: VO ) としてモデリングしたほうが良いことを示す実例となります。 1 年前のモデリング結果は DDD くらいできるようになりたいよねって話 をご覧ください。 style.biglobe.co.jp なお、この記事の内容やプログラムは教育用に作成した架空のものであり、実在のサービスや団体などとは一切関係あり
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
この記事はANDPAD Advent Calendar 2024の17日目の記事になります。(投稿予定の12/17前後で風邪を引いてしまい投稿が遅れてしまいました。🙇♀️) @youchanです。実は今年の8月にアンドパッドに入社していました。アンドパッドではインフラコストを削減するための施策を行なうチームに配属しています。 アンドパッドでは建設業のDXを実現するサービスを提供しています。建設の現場では多くの写真が取り扱われます。膨大な写真データはインフラコストに響くので削除できるものは削除したいところです。実際にサムネイル画像も保存されていたりして削減可能なものがたくさんあります。 私の最近のミッションはこの不要なファイルを削除するということなのですが、ファイル数が膨大なためいくつかの工夫が必要なのでそれについて記事にしたいと思います。 また本稿では、課題を通して並行・並列処理につい
GitHub - modelcontextprotocol/servers: Model Context Protocol Servers
Official integrations are maintained by companies building production ready MCP servers for their platforms. 21st.dev Magic - Create crafted UI components inspired by the best 21st.dev design engineers. 2slides - An MCP server that provides tools to convert content into slides/PPT/presentation or generate slides/PPT/presentation with user intention. ActionKit by Paragon - Connect to 130+ SaaS inte
Elasticsearchのパフォーマンス問題をプロファイラを使って解決する | メルカリエンジニアリング
search infra teamのmrkm4ntrです。我々のチームではElasticsearchをKubernetes上で多数運用しています。歴史的経緯によりElasticsearchのクラスタは全てElasticsearchクラスタ専用のnode pool上で動作していました。ElasticsearchのPodは使用するリソースが大きいため、このnode poolのbin packingが難しくコストを最適化できないという問題がありました。そこで全てのElasticsearchクラスタを専用のnode poolから他のワークロードと共存可能なnode poolへ移行しました。ほとんどのクラスタが問題なく移行できたのですが、唯一移行後にlatencyのスパイクが多発してしまうものがありました。 この記事では、その原因を調査する方法と発見した解消方法について説明します。 発生した現象 共
awesome-scalability
The Patterns of Scalable, Reliable, and Performant Large-Scale Systems View the Project on GitHub View On GitHub An updated and organized reading list for illustrating the patterns of scalable, reliable, and performant large-scale systems. Concepts are explained in the articles of prominent engineers and credible references. Case studies are taken from battle-tested systems that serve millions to
オープンソースのプラグイン型データ・ローダー Embulk のメンテナをここ何年かやっている @dmikurube です。 Embulk はオープンソースですが、本体 (core) のメンテナンスは Treasure Data でおこなっている、いわゆる「企業発オープンソース」でした。ライセンスは Apache-2.0 で、その意味でちゃんと「オープンソース」ですが、メンテナンス体制や意思決定は実質的に Treasure Data で握っていました。 [1] この Embulk のメンテナンス体制を、このたび、よりオープンにしていくことになりました。まだ準備を進めている段階ですが、本記事は、その概要のご紹介です。 オープンって、具体的には? 大きくは次の 2 点です。 特にプラグイン互換性に影響があるような大きな変更の意思決定プロセスを整備する Treasure Data の外からも Em
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
OpenSearch 3.0 でMCPによるAgentとの連携を行ってみる - Taste of Tech Topics
はじめに こんにちは。データ分析エンジニアの木介です。 今回は、OpenSearch 3.0の最新リリースについての紹介と、新たに対応したMCP（Model Context Protocol）を用い外部リソースとOpenSearchの連携方法について解説していきます。 opensearch.org OpenSearchでのMCPの利用方法は、以下の2つの構成があります。 構成①：OpenSearchからMCPを利用する OpenSearch内でMCPクライアント/サーバーを構築し、ユーザーからの検索内容に応じてMCP経由でリソースを利用する方法。 構成➁：MCPサーバーからOpenSearchを呼び出す ユーザーがMCPクライアントを用意し、OpenSearch内で構築されたMCPサーバー経由でLLMからOpenSearch内のリソースを操作する方法。 はじめに OpenSearch 3.
BlueTeam CheatSheet * Log4Shell* | Last updated: 2021-12-20 2238 UTC
20211210-TLP-WHITE_LOG4J.md Security Advisories / Bulletins / vendors Responses linked to Log4Shell (CVE-2021-44228) Errors, typos, something to say ? If you want to add a link, comment or send it to me Feel free to report any mistake directly below in the comment or in DM on Twitter @SwitHak Other great resources Royce Williams list sorted by vendors responses Royce List Very detailed list NCSC-N
【株式会社ラクス】SaaSプロダクト別の技術スタックを一挙公開！ - RAKUS Developers Blog | ラクス エンジニアブログ
（本記事は2024/6/6時点の情報にアップデートしております） こんにちは、技術広報のyayawowoです。 突然ですが、株式会社ラクスと聞いて何を思い浮かべますでしょうか？ 弊社ラクスでは、様々なプロダクトを展開していますが正直認知度は低いと思っております。 そこで今回、弊社についてもっともっと知っていただくため・・・ ラクスが展開している全10プロダクト 全10プロダクトの技術スタック インフラ/SRE/デザイナーの技術スタック について、ご紹介させていただきます！ SaaS開発に携わる方、弊社に少しでも興味を持っている方の一助となれば幸いです！ ラクスが展開している全10プロダクトとは？ バックオフィス向け フロントオフィス向け 10プロダクトの技術スタック 楽楽販売 楽楽精算 楽楽明細 楽楽電子保存 楽楽勤怠 MailDealer 配配メール Curumeru blastmail
実践 Pub/Sub Messaging - Cloud Pub/Sub を活用するための開発基盤を作った話 | Wantedly Engineer Blog
はじめにこんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（@south37）です。 先日、Wantedly では「システム全体の信頼性向上」と「開発生産性の向上」を両立するために Event-Driven Architecture を採用しているというブログを書かせて頂きました。 開発生産性と信頼性の両立を目指すための Event-Driven Architecture - より良いマイクロサービスアーキテクチャを求めて | Wantedly Engineer Blog こんにちは、Wantedly の Infrastructure Team でエンジニアをしている南（ south37 ）です。 Wantedly では、マイクロサービスアーキテクチャを採用しています。 マイクロサービスで開発を進める上で、重要な関心ごとの1つが「多数のマイク
AWS is aware of the recently disclosed issues relating to the open-source Apache “Log4j2" utility (CVE-2021-44228 and CVE-2021-45046). Responding to security issues such as this one shows the value of having multiple layers of defensive technologies, which is so important to maintaining the security of our customers’ data and workloads. We've taken this issue very seriously, and our world-class te
＊予告なく時間配分や内容が変更になる可能性があります。 参加される方への事前のお願い ・インターネットが良好に繋がる環境にてご視聴ください。 ・18:50頃から入室が可能です。 ・質問がある方は、セッション中に「Q&A」機能に入力してください。 開発組織と登壇者紹介 松野 徳大 / Tokuhiro Matsuno 開発4センター Official Account 開発室室長 / 開発4センター Ad Network and Performance 開発室室長 入社後、様々なLINE関連サービスの開発を担当し、LINEの広告プラットフォームの開発を経て、2019年からLINE公式アカウント開発担当シニアマネージャー。現在はLINE公式アカウント、LINE DMP などの B2B 関連開発の部署のマネジメントをしている。趣味は万年筆を買うこと。 LINE コンテンツプラットフォーム LINE
JJUG CCC 2023 Spring ( #jjug_ccc ) - セッション資料の一覧 - 地平線に行く
JJUG CCC 2023 Spring に参加しました！ 今回、なんとJJUG CCC 参加9年目にして初登壇してきました。色んな人から「えっ、初？」って言われましたｗ1 セッションは、javap を使ってクラスファイルを読んでみよう という、ややマニアックな内容です。頑張って調べた内容を色々詰めたので、javap を使ったことがある人にも使ったことがない人にもなにか得られるものがあったとしたら、幸いです。 ちなみに、このセッションではバイトコードについては時間の関係もあって簡単に触れただけだったのですが、ちょうど David Buck さんの "Java Bytecode Crash Course" がバイトコードについての話だったので、両方を聞いた方にはちょうどよかったんじゃないかなと思います。 今回からはオンライン＆現地開催となりましたが、やっぱり現地で色んな人と会えて話ができるの
こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS re:Invent 2022の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は米国時間で表記します。 11/28 (月) Amazon EC2 C7gn instances (Preview) 前世代のC6gnインスタンスと比較して、最大200Gbpsのネットワーク帯域幅と、最大50%高いパケット処理性能
こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2025年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2024年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 250個 です。 まとめるにあたって、次のドキュメントや、弊社の多数のブログを参考にしました。 コンピューティング Amazon EC2 正式名称は Amaz
達人出版会
整数論・暗号理論・符号理論 PARI/GPで計算しながら学ぶ 鈴木 英男 人間中心設計におけるデザイン 長谷川 敦士, 松原 幸行, 山崎 和彦 地球環境を学ぶ 寺嶋 光春 徹底攻略 ネットワークスペシャリスト教科書 令和8年度 株式会社わくわくスタディワールド 瀬戸美月 著 DuckDB実践入門 PCで使える高速で快適なデータ分析用DB―基本からエコシステム活用まで Mark Needham, Michael Hunger, Michael Simons(著), 設… 現場主義統計学のすすめ 野外調査のデータ解析 島谷 健一郎 ロバスト統計 外れ値への対処の仕方 藤澤 洋徳 Excelで学ぶオペレーションズリサーチ 大野 勝久, 逆瀬川 浩孝, 中出 康一 データ分析ライブラリーを用いた最適化モデルの作り方 久保 幹雄, 斉藤 努 Pythonで体験してわかるアルゴリズムとデータ構造 西
このエントリはスターフェスティバル株式会社の スターフェスティバル Advent Calendar 2022 16日目記事でもあります。 みなさんは開発する時にどう考えていますか？ 大した内容ではありませんが、今回は開発をする上で 「どう考えて設計して表現していくか」、という永遠の悩みの中で 自分が複雑な物事に立ち向かう時の頭の中を少し書き出してみようと思います。 各カンファレンスなどで話しているものを結合したものではあります。 一緒に仕事をしたりしている方々にはお馴染みの話です 前半くらいは前提の話や分析の思考、 後半はイベント駆動などにおけるメッセージについて という流れになってます。 ちなみに自身はスターフェスティバルではアプリケーション全般の開発には関わっていますが、 主にデータ基盤やデータドリブンなマインドを伝播させていくことや、 データを使った戦略を立てながらのプロダクト作りや
はじめに 2023年10月5日(木)にTrino / Presto Conference Tokyo 2023 (Online)が開催されました。本記事はイベントにて発表した内容をご紹介します。 社内の監視サーバについて さくらインターネットでは現在社内の各チームでPrometheus, Elastic Stack, Lokiなどの監視基盤を個別に運用しています。この状態では運用負荷が大きいためSRE室でログ基盤を提供することにより、運用の手間を減らすことや運用レベルを底上げしてコスト削減ができるのではないかと検討しています。既存のOSSでの運用も行ってみたものの、マルチテナント提供・ライセンス体系の問題など課題があったことからTrinoとIcebergでの開発を始めました。 Icebergとは Icebergはビッグデータ・データレイクを構築するためのストレージフォーマットです。データの
Tech Solvency: The Story So Far: CVE-2021-44228 (Log4Shell log4j vulnerability).
Log4Shell log4j vulnerability (CVE-2021-44228 / CVE-2021-45046) - cheat-sheet reference guide Last updated: $Date: 2022/02/08 23:26:16 $ UTC - best effort, validate all for your environment/model before use, unofficial sources may be wrong by @TychoTithonus (Royce Williams), standing on the shoulders of many giants Send updates or suggestions (please include category / context / public (or support
達人出版会
CDPのつくり方 GA4×BigQueryによる顧客データ基盤 構築・活用実践ガイド 小川 卓, 小畑 陽一, 柳井 隆道, 渡邊 侑紀 増補改訂版 ベイズ最適化 適応的実験計画の基礎と実践 今村 秀明, 松井 孝太 徹底攻略 LPIC レベル3 305 教科書＆問題集［Version 3.0］対応 土橋 直樹 実践で学ぶコード改善の極意 Christian Clausen(著), 松田晃一(訳) 安全な暗号をどう実装するか Jean-Philippe Aumasson(著), Smoky(訳), IPUSIRON, 藤田亮… ストリーミング動画技術の教科書 仕組みと実装を完全網羅 伊藤 優汰 一人称研究のすすめ 知能研究の新しい潮流 人工知能学会, 諏訪 正樹, 堀 浩一 はじめての応用数学 ラプラス変換・フーリエ変換編 小坂 敏文, 吉本 定伸 はじめてのアルゴリズム 上原 隆平 はじ
業務で AWS Glue Schema Registry を使おうとしたけど、やっぱりやめたというお話。 Glue Schema Registry#What’s Schema Registry?#AWS Glue Schema Registry は2020年に発表された AWS の機能だ。 Control the evolution of data streams using the AWS Glue Schema Registry一方、私が最初に schema registry 的なものを見たのは Confluent の例。 Schema Registry の概要 - ConfluentAWS の Glue Schema Registry はこれより後のリリースであり、同等のものの AWS マネージド版といったところだろうか。 schema registry で何ができるかは Confl
今参画している案件でMySQL、Kafka、Cloud Pub/Sub、AWS SQS/SNSあたりを使ったアプリケーションを作成することになりそうなので・・・Testcontainersを利用してSpring Bootアプリケーションのテストをしようかな〜と考えています。今回はすご〜く簡単なデモアプリケーションを作ってみました。 今参画している案件では使わないけど・・・ PostgreSQL MockServer(擬似HTTP Server) を使ってテストするデモアプリケーションも作ってみました。 利用するもの Spring Boot 2.4.5 Testcontainers 1.15.3 JUnit 5 Docker MySQL in Docker PostgreSQL in Docker Apache Kafka in Docker Cloud Pub/Sub Emulator i
2021年には Scala 3 がリリースされて激アツなのに、google のサジェストでも "Scala オワコン" がでてきて悲しいですね😢 どこぞのインフルエンサーの影響でしょうか... ほかにも 有名OSS作者の travis brown さんがｻﾖﾅﾗしちゃったり... JetBrains さん: わが社のスカラチームは二番目に大きなチームですよ😊 JetBrains さん: だれも Scala 使ってないらしいので Fleet で Scala はさぽーとしませ～ん🤪 Kotlin を使ってね😊 （一応、JVM言語の読み込み・解析は可能なようですが Scala のシンタックスハイライトや補完機能は導入されていないようです.） なんてことがあったり... Scalaはオワコン？🤔 せっかくなので調べてみました!😖 以下 Scala を使っている big tech とその
？？？：雰囲気で分散システム使ってるやついる!? ？？？：いねぇよな！！！！！ むっそ：んなわけねぇよ、いるんだよ！！ここによぉ！！ (終) はじめに なんか分散システムっぽいのは使えてるけど、いまいち詳しいことは知らないってひとが多いと思います。私もです。 別に分散システムの仕組みを知らなくても問題なかったりするものですが、いざシステム障害などが起きると これそもそもの仕組み知らんと無力じゃね？ ってなったりします。(無情にもやばいバグが時々起きたりします) 今回は分散システムにわか勢による分散システムを知るのに良さそうなリンクをまとめたり感想を書いていこうかと思います。 分散システムを考え始めたきっかけ DynamoDB嘘松事件 事件前の実装 現在開発しているプロダクトで下記のような処理がありました。 (先人の過去の遺物が残っていてあまり良くないアーキテクチャになってます) フロントエ
いろいろ触ったのでまとめる。(今後追記予定あり) TL;DR データガバナンスツールのOSSにおいて、世間的にデファクトスタンダード的なものも、個人的にこれは!というものも見た限りなかった。 テクニカルメタデータの収集はだいたいどこも同じな一方、ビジネスメタデータ、リネージへの取り組みには顕著な差がある。 お金があるなら有償製品を導入したほうがいいかもしれない。 1 データガバナンスツールは、JIRAみたいなビジネスツールとして捉えるべきという所感。 変更履歴 2020-05-18 Egeriaを追加 前提と関心のある領域 ベンチャーではなく様々な領域の事業を扱う大きめの企業。 マルチクラウド、マルチベンダー、マルチプラットフォーム。データストアは数百以上。 ETL基盤、データ分析基盤はすでに存在し、内製のメタデータ管理ツールもある。 データ利活用よりもガバナンスを強化したい。 調べたOS
No matter what ranking system you look at, whether the TIOBE Index, the Popularity of Programming Language Index, RedMonk’s bi-annual language rankings, or GitHub’s yearly State of the Octoverse, Java has been sitting among the top three languages since shortly after its launch in 1995. To listen to the general scuttlebutt of the developer crowd over time, however, you might think that Java was in
AWS は、オープンソースの Apache「Log4j2」ユーティリティに関連して最近公表された問題 (CVE-2021-44228 および CVE-2021-45046) について認識しています。 このようなセキュリティの問題に対応する際に、複数階層の防御テクノロジーの真価が発揮されます。これは、お客様のデータとワークロードのセキュリティを維持するために極めて重要です。 当社ではこの問題を非常に深刻に受け止め、当社の世界クラスのエンジニアチームが、Amazon が開発した Java ホットパッチ (こちらで入手可能) をすべての AWS のサービスに完全にデプロイしました。このホットパッチは、Java VM を更新して、Java Naming and Directory Interface (JNDI) クラスのロードを無効にし、無害な通知メッセージに置き換えます。これは、CVE-202
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? (株)日立製作所 研究開発グループ サービスコンピューティング研究部の栗原です。 今回、Kafkaを用いたSagaパターンのデモ構築（PostgreSQL＋Debezium＋Kafka）をし、動作検証したので、記事にしたいと思います。 １．Apache Kafka Kafkaとは、分散イベントストリーミングプラットフォームのOSSです。高スケーラビリティ、高信頼性が特徴で、活用事例・応用分野も多く、ソフトウェア選定の際によく選ばれるソフトウェアの１つだと思います。 Apache Kafka： https://kafka.apache.o
[レポート] Apache Hudiのテーブル形式の紹介 – Subsurface LIVE Summer 2021 | DevelopersIO
米国時間2021年07月21日〜22日の計2日間、オンラインで開催された「Subsurface LIVE Summer 2021」では、主催となるDremio社のサービスやクラウドデータレイクに関する各種サービスやプロダクトのセッションが展開されていました。 Subsurface LIVE Summer 2021 当エントリでは、その中から「Introducing the Apache Hudi Table Format」(Apache Hudiのテーブル形式の紹介)というセッションについてレポートします。 目次 セッション概要 セッションレポート まとめ セッション概要 セッション概要は以下の通り。 Introducing the Apache Hudi Table Format, Purpose-Built for Low-Latency Data Lake Use Cases - S
![[レポート] Apache Hudiのテーブル形式の紹介 – Subsurface LIVE Summer 2021 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8554d7daed7a3844e5a02bae7ba5c467b072ce4b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2Fapache-hudi-logo_1200x630.png){kind=logo}
OTFSG Tokyo Meetup #2 で「Kafka ConnectのIceberg Sink Connector」をテーマに発表してきた - MicroAd Developers Blog
マイクロアドの京都研究所からリモートで働いているインフラ開発ユニットの永富 id:yassan0627 です。 3/1に開催されたOpen Table Format Study GroupのMeetupの第2回目にて、「Kafka ConnectのIceberg Sink Connector」をテーマに話してきました。 今回は、その紹介です。 otfsg-tokyo.connpass.com Open Table Format Study Group（OTFSG） について 私の発表について Kafka Connectとは Iceberg Sink Connectorとは お試し環境について 私以外の発表について 最後に Open Table Format Study Group（OTFSG） について Open Table Format Study Groupは、以下を目的とする勉強会で
この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 qiita.com qiita.com 今年もアドカレの季節がやってきました🎄 今回は、ここ数年でデータ界隈で盛り上がっているOpen Table FormatのIcebergテーブルについて書いていきます。 Hiveテーブルとの比較とか、Icebergテーブルの特徴（Time Travel や Rollback、Hidden Partitioning、Full Schema Evolution等）については、あっちこっちで大分こすられてます。 そこで、Icebergテーブルの特徴がなぜ実現できているのかについて知るために、内部構造がどうな
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ソースコードを公開したソフトウェアで収益を得ている会社
【2022年】AWS全サービスまとめ | DevelopersIO
サーバーサイドエンジニアとして2021年に使った技術と来年の目標 | うなすけとあれこれ
【2024年】AWS全サービスまとめ | DevelopersIO
並行・並列、そしてAsync - ANDPAD Tech Blog
Embulk のメンテナンス体制がオープンになります
Update for Apache Log4j2 Issue (CVE-2021-44228)
LINE サーバーサイドエンジニア採用説明会（プラットフォーム開発） (2021/07/27 19:00〜)
【2023年】AWS全サービスまとめ | DevelopersIO
AWS re:Invent 2022で発表された新サービス/アップデートまとめ - Qiita
【2025年】AWS全サービスまとめ | DevelopersIO
現状と向き合ってシステムを考える時の頭の中をちょっとだけ - ytake blog
TrinoとIcebergでログ基盤の構築 | さくらのナレッジ
Glue Schema Registry の導入を断念した話
Testcontainersを利用したSpring Bootアプリのテスト - Qiita
Scala を使っている海外有名(big) tech 企業の紹介
雰囲気で分散システム使ってるやついる!? - Qiita
メタデータ管理OSS個人的まとめ - うさだのブログ
Don’t call it a comeback: Why Java is still champ
Apache Log4j2 のセキュリティ速報 (CVE-2021-44228) の更新情報
Kafkaを用いたマイクロサービスSagaパターンの検証 - Qiita
Icebergテーブルの内部構造について - やっさんメモ