2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話などについてインタビューします。今回の対象セッションは「Ostracon：P2Pネットワークでのブロックチェーンの一貫性に挑む」です。 2017年のビットコインブームを皮切りに、ブロックチェーンは暗号資産や権利の証明のための、改ざん不可能なトランザクションを支える重要な技術として世間に認知されることとなりました。LINEではブロックチェーン基盤技術およびその応用サービスの研究・開発を行う専門組織として、LINE Blockchain Labを運営しています。 本セッションでは、LINE Blockchai
はじめに Launchableの共同創業者の1人で、Jenkinsの父としても知られる川口耕介さんとMSでアドボケイトをされている寺田佳央さんのご紹介で、西海岸サンタクララにヘッドクオーターを置くShipa.ioというスタートアップのカジュアル面談を受けてみました。日本でプロダクト開発をするエンジニアを募集したいとのことで、紹介の意味も込めて創業者の1人であるVivek Pandeyとカジュアル面談をしたときの内容や感想を書いてみます。 はじめに Shipa.ioについて Shipa.ioは日本でのエンジニア部隊を立ち上げたい どんな人を探している？ Shipaのチームメンバーは世界中にいる 英語話せないときついんじゃないの さいごに Shipa.ioについて Shipaはエンジニアの開発からデプロイまでを支援するプロダクトで、SREがポリシーを定めるところから開発者がデプロイをするまでを
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 熊崎 宏樹:良いですね。日曜大工でRDBMSを作るのはもっと市民権を獲得しうる趣味だと確信しています。 分散システムを作る際に気をつける事を語ると毎度長くなってしまうのですが、データ指向アプリケーションデザイン、通称イノシシ本に書いてある事をベースラインに説明すると明快であると気づきました。 * レプリケーションされるのはトラ
アーキテクティングの必要性
最近の話最近何に関心を持ってる？と聞かれたら即答で 「アーキテクティング」 と答える。 少し前は「分散システムとの向き合い方」というテーマだったが、それが昇華されて「アーキテクティング」に変わっている。 アーキテクティングとは、 ”ソフトウェアの成功に必要なアーキテクチャを決める活動” のこと。 ※ 〇〇アーキテクチャの実践！とかではなく、要件定義や開発運用、品質特性や品質保証といった広義の設計と開発に関わる活動を指している 今の自分に最も不足している考えや技術で、これが高い水準でできる様になれば飛躍的にソフトウェアの成功確度を引き上げられる領域だと思っている。 個人としてもそうだが、組織でも高い水準でのアーキテクティング活動、長い目で見るとアーキテクティング文化が必要だと思っており、それをいかに組織で作っていくか、いかに自分自身を変えるかが最近のテーマ。 これは難しいことで、スケールする
刮目せよ!! 2023年秋、TS連携もファイルサイズもUIもイケるようになった最近のScala.js事情の紹介 - Lambdaカクテル
最近Scala.jsの話をすると結構な人がRTしてくれる。TypeScriptの他にAltJSには今どんなのがあるのかな、という話に引用RTでScala.js今アツいですよという話をしたら結構ウケた。世間的にはTypeScript alternativeに興味がある人も多いようだ。一方、ネットに残っているScala.js情報は数年前のものが多いようで、あまり積極的に日本語での情報発信がなされていない様子。そこで、ここ最近Scala.jsはどういう感じなのか、そしてどうすれば始められるのかという情報をまとめると需要があるかもしれないと思い、書くことにした。 Scala.jsは数年前まではオモチャみたいな感じだったんですが最近はTSのライブラリから自動で型が生える仕組みがあったりめちゃバンドル小さくなったりとめちゃくちゃ進化してます!! https://t.co/c06IZGWhYF— Win
この記事はFIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム（+分散Key Value Store）の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景 要約：素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバー等ありますでしょうか？ 自分は学生時代からConoHa VPS（コンビニ支払いできるのが学生にやさしい）、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でK
私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 - Findy Tools
公開日 2024/05/24更新日 2024/07/25私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 近年データベースが急速に進化し、開発にも大きな影響を与えています。そこでファインディでは「私たちはなぜNewSQLを使うのか TiDBを選定・導入した5社が語る選定と活用」と題したイベントを開催。PingCAPの日下さん、LINEヤフーの佐伯さん、アイスタイルの鈴木さん、DMM .comのpospomeさん、コロプラの曽我さん、さくらインターネットの江草さんをお招きし、NewSQLの一つである TiDBについて語っていただきました。 ■パネリスト日下 太智さん / @ksk_tic PingCAP株式会社 プロダクトマネージャー / シニアソリューションアーキテクト SIerにて国内外問わずEC/小売/製造/サービス/メディア/出版など様々
はじめに こんにちは！yamakazu (@yamarkz) です。プロダクトブログへの登場は昨年ぶりになりました。 さて、6月は欧州サッカーのシーズンオフになりますが、対してインターナショナルマッチ(国際Aマッチ)が行われる月なので、代表ファンとしてはワイワイ！な月です。今年は冬のW杯も楽しみですね。 という趣味の小話は最初だけにして、今回はStailerで向き合っているカード決済の難しさと、その難しさに対応するために選択した設計戦略を紹介していこうと思います。 今10Xが賭けているE-Groceryという領域はまだまだニッチで、開発知見がほとんど出回っていないのが現状です。決済に関しては海外含めてGoogle検索でもほとんど確認できませんでした。(ex: instacart, Target) 本記事が、E-Groceryの様な複雑なドメインで決済処理を実装する際の参考になれれば嬉しいで
カイポケリニューアルでの SREチームの活動の一部の紹介：認証基盤選定と OpenTelemetry周辺ツール調査 - エス・エム・エス エンジニア テックブログ
こんにちは、SREをやっている@okazu_dmです。 経歴としては、サーバサイドエンジニアからセキュリティエンジニアを経て、エス・エム・エスではサービス横断で技術的な課題を解決しています。 基本的には組織に必要なことと自分ができることや、やりたいことが交わるポイントで仕事をしており、現在はSREとして働いています。 今回は、過去の記事 とは違い、既存SREチームとは別に、介護事業者向け経営支援サービス「カイポケ」のリニューアルプロジェクトにスコープを絞って新しく立ち上げたSREチームとしての活動を紹介します。 リリース前のプロダクトのSREなので、一般的なSREの定義とは乖離する内容もある点ご留意ください。 リニューアルプロジェクトの概要 昨年末に出したフロントエンドの技術選定に関する記事 での説明と内容的な差分はありませんが、SREの業務の説明の前にこちらでも改めて触れておきます。 イ
WASMバイナリを実行する自作OS, mavisの紹介
mavisとは mavisは私がフルスクラッチで開発している自作OSです。 これをビルドしてmake runするとshellが立ち上がり、"hello"コマンドを実行すると"Hello World!"が表示されます。 現状できることはたったこれだけですが、面白いのはその仕組みです。実は上の画像のshellとhello worldプログラムはどちらも WASMバイナリ です。そしてkernelは低レベルなメモリ管理機能とタスク管理機能を除くと、「WASMバイナリをタスクとして実行する」以外の機能を持ちません。つまりkernelがWASM Runtimeであり、それによって"ユーザーランド"を実現しているということです。 このOSは「仮想メモリ」を持ちません。なぜならWASMバイナリは位置独立だからです。WASMはスタックマシンベースの命令セットなので、スタックさえ用意すればどこでも、何度でも
公開論文から学ぶ Google のテクノロジー : パート 3：データベース技術編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年にわたって構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google のエンジニアは、自分たちが開発した技術の詳細を論文として公開しており、これまでに公開された論文は、Google の研究チーム、Google Research の Web サイトにある Publication Database で検索できます。このブログシリーズでは、次の4つの分野に分けて、Google Cloud の技術に関連の深い論文を紹介していきます。 分散処理基盤（コンテナ技術）とデータセンター ネットワーク技術 データベ
【AWS】AWS認定『SysOps アドミニストレーター - アソシエイト』(SOA)も合格した話 - Rのつく財団入り口
アソシエイト3冠達成したよ AWS認定の運用向け資格、『SysOps アドミニストレーター - アソシエイト』に、東京の緊急事態宣言前夜の2020年3月末に一発合格してアソシエイト３冠を達成することができました。 祝ってくれた皆様ありがとうございます。といいつつもう７月、コロナあれこれでだいぶ後になってしまいましたが、合格エントリとしてこれから挑戦する方向けに情報を残しておこうと思います。 アソシエイト3冠達成したよ 挑戦への経緯 きっかけ 書いている人のスキルセット(笑) AWSの実務経験とよく使う興味のあるサービス やったこと 基本方針の確定 スタプラで学習記録を可視化する イベントに……あまり行ってない ネット上の合格エントリを参考にする 学習時間の確保に立ち向かう コロナの脅威に立ち向かう 計画変動に立ち向かう 学習の流れ WHIZLABSを導入 WHIZLABSの英語テキストをハ
マルチランタイム・マイクロサービスアーキテクチャ
状態(state)を話題にする場合、その多くはサービスの状態や、ステートレスが望ましい理由といったことが多いのですが、サービスを管理するプラットフォーム自体にも状態は必要です。信頼性の高いサービスオーケストレーションの実行、分散型のシングルトン、時間的スケジューリング(cronジョブ)、冪等性、ステートフルなエラーリカバリ、キャッシュなどを行なうには、状態が必要になります。ここで挙げたすべての機能が、内部的に状態を持つことに依存しているのです。状態管理の実際はこの記事の範囲ではありませんが、状態に依存する分散プリミティブやその抽象化は関心の範囲内にあります。 バインディング 分散システムのコンポーネントは相互の通信が必要なだけではなく、最新の外部システム、あるいはレガシな外部システムとのインテグレーションも必要です。そのためには、さまざまなプロトコルを変換し、ポーリングやイベント駆動、リク
Observability Conference 2022に登壇: データ分析基盤におけるオブザーバビリティの取り組み - Pepabo Tech Portal
こんにちは、データ基盤チームのまつもとです。先月開催されたObservability Conference 2022に登壇しましたので、お話した内容を簡単に紹介して登壇について振り返ります。 Observability Conference 2022 Observability Conferenceは、オブザーバビリティ（可観測性）に特化したテックカンファレンスです。オブザーバビリティとは何かについて簡単に説明しておくと、「いつ、どこで、なにが起きているかを観測が可能である」という性質のことをいいます。複雑かつ動的にスケールをする分散システムにおいては、オブザーバビリティを備えることでシステムの状態をより正確に把握できます。そのため、障害の検知や原因の特定を効率的に行えるようになるだけでなく、キャパシティ計画やパフォーマンス計画の推進にも役立ちます。 このカンファレンスでは、主にDevOp
あけましておめでとうございます。2019 年は大変お世話になりました。2020 年も張り切っていきましょう。 さて、2019 年には結構な回数の外部発表を行いました。これらの発表内容のうち一部は単独のブログ記事としてまとめてありますが、機を逸してしまって記事化されていないものも相当数あります。そこで本記事では、2019 年中に行った発表を一覧としてまとめてみました。 2019 年の活動実績 2019 年の登壇は全部で 19 件でした。うち（先着や抽選ではなく）CFP に応募して採択されたものは 4 件です。 チェシャ猫が普段活動している領域は、Twitter の Bio にも書いてある通り、大きく「Kubernetes」「Haskell」「形式手法」の三つのカテゴリに分かれています。このカテゴリで登壇内容を分類したところ、以下のようになりました。 CloudNative に関わるもの（12
「技術者を育てる」ことを目的とした、エンジニアを目指す学生のための日本最大のオンラインカンファレンス「技育祭」。ここで株式会社 LIFULL（ライフル）の相原氏が「趣味と仕事の違い、 現場で求められる アプリケーションの可観測性」をテーマに登壇。まずは、仕事と趣味のアプリケーションの違いと、可観測性の基本的な3つのシグナルのうち2つの「Logs」「Metrics」について紹介します。 自己紹介と目次 相原魁氏：今日は「趣味と仕事の違い、現場で求められるアプリケーションの可観測性」について、僕の自室からお送りしようと思います。株式会社LIFULLの相原です。よろしくお願いします。 （スライドを示して）今日の目次ですが、「だいたい趣味のアプリケーションってこういうことをやりがちだよね」みたいな話をした後に、では仕事だとどういうことが求められるのか。その上で、どういう実装をすると可観測性を満たせ
フューチャー夏休み自由研究連載12本目の記事です。 はじめにはじめまして。TIG DXユニットの富山です。2020年4月新卒入社です。 夏休み自由研究連載の11本目の記事で公開されたSlack×GASの日報テンプレBOTを実務に導入してみたの執筆者である仁木さんと同期です。 私が参画しているプロジェクトでは、データベースにDynamoDBを採用しています。私は、RDBMSしか使用した経験がなかったので、NoSQLであるDynamoDBの理解にとても苦しみました。そこで今回の夏休み自由研究では理解した内容をまとめてみたいと思います！ つまったポイントサマリ― これらが理解できるような記事を目指します。 DynamoDBとは公式ドキュメントによると、 Amazon DynamoDB は、規模に関係なく数ミリ秒台のパフォーマンスを実現する、key-value およびドキュメントデータベースです。
2020年11月のサーバーレス関連まとめです。こちらのイベントで取り上げる内容です。 serverless-newworld.connpass.com 2020年11月のリリース 11月30日からAWSの年次グローバルカンファレンスであるre:Inventが開催されることから細かいアップデートが多めですね。ていうか数が多すぎるのでS3とか割愛しましたｗ タイトルだけで内容がわかるようなものは特にコメントしていません。 Amazon Kinesis Data Streams は、最大 1 年間のデータストリームの保持が可能に データ保存期間がこれまでの最大7日から最大1年に デフォルトは24時間 Amazon MQ for RabbitMQ の発表 Amazon MQがRabbitMQをサポート RabbitMQは広く使われているOSSのメッセージブローカー 複数のプロトコルに対応、軽量とい
Cloud Nativeなシステムを構築するにあたって手助けとなる、アプリケーション開発と運用のアジリティ、可用性、拡張性を支えるさまざまなデータベースを学ぶ「Cloud Native Database Meetup #1」。ここで「NewSQLへの誘い」をテーマに小林氏が登壇。NewSQLが登場するまでの流れと、NewSQLのストレージエンジンと分散トランザクションについて紹介します。 自己紹介とセッションのアジェンダ 小林隆浩氏（以下、小林）：では、さっそく本セッションに入っていきますが、まずは私のほうでイントロダクションをこのままやります。 イントロダクションのテーマは、「NewSQLへの誘い」というかたちで進めていきます。私は小林と言い、データベースに関する連載や、書籍の翻訳なんかをしているエンジニアです。 いろいろなデータベースをつまみ食いするのが好きで、評価したり検証したり。あ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 突然ですが、みなさんへ質問です。「今この瞬間にシステム障害が起こったら、自信を持って対処できますか？」システム運用者であれば、誰しもが考えたことがある内容かと思います。障害の影響範囲がどの程度なのか、ユーザーアナウンスの必要の有無、そして自動復旧のメカニズムが正しく動いたか。そのあたりが気になるポイントなのではないでしょうか。単純な質問ではありますが、とても考えることが多い不安な質問です。 システムは動いて当たり前と思われがちですが、実際は動いている方が奇跡、壊れて当たり前、という点はエンジニアのみなさんなら共感していただけると思います。どうやったら障害にアプローチできるか、ヤフーで取り組んでいるカオスエンジニアリングについて紹介
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年3月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 今回は、re:Invent2022の翌々月ということもあり、新機能・アップデートは控えめでした。 Amazon Redshift 新機能・アップデート 2023/02/28 Amazon Redshift announces general availability of ROLLUP, CUBE, and GROUPING SETS in GROUP BY clause Amazon Redshiftは、ROLLUP、CUBE、GROUPING SETSを含む新しいSQL機能をサポートし、多次元分析アプリケーションの構築を簡素化します。これらのサポートによってデータウェアハウスの移行を簡素化します。 GROUPING
「Kafka Summit 2020」開催！ストレージ階層化、ZooKeeperフリー、クラウドネイティブ ―次の10年に向けて進化を続けるKafkaのいま 8月24日、25日（米国時間）の2日間に渡り、Confluentが主催する「Kafka Summit 2020」がオンラインで開催されました。新型コロナウイルスの感染拡大により、2020年はほぼすべてのITカンファレンスがキャンセル、またはオンラインでの開催へと切り替えられてきましたが、これまで年に2回、サンフランシスコやロンドン、ニューヨークなどでリアルイベントが行われてきた「Kafka Summit」も同様に、初めてのバーチャルカンファレンスとして開催されました。もっとも今回の登録者数は143ヵ国から約3万5,000名にも上り、リアルイベントからオンラインへと変わったことで、Kafka Summitとしては過去最大級の参加者を集め
MariaDB MaxScale〜OSSのデータベース向け負荷分散ソフトウェア〜 | OSSのデージーネット
MariaDB MaxScaleとは、オープンソースのデータベース向けプロキシサーバです。特にMySQL互換のデータベースに特化しています。MariaDB MaxScaleはアプリケーションとデータベースの間で処理を中継するプロキシサーバで、データの整合性を保持したまま負荷分散を行うことができます。 MariaDB MaxScaleとは MariaDB MaxScale（以下：MaxScale）は、オープンソースのデータベース向けのプロキシサーバです。MariaDB社が開発しました。特にMySQL互換のデータベースに特化しており、対応するデータベースは、「MariaDB（MariaDB Galera Cluster）」や「MySQL」があります。MaxScaleでは、データベースクラスタへのアクセスを一元化し、クライアント側にクラスタを意識させることなく利用することができます。さらに、Ma
はじめに この記事はhey Advent Calendar16日目の記事です。 STORES 予約 開発チーム @arrow_make です。 昨年度まで進めていたマイクロサービス化を止めてモノリスで開発するに至った過程について書いていきます。 STORES 予約 におけるマイクロサービス化 STORES 予約 には主に、管理画面(予約サイト管理者向け)と予約者画面(予約をするエンドユーザー向け)の2種類の画面があり、バックエンドのRailsサーバーでは両方の画面に向けたAPIを提供しています。 その中で主にチーム内でapi/v2と呼んでいる予約者画面に向けて提供しているAPIに連なる機能群を、Railsから切り離して一つのサービスとして独立させることを目的として始まったものと認識しています。 私自身は、マイクロサービス化の走り出し時にはまだ在籍しておらず、入社後すぐにこのプロジェクトに途
『詳説 データベース』が発売になりました
発売のお知らせ 昨年から輪読会を行っていたDatabase Internalsの翻訳版『詳説 データベース』が、明日7/6に発売となりました。一部書店では既に店頭に並んでいるようです。 こちらはAmazonやその他ブックストアのサイトで紙版の本を入手可能です。 電子版については、出版元のオライリージャパンのEbook Storeで、PDFおよびEPUB形式（もちろん紙版も）の購入が7/6から可能となりました。 紹介にかえて -監訳者まえがきより- データベースに関わる方々にとって、これからのスタンダードになるであろう"Database Internals"の全訳をお届けできることを、大変うれしく思います。 「データベース」をタイトルに含む書籍は多く見られますが、それらの大半はコンピュータサイエンスを学ぶ人向けの教科書であったり、または特定のDBMSを使う人向けの実務書であったりします。 こ
技育祭は「技術者を育てる」ことを目的としたエンジニアを目指す学生のための日本最大のオンラインカンファレンスです。ここで登壇したのは、CARTA HOLDINGS・執行役員CTOの鈴木健太氏。3回のCTO経験と10年以上に渡る事業開発経験を交えつつ、どのように事業のコアとしてのテクノロジーに携わり、価値を届け続けながら事業と共に成長していくかについて話しました。全4回。1回目は、鈴木氏のキャリア変遷と、就職する時に感じた不安について。 CARTA HOLDINGS・執行役員CTOの鈴木健太氏 鈴木健太氏：「CTOが語る、事業のまんなかでエンジニアリングするキャリアの作り方」ということで、鈴木健太が発表していきます。ぜひ、リラックスして聞いてください。よろしくお願いします。 まず、「概要より」ですね。CARTA HOLDINGSは、20を超える事業を200人弱のエンジニアと一緒に作っています。
この記事は 食べログアドベントカレンダー2023 の25日目の記事です🎅🎄 はじめに こんにちは、食べログシステム本部長の京和です。今年も🐓を務めさせていただきます（5年目）。 さて、今年のアドベントカレンダーの記事を改めて眺めてみると、技術的なトピックだけでなく、プロダクト開発やQA・テスト、マネジメントに関する記事など、幅広いトピックがあるなあと感じました。2018年や2019年のアドベントカレンダーを見てみると、その差がよく分かりますね。組織の変化が感じられてとても嬉しく思います。 本記事では食べログエンジニア組織の2023年振り返りとしていくつかのトピックに分けてご紹介していきます。 1. 食べログ事業について まずは事業についてです。食べログは2023年Q2(7月-9月)の決算において、初めてコロナ禍前の売上を超えました。 「株式会社カカクコム 2024年3月期 第2四半期
著者 坪内 佑樹(*1), 鶴田 博文(*1), 古川 雅大(*2) 所属 (*1) さくらインターネット株式会社 さくらインターネット研究所、(*2) 株式会社はてな 研究会 第7回Webシステムアーキテクチャ研究会 2010年代のクラウド技術であるコンテナオーケストレーション、サーバーレス、マイクロサービス、さらにはエッジコンピューティングなどの普及により、分散システムとしての複雑度が高まっている。このまま複雑度が高まっていくと、人手によるルールベースの運用にいずれは限界が訪れるのではないかと考えている。そこで、最近は、このようなクラウドを中心とするSRE分野の課題に対して、機械学習やその他の数理的アプローチを適用するアプローチを模索している。特に、SREの中でも、システムに発生する異常への対応については、現場のエンジニアの経験に基づき直感に大きく依存している。 異常への対応を構成する
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINEのフェローであり、Data Science and Engineeringセンターに所属する並川淳氏が、「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というテーマで、LINEにおけるデータの扱い方について共有しました。 LINEにおけるデータ活用の取り組み 並川淳氏（以下、並川）：本日は「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というタイトルで、並川が発表いたします。私は、LINEではふだん機械学習に関わる開発全般を担当しています。ですが、今日は機械学習に限らず、LINEにおけるデータ活用の取り組みについて幅広く紹介させてもらえればと思っています。よ
はじめに 初めまして。マイクロアド21年新卒インフラ担当の森( id:bosq )と申します。 7月に新卒研修を終えてからは、基盤開発グループにて日々勉強しています。 配属後は新しいことのインプットが多いため、今回は学んだことの整理とアウトプットを兼ねて、マイクロアドのデータ基盤で利用しているHadoopについて紹介したいと思います。 はじめに 分散処理基盤 Hadoop / CDH とは Hadoop エコシステム データストレージ (HDFS) と リソース管理 (YARN) HDFS (Hadoop Distributed File System) YARN (Yet Another Resource Negotiator) ノードの役割 分散処理エンジン (MapReduce, Tez, Spark) MapReduce Apache Tez Apache Spark クエリエンジ
OpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストのlatencyを可視化する - oinume journal
はじめに みなさんこんにちは。これはGo5 Advent Calendar 2019の19日目の記事です。この記事はOpenCensusとhttptrace.ClientTraceを使ってHTTPリクエストの内部的なlatencyを可視化する話です。「内部的なlatency」というのは、HTTPリクエストの中で名前解決にどのぐらいかかったとか、コネクションを張るのにどのぐらいかかったなどです。 なお、この記事に記載しているコードは全てGitHub repositoryに上げてあります。 やりたいこと とあるアプリケーションでHTTP Clientを使ってHTTPリクエストを大量に送る処理がありました。そのサーバーはUS Regionで動いていて、そこからHTTPリクエストを日本にあるサーバーに送るというもので、この処理のlatencyが非常に気になっていました。そのため、HTTPリクエスト
DDD Community JPのほうでCQRS/Event Sourcingについて少し盛り上がったので、どういう議論をしたかまとめるのと同時に補足も追加しました。ちなみに、Event Sourcingが主題ですが、CQRSも前提として関係します。その想定で読んでいただければと。 発端はこのツイート。 これはEvent Sourcingじゃないと無理ですね。状態に基づく限り、ストリーム処理は難しいです https://t.co/prB16GJC5q— かとじゅん (@j5ik2o) 2020年9月14日 僕が引用したツイートは松岡さんの質問箱に対するリアクションです。その質問箱に寄せられた質問は以下。 ストリームを開いてから閉じるまでのデータが変化する毎にUIで表示したい場合、DDDではどのように設計したら良いでしょうか？ DDDのリポジトリは1つのリクエストに対して1つのリクエストを返
Amazonの分散システム開発のノウハウが凝縮された「Amazon Builder’s Library」の中身を見てみた #reinvent | DevelopersIO
Amazonの分散システム開発のノウハウが凝縮された「Amazon Builder’s Library」の中身を見てみた #reinvent 本日、Wernerのキーノートにて、開発者向けドキュメントラブラリーであるところの「Amzon Builder's Library」のリリースが発表されました。 Welcome to the Amazon Builders’ Library 弊社西澤の速報記事もでております。Amazon Builder's Libraryの概要はこちらを参照ください。 [速報] The Amazon Builders’ Libraryが発表されました #reinvent ｜ Developers.IO 現在、13個のライブラリが登録されていますが、この中から自分が気になったライブラリーを何個か紹介しようと思います。想像していた以上に内容が濃い！ （祭） ∧ ∧ Y
主体的で幸福感の高いキャリアを歩むための勘所やコツをIT業界の最前線で活躍する、二人の元エンジニアに学ぶ「DX時代を勝ち抜くエンジニア成長戦略」。ここで株式会社レクター 取締役／一般社団法人日本CTO協会理事の広木氏が登壇。続いて、組織について考え、DXについて発信することになった経緯を話します。前回はこちらから。 バグやシステムの悪い部分を生み出しているものはなにか？ 広木大地氏：好きなことってなんだったんだろう。最初は、いいコードを書きたい、悪いコードをリファクタリングしたい、もっと良いサービスにしたい、もっと社会のためになることをしたい、もっとみんなを驚かせたいと考えていました。そのための仕組みや仕掛けやライブラリなど、いろいろなものを考えて作っていこうと。 一生懸命やっていく中で、技術的なものはある種の手段だけど、手段にこだわるのも愛だ。愛のない目的は無意味だし、その逆もそうだなと
2021年2-3月に CKAD と CKA を受験した / 受験 Tips と 勉強方法をまとめる - kakakakakku blog
2021年2-3月に Kubernetes の資格 CKAD (Certified Kubernetes Application Developer) と CKA (Certified Kubernetes Administrator) を受験した．3年後に更新をするであろう自分のためにも勉強方法をまとめておく．当たり前だけど，出題に関する内容は書かず，受験 Tips と勉強方法にフォーカスする．なお，試験情報は以下に載っている．一言でまとめると「勉強過程も試験本番もとにかく楽しかったー🙌」かな！ www.cncf.io www.cncf.io カリキュラム（出題範囲）は GitHub に PDF として公開されている． CKAD (Certified Kubernetes Application Developer) 13% - Core Concepts 10% - Multi-Co
まえがき 1 月 6 日に法人を設立し、2 月から独立しました。 一部の方には冗談で言っていた「btj.systems《ぶとじシステム》」を合同会社として法人登記し、2 月からこの法人でお仕事をいただき、生活しております。 btj.systems 合同会社 - Software Development for Distributed Systems and High-Traffic, Low-Latency Content Delivery btj.systems どういう意図で独立を考え、決断したのかを記事にまとめ、今後どのようなことをしたいかを記事として残そうと思います。 後半には 「なぜフリーランス（個人事業主）ではないのか」という観点からもこの記事を書いています。 なぜ独立し法人を設立したのか/あるいはなぜ退職を選んだのか 2021 年 10 月からプレイドでKARTEのリアルタイ
この記事は Microsoft Azure Tech Advent Calendar 2019 の 18 日目の記事です。 今日は、Azure の裏側の話、データーセンター (DC) を支える、Ananta1 と呼ばれる Software Load Balancer (SLB) アーキテクチャを紹介したいと思います。 はじめに 紹介の前に、まず最初に断っておかなければならないのは、Ananta が提案されたのは 2013 年であり、今から 6 年以上も前であるということです。当然、現在の Azure の DC で動いているロードバランサー (LB) は Ananta ではなく、以下のような多くの技術2を含む、改良を加えたバージョンのものです 。 Duet [R. Gandhi, et al. 2014] 3 : Ananta の論文が公開された翌年 2014 年に提案。SLB である An
クラウド・ネイティブ活用のために必要なこと 及川卓也氏（以下、及川）：次に「クラウド・ネイティブを活用するために必要なことは？」です。クラウド・ネイティブ以前に、今我々が住んでいる日本のITの現状はどうなのか？ 『ソフトウェア・ファースト』を読んでいただいた方はわかると思いますが、私自身危機感を持っていて、おそらく登壇されている3人もそうだと思います。 典型的なのは、クラウドへの移行がほかの先進国に比べて遅れている。それ以前に、ITのリテラシーが遅れている。 なので、クラウド・ネイティブと言っていますが、日本のITのイケていないところということで、そもそも何が必要なのかをお聞きしたいと思います。今度は羽山さんからお話しいただいてもよろしいですか。 羽山祥樹氏（以下、羽山）：最近感じたことがあったので、それをお話しさせていただきます。ワールドワイドのことはわかりませんが、セキュリティ絡みの話
R3 - C#用のReactive Extensionsの新しい現代的再実装 2024-02-27 先日、新しいC#用のReactive Extensionsの実装としてR3を正式公開しました！R3はRx for .NETを第一世代、UniRxを第二世代とした場合の、第三世代のRxという意味で命名しています。Rxとしてのコア部分(ほぼdotnet/reactiveと同様)は.NET共通のライブラリとして提供し、各プラットフォーム特化のカスタムスケジューラーやオペレーターは別ライブラリに分けるという形により、全ての.NETプラットフォーム向けのコアライブラリと、各種フレームワーク Unity, Godot, Avalonia, WPF, WinForms, WinUI3, Stride, LogicLooper, MAUI, MonoGame 向けの拡張ライブラリを提供しています。 GitH
LayerX、最先端のプライバシー保護技術Anonify（アノニファイ）によるパーソナルデータ活用ソリューションの正式提供を開始
金融や医療、行政等の領域で、PrivacyTechによる組織や企業を横断したパーソナルデータの利活用や流通を促進 経済活動のデジタル化を推進する株式会社LayerXは、個人情報保護とデータ利活用の両立を実現する最先端のプライバシー保護技術「Anonify（アノニファイ）」を用いたパーソナルデータ活用ソリューションの正式提供を開始します。 LayerXは創業期から研究開発部門（旧LayerX Labs）を設置し、セキュリティ・プライバシー保護技術の研究開発や実証実験等の取り組みを進めてきました。 今般、PrivacyTech事業に本格参入し、これまでプライバシーの懸念からパーソナルデータ活用が進みづらかった金融や医療、行政等を始めとする様々な領域において、高度なデータ利活用やデータ流通の促進に向けた取り組みを加速していきます。 ■ 背景 昨今、位置情報やヘルスケアデータ、決済情報をはじめとす
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
P2Pネットワークでのブロックチェーンの一貫性をいかに実現するか、Ostraconが目指すもの
西海岸のスタートアップとカジュアル面談をやってみた話 - inductor's blog
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 | Mond - 知の交流コミュニティ
100台くらいスケールする“Kubernetesもどき”を自作してみた！
E-Groceryにおけるカード決済処理の難しさと設計戦略 - 10X Product Blog
2019 年のスライド一挙公開、あるいは 2020 年の方針 - チェシャ猫の消滅定理
メンテナンス担当者が変わるからこそ必要な“可観測性” 基本的なシグナル「Logs」「Metrics」の特徴と適切な使いかた
【入門】私を苦しめたDynamoDB | フューチャー技術ブログ
Monthly AWS Serverless Update 202011 - Sweet Escape
Spannerの登場で急拡大したNewSQL 分散トランザクションの課題をどう解決したか
ヤフーが実践するプロダクション環境でのカオスエンジニアリング
「Kafka Summit 2020」開催！ストレージ階層化、ZooKeeperフリー、クラウドネイティブ ―次の10年に向けて進化を続けるKafkaのいま | gihyo.jp
マイクロサービス化を進めていたが、切り戻してモノリスで開発しているお話 - STORES Product Blog
「プログラミングがちょっとできたところでやっていけるのか？」 エンジニアリングの世界に飛び込む時に、僕が感じていた不安
食べログエンジニア組織2023年振り返り - Tabelog Tech Blog
マイクロサービスにおける性能異常の迅速な診断に向いた時系列データの次元削減手法 - ゆううきブログ
大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと
CDH (Hadoop) 入門 - MicroAd Developers Blog
具体的な実装コードからEvent Sourcingを理解する - かとじゅんの技術日誌
システムの悪い部分やバグを生み出しているものはなにか？ 開発者を置き去りにしないDXの考え方
法人を設立し独立した／あるいは退職エントリー - 枯れた技術の水平思考
Ananta: Azure を支えるステートフル L4 ロードバランサー - Qiita
日本はクラウド導入の「抵抗国」 クラウド・ネイティブ推進を阻むもの
neue cc - R3 - C#用のReactive Extensionsの新しい現代的再実装