DynamoDBの並列処理によるデータの欠損とProvisioning超過の対策 - ZOZO TECH BLOG
こんにちは。iQONのバックエンドエンジニアを担当しているjoeと申します。 最近、iQONのお知らせ機能のDBをMySQLからDynamoDBへ移行しました。 移行する際に発生した問題点である並列処理によるデータ欠損とProvisioning超過の対策を書きます。 間違っているところや改善点があればご指摘ください。よろしくお願い致します。 お知らせ機能とは お知らせ機能とは、facebookで言うところの「◯◯さんがあなたの投稿に「いいね!」といっています」のような、ユーザーに対するアクションがあったことを通知したり、アイテムが値引きされた、アイテムの在庫が少なくなった等のlikeしたアイテム情報をユーザーに通知する機能です。 既存のお知らせ機能の問題点 既存の構成における問題点は以下の二点です。 データの肥大化 レスポンスが遅い お知らせのデータ構造は、下記のようになっています。 My
「Nodi」はプロシージャルモデリング（Procedural Modeling）と呼ばれる手法を用いたWebブラウザー上で操作する3D CGツールである。現在はβ版で完全無償公開ながら、商用ソフト並の機能を備えている。にも関わらず、開発しているのはプログラマーの中村将達氏たった一人。聞けば個人的に開発しているプロジェクトだという。 中村氏はもともと社会学を専攻していた大学生でプログラムをしたこともなかったという。それがどうしてプログラムを習得し、プログラマーとなり、やがて3D CGツールを自分で作るに至ったのか。中村氏に、Nodiの機能や開発の経緯について話を聞いた。（撮影：川島彩水） プロシージャルモデリングとは？ プロシージャルモデリング方式のツールとしては、3D CGツール「Revit」や「Maya」のプラグインとしても知られる「Dynamo」や、サーフェスモデラー「Rhinocer
2009/08/27 楽天は8月27日、楽天技術研究所が開発した大規模分散処理ソフトウェア「ROMA」（Rakuten On-Memory Architecture）の本格運用を開始したと発表した。「楽天トラベル」で提供する閲覧履歴機能「最近見た宿」で導入したという。 ROMAは、Ruby言語の開発者、まつもとゆきひろ氏が2007年6月に楽天技術研究所のフェローに就任して以来、開発を進めてきたもの。「memcached」や米アマゾンの「Dynamo」（ダイナモ）など分散キー・バリュー型データストアと似たキー・バリュー・ストレージ（KVS）と呼ばれる実装の1つで、Rubyの拡張ライブラリとして開発した。複数のサーバを仮想的に1つのデータストアのように扱い、従来のデータベースでは実現することが難しかった処理を可能にした。耐障害性、拡張性、保守性にも優れ、機能追加を柔軟に行うことができるという（
Joyentは2004年創業のベンチャーで、IaaS/PaaSのクラウドサービスを開発・運用している。共同創業者の1人で現CTOのジェイソン・ホフマン氏はモルガン・スタンレーのレポートを引用しつつ、「アマゾンに次いで2番目に大きなパブリッククラウド。IaaSとPaaSの両方を提供しているのは、われわれJoyentと、グーグル、マイクロソフトの3社だけだ」と説明する。 Joyentが提供するサービスの特徴の1つは、OpenSolarisから派生した「Illumos」を、さらに独自にフォークした「SmartOS」を開発し、これをベースに独自のスタックを使ったクラウドインフラを運用していることだろう。 Joyentが提供している「JoyentCloud」や、今回ファーストサーバが国内で提供するZ-Cloudでは、直接SmartOSを使うか（実際には SmartOSという単一OSが稼働する物理マシ
Erlang 分散システム勉強会に参加しました。 すごく得るものが多かったです。無理してでも参加してよかった。 Erlangはまりそう。スマートすぎる。 Erlangに興味を持ったのが、FacebookChatのCometサーバがMochiWebだったからでした。 CouchDBは知らなったのですが、FacebookChatはJSONで帰ってきてたのでもしかしてCouchDBベース？ 追記： id:TAKESAKO さんがFlickrに写真をアップしてくれたようです。 追記2： 発表者全員のスライドのリンクを張り終わりました。（kunitさんthx!） Kai/Dynamo のメカニズムと実装 (takemaruさん, 40分) スライド 75Kqps 使い分け 主キーアクセスs：Dynamo 複雑なクエリー：SimpleDB 大きいファイル：S3 key/value 分散ハッシュテーブル
テキストを部分的にカッコよくアニメーションさせつつ切替え可能にするjQueryプラグイン「dynamo.js」:phpspot開発日誌
テキストを部分的にカッコよくアニメーションさせつつ切替え可能にするjQueryプラグイン「dynamo.js」 2012年10月11日- dynamo.js テキストを部分的にカッコよくアニメーションさせつつ切替え可能にするjQueryプラグイン「dynamo.js」 <p>I wish I could <span class="dynamo" data-lines="modify,mutate,morph,switch">change</span> the text here.</p> のように書いて、初期化してあげると、I wish I could 〜 移行に <span>の data-lines属性で指定した単語をアニメーションさせつつローテーションするカッコいいエフェクトが作れます 切替えスピード等は .dynamo な要素の data-属性を切り替えることでカスタマイズが可能です
トルコでのサッカー試合で「プーチン」連呼 対ウクライナ戦で
ドイツでウクライナ支援を目的に開催された、独ボルシア・ドルトムントとウクライナのディナモ・キーウとの慈善試合（2022年4月26日撮影、資料写真）。(c)Sascha Schuermann / AFP 【7月28日 AFP】欧州チャンピオンズリーグ（UEFA Champions League）予選で、トルコ・イスタンブールで同国のフェネルバフチェ（Fenerbahce）とウクライナのディナモ・キーウ（Dynamo Kyiv）が27日に対戦した際、先制点を取られたフェネルバフチェのサポーターが「ウラジーミル・プーチン（Vladimir Putin）」とロシア大統領の名前を連呼する不規則な言動があった。 ロシア軍の侵攻を受けているウクライナのバシル・ボドナル（Vasyl Bodnar）駐トルコ大使は28日、「フェネルバフチェのファンから、われわれの国を爆撃しているロシアの殺人者であり侵略者を支
前回、セッションストアについて悩んでいますという何も解決しないエントリーを書いたら、はてブやTwitterで非常に沢山のコメントを頂きました。色々な考え方があって、非常に参考になりました。ありがたい限りです。別途、考えを整理してまとめようと思いますが、下記の2つの考え方が多いようです。 共用セッションストアの格納先を分散データベースにすれば良いよ セッション設計をちゃんとすれば、クッキーストアを使ってもセキュリティや容量の問題はないよ 私も、どちらかと言えば上2つの方針で考えています。一方で、分散データベースは一貫性を保証しつつ可用性を高めるのは難しいという基本姿勢と、クッキーストアについては設計ミスや実装ミスが起こりうるという現実の中で、どう安全側に倒していけるかという点を考える必要があると考えています。今回は、分散データベースの一貫性について考えていることをまとめてみます。 CAPの定
memo: ChatWorkのScala採用プロダクト “Falcon” リリースまでの失敗と成功の歴史 #ScalaMatsuri - by shigemk2
memo: ChatWorkのScala採用プロダクト “Falcon” リリースまでの失敗と成功の歴史 #ScalaMatsuri 去年末にリリースできたFalcon その経緯 Scala歴6年くらい ChatWorkのアーキテクトを担当 アジェンダ チャットワークの説明 Falconの歴史 プロダクト開発 プロジェクト再起動 devops 最終的にどうなったか チャットワークとは タスク管理のできるビジネスチャット 導入企業 12万社 導入地域 205 データの規模 1年間に生成するデータ量 1年前10億メッセージ 去年末 18億メッセージ どういう経緯で開発されたか 発端は2010 社内プロジェクト PHPで開発されていた 内製のフレームワーク ユーザーファーストで技術的な負債を抱える 現行のシステムではデータやロードに耐えられなかった 技術的負債 システムダウン 納期の遅延 SPo
YAPC::Asia 2008 Tokyo １日目 - Pixel Pedals of Tomakomai
今日も来ています。コンセントは運良く(？)借りられました。 Welcome to YAPC::Asia 2008/Tatsuhiko Miyagawaさん(9:45〜9:55) YAPC::Europaに人数負けそうだった Perl Mongersに属してない人が多い？→YAPC来た時点でMongers! 仕事で来れない人が多い？→仕事とYAPCどっちが大事だ！ TPF Introduction/José Castroさん(10:00〜10:05) Perlファウンデーションについて Perl Mongersのhelpもしてるから、気軽にどうぞ A Standard That Is Meant To Be Broken/Larry Wallさん(10:05〜) Perl6の文法とその拡張についての話だったと思うのですが、最初全然聞き取れませんでした。難しい。。。 Perl6は冗談ではないw
fogus: 10 Technical Papers Every Programmer Should Read (At Least Twice)
Send More Paramedics λ λ λ Fogus' Thoughts on life, programming, and thinking ❤ c clj erl pl frink fth cl org pure icl qi ❤ Follow me on Twitter... or RSS... Run this blog in mobile 2024 2023 2022 2021 2020 2019 2018 2017 2016 2015 2014 2013 2012 2011 2010 2009 2008 2007 2006 2005 2004 2003 2002 Sep 8, 2011 Let me preface this post by saying that no programmer should feel compelled to read any of
Occasionally useful posts about RIAs, Web scale computing & miscellanea My team is currently working on a brand new product – the forthcoming MMO www.FightMyMonster.com. This has given us the luxury of building against a NOSQL database, which means we can put the horrors of MySQL sharding and expensive scalability behind us. Recently a few people have been asking why we seem to have changed our pr
In this article, I will share some of my notes and tips that might be useful if you are studying to get the AWS Solution Architect Associate Certification. I recently took this certification and I have to admit it was a little bit more challenging than I originally expected. I have been using a variety of AWS services professionally in the last 3 years, so I was optimistically expecting this pract
2012/09/27 Amazon Dynamoに影響を受けたオープンソースの分散データベース「Riak」を開発する米バショー・テクノロジーズは2012年9月27日、日本法人としてバショー・ジャパンを設立したと発表した。バショーと、資本を含む提携関係にあるIDCフロンティアは同日、都内でセミナーを開催。IDCフロンティアの顧客やメディアを招いて、Riakという技術コアを中心としたバショーのソリューションと、Riakを使ったIDCフロンティアの今後のサービス展開について説明した。 高機能な分散ストレージ「Riak」 Riakは、多数のノードで巨大なストレージ空間を実現できる分散KVSの1種だ。Erlangベースで開発されているコア部分はオープンソースで公開されている。コンシステント・ハッシングを使った160ビットの鍵空間を持ち、RESTfulなAPI、Protocol Buffer、またはE
こんにちは。グルメ開発チームの齋藤です。 近年サーバーレスアーキテクチャの注目度が日に日に上昇してきています。 Microservicesの台頭とあわせて語られることも多くなったこのサーバーレスアーキテクチャ。 AWS Lambda、Google Cloud Functions、Azure FunctionsとFaaSも出揃ってきたこともあり、 今後のシステム設計においては、選択肢の1つとして十分な存在感を発揮する仕組みだと考えています。 今回はこの中からAWS Lambdaを使って、そもそもどういう事ができるのか、 どのような用途に向いているのか、と言った点を検証しつつ 実際の現行プロダクトへ取り込むことを考えた場合にどのような道があるか、をまとめてみようと思います。 サーバーレスアーキテクチャとは そもそもサーバーレスアーキテクチャとは何か？という点に関してですが 該当するサービスがF
地球など太陽系の惑星が太陽活動の周期に影響を与えていると判明
by Valera268268 太陽黒点の数や太陽フレアといった太陽活動の周期は、長年の研究によっておよそ11年であることが知られています。そんな太陽活動の周期が、地球をはじめとする太陽系の惑星によって左右されていることを、ドレスデン・ロッセンドルフ研究所(HZDR)の研究者らが突き止めました。 A Model of a Tidally Synchronized Solar Dynamo | SpringerLink https://link.springer.com/article/10.1007/s11207-019-1447-1 The Sun follows the rhythm of the planets - Helmholtz-Zentrum Dresden-Rossendorf, HZDR https://www.hzdr.de/db/Cms?pNid=99&pOid=58
ゲーミフィケーション活用事例！小売ビジネスのクリエイティブなプロモーション9例 注目を集めるゲーミフィケーション。そのメカニズムを利用した9つの海外事例をご紹介します。 こんにちは、SMM Labの小川です。 ゲームの要素を上手に取り入れ、顧客のリピート、ロイヤルカスタマー化を目指す”ゲーミフィケーション”というキーワードが注目を集めています。さらにソーシャルネットワークの普及が進んだ現在は、一部の限られた顧客のロイヤルカスタマー化（エンゲージメントの追求）だけではなく、その周囲の友人をも巻き込む効果が期待されます。 そこで今回は、Mashableに掲載された「How 9 Retailers Successfully Leveraged Game Mechanics」の記事をご紹介します。 1．ナイキ「Winter’s Angry」キャンペーン URL：http://fightwinter
たけまる / AtomPub on mixi?
_ AtomPub on mixi? [atompub] (2008-08-02 追記) lyokato さんから "N○KIA仕様" とのコメントをいた だきました． (2008-08-01 追記) id:mainyaa さんのご指摘通り，updated などを付けて も投稿できました．mixi さんが修正したのか，僕が typo してたのか (た ぶんこっち) は不明です． POST のレスポンスに仕様と異なる部分があったので，追記しました． mixi 日記が AtomPub に対応したという話題があちこちで盛り上がってま す． mixi for iPhoneから発掘されたmixi日記投稿用API « ku といっても，mixi が正式に AtomPub 対応をアナウンスしたわけではない し (知ってる限りでは)，使ってみた感じでは "AtomPub に似てるけどちょっ と違うプロトコ
書籍紹介 本連載は下記書籍から第5章を基に、＠IT向けに再構成して掲載しています。 目次 序 章 ビッグデータの時代 第1章 NOSQLとは何か? 第2章 NOSQLのデータモデル 第3章 アーキテクチャの基本概念と技術 第4章 HadoopはNOSQL? 第5章 主なNOSQLデータベース製品 第6章 NOSQLデータベースの選択基準 第7章 NOSQLを使うビジネス 本連載は書籍『NOSQLの基礎知識』（リックテレコム刊、ISBN：978-4897978871）で解説されている内容から一部を抜粋し、本連載向けに一部再編集して掲載したものです。 書籍では、一般にNoSQLと呼ばれている各種データベース技術について、基本概念から主要なプロダクトの特性、ベンチマーク結果までを紹介しています。データモデルやアーキテクチャの違いといった基本概念から、各プロダクトの特徴を理解できる内容になっていま
Stable Diffusion （Diffusers）でLoRA～理論と実践～ | Shikoan's ML Blog
Stable DiffusionでのLoRAをdiffusersで試してみます。3Dモデルに対して、Unityで透過スクショを撮りLoRAで学習させるというよくあるやり方ですが、LoRAにおけるData Augmentationの有効性など興味深い点が確認できました。 はじめに 前々から気になっていたStable DiffusionのLoRAを使ってみました。3DモデルからスクショをとってLoRAで学習させるという「何番煎じだお前」って手法ですが、なかなかおもしろい結果になりました。 公式ドキュメント：https://huggingface.co/docs/diffusers/training/lora LoRAとは LoRAってよく使われる割には原著論文がそこまで解説されない気はします笑 （自分はNLPの専門家ではないので、この論文はさーっとしか読んでいませんが、 ）原著論文はこちらで、
OSやシステムソフトウェアをメイントピックとする著名な国際会議を４つ紹介します。 SOSP OSDI EuroSys USENIX ATC SOSP (ACM Symposium on Operating Systems Principles) 概要 OSやシステムソフトウェアの分野における世界最高峰の国際会議。名称は "Operating Systems" だが、分散システム、ネットワーク、ストレージ、セキュリティ、組み込み等に関するシステムソフトウェア全般を幅広く扱う。 2年に1回しか開催されない（下記のOSDIと交互に開催） 第1回は1967年、2011年に第23回 最近7回（1999年〜2011年）の平均採択率は 17% (154本/885本) 1999 2001 2003 2005 2007 2009 2011 計 投稿 90 85 128 155 131 139 157 885
This post is a work in progress. Inspired by a recent purchase of the Red Book, which provides a curated list of important papers around database systems, I’ve decided to begin assembling a list of important papers in distributed systems. Similar to the Red Book, I’ve broken each group of papers out into a series of categories, each highlighting a progression of related ideas over time focused in
NoSQL、CAP定理、BASE、Eventual Consistencyについて深く考えてみた
最近はNoSQLなどといって分散データベースがやたらに流行です。私もDynamoDBを使ってみようと思って色々調べているところですが、学べば学ぶほど奥が深くて恐ろしくなってきます。 まず第一に言っておきますが、現在のところ、いわゆるKey-value store型のNoSQLのメリットは「書き込みのスケーラビリティ」であって、それ以外には大きなメリットはありません。 DynamoDBの場合は「管理不要」「高信頼性」というおまけが付きますので、また話は少し別ですけどね。 他のオープンソース製品を自分のサーバーにインストールするのであれば、RDBMSほどこなれていないNoSQLを運用するのは大変な苦痛と危険が伴うでしょうね。前の記事にも書いたように分散システムを運用するというのは困難かつ苦痛を伴う仕事ですから。 ですから、すさまじい数のアクセスがあるようなシステムでなければ、NoSQLを選択す
とりあえず スライドとかupされていたので追記 Welcome to YAPC::Asia 2008 - Tatsuhiko Miyagawa Encountered a 404 error 開会の挨拶 去年は437名で今年は569名参加している．他のYAPCに比べても最大． しかしPerl Mongersは50人程度．ここにきたら自分もPerl Mongersと思ってほしいとのこと TPF Introduction - José Castro (cog) Jose De Castro The Perl Foundationの紹介 海外でconferenceの主催をしたり，Perl Mongersのサポートをしている A Standard That Is Meant To Be Broken, 本当に！ - Larry Wall Larry Wall御大によるPerl6のParsingの紹
Security-JAWS 第17回レポート #secjaws #secjaws17 #jawsug | DevelopersIO
Security JAWS 第17回のレポートです。AWSを使うときに最初にやる初心者向けの話もあり、ガッツリ深い話もありな回でした！ こんにちは、臼田です。 Security JAWS 第17回が開催されましたのでレポート致します。 Security-JAWS 【第17回】 勉強会 2020年5月29日(金) - Security-JAWS | Doorkeeper レポート Session0: アマゾン ウェブ サービス ジャパン株式会社 沼口 繁さん「本日のライブ配信環境ざっくりと」 JAWSといえばオフラインだった 最初はセミナールームで 第2形態としてセミナールームを使ってAmazon Chimeを利用して配信 第3形態では人数制限を超えるためにTwitchを使った 2019年1月からはAWSJのエキスパートのオンライン配信をやっていた 第4形態OBS Studio + Twit
自転車通勤でiPhoneを充電！ 自転車用USB発電機Tigra「BikeCharge Dynamo」という記事がありましたよ。自転車＆スマートフォンでGPSな方は検討してみてはいかがでしょうか？ これは自転車の前輪（クイックリリースが付いているロードバイク、クロスバイク、MTB）を一度外し、ハブとフォークの間にこの機器を挟み込むことで発電機を回し電気を作るというもの 香港のガジェットメーカーTigraによる、自転車専用発電機だそうです。前輪を外し、ハブとフォークの間に取り付ける仕組みです。 発生させた電気はUSB端子から出力するので、iPhone、Androidなどさまざまなデバイスを充電できる。出力は5Vの3.0Wで、ほとんどのスマートフォンを２〜３時間で充電できる能力を持つということから、ナビゲーションを使いつつの補充なら十分といえる。 ケーブルの取り回しに気をつける必要がありますが
A Little Riak Book
Here's a free little book about Riak, a scalable, high availability NoSQL datastore. Other formats: ePub, mobi, PDF Chapter 1: Introduction Downtime Roulette What is Riak About This Book Chapter 2: Concepts The Landscape Riak Components Replication and Partitions Practical Tradeoffs Wrapup Chapter 3: Developers Lookup Buckets Entropy Querying Wrapup Chapter 4: Operators Clusters Managing a Cluster
ビジュアルプログラミング言語 - Wikipedia
ビジュアルプログラミング言語（ビジュアルプログラミングげんご、英: visual programming language）とは、プログラムをテキストで記述するのではなく、視覚的なオブジェクトでプログラミングするプログラミング言語である。グラフィカルプログラミング言語とも言う[※ 1]。 なお、これは総称であり、プログラムをどのように視覚的に表現するかには、いろいろな種類がある。「矩形と矢印」の考え方に基づいており、矩形や円を画面上のオブジェクトとし、それらを矢印や線や弧でつなぐものや、空間上でテキストやグラフィックシンボルを配置するものや、ブロック状のものなどがある。それぞれを指す呼び方としては、アイコンベースの言語、フォームベースの言語、ダイアグラムベースの言語などといった用語がある。 以上のような要素を操作するために、ほとんどの言語では、GUIが提供されている。 表現法がいろいろある
Comment by Sneikku 自分の国で生み出されたものだけど今では他の国が生み出したということで知られているものは何？ もしくは他の国が自分の国で生み出されたものを盗んだものとか、今では他の国の方がずっと生産しているとか。あとそれが他の国に売られたものとか。 それに関してどの国が今では有名になってる？ reddit.com/r/europe/comments/3rr2x8/what_is_something_that_was_invented_in_your/ Comment by SecretApe 106 ポイント （ポーランド） 大半の人（ヨーロッパ以外）はウォッカはロシア人によって作られたと思ってる。 そんなわけがない。間違いなくポーランドの飲み物。 Comment by TheWorldCrimeLeague 50 ポイント （イギリス） ↑ポーランド人とロシア人がこの
ダンケルク 兵士40万人の大撤退作戦・「ダンケルク・スピリット」と負け戦 -1- - ベルギーの密かな愉しみ
話題の『ダンケルク』（ 映画『ダンケルク』オフィシャルサイト）私も見てまいりました。今日は周辺のことから語りたいと思います。 ダンケルクはベルギー国境に近いフランスの海岸の町です。そこに40万人ともいわれる英仏軍の兵士が追い詰められ、袋のネズミ状態＊になりました。第二次大戦開始後1940年5月のことです。ドイツ軍の電撃戦により、あっという間に西ヨーロッパの国々は占領されてしまったからですね。 ＊袋のネズミ：映画の中でドイツ空軍が空から撒いたビラ↓。誰でも状況がわかります(^^) そこで兵士たちをドーバー海峡を渡らせ、イギリス本土に撤退させるという一大事業、ダイナモ作戦（Operation Dynamo、1940年5月26日～6月4日）が決行されます。映画は史実を扱ってはいますが、あくまでイギリス側の視点で描かれています。「ダンケルク・スピリット」という言葉があり、イギリスの子どもたちは皆こ
サッカー2014FIFAワールドカップ（W杯）ブラジル大会も中盤戦に入り、世界中でさらなる盛り上がりを見せているが、こうしたスポーツのビッグイベントのたびに話題となるのが「スポーツと政治」の問題である。 2012年にロンドンで開催された第30回夏季オリンピック競技大会では、日本と韓国が激突したサッカーの3位決定戦後、韓国人選手が「独島は我が領土」と記載されたプラカードを掲げる騒動を起こした。今大会は、ウクライナ情勢を受けて、ロシア戦で一悶着が起きるのではないかと懸念されている。 騒動が起きるたびに、メディアでは「スポーツに政治を持ち込むな」という、もっともらしい批判が語られるが、結局、なんの解決にもならないことが多い。それはスポーツと政治の関係、その中でも飛び抜けてサッカーが政治権力と密着してきたからだ。 ●ディナモ・キエフの美談は捏造？ 例えば、今、紛争の発火点となっているウクライナには
ウェブブラウザ「Brave」の始まりとは？
ページ内の広告を自動ブロックするオープンソースのウェブブラウザ「Brave」はどのようにして生まれたのか、開発メンバーが集まったところから、実際に開発が進められていくまでの過程を、共同創業者で最高技術責任者(CTO)のブライアン・ボンディ氏が明かしています。 The road to Brave 1.0 https://brave.com/the-road-to-brave-one-dot-zero/ 目次： ◆「Brave」の始まり ◆ブラウザ名「Brave」はどのようにして決まったのか？ ◆ロゴの考案 ◆ブラウザの構築 ◆BATの理念 ◆「Brave」の始まり もともとMozillaに勤務していたボンディ氏は、2013年10月に開催されたMozillaサミットで、カーンアカデミーでの新しいプロジェクトに誘われました。この仕事に興味を持ったボンディ氏は、Mozillaを去ることを決意します
_ 6/17 Erlang 分散システム勉強会 [distributed][erlang] (2008-06-13 追記) 懇親会の場所が変更になりました．遅刻時の注意を書きました． Erlang の分散システムについての勉強会をします． 先日，開発を開始した Kai/Dynamo 以外にも，hamano さんが KLab で運用 している ejabberd や，REST の yohei さんが最近調べている CouchDB に ついて紹介があります． 参加希望の方は，twitter で @takemaru_jp に話しかけるなり何らかの方法 で連絡を取ってください．せっかくの機会なので興味のある方はどんどん 参加してください． # 参加募集は締め切っております m(_ _)m ■ 概要 日時: 6/17 (火) 18:30-20:30 (18:00開場) 場所: Mixi (17F受付で
_ Algorithm::VectorClocks を作った [distributed][algorithm][perl] Amazon Dynamo についての記事 [2008-01-31-1] で，Vector Clocks とい う分散アルゴリズムが使われているということを紹介しました．Vector Clocks は，分散システムでバラバラに発生したイベントの順序を明らか にします． Google Code Search で検索してみたところ，JGroup という group communication framework などごく一部でしか使われていないようです． まぁ，Vector Clocks を必要とするような完全分散システム (master 不在 のシステム) があまりないですから，そんなもんでしょう． 需要はなさそうですが，Algorithm::VectorClocks
よるほランキング
初段 nekomimy 101回 1級 elagua 99回 2級 ikemo 85回 orphenR 84回 5級 hima72 58回 hirokyun 54回 _zahir 52回 hamaya_muro 51回 6級 tropfen 44回 terminal_sta 44回 kiaran5012 44回 R_Scarlet 43回 blast2630 42回 zero0328w 42回 La3 41回 jcdhd277 40回 azumiman 40回 doukita 40回 7級 neta__ 39回 Keiichi_SHIGA 39回 shima_neko 38回 torimaru 38回 czyond 38回 mkty_402 37回 aracure 36回 yas_offline 32回 kagoyasu 32回 Mil
【re:Invent 2017】DynamoDB上級セッションレポート [DAT326, DAT403] - サーバーワークスエンジニアブログ
こんにちは。re:Inventから帰ってきました照井です。 re:Invent関連のブログでこれだけは書き上げておきたかった、re:InventでGameDayやAll-inハッカソンなどの体験型イベントを除いた通常のセッションの中で一番内容が濃く面白かったDynamoDBの上級者向けセッションのレポートをお送りしたいと思います。一つはイマイチでしたが、もう一つが最高に濃くて面白かったです。 DAT326: How DynamoDB Powered Amazon Prime Day 2017 Sales on Prime Day 2017 surpassed Black Friday and Cyber Monday, making it the biggest day ever in Amazon history. An event of this scale requires infr
![【re:Invent 2017】DynamoDB上級セッションレポート [DAT326, DAT403] - サーバーワークスエンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/f809e071aeffd91f3ba4eef2a27674856ebe3b08/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fs%2Fserverworks%2F20200711%2F20200711174439.png)
こんにちは、クラスメソッドの岡です。 今回Step Functionsを使って簡単なETL処理を試す機会があったので実際に作ったものを公開します。 サーバーレスでETL処理、といえばAWS Glueが浮かぶかと思いますが、今回はGlueは使わず、LambdaのPythonランタイムでPandasを使ってS3のデータとDynamoDBのデータを結合するような処理を行ってみたいと思います。 ちなみに私はデータ分析に関する知識はほぼ皆無ですが、PythonライブラリPandasを使う事で簡単にデータ処理を行えました。 シナリオ 今回はIoTデバイスから送られてくる時系列データがS3に出力されている前提として、そのファイルとDynamoDBにあるデバイスのマスタデータと結合して分析データとして別のS3バケットに出力する、といったシナリオを想定しています。 構成 サンプルコード 今回はServerl
AWS Black Belt Online Seminar 2017 Amazon DynamoDB
AWS Black Belt Online Seminar 2017 Amazon DynamoDB Read less
YAPCに始めて行ったよ！
YAPCに始めて行きました。 ペパボにいたときはmizzyさんにいろいろ教えてもらったりしたのですが、Perlに馴染みがなかったので行くことはありませんでした。 最近は、プロダクションレベルではないものの、ペパボの30days albumで使われている、PerlbalというPerl製のロードバランサーを使って、アマゾンWeb ServicesのDynamoというKVS（Key value store）と繋いで、画像のアクセス認証を実験したりと、実用的なニーズを元にPerlを頑張ったりもしました。 SNSでプロフィール画像あるけど、直URL叩いたら顔写真が見えたりするわけなんですが、クローズドサービスだったら見えちゃいけないと思うんです。PerlbalならプラグインをPerlで書く事で、サーバに負荷をかけることなく画像表示の制御ができるので、それは自分で書けるようになっておこう、、、と実験し
はじめに 用語の定義 取り組みの背景 マイクロサービス化の目的 モノリスのつらさ ふたたびマイクロサービス化の目的 マイクロサービスとは 採用技術について 技術スタック サービス構成 現状の課題 技術面 最後に はじめに こんにちは、マイクロサービス基盤チーム所属のzigeninです。 この記事では、マイクロサービス化の取り組みについて紹介します。 技術的な取り組みやチームに興味を持っていただければと思います。 用語の定義 はじめに本文で使用する単語を定義させていただきます。 コアドメイン：アンドパッドの事業に直結するドメイン 施工管理が該当します 施工管理は建設現場のマネジメントです。 ソフトウェア開発に例えるとプロジェクトマネジメントに近く、ツールとしてはJIRAやGitHub Projectをイメージしていただけると当たらずといえども遠からずです。 汎用ドメイン：コアドメインを支援す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
開発はたった一人——ブラウザで動く3DCGツール「nodi 」が持つ可能性｜fabcross
楽天、Rubyベースの大規模分散処理技術をサービス投入 － ＠IT
Node.jsのPaaSが国内開始へ、米Joyentが国内業者と提携 － ＠IT
Erlang 分散システム勉強会レポート - Happy New World
CAPの定理と分散データベースの話 - プログラマでありたい
HBase vs Cassandra: why we moved
AWS Solution Architect Associate exam, my notes and tips
IDCF、RiakでAmazon S3型ストレージ提供へ － ＠IT
AWS Lambdaを用いてサーバーレスアーキテクチャの使い道を考えてみる
ゲーミフィケーション活用事例！小売ビジネスのクリエイティブなプロモーション9例
カラム指向型データベース（HBase、Hypertable、Cassandra）編
OS & システムソフトウェアの一流国際会議 - 品川高廣（東京大学）のブログ
Readings in distributed systems
YAPC::Asia 2008 1日め - てきとうなメモ
自転車用USB発電機「BikeCharge Dynamo」 - ネタフル
「自国が生み出したのに何故か他国が生み出したことになっているもの」海外の反応 : 暇は無味無臭の劇薬
サッカー、世界的繁栄の黒歴史 東側“国策”有力クラブと秘密警察、政治権力との密着
たけまる / 6/17 Erlang 分散システム勉強会
たけまる / Algorithm::VectorClocks を作った
Step FunctionsとPandasを使ってサーバーレスETL入門 | DevelopersIO
ANDPADのマイクロサービス基盤チームの取り組み - ANDPAD Tech Blog