HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ
This document compares Apache Kafka and AWS Kinesis for message streaming. It outlines that Kafka is an open source publish-subscribe messaging system designed as a distributed commit log, while Kinesis provides streaming data services. It also notes some key differences like Kafka typically handling over 8000 messages/second while Kinesis can handle under 100 messages/second.
LINEの100億超/日メッセージを支える Redis・HBaseのスケールアウト・アップ戦略 #linedevday - Togetterまとめ
リンク linedevday.linecorp.com LINE DEVELOPER DAY_2015 Tokyo LINE DEVELOPER DAY_2015 Tokyo is a technical conference in which our teams of engineers share their various experiences and also address open issues. Shunsuke.N A-5 HBaseとRedisを使った100億超/日メッセージを処理するLINEのストレージ HALL A 13:30 - 14:10 "LINEのメッセージングストレージとしての難しい要求に対して、RedisとHBaseを利用してどのように問題を解決してきたかについて紹介します。 最初にLINEでのストレージのユースケースを共有した上で、ストレージの可用性を
LINE DEVELOPER DAY_2015 Tokyo「ビッグデータを活用するための分析プラットフォーム」レポート #linedevday | DevelopersIO
LINE DEVELOPER DAY_2015 Tokyo「ビッグデータを活用するための分析プラットフォーム」レポート #linedevday こんにちは、虎塚です。 昨日は、LINE株式会社さんが開催されたイベントLINE DEVELOPER DAY_2015 Tokyoへ参加してきました。 Taichi Hashimotoさんが講演された「B-5: ビッグデータを活用するための分析プラットフォーム 〜データ集計した先に求められる分析技術」を聴きましたので、レポートします。 前半は、さまざまOSSを活用して構築された、社内の利用者のニーズに応じたデータ分析基盤の紹介でした。後半は、KPIを人間が見るのでなく、変化を自動検知して通知するシステムを開発中というお話でした。 以下、レポートです。 データ分析について LINEにとってデータ分析とは何か Collecting: データを集約する
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
急増するLINEインフラの課題と対応 « LINE Engineers' Blog
こんにちは。今回はITサービスセンターより、インフラ運営の観点から急増するLINEインフラの課題と対応について記させていただきます。 はじめに 先日開催したLINE Developer Conference（インフラ編）には大勢の方にいらしていただきました。カンファレンスでは、LINEサービスが始まってから約2年の間に我々はどういった方法でインフラ運営を行い、またどんなことに悩んできたのかを、システム、データベース、ネットワークの観点からそれぞれ発表させていただきました。 カンファレンスはLINE株式会社が様々な技術をどのように使い、どのように運用を行っているのか。現在どのような技術的なことに取り組んでいるのか日本のエンジニアの皆さんに知っていただくために開催されました。結果としてインフラ編では150名の定員に対して430名のご応募をいただいたとのことでLINEサービスに対する関心の高さを
世界制覇をもくろむLINE――ベールを脱いだプラットフォームの全体像とは
世界制覇をもくろむLINE――ベールを脱いだプラットフォームの全体像とは：LINE Developer Conferenceまとめリポート（前編）（1/3 ページ） LINEは4月15日と17日の両日、世界初となる「LINE Developer Conference」を開催。LINEプラットフォームの全体像を明らかにした。本稿では、その中でもLINEプラットフォームを統べるChannel Gatewayとは何か、LINEビジネスコネクトの仕組みとは、インフラをどのように高速化しているのかなどについてお届けする。 キーワードは「グローバル」――LINEプラットフォームの世界展開 サービスを開始して3年足らずで登録ユーザー数4億人を突破し、さらなる成長を続けるLINE。トーク送受信件数は1日で最大100億件に達している。こうした成長を支えるために、同社はどのような技術を使ってインフラやプラット
LINE Developer Conferenceに行ってきた - kuenishi's blog
ふとしたことから LINE Developer Conference の存在を知り、その中の「高可用データベース」という文字列をみて高可用データベースを作っている身としては黙っていられないので行ってきた。喉がかわいたので水をもらえてよかった。 ひとつめのセッションはLINEのシステム運用。インフラは基本に忠実に、無駄に安いハードウェア買って困るくらいならそこそこの値段でいいヤツ買います、ソフトウェアも同様、必要なところでは VMware vSphereやOracleを使いますといった感じだった。やはりメッセージングなのでバーストトラフィックがあるらしく、それのせいでスイッチのパケットバッファが普通に溢れてパケ落ちが発生するらしい。ふつうのTCP/IPならその後の再送はランダムに時間置いて飛ぶはずだからそんなに溢れないと思ってたんだけど、TCP周りの設定をいじったらなんとかなりそうな気もする
LINE Developer Conference(テーマ：インフラ)にいってきたメモ - 目の前に僕らの道がある
昨日(2014/04/15)にLINE Developer Conferenceに参加してきました。 寝かすと、永久に書かない気がしたので、消化し切れてないけど、メモ書きだけ残しておきます。 LINE Developer Conference 開催のお知らせ http://line-hr.jp/archives/37147547.html 今まで、LINEのインフラ回りがどうなっているのかってあまり情報を見たことなかったので、興味深く聞けて面白かったです。 普段関わっているサービスとは全然規模が違い、世界展開するサービスならではの話などとても面白かったです。ネットワーク回りで、昔ちょろっと触っていたMPLSの単語が出てきて懐かしかった。 いろいろ話を聞いていて、LINE社は面白そうな技術を使っていてるので、こういう会社で働けるとすごい楽しそうですね。 こういう機会がまたあったら是非参加した
LINEサービスのシステム運営【LINE Developer Conference@インフラ回レポート】 - もぐめぽろぐ
LINE Developer Conference@インフラ回に参加してきたのでその時のレポートを3回に分けて報告致します。 第1回はシステム運営についてのお話。 Session1. LINEサービスのシステム運営 LINE SYSTEM OPERATION LINEはこの2年間でUser/Messagesは増加し、Server台数も増え、サービスも増えました。 しかし、メンバーは増えていません。 でもなんとか処理しきれています。 なぜまわるのか？ それはPlug and Installのコンセプトのもと以下のものがあるおかげ。 ALIS (Auto Linux Install System) by kickstart WDS (Windows Distribution System) どちらもLINEお手製のシステムで、LAN Cableをつないで電源を投入するだけでサーバの構築が行える
参加レポート: LINE Developer Conference (Infra Day) | DevelopersIO
はじめに 4/15(火)に開催されました、LINE Developer Conferenceに参加してきました！ 本イベントはメッセンジャーアプリでお馴染みのLINE株式会社さんが、そのバッググラウンドで行われている技術的取り組みや運用の工夫についてお話頂けるというものです。私が参加した4/15(火)のインフラをテーマにした回と、4/17(木)のプラットフォームをテーマにした日の、2日間に渡って開催されます。 本イベントは参加枠はそれぞれの日毎に150人・合計300人だったのですが、何とインフラ回だけで460名の応募があったとのこと。二日間合わせた全体では800名強の応募があったそうです。それだけ注目度が高い企業であるということですね。 会場は渋谷ヒカリエにあるLINE株式会社さんのカフェスペース。普段はカフェとして使われているとても広いスペースをセミナー会場として使われていました。LIN
子供と大人のLINEに対する感覚的ズレと、大人が考えるべき問題
つい先日、LINEサーバーに障害が発生し、そのことで各所で話題となった一件があった。 【LINE障害】auにサポートを求めてブチ切れる人たちまとめ このまとめについても色々突っ込みどころ満載すぎて、様々な問題点がありますが、 私が気になったのは、このまとめを見た人たちが、みな「電話やメールすればいい」という、とても常識的な回答をしているところ。 しかし、それが最も常識であるかのような感覚は、もはや古い考えであり、これには大きなズレが生じている。 電話番号もメールも交換しない世代 現在、小学、中学生にかかる携帯、及びスマホの利用料金の平均値は4190円と高額になってきている。理由はスマホの定額が基本的に高いからであることは言うまでもないが、既に小学4年あたりからLINEを利用するユーザーは激増しているのが現状です。 また、スマホを持つ理由として、「LINEをしたいから」という明確な理由も増え
LINEの1日当たりのメッセージ数は70億、ユーザー数の目標は「年内3億」、各種数字を公表
スマートフォン向けの無料通話・メールアプリ「LINE」を提供するLINEは2013年8月21日、千葉県浦安市でカンファレンスを開催し、LINE事業の最新状況や事業戦略について説明した。LINEの登録ユーザーは7月21日に2億人を突破し（関連記事）、8月21日時点では2億3000万人にまで拡大。ユーザー数について同社代表取締役社長の森川亮氏（写真1）は「目標は年内3億人突破」とした（写真2）。 カンファレンスでは、森川氏がLINEのこれまでの展開と海外展開、取締役の出澤剛氏がマーケティングプラットフォームとしてのLINE、執行役員・CSMOの舛田淳氏がプラットフォーム戦略、ゲーム事業および新サービス（関連記事）について説明した（写真3）。 森川氏は、まずはLINEのこれまでを振り返り、LINEが急速な成長を遂げているプラットフォームであることを印象づけた。7月に2億人を突破したのは前述の通り
今は金儲けより規模拡大！ 「収益装置のゲーム」に目もくれないLINEの本心 - 日経トレンディネット
たわいもない、極めてシンプルなコミュニケーション・アプリとして誕生した「LINE」。ほんの2年足らずの間にユーザー数は全世界で1億5000万人を超え、日本発の「世界を狙えるネットサービス」という夢が、日に日に現実味を帯びている。これだけ巨大なユーザーベースを持つだけに、ゲームのプラットフォームとしての魅力が極めて高いことは言うまでもない。国内ユーザーだけでも4500万人以上。ソーシャルゲームの躍進やスマートフォンの普及を考えれば、ゲームがもたらすLINEの収益ポテンシャルは計り知れない。しかも、さかのぼれば同社の“母体”はオンラインゲーム会社だ。 既に刈り取りの体制は整ったかと思いきや、LINEの森川亮社長は「今はまだ収益を追わない」と素っ気ない。ネットサービスのユーザーは移り気だ。競合サービスも登場している。それでもなお、コミュニケーションを軸とする価値の増大を優先し、慎重に駒を進める。
「カジュアル」な規模のデータクラスター上でのデータ解析処理 « NAVER Engineers' Blog
今年はさだまさしさんのデビュー40周年ということで、記念コンサート「さだまつり」も絶賛開催中の折も折、残暑も厳しい中皆様いかがお過ごしでしょうか。大平です。 さだまさし氏は経験の豊富な方ですので彼の歌や発言から学ぶことは大変多いのですが、個人的に非常に感銘を受けているのは「歌はコンサートで成長する」という言葉です。歌い手として、「歌」という作品を作って公開・販売するだけが仕事ではなく、実際にコンサートなどでお客さんに届け、お客さんの反応を参考にしたり日々の演奏活動の中で試行錯誤を繰り返して、内容をブラッシュアップし洗練させていく過程を指して先の言葉があるのだと思います。実際にさだまさし氏の曲はCDに収録されているものと実際にライブで演奏されるものとでアレンジが大きく異なり、かつ作品としても質が向上しているものが少なからず存在します。 …あまりさだまさしの話を続けると本当に上長に叱られますの
LINE Storage: Storing billions of rows in Sharded-Redis and HBase per Month « NAVER Engineers' Blog
Hi, I’m Shunsuke Nakamura (@sunsuk7tp). Just half a year ago, I completed the Computer Science Master’s program in Tokyo Tech and joined to NHN Japan as a member of LINE server team. My ambition is to hack distributed processing and storage systems and develop the next generation’s architecture. In the LINE server team, I’m in charge of development and operation of the advanced storage system whi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
【特報】DeNA、「comm」事業を縮小へ：日経ビジネスオンライン
新会社LINE発足 会社分割に隠された深謀遠慮 「すべてを壊して、イチからやる」 - 日本経済新聞