LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事

こんにちは、LINEのプライベートクラウドサービスであるVerdaのLoad Balancer as a Service (LBaaS) のチームでTech Leadをしている早川です。このエントリでは私が2019年4月にLINEに入社してからの約2年半で体験した大規模LBaaSならではの興味深い問題をピックアップしてご紹介します。 Verda LBaaSについて VerdaのLBaaSは2016年ごろに稼働を開始したVerdaの中でも比較的歴史が長いサービスです。当時のLINEではハードウェアのアプライアンス製品を用いて提供されていたロードバランサのサービスを置き換える目的で開発されました。特徴としては実際にユーザのトラフィックを受けるいわゆるデータプレーンと呼ばれるコンポーネントも含めて全てがソフトウェアで実装されているということが挙げられます。 中でも個人的に気に入っているのは、L4

はい、みなさんこんにちは。 3月7日にオンラインで開催した「LINE Engineer Meetup for Students」にて、2021年の新卒採用開発コース向けに出題している問題の傾向や解くためのコツなどを学生の皆様に解説させていただきました。 はじめにお断りをさせていただきますが、本エントリで対象にしているJob categoryは技術職の開発エンジニアとなります。他の職種の試験内容についての言及はしませんので予めご承知おきください。 関連記事：LINEの新卒採用試験ズバリ問題解説～アルゴリズム問題編〜 今回の記事では、当日使用したスライドを元にして、LINEの本採用での問題の傾向や解くためのコツなどを解説させていただこうと思います。 実際に出題したことがある問題を利用して解説しますので、より実践的な解説記事になっているかと思います。 本記事の本題へと進む前に発表当日に利用した資

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog サービス・機能やそれにまつわる開発の裏話や取り組みを聞く「ProductStory」シリーズ。2015年にスタートしたライブ配信サービスのLINE LIVE。いつでもどこでも、無料でライブ配信＆視聴が可能という便利さから、サービス開始以来多くのユーザーにご利用いただいてきました。昨今ではコロナ禍の影響からオンライン上で楽しめるエンタメの重要性が高まっており、LINE LIVEのニーズはさらに増しています。 サービスの信頼性を高めるため、LINE LIVE開発チームは、サービスに対する負荷テストを実施するために構築されたベンチマーク環境を用いています。定期的な負荷テストを行うことでパフォーマンス上の課題を洗い出し、システムのさら

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、LINEメッセンジャーのサーバーサイドとモニタリングプラットフォームの開発を担当しているフィ（@dxhuy）です。この記事はLINE Advent Calendar 2017の20日目の記事です。 今日は、モニタリングシステムでよく使うレイテンシーやその計算方法などについて紹介したいと思います。LINEでは、日々ユーザが楽しくメッセージを送れるように、システムの安定性を第一に考えています。安定したシステムを保つためにたくさんの指標を見守る必要がありますが、その指標の1つが「レイテンシー」です。 ウィキペディアでは、レイテンシーは以下のように定義されています。 デバイスに対してデータ転送などを要求してから、その結果が

こんにちは。LINEでゲームプラットフォーム開発をしているKagayaです。この記事はLINE Advent Calendar 2017の18日目の記事になります。昨年新卒入社1年目で執筆した「マイクロサービスのためのプロジェクト生成ツールLazybonesを使ってみた」に引き続き、今年もAdvent Calendarの記事を書くことになりました。よろしくお願いします。 はじめに—RedisとLINE GAMEプラットフォーム LINE GAMEプラットフォームでは、インメモリNoSQLデータベースであるRedisをメインデータベースの1つとして利用しています。キャッシュとしての利用が多く、例えば、LINEやFacebookなどのアカウントで認証を行っているユーザのソーシャルデータ（プロフィールや友だちリストなど）のキャッシュに利用しています。基本的にはRedis Clusterとして利用

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、LINE でスタンプ・着せかえショップのバックエンド開発をしている川田 (@hktechno) です。 この記事は、LINE Advent Calendar 2016 の 6 日目の記事です。 今年の4月に、Java も Elasticsearch もまともに知らなかった新卒エンジニアが Elasticsearch クラスタの管理を突然任されて苦労した話をしようと思います。 Elasticsearch とは Elasticsearch は、Elastic 社が開発している検索・分析エンジンおよびそのストレージを担うソフトウェアです。簡単に言えば、検索に特化したクエリを投げることができるデータベースのようなものです。

なぜGo言語はコンパクションを採用していないのか GoogleのRick Hudson氏によるISMM 2018 Keynote “Getting To Go”を参照すると、以下のことがわかります。 2014年の時点では”Read barrier free concurrent copying GC”を計画していた しかし期間的な制約から断念し、CMSに舵を切った（この時期に彼らは、ランタイムをCからGoに書き換える作業も行う必要がありました。Changes to the runtime） TCMallocをベースとしたメモリアロケーターを採用することで、断片化およびアロケーションの速度の問題を解決した Go言語のメモリアロケーションについては、ランタイムのコードのコメントにも詳しく記載されています。 malloc.go This was originally based on tcmal

みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 10個 のお年玉が付与されます。 こういったメッセージが受信されます ユーザーは自分がもっているお年玉を友だちに直接送ったりグループに送信することができ、お年玉を受け取

LINE Engineer Insights vol.5「セキュリティ室シニアエンジニアに聞く、LINEのスパム対策と今後の展望」 LINE で働くエンジニアに色々と話を聞いていく「LINE Engineer Insights」の第5弾です。当コーナーはインタビュアーに LINE で働くエンジニア @tokuhirom を迎え、エンジニア同士でざっくばらんにお話を伺っていくというものです。今回も、LINE のエンジニアは一体どんな人達なのか、その内面に迫っていきたいと思います。 第5弾はセキュリティ室 アプリケーションセキュリティチーム所属の石田暁久に、LINEのスパム対策やセキュリティのツール開発などについて聞いてきました。 LINEのセキュリティチームはどんなチーム？ ―― tokuhirom 宜しくお願いします。最初に、入社時期と現在メインでやってらっしゃる仕事を聞かせていただけます

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog macOSメニュバーの活用 こんにちは。LINE Fukuokaの開発チームで働いているPaul Traylorです。LINE に入社してからの主な仕事は、内部サーバのモニタリングシステムをPrometheusやGrafanaを利用してより使い勝手の良いものに改良することです。最終的には、個々の開発者が自分の通知を簡単に設定できるようにするのが狙いです。モニタリングシステムの管理担当者という仕事柄、異なる環境に構築された沢山のサーバや様々なチャートをこまめにチェックする作業が欠かせませんが、あらゆることに目を配るのはますます大変になってきています。そこでモニタリング作業の手間を省くことができるシンプルなツールを調べてみました。

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、LINEでグループ通話サービスを開発しているJungjun Parkです。 LINEでは「CLOSING THE DISTANCE」というビジョンを掲げ、様々なサービスを提供しています。今回の記事ではその中から、同時にたくさんの人と通話できるLINEのグループ通話機能と技術についてご紹介します。まず、グループ通話機能について簡単にご説明します。 最大200人と同時に通話できるLINEグループ通話 LINEのグループ通話は、LINEで同時に最大200人と通話できるサービスです。2016年3月にグループ音声通話サービスが公開され、同年12月にはグループビデオ通話をサービス開始いたしました。音声通話とビデオ通話のいずれも