サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
インタビュー
techblog.lycorp.co.jp
こんにちは。LINEヤフーでAIプラットフォーム向けのKubernetesクラスタの設計や構築、運用を担当している大村です。 LINEヤフーでは、100を超えるサービス向けにAI/機械学習を活用したサービスのライフサイクル全般(MLOps)をサポートするAIプラットフォームを内製しています。 最近、AIプラットフォーム向けのKubernetesクラスタであるAI Cloud Platform(ACP)において、H100 GPUクラスタの導入が行われ、本格的に分散深層学習ワークロードを受け入れる基盤が整ってきました。それを契機として、ACPにおけるバッチスケジューラの選定を行いました。その結果、kube-scheduler(Scheduling Frameworkによる拡張)+Kueueという組み合わせを導入することにしました。 このブログでは、その検討の軌跡を紹介することで ACPにおける
こんにちは。コミュニケーションアプリ「LINE」のモバイルクライアントを開発している石川です。 この記事は、毎週木曜の定期連載 "Weekly Report" 共有の第 61 回です。 LINEヤフー社内には、高い開発生産性を維持するための Review Committee という活動があります。ここで集まった知見を、Weekly Report と称して毎週社内に共有しており、その一部を本ブログ上でも公開しています。(Weekly Report の詳細については、過去の記事一覧を参照してください) 悪いな、この関数 1 人用なんだ 以下の calculateSomeFormula は、長時間かかる計算の結果を返す関数です。この関数では、複数の計算を並行して行うため、スレッドセーフであることを前提とします。(Kotlin で並行性制御をしたい場合はコルーチンを使うのが普通ですが、ここでは呼び
はじめに こんにちは。筑波大学情報学群情報科学類3年の浅田睦葉と申します。 私は2024年9月に行われた8日間のサマーインターンシップで、内製分散データベースシステム FractalDB の開発業務に参加しました。この記事では、インターンシップ中の課題とその取り組みについて紹介します。 FractalDB FractalDBとは、LINEヤフー内製で開発・運用されている分散データベースシステムです。現在、同じ分散データベースシステムであるApache Cassandraは、各サービス向けに独立にデータベースを構築し運用されています。 内部では分散型のキーバリューストアであるFoundationDBが使用されており、Cassandraクライアントから送信されるパケットをパースしてCQLを受け取り、FoundationDBへの操作に変換しています。したがって、これまでCassandraを利用し
LINEヤフー株式会社で、出前館の SRE をしている岡田 将です。今回の記事では、Wide Events と Honeycomb を組み合わせて可観測性を高める手法、主に Unknown unknowns (未知の未知) に対応しやすくするアプローチを紹介します。 Wide Events Wide Events は、一つのイベントにあらゆる関連情報をまとめて記録するアプローチです。ログ、メトリクス、トレースを分けて考えるのではなく、リクエストやジョブ単位で情報を広く詰め込むことで、後から自由に分析できるのが特長といえます。 このアプローチに興味を持つきっかけになったのは、A Practitioner’s Guide to Wide Events、 All you need is Wide Events, not “Metrics, Logs and Traces” というブログ記事を読ん
こんにちは。LINEヤフーでAIプラットフォームのコンピュート基盤の設計や構築、運用を担当している道下です。 この記事ではRethinking AI Infrastructureの連載の第三弾として、...
こんにちは。コミュニケーションアプリ「LINE」のモバイルクライアントを開発している石川です。 この記事は、毎週木曜の定期連載 "Weekly Report" 共有の第 58 回です。 LINEヤフー社内には、高い開発生産性を維持するための Review Committee という活動があります。ここで集まった知見を、Weekly Report と称して毎週社内に共有しており、その一部を本ブログ上でも公開しています。(Weekly Report の詳細については、過去の記事一覧を参照してください) 言葉にできない 以下のような、ABC と XYZ という 2 種類のパラメータの文字列形式があるとします。 ABC: a=foo,b=bar,c=bazXYZ: x:foo;y:bar;z:baz これらの文字列からパラメータ (foo, bar, baz) を取得したいです。そこで以下のように
LINEヤフーでは、2024年の10月に社内のWebフロントエンド開発に携わる社内のメンバーを対象に、昨今のWebフロントエンド関連のトレンドや周辺ツールの利用状況について調査するアンケート「State of LY Frontend 2024」を実施しました。これは、以前は「UIT Global Survey」とも呼ばれていた取り組みの後継でもあり、毎年社内に向けて実施されているものです(昨年度の実施レポート)。同様の取り組みとして State of JavaScript や State of CSS が知られていますが、そのLINEヤフー版と想像していただけるとわかりやすいかと思います。 今回のサーベイは、合併会社誕生後1年がたち、新会社の体制が整って以来初めて広く周知されたものとなりました。そのため、Webフロントエンド開発者だけで 342人 という、単独のグループ社員としてはあまり例
こんにちは。コミュニケーションアプリ「LINE」のモバイルクライアントを開発している石川です。 この記事は、毎週木曜の定期連載 "Weekly Report" 共有の第 57 回です。 LINEヤフー社内には、高い開発生産性を維持するための Review Committee という活動があります。ここで集まった知見を、Weekly Report と称して毎週社内に共有しており、その一部を本ブログ上でも公開しています。(Weekly Report の詳細については、過去の記事一覧を参照してください) 百見は一 fetch にしかず テキストメッセージを送受信するアプリケーションを実装しているとします。以下の sendMessage 関数では、引数として受け取った MessageModel に変換し、それをクエリパラメータとして送信する API を呼び出しています。 private fun s
こんにちは。コミュニケーションアプリ「LINE」のモバイルクライアントを開発している石川です。 この記事は、毎週木曜の定期連載 "Weekly Report" 共有の第 55 回です。 LINEヤフー社内には、高い開発生産性を維持するための Review Committee という活動があります。ここで集まった知見を、Weekly Report と称して毎週社内に共有しており、その一部を本ブログ上でも公開しています。(Weekly Report の詳細については、過去の記事一覧を参照してください) デメテルを知っているか プログラミング原則の一つに デメテルの法則 というものがあります。この原則では、操作するのは直接知るメンバ(プロパティ/メソッド)だけに限定し、「メンバのメンバ」は操作してはならないということを主張しています。別の表現では「話す相手は友人だけ (only talk to
こんにちは! アジャイルプロセス推進チームの日下(LINEヤフー株式会社)、岩井(LINEヤフー株式会社)、荒瀬(PayPayカード株式会社)です。私たちは、アジャイルコーチとしてPayPayカードのアジャイル開発を支援しており、現在E2E自動テスト(以下、E2Eテスト)の導入を進めています。この導入における戦略、直面した課題、そしてそれらをどのように克服したかについてお話しします。組織にこれからE2Eテストを導入しようと検討している方や、既に導入済みで安定稼働や運用に課題を抱えている方にとって、お役に立てれば幸いです。 また、私たちアジャイルコーチはLINEヤフー株式会社およびPayPayカードのものづくりに深く関わり、プロセス改善や仕組み作り、最新技術の導入を行っています。過去の事例は以下のリンクからご覧いただけます。 SWAT×Agile Coach: 異なるスキルが共創するまでヤフ
こんにちは。LINEヤフーでAIプラットフォームのネットワーク設計を担当している小林と深澤です。この記事ではRethinking AI Infrastructureの連載の第二弾として、LINEヤフーのAIプラットフォームを支えるGPUクラスタネットワークの設計とその考え方について解説します。 この記事が普段GPUクラスタやデータセンターネットワークなどのインフラを扱っている方々に役立つと嬉しいです。 AIのためのネットワーク GPUクラスタのためのネットワークの話をいきなりする前に、この数年の生成AIブームがネットワークインフラにどのような変化をもたらしたのかについて簡単に振り返りたいと思います。私たちはインフラを運用する部門に所属しており、ネットワーク技術の専門家として自社サービスの運営や事業課題の解決に必要な技術を選定・検証し、プロダクションに落とし込み安定運用することに責任を持って
はじめに みなさん、こんにちは! Actapio, inc.(LINEヤフー株式会社の100%子会社)の立見です。 今回から始まるこの連載では、AIインフラストラクチャについて、じっくりと掘り下げてい...
はじめに こんにちは。LINE PlusのLINE GAME PLATFORM Dev2チームのHyeonseop Lee、Hyungjung Leeです。LINE GAME PLATFORMでは、ゲーム開発に必要なさまざまなプラットフォームサービスを開発しています。私たちのチームはその中でも、ゲームデータを収集して分析するためのプロダクトやMLOps、LLMOpsを開発しています。この記事では、LLMOpsを開発するためにPythonベースの大規模なプロジェクトを進める中で経験した、プロジェクトの規模が大きくなるにつれて発生する構造的な問題とそれを解決した方法を紹介します。 Pythonの普及とともに巨大化したPythonプロジェクト Pythonは簡潔で柔軟というメリットから、長い間使われているスクリプト言語です。初期には主に簡単な自動化やプロトタイプの開発に使用されていました。ところ
こんにちは。LINEヤフーのSSL Admin、Inoue と Kuji です。 旧 LINE株式会社が管轄していたネットワークには 数十万もの TLS Endpoints があり、数多くの SSL/TLS 証明書(以下「証明書」)が利用されています。この記事では、そのうち約 20 万の TLS Endpoints が提供している証明書の有効期限を可視化した取り組みを紹介します。 この記事に書いてあること 証明書の可視化を行うまでのストーリー証明書の可視化によって生じた効果今後の展望 この記事に書いていないこと プログラムの具体的な実装 今回紹介するツール(開発したもの) ValidCertWatch ValidCertWatchは社内のあらゆるWeb siteの証明書情報を一目で確認できるツールです。UIはこのようなイメージで、証明書を利用しているFQDNの一覧や、FQDNに適用されてい
こんにちは。データ人材戦略部エバンジェリストチームの權です。 私が自然言語処理に関する入門的なKaggle Notebookを作成したときのプロセスや工夫について共有します。 この記事がKaggleを活用した効果的な学習を推進する際のヒントになれば幸いです。 Kaggleとは みなさんはKaggleというものをご存じでしょうか? Kaggleは、機械学習エンジニアやデータサイエンティストが集まって競い合う世界最大のデータサイエンスコンペティションプラットフォームです。初心者からプロフェッショナルまで、さまざまなレベルの参加者が腕を磨く場として広く利用されています。 LINEヤフーでは社員のリスキリングをするプロジェクトにKaggleを取り入れています。 高い壁にはチームでぶつかれ! 『ドラゴン桜』三田先生に聞く データがたくさんありますが、それを「精製」するデータサイエンティストの数がまだ
こんにちは。Messaging APIを開発しているソフトウェアエンジニアの奥薗と、LINE Developersサイトで開発ドキュメントを書いているテクニカルライターの銭神です。みなさんの開発の現場では、どのようにしてドキュメントを書いているでしょうか。この記事では、私たちの組織において、ソフトウェアエンジニア(以下「エンジニア」といいます)とテクニカルライターがどのように連携して社外向けのドキュメントを書いているかを紹介します。 私たちのチームについて エンジニアとテクニカルライターの協業についての話をする前に、私たちがそれぞれどのようなチームで、どのようなプロダクトを担当しているかを説明します。なお、各セクションのタイトル名の後ろに、どちらが執筆したかをカッコ書きで示しています。 Messaging APIの開発チーム(奥薗) まずは、Messaging APIの開発チームについてで
こんにちは、LINEヤフー株式会社でテクニカルライターとして働いている古木です。私は、LINE Developersサイトの技術ドキュメントやAPIリファレンスを書く専門職としてライティングを行う傍ら、社内用語集の管理にも携わっています。 今回は、LINEヤフーの社内用語集「Words」のご紹介を通じて、社内用語集サービスの立ち上げについてや、運営方法についてお話しします。 Wordsとは何か Wordsは、社内用語と分野別の専門用語を、テクニカルライターがわかりやすく解説した用語集です。韓国のLINE PlusとLINEヤフーのメンバーが協業して、運営を行っています。 Wordsは、社内のさまざまな部門やプロジェクトで使用されている用語とその説明を一箇所に集めて、検索しやすくすることで、社内のコミュニケーション効率を向上させています。特に、社内用語を初めて目にする新入社員が安心して業務に
LINEヤフー Advent Calendar 2024の記事です。 はじめに こんにちは、iOSアプリエンジニアの羽柴です。本記事では、LINEの膨大なソースコードを扱う上で欠かせない「コードオ...
こんにちは。CISO管掌の脅威情報分析対応チームでセキュリティエンジニアとして活動している首浦です。 本記事ではランサムウェアについての解説に加え、8Baseの解析結果を紹介します。 ランサムウェアとは まず初めにランサムウェアとは、感染端末から内部システムのデータを暗号化・窃取することでそのデータやコンピュータを「人質」として、身代金などを要求するマルウェアの一種です。 暗号化前のファイルは完全に端末から削除され、感染端末外部(USBメモリやクラウドストレージ等)にバックアップが存在しない場合、ファイルを復元するためには、暗号化されたファイルを復号する必要があります。 ランサムウェアを用いる攻撃者はこの復号に必要な鍵と引き換えに金銭などを要求します。ただし、身代金を支払った場合においても復号鍵の引き渡しを拒否する場合や、復号鍵での復号が失敗する場合があり、必ずしも身代金を支払えば解決する
Webアクセシビリティチーム中野です。 プロダクトとウェブサイトにおける、アクセシビリティの向上と啓発を行っています。 今年の10月に社内イベントのTech Week 2024でアクセシビリティチームとしてブースを出展し、画面の情報を合成音声で読み上げる支援技術であるスクリーンリーダーのチートシートを作成して配布しました。 社内イベントで視覚障害を体験してもらいました(スクリーンリーダーのチートシート配布中) 主にディスプレイで表示したり、印刷したりすることを想定して作ったPDFですが、スクリーンリーダーなどの支援技術でも閲覧できるようにしています。この記事ではPDFをアクセシブルにするための課題と理由について解説します。なお、今日から障害者週間(12/3-9)が始まりますので、この記事が障害者福祉の一環として考えるきっかけになればと思います。 そもそもPDFとは 「Portable Do
こんにちは。LINEヤフー株式会社ビジネスPF開発本部で LINE DMP の開発を担当している yamaguchi です。 この記事は、Testcontainers を活用して Apache Kyuubi を用いたユニットテスト環境をどのように構築したかを紹介します。 はじめに LINE DMP(Data Management Platform)は LINE 外部から同意を得てアップロードされた、あるいは LINE の内部で得られたデータをさまざまな形で ETL 処理をし、LINE広告やLINE公式アカウントのような B2B サービスで活用できるようにするためのプロダクトです。 膨大な累積データや非常に大きなトラフィックを扱うこともあり、リアルタイム処理から大規模バッチ処理までさまざまな LINE にまつわるデータ処理を行っています。 プロジェクトの背景 大規模データを取り扱うにあたり、
こんにちは。フロントエンドエンジニアの花谷(@potato4d)です。LINEヤフーでは、11月23日(土)に開催されたJSConf JP 2024へ参加・協賛を行いました。 今回私自身もスポンサースタッフとして、そしていち開発者としてイベントに参加してきたため、本記事にて現地の様子をご紹介します。 JSConf JP とは Japan Node.js Association が運営する JavaScript をテーマとしたカンファレンスとなります。グローバルのイベントブランドであるJSConfの日本ローカルコミュニティとして2019年より開催されていますが、前身となる東京Node学園祭を出自とするイベントであり、イベント全体としては10年以上の歴史を有しています。 特定の技術によらない点が一番の特徴であり、 React をはじめとしたフロントエンド領域はもちろんのこと、 Node.js
こんにちは。コミュニケーションアプリ「LINE」のモバイルクライアントを開発している石川です。 この記事は、毎週木曜の定期連載 "Weekly Report" 共有の第 51 回です。 LINEヤフー社内には、高い開発生産性を維持するための Review Committee という活動があります。ここで集まった知見を、Weekly Report と称して毎週社内に共有しており、その一部を本ブログ上でも公開しています。(Weekly Report の詳細については、過去の記事一覧を参照してください) 確信的な質問 ある開発者が、以下の関数 getOnlineUserStates のコードレビューの依頼を受けた状況を想定しましょう。 fun getOnlineUserStates(userIds: Set<UserId>): Map<UserId, UserState> { if (userI
はじめに こんにちは、コミュニケーションアプリ「LINE」のiOSクライアントアプリ開発を担当している、モバイル・ディベロッパーエクスペリエンスチーム(以下MDX)所属のfreddiです。 この記事では、2024年にLINEアプリをXcode 16に対応させるために、チームとして取り組んだことを紹介します。まず、Xcode 16対応を集中的に行うための取り組みやWWDCでの活動について紹介します。そして、β版のXcodeを利用した際に遭遇した問題とどうやって克服したかについて、AppleへのFeedbackやGitHub Issue、オープンソースへの貢献の例をもとに書いています。これらの取り組みを通じて、AppleプラットフォームやSwift関連の開発コミュニティで問題を解決するために、どのような行動をしたかについても触れています。 WWDCとβ期間におけるチームとしての取り組み 毎年6
こんにちは。コミュニケーションアプリ「LINE」のモバイルクライアントを開発している石川です。 この記事は、毎週木曜の定期連載 "Weekly Report" 共有の第 48 回です。 LINEヤフー社内には、高い開発生産性を維持するための Review Committee という活動があります。ここで集まった知見を、Weekly Report と称して毎週社内に共有しており、その一部を本ブログ上でも公開しています。(Weekly Report の詳細については、過去の記事一覧を参照してください) ワイルドすぎる引数 「図形」というデータが、スペースで区切られた文字列として表現されているとします。以下は、その文字列の例です。スペース区切りの最初の値は、図形の種類を示す「タグ」と呼ばれるもので、2 つ目以降は図形ごとの属性 (座標など) だとします。 circle 10 20 30 rect
課題解決のアプローチ 中間テーブルの設計 すべてのソーステーブルをまとめて処理しようとするので、ソーステーブルが一部でも欠落してしまうと、データマート全体の更新が止まってしまうという状況が発生しています。そこで今回は一度、中間テーブルを作成し、集計処理をソーステーブルごとに分割することにします。事業部へ提供するテーブルはその中間テーブルをさらに処理して作成される構成にしました。 中間テーブルの設計案について、2つの案が検討しました。1つ目は、複数あるソーステーブルから、機能ごとにいくつかの集計項目をまとめた中間テーブルを複数用意するという、OAの機能ごとにデータの保存を物理的に分離する案です。この場合、異なる機能であるクーポンとメッセージに関する集計値は、それぞれ異なる中間テーブルとして保存されます。2つ目は、OAの機能ごとにパーティションを用意し、ひとつの中間テーブルに格納することで、デ
はじめに こんにちは。京都大学大学院情報学研究科修士1年の上田蒼一朗と申します。 私はCloud Infrastructure本部NetDev部というところで、6週間のインターンシップに参加しました。本レポートでは、私のインターンシップでの取り組みである、L4ロードバランサのQUICサポートについて紹介します。 背景 LINEヤフーのプライベートクラウドはLBaaS、つまりロードバランサをサービスとして社内に提供しています。L4ロードバランサはLBaaSの中の1つで、TCPやUDPなどのトランスポート層までの情報を元にパケットを複数のサーバーに振り分けるものです。 L4ロードバランサの一部はLinuxのXDPという機能で実装されています。XDPとはLinuxカーネル内に実装されたパケット処理機構で、ユーザーが独自に実装したパケット処理のプログラムをカーネル内に組み込むことができます。また、
これを見ると、Rec Sys 1、Rec Sys 2などでは、評価指標に関する研究からモバイル端末内で行われる推薦、Cold-start問題への対処に関するものなど幅広い推薦システムに関する研究が発表されていました。 多くの研究は既存の手法の問題点を発見、その問題を解決する手法を提案するような研究でしたが、On (Normalised) Discounted Cumulative Gain as an Off-Policy Evaluation Metric for Top-nnn Recommendationでは推薦問題で一般的に使用されているnDCGがどの程度オンライン実験の結果を近似できるのかを調査し、DCG指標がオフライン実験/オンライン実験に対して不偏となる状況でもnDCGは手法の相対順位が変動する可能性があることを示していました。 DIET: Customized Slimmi
はじめに こんにちは。プライベートクラウドの開発運用、およびOSPOを兼任している早川です。 KubeDay JapanはCloud Native Computing Foundation(以下、CNCF)主催の、Kubernetesを中心としたクラウドネイティブ技術に関するカンファレンスです。 KubeDay Japan 2024(外部サイト) ご存じのとおり、LINEヤフーは旧LINE、旧ヤフーの方向性を引き継ぎ、オープンソースのテクノロジーとコミュニティに積極的に投資しています。そして、それはクラウドネイティブの分野においても同様です。去る8月27日に開催されたKubeDay Japanにおいては、スポンサーシップの提供とブース出展、社員からの2件の登壇と、イベントの盛り上がりをお手伝いさせていただきました。 この記事では、そんなLINEヤフーによるKubeDay Japan参加の様
次のページ
このページを最初にブックマークしてみませんか?
『LINEヤフー Tech Blog』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く