類似文字列検索ライブラリResemblaを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEでClovaの開発をしている上村です。これはLINE Advent Calendar 2017の13日目の記事です。今日は文字列の話をします。 はじめに 与えられた文字列によく似たものを大きな文字列集合から探すということは、古典的でありふれていながら奥が深く難しい問題です。文字列の類似度を正確に見積もるには複雑な計算が必要ですが、膨大な量のコーパスが与えられたときも可能な限り高速に応答を返す必要があります。 検索する文字列の性質をよく把握することも、品質のよい類似文字列検索を行うためには極めて大切です。ここで、今回考える問題の例を見てみます。 この例では、1文字ずつ違いを見つけ出したり、単語単位で見たり、文全体が疑問文
LINEが日本語の大規模汎用言語モデルの構築を推進～LINE AIカンパニートップの砂金信一郎氏とNLPチームを率いる佐藤敏紀氏に訊く、大規模汎用言語モデルがもたらす価値 | gihyo.jp
LINE テクノロジー＆エンジニアリング大全 LINEが日本語の大規模汎用言語モデルの構築を推進～LINE AIカンパニートップの砂金信一郎氏とNLPチームを率いる佐藤敏紀氏に訊く、大規模汎用言語モデルがもたらす価値 インタビュイー LINE AIカンパニーCEO 砂金信一郎氏（左）、 LINE株式会社NLP Development Team, Engineering Manager 佐藤敏紀氏（右） 日本語に特化した大規模汎用言語モデルとして、LINEで開発を進めているのが「HyperCLOVA」です。文章の作成や要約、人間との自然な対話などを実現するものであり、AIの適用範囲を大きく広げる可能性を秘めた技術だと言えます。このHyperCLOVAの開発背景や具体的な用途、今後の展開などについて、LINEの砂金信一郎氏と佐藤敏紀氏にお話を伺いました。 AIの民主化に寄与する大規模汎用言
LINE DEVELOPER DAY 2021 振り返りレポート
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Developer Successチームの佐藤です。 11月10日、11日の2日間、LINEの技術カンファレンス「LINE DEVELOPER DAY 2021」を開催しました。まずは、ご参加/視聴いただいた皆さま、登壇いただいたLINEおよびそのグループ企業の登壇者の皆さま、運営に携わっていただいた皆さま、本当にありがとうございました。 LINE DEVELOPER DAY 2021は、COVID-19感染拡大の影響で昨年に引き続き、オンラインイベントでの開催となりました。この記事では、LINE DEVELOPER DAY 2021がどのような傾向で登録・参加・視聴されたのかを各種数値とともに振り返ってみようと思います。 C
新語・固有表現に強い「mecab-ipadic-NEologd」の効果を調べてみた
このようにすることで、 そもそも mecab-ipadic-NEologd に意味はあるの? mecab-ipadic-NEologd で分かち書きして悪影響は無いの? mecab-ipadic-NEologd を週2回も更新することに意味はあるの? などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器は LIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、「s=5, c=0.8, B=-1」という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各
総務省｜プラットフォームサービスに関する研究会｜プラットフォームサービスに関する研究会（第23回）配布資料
1 開 会 2 議 事 （1） 事業者ヒアリング（ヤフー、Facebook、Google、LINE、Twitter） （2） 事業者団体ヒアリング（セーファーインターネット協会、ソーシャルメディア利用環境整備機構） （3） 政策パッケージの進捗状況について（事務局） （4） 違法・有害情報相談センターに寄せられている相談状況および関連機関との連携について （違法・有害情報相談センター） （5） 法務省の人権擁護機関による削除要請と削除対応率について（法務省） （6） 自由討議 （7） その他 3 閉 会 資料1－1 ヤフー株式会社 提出資料（ヒアリングシート・説明資料） 資料1－2 Facebook Japan株式会社 提出資料（ヒアリングシート（Facebook・Instagram）） 資料1－3 Google合同会社 提出資料（ヒアリングシート・説明資料） 資料1－4 LINE株式会社
大量のユーザーデータを横断的に使うために LINEのデータサイエンティストが気をつけているいくつかのこと
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで LINEのフェローであり、Data Science and Engineeringセンターに所属する並川淳氏が、「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というテーマで、LINEにおけるデータの扱い方について共有しました。 LINEにおけるデータ活用の取り組み 並川淳氏（以下、並川）：本日は「LINEではどのようにサービス横断でのデータ活用を実現しているのか」というタイトルで、並川が発表いたします。私は、LINEではふだん機械学習に関わる開発全般を担当しています。ですが、今日は機械学習に限らず、LINEにおけるデータ活用の取り組みについて幅広く紹介させてもらえればと思っています。よ
LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像
LINE社内でのサービス横断データ活用の取り組み「Feature as a Service」の全体像 Feature as a Service at Data Labs #1/2 2019年11月20、21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。20日は「Engineering」をテーマに技術的な内容のセッション、21日は「Production」をテーマに実践的な内容のセッションを多数取り揃え、LINEのエンジニアリングにおける知見を各プロダクトのキーマンがシェアします。「Feature as a Service at Data Labs」に登壇したのはLINE Machine LearningチームのChaerim Yeo氏。データ専門研究開発組織「LINE Data Labs」での機械学習の特徴量
Data Engineering & Data Analysis #8
Data Engineering & Data Analysis #8でのTalk資料
『JKのLINEあるある』が共感されまくり。「JKじゃないけどとても分かる」（動画）
「好きな人とのLINEを意味もなく読み返す」「好きな人が既読をつける瞬間を見たい」「3秒に1回スマホを確認」...。
若手女性社員にしつこく連絡してくる「しんどいオッサン」の話 - 吉川ばんびのブログ
みなさんの近くに、「しんどいオッサン」はいないだろうか。 しんどいオッサンとは、『気に入った特定の女性に対し、SNS上やメール等で「おはよう😊今日は、休日なので、朝からコーヒーを飲みながらのんびり過ごしています(^-^)/○○ちゃんは、もう起きてるかな？もしかして、寝坊してたりして😝もうお昼前だぞ〜（笑）今日も、○○ちゃんらしい良い1日になりますように❤️応援してるからね♪」など、死ぬほどどうでもいい報告や連絡を頻繁にしてくるオッサン』の総称である。 主に、勤務先の上司であったり、アイドルのツイッターのリプライ欄などで見ることが多い。 おそらく、女性の方は一度は存在を目にした、または聞いたことがあるのではないだろうか。 この手のオッサンは、基本的に相手に嫌われることを想定せずに行動するので、こちらが度肝を抜かれるような行動に出ることも多い。 今日は、私が過去に遭遇したしんどいオッサンた
「おじさんLINE」ごっこが女子に流行中。そのキモい特徴とは | 女子SPA！
最近、若い女性の間で「おじさんLINEごっこ」が流行中です。 「おじさん達が若い女性に送りがちなLINE」を真似して友達同士で送りあったあげく、「マジキモイ」「クソウゼェwww」と震える遊びですが、これがなかなか特徴を掴んでいます。 私もおじさんからLINEをもらうことがありますが、女子達が簡単になりきれる「おじさんLINE」の特徴を検証してみました。 例：「おはよーミキちゃん、チュッ( *¯ ³¯*) こんど東京スカイツリーのぼろうよ！！ おじさんのスカイツリーも元気だよ(*/▽＼*)」 まずは絵文字の多用。LINEの絵文字ではなく、スマホに元々入っているデフォルトの顔絵文字は、おじさん達のLINEにありがちです。顔絵文字は、ニッコリ顔、目を瞑って笑っている顔、キス顔が特に人気のようです。 例：「今日は接待で酔っ払ちゃいました。 今タクシーで帰宅中です（^_^） ゆみちゃんはどんな1日だ
エンジニアとデータサイエンティストが連携し、ユーザーフレンドリーな広告を配信――「LINE Ads Platform」最適化の舞台裏とは？
LINEおよびLINE関連サービスに運用型広告を配信するための仕組み「LINE Ads Platform」。広告を掲載する企業にとってはより届けたい層に広告を届け、LINEを利用するユーザーにとってはより興味関心のある広告を届けるために、開発チームでは、エンジニアとデータサイエンティストが協力しあい、システムの最適化に日々、取り組んでいる。LINE Ads Platformの開発の裏側ややりがいについて、エンジニアの小川拡さんとデータサイエンティストの並川淳さんに話を聞いた。 ユーザーに親しみやすい広告を届けるため、LINE Ads Platformの最適化に取り組む LINEが提供する運用型広告配信プラットフォーム「LINE Ads Platform」。広告を配信したい企業が、予算や期間、ユーザー属性などの配信の条件を登録・入札すると、LINE Ads Platformによって広告が選定
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Monitoring Kafka w/ Prometheus
This document discusses monitoring Apache Kafka clusters and applications with Prometheus. It provides an overview of the architecture used, including deploying Prometheus servers, Kafka and HBase exporters, and a JSON exporter for YARN applications. Specific exporters are discussed for Kafka brokers using JMX, Kafka clients using the Prometheus Java library, and exposing application metrics via H
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LINE Computer Vision Research: As Is and To Be
Unification of Divided Data into Single Big Data Platform with 2000+ Nodes
mecab-ipadic-NEologd の効果的な使い方
ビッグデータを活用するための分析プラットフォーム 〜データ集計した先に求められる分析技術〜
ＬＩＮＥ：東京とＮＹで11月にも上場、野村､モルガンＳと協議 - Bloomberg
LINEの「インターン生の月給40万円」がお仕事中の社会人を動揺させる : 市況かぶ全力２階建
