パスワードのないログインを目指して 〜 ヤフーのFIDO標準化活動
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所の大神 渉です。 パスワードの代わりに生体認証などを使うシンプルな認証技術「FIDO」の標準化活動に携わっています。 2020年6月4日に、FIDOアライアンスから私が著者として関わった「White Paper: Multiple Authenticators for Reducing Account-Recovery Needs for FIDO-Enabled Consumer Accounts」というホワイトペーパー（FIDOのベストプラクティスや標準技術の活用に関してFIDOアライアンスが発行する文書のこと）が発行されました。 本記事では、私の経験をもとにヤフーがパスワードレス認証
社内勉強会で専門的技術力を高めるには
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部に所属している大津と申します。普段CDNとNode.jsサポートの仕事をしていて、第9代黒帯（ヤフー内のスキル任命制度／ネットワーク・セキュリティ）に任命していただいています。1 先日ヤフー社内で黒帯LT会が開催されました。お題目は事前に指定された「専門的技術力を極めるための極意」ということで、10分ほど話をしました。しかし、これまでみたいにセミナールームで大勢の前で話すわけではなく、最近代わり映えしない自宅デスクからのオンラインLTは、正直勝手が違いました。時間配分もミスって中途半端に終了です。と思いきや数日前、このYahoo! JAPAN Tech Blog担当者から「いやー、よかったですよ。そのネタ書
End-to-End音声認識の計算量を削減した話
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、音声処理黒帯（黒帯はヤフー内のスキル任命制度）の藤田です。今日のブログでは、音声認識技術の研究開発におけるヤフーの最新の取り組みを紹介します。 特に、近年注目されているTransformerという手法に基づく、End-to-End音声認識の計算量を削減した研究を紹介します。この研究は、難関国際会議IEEE ICASSP2020に投稿し、採択されました。また、arXivでプレプリントを公開しています。そして、ESPnetというEnd-to-Endモデルのツールキット上でソースコードも公開しています。興味のある方はぜひ、こちらもご参照ください。 音声認識で用いられるEnd-to-Endモデルとは？ 音声認識技術は音声をテキ
プッシュ通知のタイミングを制御する話 〜 ユーザーの空気を読む通知
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo! JAPAN研究所 坪内と申します。今日は通知の話です。 プッシュ通知に気づかなかったり、タイミングが悪くてイラっとしてしまうことはないでしょうか？ 最適なタイミングで通知する研究結果をご紹介します。 みなさんが目にする、ヤフーの広告の表示や、オススメの情報は、パーソナライズされています。つまり、過去のユーザーの行動履歴から「この人は釣りが趣味の人だ」と推測し、釣りに関するニュースや、釣竿のレコメンデーションをしています。これはプッシュ通知もしかりです。プッシュ通知は表示できる文字数や送信できる通知数に制限があります。ユーザーの興味などから、この人にはこの通知だ！ というのを送ります。ここまでは、広告やレコメンデーショ
大規模オンプレミスなヤフーのサーバーインフラの裏側 〜 サーバー調達や運用の流れを紹介します
OEM系→ODM系にシフトした背景ですが、1つは 価格競争力 です。 インフラにおいてプライスは重要な指標です。 また昔と今でヤフーのサーバーの買い方に違いがある事もポイントになっています。 昔のヤフーは、いろいろな部門が、いろいろな構成のサーバーを、いろいろなタイミングで購入していました。 この結果、納期面で有利なOEMを第一選択肢としていました。 またいろいろな構成のサーバーが入る事を考慮した結果、自営保守ではカバーしきれない範囲も多く、ベンダーが提供するサポートに依存している部分もありました。 しかし最近では 自社クラウド環境の普及により、決まった部門決まった構成決まったタイミングで購入するように になってきたため、 納期に関して余裕を持ったスケジューリングができるようになりました。 またクラウド環境で利用できるサーバーはかなりハイスペックなため、価格の数％の違いも大きなビジネスイン
複雑な乗換体験を直感的に！ 乗換案内アプリのデザイン
これらを鑑みると、 アプリの画面上では乗り入れ箇所で路線色が変わり、誤って降車するリスクがある 行き先が異なる複数の乗客に対して、駅員さんは「直通運転」であることはアナウンスできても「乗換不要」という案内はできない アプリの画面を見ているのは本人のみ、かつ目的地まで目視できるので「乗換不要」と伝える方が有益 このような経緯から、あえて「乗換不要」としています。 手法は大事、ユーザー視点はもっと大事 文言はサービス内で表現のズレが起きないよう、用語辞典を作成しています。「ルート/経路」「電車/列車/鉄道」など。ただし意味が伝わりづらい箇所では、表現のズレを許容しています。注意しなければならないのは、このようなフレームワークや手法などを優先して、ユーザー視点を見失わないようにすることです。 ワイヤとビジュアルを並行して行うことでUX品質を高める 路線情報チームのデザイナーは、ワイヤフレームとビ
逐次的単語分散表現学習ツールyskipの技術
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo! JAPAN研究所の鍜治です。本記事では、4月18日に公開されたオープンソースの単語分散表現学習ツールyskipに実装されているアルゴリズムincremental SGNSについて解説したいと思います。 単語分散表現の学習ツールとしてはword2vecなどが有名ですが、incremental SGNSは、そのword2vecに実装されている単語分散表現学習アルゴリズムの1つであるskip-gram model with negative sampling (SGNS)を、逐次学習可能な形に拡張したものになります。 Skip-gram model with negative sampling (SGNS) まずはincr
Callback を撲滅せよ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。言語サポート（Node.js）チームの伊藤（@koh110）です。 Node.js v10 も10月にLTSとなり async/await によるフロー制御は当たり前のように利用されるようになってきました。JavaScriptの非同期処理は async/await から覚える人も今後増えていくでしょう。今回はそんな非同期処理について、社内での事例を交えて記事を書いていこうと思います。 index Promise 化がなぜ重要なのか ユーザーに promisify をさせる落とし穴 Road to Promise まとめ Promise 化がなぜ重要なのか ちょうど3年前のアドベントカレンダーで、今後はいろいろなモジュー
ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
Apache Ignite新メモリアーキテクチャ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog シュティフ ロマン（データプラットフォーム） Apache Igniteコミッター @rshtykh はじめに 近頃、急激に増量していくデータはもはやタイムリー且つ正確なデータ処理を困難にする。そのような中で、複雑なETLを無くしてコストを削減でき迅速なデータ処理の可能性を実証するインメモリコンピューティング技術が注目されている。例えば、2015年からスタートしたIn-Memory Computing Summitだが、年１回の少人数イベントから、1年にインメモリシステムの開発者と利用者を２回集めるイベントまで発展してきた。 インメモリコンピューティングプラットフォーム（データベースシステム）では、なるべくメモリ上で高速なデータ処
高速ファイル/メッセージ転送システム K2HFTFUSE のパフォーマンスについて
このパフォーマンス計測で利用した方法にはそれぞれ理由がありますので、この計測方法に至った理由を以降で説明していきます。 また、環境に依存したパフォーマンス結果の違いや、他のプロダクトとの計測結果の違いなどについても説明します。 1Gbps ネットワークでの測定（ネットワークのボトルネック環境） 上記と同様に転送量の計測を目的としたテストを 1Gbps ネットワークで行った際の結果です。 結果的にネットワーク性能が不足している場合の挙動になります。 テスト環境 Xeon D-1541 2.1GHz 8コア,16スレッド 32GB MEM SATA SSD 400GB x1 / RAID 無 Network 1 Gbps テスト方法 転送量の計測は、10秒ごとに集約したファイルのライン数をカウントして計算値を出しました。 計測が終わるとファイルを削除して、作り直されたファイルに書き込んでいきま
Go 言語のプロファイル機能とネットワークコネクションにまつわるトラブルシューティング
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog インフラエンジニア見習いの森本です。これまで数年ほどサーバーサイドエンジニアとして開発ばかりをしてきた人が最近インフラエンジニアになりました。 3月末に開催された Go Conference 2017 Spring で開発チームの後藤から弊社で開発・運用している AWS S3 互換の分散オブジェクトストレージ Dragon についての発表がありました。 Goでヤフーの分散オブジェクトストレージを作った話 私は Dragon の運用を担うチームに所属しており、本稿ではその業務の中で発生したトラブルシューティングについて紹介したいと思います。 分散オブジェクトストレージ Dragon で発生していた課題 Dragon で gorout
Prometheus: Monitoring at ABYSS
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 2017年6月5日にYahoo! JAPANのオフィスでLucene/Solr勉強会が開催されます。（パチパチ) 「記念に何か書こう、とにかく書こう、なんかこう面白いやつ、いいから書こうぜ。俺たちよ。」という上司の笑顔に勇気をもらって書きます。(๑•̀д•́๑) 要約 Solr CloudにPrometheusを導入してシステム指標を収集した事例の紹介 背景 Yahoo! JAPANでは、Solr Cloudを利用した検索の共通基盤のABYSS2（第2世代）を社内に提供しています。2017年5月時点で、100以上のサービスに利用され、サーバー数は3000近くで、仮想サーバーや、必要に応じてベアメタルサーバーを利用して運用しています
Yahoo! JAPAN社内ISUCON「Y!SUCON」の問題をGitHubに公開しました
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Y!SUCON運営チームです。 前回に引き続き、2回目の社内ISUCONを開催いたしました。 前回はpixiv社内ISUCONの問題をお借りさせていただきましたが、今回はオリジナル問題を作成し、名前も「Y!SUCON」にリニューアルしました。 作成した問題、ベンチマーカー、ポータルサイトのソースコード及びそのプロビジョニングをGitHubに公開しております。ぜひご活用ください。 https://github.com/yahoojapan/yisucon 問題を作ってみて 今回初めてISUCONの問題を作ってみて、問題・ベンチマーカーを作る難しさを思い知りました。 ベンチマーカーのシナリオが不足していたり推測されやすいも
アジャイルとテスト自動化の現場2016
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 皆さんこんにちは。ヤフー株式会社の第6代黒帯（アジャイル開発プロセス）、伊藤 宏幸（@hageyahhoo）です。 システム統括本部 技術支援本部所属のアジャイルコーチ＆自動化コーチとして、社内各サービスによるアジャイルおよびテスト自動化の自発的な実現を日々支援しております。また、Scrum Alliance公認の認定スクラムプロフェッショナル（CSP）でもあります。 12月19日のAdvent Calendarを担当させていただきます。 今回は、特に今年、アジャイルコーチ＆自動化コーチとして現場で気付いた課題とその解決策について紹介します。皆さんの日々の仕事をより良くするための何らかのヒントになれば幸いです。 1. 仕事をしやす
最近のテスト自動化の社内外動向
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。黒帯として、社内でのテスト自動化推進をおこなっておりますシステム統括本部の山口（@teyamagu）です。 ここ数年、ソフトウエア開発やソフトウエアテストのトレンドの1つとして、テスト自動化に注目が集まっています。Yahoo! JAPANもそれらのトレンドに沿う形でテスト自動化を強化しています。 そこで本日は、Yahoo! JAPANのモバイルアプリのテスト自動化環境と、私や同僚が参加した海外カンファレンスなどでの最近のテスト自動化の動向について簡単にご紹介します。 Yahoo! JAPANのモバイルアプリのテスト自動化環境 モバイルアプリのテスト自動化の環境として、AppleからXCTest/XCUITest、Goo
FIDO認証の進化とさらなる応用展開 (第3回FIDOアライアンス東京セミナー講演)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Yahoo! JAPAN 研究所の五味です。 プライバシー・セキュリティ分野の研究開発の一環で、次世代認証技術に関する業界団体 FIDO (ファイド) アライアンス に参加し、グローバルな企業の方々と共に技術仕様の策定や技術の応用展開に取り組んでいます。FIDOアライアンスの 第1回東京セミナー に関しては、既に、約2年前のブログ「アイデンティティ管理とその動向」にてご紹介していました。 今回は、12月8日に虎ノ門ヒルズフォーラムでFIDOアライアンスにより開催されました第3回東京セミナーでの私の講演内容に関してご紹介いたします。 タイトルは「FIDO認証の進化とさらなる応用展開」で、FIDOアライアンスが技術仕様を策
高速ファイル/メッセージ転送 K2HFTFUSE の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Technical Yahoo の中谷です。 今回は、Yahoo! JAPANからオープンソースとして公開した高速ファイル/メッセージ転送システムの K2HFTFUSE の紹介をします。 K2HFTFUSEは、確実で高速なファイル/メッセージ転送を低コストで実現するために開発されたシステムです。 K2HFTFUSE（K2Hash File Transaction by FUSE-based file system）とは、FUSE（Filesystem in Userspace）によるユーザースペースでのマウント機能を利用したファイル/メッセージ転送システムです。 K2HFTFUSEは、仮想ファイルシステムを提供し、マウ
iOSアプリの不具合を申請なしで修正しよう
2017年3月8日現在、Rollout SDKを利用したアプリが、Apple社へのリリース申請時にリジェクトされる事象がApple Developer Forums上で報告されています。 こちらの記事で紹介しているRollout.ioの利用については自己の判断の下お願い致します。 [Apple Developer Forums] https://forums.developer.apple.com/thread/73640 こんにちは。 ヤフー株式会社ヤフオク!カンパニー ヤフオク!開発本部アプリ開発部の田中です。 皆さんはiOSアプリの開発をしていて、不具合などが見つかった際に アプリを素早く修正できたとしてもAppleの申請、審査に時間がかかってしまい 修正が反映されるまでに苦労をしたことはありますでしょうか？ 今回はそんな苦労から解放されるサービスを紹介させていただきます。 Roll
高次元ベクトルデータ検索技術「NGT」の性能と使い方の紹介
この結果を見て単語ベクトルが変わるとNGTの性能が変わってしまうように感じた方がいるかもしれません。しかし、実はこれらの単語ベクトルはデータの次元数や件数が違っているため、それぞれの条件をあわせてみる必要があります。興味がある方は論文を読んで見比べて欲しいと思いますが、ここで重要なことは、NGTが高い精度にも関わらず、せいぜい100ミリ秒程度で検索できるという規模感であるということです。その規模感を感じてもらうために、これらの実験結果をご紹介しました。この実験以外にも論文の中では単語ベクトルの応用としてアナロジーと呼ばれる合成ベクトルでの実験やその他の比較手法の比較、実験結果の考察などもありますが今回は割愛します。 これまで紹介した内容と同じような実験はLinux系のサーバーであれば公開しているExperimental softwareという実験プログラムを使うと簡単に試すことができます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
