画像解析でヘアカラー抽出、好みの色でヘアスタイル写真検索する実装紹介（Yahoo! BEAUTY事例）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部で画像処理エンジニアをしている伊藤です。Yahoo! BEAUTYで新たにヘアカラー検索機能がリリースされました。大量にあるヘアスタイルの写真を画像解析することで、細かい色味を指定しての検索ができるようになっています。 本記事では、これを実現するために実装したヘア領域抽出やカラー抽出といった画像解析技術を紹介いたします。 ※本記事のヘアスタイル画像は、Yahoo! BEAUTY ガイドラインに従い利用しています。 Yahoo! BEAUTY ヘアスタイル検索とは Yahoo! BEAUTYのヘアスタイル検索は、自分の理想のヘアスタイル、スタイリストを探すためのサービスです。ユーザーは、タグや条件を指定
新しいHTMLタグportal、Portals機能で変わるWebの遷移体験！ CDS2019で紹介されたヤフーの実装例 #UIUX
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。PayPayモールのエンジニア関と、Yahoo!ニュースのデザイナー萩野です。 皆様、突然ですがPortalsをご存じでしょうか。 Portalsとは、新しいHTML要素です。2019年11月11日〜12日にサンフランシスコで開催された「Chrome Dev Summit 2019」（以下CDS）でも紹介されました。 本記事では、Portalsが可能にする新しいWebでの体験をご紹介します。 Portalsとは？ なにができるの？ Webブラウザー上でユーザーにとって良い体験を提供するためには、表示速度の向上が欠かせません。 Portalsを利用すると、画面遷移の体感速度を向上させることが可能です。 まずはこちらの比較
ありがとう、MYM 安らかに眠れ - Yahoo! JAPAN Tech Blog
特筆すべきはボット数かもしれません。ボットは何らかの操作を自動で行うために作られたプログラムで動作するアカウントなのですが、なんとそのボットの数（14,000）がユーザーの数（18,000）に迫りつつあります。MYMのボットは通常ひとつの部屋にリンクしているため、おそらく同じような機能を持ったボットが大多数だと思われますが、ボット数 14,000 はインパクトのある数字ですね。 興味深い部屋の数々 MYMはこの8年間で計150,000の部屋が生み出されました。業務系・技術系・雑談系を問わず、異彩を放つ部屋は数え切れないほどあります。ここでは数多くの部屋の中でも、ひときわ特徴的な部屋を紹介してみようと思います。 もちろんすべての部屋を把握しているわけではないため、あくまで把握している範囲内での紹介となることをご了承ください。 トピックス編集 Yahoo!ニュース トピックスの編集業務に活用さ
JSON Web Token（JWT）の紹介とYahoo! JAPANにおけるJWTの活用
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。 IDソリューション本部の都筑です。 新卒2年目で普段はYahoo! ID連携のサーバーサイド、iOSのSDKの開発などを担当しています。 今回は最近ユーザーやデバイスの認証で用いられる”JSON Web Token（JWT）”についての解説と、Yahoo! JAPANと他社の活用事例を紹介したいと思います。 JWTとは？ JWTとはJSON Web Tokenの略称であり、属性情報（Claim）をJSONデータ構造で表現したトークンの仕様です。 仕様はRFC7519（外部サイト）で定められています。 特徴として、署名、暗号化ができ、URL-safeであることなどが挙げられます。発音は"ジョット"です。 JWTと関連す
WebAPIにおける「TLS 1.0」「TLS 1.1」のサポート終了について
※サービス環境とは、Yahoo!デベロッパーネットワークが提供し、通常お使いいただいているWebAPIの環境です。 「TLS 1.0」と「TLS 1.1」のサポート終了後は、サービス環境も検証環境と同じ動作となります。 検証環境の使い方 hostsの設定 検証環境のご利用にあたっては、以下のようにhostsの設定を変更してお試しください。 LinuxやFreeBSDであれば、 /etc/hosts を編集してください。 resolve オプションを利用できる curl コマンドで確認する場合は、 hosts の設定は不要です。 下記のhostsの設定は、ご自身の検証環境でお試しいただくことをお勧めいたします。サービスインしている本番環境での検証は、意図しない事故を伴う恐れがあります。 #ヤフーの検証環境のIPアドレス APIのFQDN 182.22.25.252 s.yimg.jp 183
高次元ベクトルデータ検索技術「NGT」のGo APIとサーバ機能のOSS公開
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 検索技術の森本と申します。 先日、高速な近傍探索を実現するソフトウエアであるNGT（Neighborhood Graph and Tree）とそのPython用インターフェースを公開しております。それに引き続いてgongtとngtdを公開しました。 アプリケーション開発を想定して開発にGo言語、サーバプロトコルとしてHTTPとgRPCを採用しました。Go APIとしてgongtとHTTP/gRPCサーバ機能を提供するngtdを公開しましたので、近似ベクトル検索エンジンのアプリケーション開発が容易になることを期待しております。 前回のPython用インターフェースの時に使ったgensimを使い、gRPCでPythonから登
ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
Go 言語のプロファイル機能とネットワークコネクションにまつわるトラブルシューティング
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog インフラエンジニア見習いの森本です。これまで数年ほどサーバーサイドエンジニアとして開発ばかりをしてきた人が最近インフラエンジニアになりました。 3月末に開催された Go Conference 2017 Spring で開発チームの後藤から弊社で開発・運用している AWS S3 互換の分散オブジェクトストレージ Dragon についての発表がありました。 Goでヤフーの分散オブジェクトストレージを作った話 私は Dragon の運用を担うチームに所属しており、本稿ではその業務の中で発生したトラブルシューティングについて紹介したいと思います。 分散オブジェクトストレージ Dragon で発生していた課題 Dragon で gorout
HDFS Erasure Codingの紹介とYahoo! JAPANにおける運用事例
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。Yahoo! JAPANでHadoopに携わっているエンジニアの浅沼です。Hadoopは大量のデータを分散処理するためのオープンソースソフトウエアです。この夏にリリース予定のバージョン3.0系には、HDFSの新機能であるErasure Codingが導入されます。Yahoo! JAPANではHadoopコミュニティーでErasure Codingの実装に参加してきました。本記事ではErasure Codingの仕組みを詳しく解説し、弊社での運用事例を紹介します。 既存のHDFSの課題 Hadoopの中核をなす分散ファイルシステムのHDFS（Hadoop Distributed File System）は、マス
高速ファイル/メッセージ転送 K2HFTFUSE の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Technical Yahoo の中谷です。 今回は、Yahoo! JAPANからオープンソースとして公開した高速ファイル/メッセージ転送システムの K2HFTFUSE の紹介をします。 K2HFTFUSEは、確実で高速なファイル/メッセージ転送を低コストで実現するために開発されたシステムです。 K2HFTFUSE（K2Hash File Transaction by FUSE-based file system）とは、FUSE（Filesystem in Userspace）によるユーザースペースでのマウント機能を利用したファイル/メッセージ転送システムです。 K2HFTFUSEは、仮想ファイルシステムを提供し、マウ
ヤフーの社内システムを紹介します
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。情報システム本部の伊藤（@koh110）です。 社内システムの開発、運用を担当しています。 弊社は10月に本社を東京ミッドタウンからガーデンテラス紀尾井町へ移転しました。 情報システム本部では本社移転に合わせ4つの社内システムをリリースしました。 今日はこちらのシステムについて紹介をさせていただこうと思います。 社内位置情報システム（pozzy） このシステムは社内のWi-Fiにつながっている端末を検出し、人の位置情報を検索できるようにします。 ヤフーでは全社員にPCとiPhoneを貸与しています。これらの端末は各端末に発行された証明書によって社内のWi-Fiに自動で接続されるように設定されています。 この情報を利用し
ハイパフォーマンスでスケーラブルなメッセージングシステム：Pulsarの紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに Pub-Subとは 用語の定義 システム構成 Hello World おわりに 緊急告知 参考 はじめに こんにちは。システム統括本部プラットフォーム開発本部の栗原と申します。 2016年9月、Yahoo! Inc.からPulsarがOSSとして公開されました。Pulsarは高い配信信頼性/パフォーマンス/スケーラビリティを誇るPub-Subメッセージングシステムです。Yahoo! Inc.において開発され、これまでYahoo! Inc.のメール、ファイナンス、スポーツなど主要サービスにおいて、メッセージを高速かつ消失することなく配信するために利用されて来ました。 Pulsar開発者によって書かれた技術ブログ：Open-
openssl-1.0.2による性能向上
初稿ではAVX2による効果ではないかと記述をしておりましたが、stitchedではなく、multi bufferのサポートやその他要因が混合しており数値検証が完全ではないという指摘をいただきました。 記事内容の訂正を行います。検証が不十分なままの掲載となり申し訳ございません。また、数値や技術的な裏付けは今後再検証を進めていこうとおもいます。 サイトオペレーション本部（＊1）を兼務させていただいている匿名希望の社員Mです。 私はハードウエアとソフトウエアの両面から指数関数的に増えるデータ処理にコツコツ対応する仕事をやっております。 今回の取り組みは以下の投稿に影響を受けた取り組みです。 Accelerating SSL Load Balancers with Intel® Xeon® v3 Processors https://software.intel.com/en-us/article
オープンソース化するハードウェア 〜ヤフーがOCPサーバを導入するまで〜 - Yahoo! JAPAN Tech Blog
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データセンターのサーバを管理しています宮本です。 今回はOpen Compute Project（以下、OCP）の概要とヤフーがOCP仕様のサーバ（以下、OCPサーバ）を導入するまでに至った経緯をお話したいと思います。 オープンソースとハードウェア オープンソースという言葉はよく耳にしますが、この「みんなで作り上げていく」という考え方はハードウェアの世界にも浸透してきています。 ソフトウェアでオープンというとソースコードの共有にあたりますが、ハードウェアのオープンソースは物理的な仕様の設計書を共有することを意味します。 Facebookが2011年にデータセンターやサーバのオープンソース化を目的としてOpen Comp
分散システム処理モデルに関する動向について（MapReduceからBorgまで）
詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま
細かすぎて伝わらないSSL/TLS
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 「細かいと言うより長いよね」 はじめに こんにちは。ATS の脆弱性を発見した小柴さんや ATS に HTTP/2 の実装を行っている大久保さんと同じチームの一年目、匿名社員M さんからいじられている新人です。今回ありがたい事に、こういったすごい方々を含めモヒカン諸先輩方より「何か書かないの？」「いつ書くの？」という数々のプレッシャーお言葉をいただきました。 というわけで、SSL/TLS の Session 再開機能に関して書いていこうかと思います。 SSL/TLS は機密性、完全性そして真正性に対して安全な通信を行うための仕組みです。しかし、この仕組みは暗号技術を多用し特に接続において複雑なプロトコルを用い、Client, Se
テクノロジー組織文化の醸成の記録 - 決済金融カンパニーの取り組み
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog メリークリスマス！ 決済金融カンパニーの技術責任者をしております、藤門（@mikanmarusan）と申します。 Yahoo! JAPANとしては初めての試みとなりましたAdvent Calendarですが、みなさんお楽しみいただけましたでしょうか？ 私個人としましては、大規模インフラ開発からアプリ開発、さらにはデータサイエンスといった広範囲にわたる技術領域の話を日々眺めることができて、Yahoo! JAPANが挑戦している技術課題の広さと深さをあらためて実感できる、充実したAdvent Calendarになったのかなと思っています。 Yahoo! JAPAN Tech Advent Calendar 2014 も本日でいよいよ最
「Cassandra Meetup in Tokyo, Fall 2014」の登壇資料を公開します
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフー株式会社の鄭です。先日弊社のセミナールームで開催された、DataStax社主催のイベントCassandra Meetup in Tokyo, Fall 2014で、弊社におけるCassandraの利用事例について発表しました。 当日はあいにくの雨にもかかわらず約50人の方にご来場いただき、DataStax本社より来日してくださったエバンジェリストのAl Tobeyから米国でのCassandra事情について話していただいた他、弊社を含む3社におけるCassandraの活用事例について発表がありました。 発表したのはウェブサービスを提供している弊社、システムインテグレーターのウルシステムズ、携帯キャリアのソフトバンク
Yahoo! JAPAN における HTTP/2 への取り組み
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。システム統括本部 プラットフォーム開発本部 エンジニアの大久保諒です。 Yahoo! JAPAN のサービス利用者の皆様に、より高速にコンテンツをお届けするためのキャッシュ・プロキシサーバー関係の開発業務に携わっております。 本記事ではオープンソースの HTTP キャッシュ・プロキシサーバー Apache Traffic Server で HTTP/2 通信を可能とする為の機能追加を行いましたので簡単にご報告致します。 HTTP/2 の基本的な解説に関しては 前回の記事 にまとまっています。ぜひそちらをご覧の上で本記事をご覧ください。 本件の実装は Apache Software Foundation にパッ
PHPカンファレンス2013参加レポート
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo!デベロッパーネットワークの中野(@Hiraku)です。先日お伝えした通り、2013/9/14(土)にPHPカンファレンス2013が開催され、Yahoo! JAPANも参加しました。 トラックが複数走る大ボリュームで、当日全体のレポートはとても書ききれないので、技術評論社さまによる当日レポートや、Togetterのまとめ、USTREAM 一階奥会場、USTREAM 二階小展示ホール、USTREAM 六階会議室などを合わせてご覧いただければと思います。 この記事では、Yahoo! JAPANとしてどのような発表をしたのか、セッションについての補足などが書ければと思います。 セッションレポート PHPコアから読み解く定石の嘘
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
