はてなブックマーク

研究員の渡辺（@watasan） です。 先日、ペパボ研究所のメンバーが社内で実施した、新卒エンジニア向け機械学習研修についてご紹介します。 ペパボ研究所は2020年から、新卒エンジニア研修1の一環として機械学習研修を実施しています2。 今年で3年目となりますが毎年アップデートを重ねており、今年はより「ペパボらしさ」の強い研修となりました。 このエントリでは本研修の目的やコンテンツについてご紹介できればと思います。 本研修の位置付けと目的 GMOペパボ（以降ペパボ）では、新卒入社したエンジニアに向けて、様々な技術要素について「現時点で一番良いやり方」を学んでもらうための研修を毎年行っています2。 フロントエンド、バックエンド、インフラ、セキュリティなど、Webサービスを構築するための技術に関して「現時点で一番良いやり方」を学ぶことが研修全体のゴールとして設定されています。 この新卒エンジニ

ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 ペパボ研究所では、新卒のエンジニア研修の一環として、2020年7月13日から5日間に渡って機械学習入門の研修を担当しました。 本エントリでは、研修内容をスライドと共に紹介します。 GMOペパボの新卒エンジニア研修における機械学習研修の位置付け GMOペパボの新卒エンジニア研修は、5月のGMOインターネットグループでの合同研修プログラム（GMO Tech Bootcamp）と、6〜7月のGMOペパボでの研修プログラムから構成されています。 6月以降の研修では、Webアプリケーション、フロントエンド、セキュリティ、コンテナとデプロイなど様々な技術要素についてプログラムが組まれており、今年から機械学習研修がこれに連なることになりました。 VP of Engineering 兼技術部長の @hsbt の言葉

ペパボ研究所 研究員／プリンシパルエンジニアの三宅(@monochromegane)です。 ペパボ研究所では、新卒のエンジニア研修の一環として、2020年7月13日から5日間に渡って機械学習入門の研修を担当しました。 本エントリでは、研修内容をスライドと共に紹介します。 GMOペパボの新卒エンジニア研修における機械学習研修の位置付け GMOペパボの新卒エンジニア研修は、5月のGMOインターネットグループでの合同研修プログラム（GMO Tech Bootcamp）と、6〜7月のGMOペパボでの研修プログラムから構成されています。 6月以降の研修では、Webアプリケーション、フロントエンド、セキュリティ、コンテナとデプロイなど様々な技術要素についてプログラムが組まれており、今年から機械学習研修がこれに連なることになりました。 VP of Engineering 兼技術部長の @hsbt の言葉

ペパボ研究所 研究員の野村（@komei）です。 ペパボでは、自社が運用するウェブサービスのユーザの行動ログや属性情報などを収集・分析・活用するための基盤として「Bigfoot」を運用しており、今年Google Cloud Platform（GCP）を使った構成への移設を行いました。 本記事では、Bigfootの移設先であるGCPを用いて形態素解析を行う方法についてお話しします。 形態素解析を行う動機 ペパボでは、ユーザの行動ログや属性情報だけでなく、ユーザからのお問い合わせや商品情報など様々なデータをBigfootに蓄積しています。 これらのデータの中には、ユーザからのお問い合わせの文書や商品の説明文などの日本語の文書データも多く含まれています。 このような文書データから意味のある情報を抽出し活用するためには、まず文書に含まれている単語を把握する必要があります。 そして、TF-IDFやw

研究員の @zaimy です。ペパボ研究所では、自社が運営するウェブサービスのユーザーの行動ログや属性情報を収集・分析・活用するための全社基盤「Bigfoot」を技術基盤チームと協力して開発・運用しています。 Treasure Data をバックエンドとして2016年に運用を開始したこのシステムを、今年 Google Cloud Platform（以下 GCP）を中心とした構成に移設しました。この記事では移設に至った理由、移設時の工夫、移設後の構成などについてお話します。 目次 Bigfoot とは 移設前の構成と移設に至った経緯 GCP の選定理由 BigQuery の存在 AI Platform の存在 コスト 移設時の工夫 データウェアハウスの並行運用 ワークフローの二段階移行 行動ログのスキーマ設計 移設後の構成 bigfoot/platform bigfoot/cloud-com

ペパボ研究所客員研究員の力武健次（りきたけ・けんじ）です。この記事では、ここ10年ほど力武が研究対象の1つとしてきた、コンピュータで扱うランダムネス（乱雑さ）と物理乱数の扱い方について述べます。（文中敬称略） コンピュータとランダムネスは相性が悪い ランダムネス（randomness）は日本語では「乱雑さ」と訳され、一切の法則性を持たず、予測が不可能な状態のことを指します。コンピュータは基本的に人間がプログラムした通りに動き、それ以外の動作をしないことが前提となっている機械ですから、ランダムネスから最も遠い存在です。 しかし、あらゆるものが事前にプログラムされ、予定調和となっている決定的なアルゴリズム手法だけでは、現実の問題には対応できません。いくら周到に準備しても予定外や想定外のことが起こるのは不可避である以上、これらに対して可能な限り備えてプログラムを書く必要があります。そのためには、

ペパボ研究所 研究員の野村(@Komei5296)です。2018年12月6日と7日に米子コンベンションセンターで開催された、第11回インターネットと運用技術シンポジウム（IOTS2018）で、研究発表を行いましたので紹介します。 Webアプリケーションテストを用いたSQLクエリのホワイトリスト自動作成手法 Webサービスでは、Webアプリケーションの脆弱性を利用してデータベースに不正クエリを発行し、機密情報を窃取する攻撃が発生します。 ここでいう不正クエリとは、攻撃によって生じる開発者の想定外のクエリのことを指します。 このような攻撃からデータベース上の情報を保護するために、不正クエリを検知する方法が必要となります。 不正クエリを検知する方法として、Webアプリケーションが発行するクエリを手動でホワイトリストに登録し、そのリストに合致しないクエリを検知する方法があります。 しかし、この方法

チーフエンジニア兼主席研究員のまつもとりー(@matsumotory) です。2018年7月4日から3日間に渡って開催された、マルチメディア、分散、協調とモバイル(DICOMO2018)シンポジウムで、ペパボ研究所から2件の発表を行いましたので、論文(研究会予稿)とスライドと共にそれぞれの発表者が紹介します。 精緻に制御可能な恒常性のある高集積マルチアカウント型のメール基盤 本発表では、高集積マルチアカウント型のメール送受信システムを安定化するために、精緻にセッション情報を解析でき、適応的にメールの流量制御やリソース制御を行えるメール基盤の設計と実装について述べました。 メールアドレスのドメイン単位でメールの流量を制限するために、メールに関するセッションを受信した時点で、リアクティブに該当ドメイン専用のメールサーバプロセスをLinuxコンテナ上で一定期間起動させ処理を行います。 メール流量

チーフエンジニア兼主席研究員のまつもとりー(@matsumotory) です。2018年6月28日から2日間に渡って開催された、第42回インターネットと運用技術研究会(IOT42)で、ペパボ研究所から2件の発表を行いましたので、論文(研究会予稿)とスライドと共にそれぞれの発表者が紹介します。 HTTPリクエスト単位でインスタンスの再配置が可能な低コストで高速なスケジューリング手法 我々は、アクセス数や負荷に応じて反応的かつ高速にリソースをインスタンスを再割当てすることで、サービス利用者や事業者に手間を強いることなく突発的なアクセス集中に耐えうるFastContainerアーキテクチャをこれまで提案してきました。 一方、可用性の面では、依然として単一のインスタンスの場合、そのインスタンスが収容されている物理サーバが正常に稼働していることが前提であり、収容サーバが停止すると、手動によるインスタ

GMOペパボ株式会社 技術部デザイン戦略チーム データサイエンティストの財津(@zaimy) です。データ分析基盤の構築やデータ分析、機械学習モデルの開発、ペパボ研究所での研究・研究事務・研究広報をやっています。 2018年5月17日から2日間に渡って開催された、第41回インターネットと運用技術研究会(IOT41)で、ペパボ研究所から3件の発表を行いましたので、論文(研究会予稿)とスライドと共にそれぞれの発表者が紹介します。 HTTPリクエスト単位でコンテナを再配置する仮想化基盤の高速なスケジューリング手法 ペパボ研究所主席研究員兼チーフエンジニアの松本です。 今回の研究発表では、仮想化基盤におけるインスタンスの可用性を担保するために、複数サーバに複数インスタンスをホットスタンバイ方式で待機させるような手法ではなく、 インスタンス上でWordPressのような一般的なWebアプリが動作可能

ペパボ研究所主席研究員兼チーフエンジニアの松本です。Twitter上ではまつもとりー(@matsumotory)と呼ばれています。 2018年の3月5日から2日間に渡って開催された、第40回インターネットと運用技術研究会(IOT40)で、九州大学との共同研究の進捗について研究報告してきました。また、その研究会の中で、クックパッドの吉川さん(@rrreeeyyy)に「Web サービスの信頼性と運用の自動化について」というタイトルで招待講演をして頂きましたので、それらについて紹介します。 論文(研究会予稿)とスライドを以下に公開します。 九州大学の笠原先生の研究報告 研究会予稿 軽量コンテナに基づく柔軟なホスティング・クラウド基盤の研究開発と大規模・高負荷テスト環境の構築 スライド 発表後の感想 本発表では、九州大学とペパボ研究所が共同研究の中で議論を行い、FastContainerとしての研

GMOペパボ株式会社 技術部 データアナリストの財津 (@zaimy) です。ハンドメイドマーケット「minne」のデータ分析基盤の構築やデータ分析、機械学習モデルの開発、ペパボ研究所の研究事務・研究広報を担当しています。 この度、ペパボ研究所と、九州大学 情報基盤研究開発センターの共同研究開発チームによる、「mrubyを利用した軽量コンテナクラウド基盤の研究開発を介したmrubyの大規模・高負荷テスト」プロジェクトが、2017年度Ruby Association開発助成の対象として採択されたので、その内容をお伝えします。 ウェブホスティングの課題とペパボ研究所の取り組み 現在では、法人・個人を問わず、Webサイトやアプリケーションを制作・公開することができますが、ウェブホスティングにおける突発的なアクセス集中などの高負荷への対応について、容易に利用できるレンタルサーバ（共用サーバ）では利

ペパボ研究所主席研究員の松本です。Twitter上ではまつもとりー(@matsumotory)と呼ばれています。2017年の9月13日に開催された、IEICEソサイエティ大会の「AIを活用したネットワーク運用技術」で「なめらかなシステムに向けた Webサービス基盤技術とAI技術の活用」というタイトルで登壇し、その後、大阪市立大学、NTT研究所、NEC研究所、KDDI総合研究所の方々とトークセッションをしてきました。 前半での「なめらかなシステムに向けた Webサービス基盤技術とAI技術の活用」という発表では、主にペパボ研究所のテーマである「なめらかなシステム」の概要と、それらをWebサービスに適用していく中で、AIを活用するアプローチとWebサービス基盤そのものを作り上げていくアプローチがあり、それぞれに関する研究の紹介を行いました。まだまだ、AIの活用というよりも、AIの中の機械学習やデ

こんにちは、研究員の三宅です。インターネットでは @monochromegane として活動しています。2017/06/24に開催された、第38回インターネットと運用技術研究会で、機械学習を用いた仮想サーバ運用台数の最適化について研究発表してきました。論文(研究会予稿)とスライドを以下に公開します（論文画像をクリックするとPDFで読むことが出来ます）。 論文(研究会予稿) スライド 研究の概要は以下の通りです。 従量課金を主としたクラウドサービスでは，処理性能を保ちつつ必要最小限数の仮想サーバで運用し利用料金を抑制することがWebサービスの運営者の課題である．しかしながら，複雑化したWebアプリケーションにおいて適切なオートスケーリング契機の基準決定は困難である．本報告では，Webアプリケーション構成の複雑さに依存しない指標として一定時間あたりのアクセス頻度であるスループット値を用い，We

ペパボ研究所主席研究員の松本です。Twitter上ではまつもとりー(@matsumotory)と呼ばれています。2017年の6月24日に開催された、第38回インターネットと運用技術研究会で、「FastContainer: Webアプリケーションコンテナの状態をリアクティブに決定するコンテナ管理アーキテクチャ」について研究発表してきました。 論文(研究会予稿)とスライドを以下に公開します（論文画像をクリックするとPDFで読むことが出来ます）。 論文(研究会予稿) スライド FastContainerを一言で表現すると、コンテナの状態遷移（停止・起動・複製・資源割り当ての変更処理など）の速度を効率化することに着目し、システム全体として恒常性を持ち、コンテナが高速に循環可能なWebサービス基盤を実現することによって、突発的なアクセス集中やライブラリのバージョンアップのような運用について効率的に対

こんにちは、研究員の三宅です。インターネットでは @monochromegane として活動しています。2017/05/25-26で開催された、第37回インターネットと運用技術研究会で、類似画像による関連商品検索システムについて研究発表してきました。論文(研究会予稿)とスライドを以下に公開します（論文画像をクリックするとPDFで読むことが出来ます）。 論文(研究会予稿) スライド 研究の概要は以下の通りです。 BtoCのECサイトで取り扱う商品の種類の増加に伴い，ECサイト利用者の通常の行動では全ての商品を見て回ることは困難であるため，多くのECサイトでは効率的に商品を閲覧できるよう関連性のある商品を動線上に表示している．購買履歴等の情報が蓄積されないと関連商品を選定できない問題を解決するため，商品の持つ様々なメタデータを利用する手法や，視覚的な訴求力の強い商品画像を元にした，畳み込みニュ

ペパボ研究所主席研究員の松本です。Twitter上ではまつもとりー(@matsumotory)と呼ばれています。2017年の5月25日から2日間にわたり開催された、第37回インターネットと運用技術研究会で、高集積マルチテナントWebサーバの大規模証明書管理について研究発表してきました。論文(研究会予稿)とスライドを以下に公開します（論文画像をクリックするとPDFで読むことが出来ます）。 論文(研究会予稿) スライド 研究の概要は以下の通りです。 インターネットの利用に際して，ユーザーや企業においてセキュリティ意識が高まっている．また，HTTPのパフォーマンス上の問題を解消するために，HTTP/2がRFCとして採択された．それらを背景に，常時HTTPS化が進む中で，高集積マルチテナント方式のWebサーバで管理している大量のホストもHTTPS化を進めていく必要がある．同方式は単一のサーバプロセ

ペパボ研究所客員研究員の力武健次（りきたけ・けんじ）です。この記事では3月23日〜24日に米国サンフランシスコで行われたErlang and Elixir Factory SF Bay Area 2017と、4月1日に東京・秋葉原で行われたElixir Conf Japan 2017の参加報告をします。（文中敬称略） Erlang and Elixir Factory SF Bay Area カンファレンス Erlang and Elixir Factory SF Bay Area (EEF)カンファレンスは、ErlangやElixirといったErlang VM上の並行プログラミングシステムのコンサルティングを行っているErlang Solutions社が同社主催のイベントシリーズの1つとして2009年から米国カリフォルニア州サンフランシスコ近郊で行っているイベントです。会議の内容は、Er