Fluentdのプラグインを作ってBigQueryにログを挿入するコストを1/3にした話 - pixiv inside
こんにちは。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 この記事では、Fluentdにて収集したログをBigQueryに挿入する際に使用しているプラグインを置き換えることによって、高スループットかつ低コストを実現した話について紹介します。 背景 pixivではアクセスログやアプリケーションログ等をBigQueryに収集し、分析できるような仕組みを構築しています。 BigQueryへアクセスログを挿入する際はFluentdとそのプラグインであるfluent-plugin-bigqueryを用いて直接BigQueryへ書き込むようになっていたのですが、その際にログ欠損が起こることが問題となっていました。 ログの欠損はピークタイムで発生しており、そのピークタイムのログの流量は概ね毎秒30000logとかなり多く、実際Fluentdのworkerプロセスが1work
ピクシブの技術と文化を伝える「PIXIV MEETUP 2023」開催レポート - pixiv inside
こんにちは、CTOのharukasanです。2023年9月29日、ピクシブでは3年ぶりのオンサイトカンファレンスとなるPIXIV MEETUP 2023を開催しました。ご参加いただいたみなさま、誠にありがとうございます。 このミートアップでは、単にサービス紹介や技術的知見を一方的に共有するだけではなく、参加者の皆さんとたくさんのコミュニケーションをとり、そこから新しい何かが生まれることを重視しました。各ピクシブメンバーがそれぞれのゲストをアテンドし、会場でたくさんお話をさせていただくことができました。 当日の模様やセッション内容については、この記事をはじめとして今後さまざまな形でご紹介していきますので、そちらもぜひお楽しみください。 PIXIV MEETUP2023のビジョン 「創作活動を、もっと楽しくする。その想いと技術がつながる場所。」 本ミートアップは、ピクシブが掲げる「創作活動を、
「伝統薫る文化の商都、博多で暮らす」社内制度”福岡オフィス出勤実践パス”利用で得た業務エクスペリエンス - pixiv inside
ピクシブには東京オフィスと福岡オフィスの2つの拠点があります。 仕事としては長らくのハイブリッド勤務で自宅からの業務メンバーが80%以上を占めるため場所を問わずフラットな業務ができている状況です。 福岡オフィスは開設から6年が過ぎ、この拠点を中心としたチームならではの雰囲気や習慣が文化として根付いており、それはよいことであるとともに、拠点ごとのノンバーバルな認識の食い違いや考慮漏れなどはどうしてもでてきます。とくに人数シェアとしては福岡オフィス側が人数としては1割未満と小さいため、得てして東京ローカルのコンテキストで突き進みがちです。 そういうことを懸念した福岡オフィスマネージャーの発案で、とにかく「一度福岡に行って、一週間程度出勤する」ことのハードル下げて、百聞は一見にしかずを実践できる”福岡出勤実践パス”が出来上がりました。 この記事ではその発案にいち早く乗っかった2名の体験をお伝えし
リリース予告の理想と現実〜オーナーギフト機能リリースの舞台裏から〜 - pixiv inside
プロダクトマネージャーのwatasukeと申します。 2023/6/15、BOOTHで「オーナーギフト機能」を数ヶ月前に予告したうえでリリースしましたが、その舞台裏についてお話いたします。 🎉ショップオーナー向けギフト機能アップデート🎉 自分のショップのダウンロード商品について、ギフト用URLを注文手続きなしで発行できるようになりました！ プレゼント企画やご友人・知人へのシェアなど、さまざまな場面でご活用ください！🎁 ▼詳細はこちらhttps://t.co/agtHmZaRsD pic.twitter.com/Ef24ah25NX— BOOTH公式 (@booth_pm) 2023年6月15日 ギフト機能 ダウンロード商品を購入し、発行されるギフト用URLを使って第三者に贈ることができる機能 オーナーギフト機能 ショップオーナーであればダウンロード商品のギフト用URLを無料で発行でき
ピクシブにおける不当な目的での作品取得行為に対する対策技術について - pixiv inside
CTOのharukasanです。 pixivをはじめとするピクシブが運営している各サービスにおいて、ユーザーの投稿した作品を不当な目的を持って取得する行為から守ることは、プラットフォームとして重要な責務のひとつであるとピクシブは考えています。これまでもピクシブでは、作品が不当な目的で大量に取得されないよう機械的なクローリングを検知し、ブロックするために様々な手段を講じてきました。この記事では、現在行っている対策と、今後実施していくために現時点で取り組んでいる施策についてご説明します。 English version is available here これまでに実施している不当な目的での作品大量取得への対策について ピクシブでは不当な目的で作品を大量取得されることを防止するため、基本的な対策に加え、様々なソリューションを導入しています。ここでは特徴的な技術についていくつかの例を紹介します。
新組織発足で行った「集中討議」を支える仕込みの技術 - pixiv inside
おはようございます。bashです。2/22 水曜日の朝です。 ピクシブでは様々な事業を複数の事業部に整理し、協力・分担して運営しています。 www.pixiv.co.jp 事業運営を支えて企業理念達成を加速するべく、新しい組織である経営企画推進部（以下 🍰 *1 )が2023/01/01付けで発足しました。 この記事では、その🍰の部署発足に際して行った「集中討議」の段取りについてご紹介します。 経営企画「推進」部？ 集中討議の狙い 「段取り八分」 参加者 場所選び インプット収集 ルール整備 当日 この先について 参考資料 補足：筆者の立ち位置 補佐とは？ 経営企画「推進」部？ 「経営企画」というと、経営戦略策定して各事業・各機能に展開していく頭脳集団のようなイメージがあるかと思いますが、ピクシブではCxO陣と事業部長陣が取り組みを企画し、それをもとに経営目標が定められています。その方
1000人規模を支えるシステム環境作りを目指す、コーポレートエンジニアチームにインタビューしました！ - pixiv inside
みなさん、こんにちは。技術広報室におりますkamikoです。 2022年10月現在、ピクシブ株式会社の社員数は281名、アルバイトを含めると300名を超える規模にまで成長しました。また今後も積極的に採用を続けていく予定です。 社員規模が大きくなれば、社内制度の整備も必要不可欠となりますが、そこで活躍してくれるのがコーポレートエンジニアチームのメンバーです。 本日はチームの中心として業務を担うエンジニア3名にインタビューを行い、皆様にお届けしたいと思います。 自己紹介 kamiko ) 皆様、本日はよろしくお願いいたします！まず最初に自己紹介からお願いできますか！ sugiyan ）技術開発本部コーポレート基盤でマネージャ代行をやっているsugiyanです。入社2年目になりました。ピクシブのコーポレートエンジニアとしては採用第一号です。入社してから社内IT周りの運用を行いつつ、コーポレート基
社内ラジオを1年間運営し続ける秘訣 - pixiv inside
こんにちは、アドプラットフォーム事業部でアナリティクスエンジニアをしているucchi-です。 ピクシブでは社員向けの情報発信やコミュニケーション促進のために「社内ラジオ」という社内番組を運営しています。 本日は社内ラジオを1年間運営し続けて得た気付きや知見をシェアします。 背景 新型コロナウイルスでリモートワークが進む中で、社内コミュニケーションの場が減り、社内の情報共有の機会が失われる、という課題がありました。 そこで、社内の情報共有の場所を増やすため、2021年2月に社内ラジオという社内番組がスタートしました。 社内ラジオの詳細 社内ラジオはGoogle Meetライブストリームを用いて社員向けに配信する番組です。 発表者(社員)が自発的にチームの成果やドメイン知識などを持ち寄って発表しています。 全社員が参加する会議が終わった後、毎週水曜の昼12:00〜12:45に放送しています。
大規模ふりかえり会を支えるファシリテーターとしての舞台裏 - pixiv inside
高信頼性ソフトウェアエンジニアリング研究会 bashです。 ふりかえりは今日ポピュラーなものとなっておりピクシブでも各チームでよく行われています。 この記事では今年にわたしが主導した大規模ふりかえり会。その開催プロセスについて、ファシリテーターとしての舞台裏をお伝えします。 ふりかえりとは コンセプト作り 進め方の考案 ふりかえり手法選択 本番準備 終わってみて ふりかえりとは わたしが長年バイブルとしているドキュメントにプロジェクトファシリテーション実践編 ふりかえりガイドがあります。 ここでは、ふりかえりとはこのように定義されています。 ふりかえりとは、「過去の学びを、幸福な未来を作ることに活かす行為」のことです どのような取り組みであってもよりよい未来を作る学びがあります。取り組みが大きくなれば学びはより大きなものなっていきます。 今回行ったものもその例外ではなく、今後糧としなければ
事業部横断でソフトウェア品質・テストの技術を研鑽する場 t-software-qualityのご紹介 - pixiv inside
高信頼性ソフトウェアエンジニアリング研究会 bashです。 ピクシブでは、何を実現すべきかの探索から、設計・実装・テスト・リリース、そしてフィードバックを得て再考するというすべてのアクションをプロダクトチームで包括的に担当する、いわゆるフルサイクル開発の文化が根付いています。 プロダクトチームで共通的に必要になる様々な関心事は、技術互助会と総称される社内コミュニティ的な集まりがあり、それぞれ興味のあるメンバーが自発的に集まって定期的に交流しています。 今日はその中のひとつ、ソフトウェア品質・テストに関する技術互助会「t-software-quality」活動を知ってもらおうと考え、この活動のキーパーソンであるkumaとpnlyの2名にインタビューしました。 自己紹介をお願いします kuma 2020年4月にエンジニア職で新卒入社しました。pixiv.netの小説機能開発を行った後、現在はp
2022年に向けたコーポレートエンジニアリングと社内IT整備活動のご紹介 - pixiv inside
コーポレートエンジニアリング・社内IT分野の責任者を務めておりますbashです。 2020年にこのような記事を出しておりましたが、その後ご無沙汰しておりました。 inside.pixiv.blog 同様の設問で当時と2022年に向けた現在のdiffとこの先の展望についてご紹介します。 現在のチーム体制を教えていただけますか メンバー構成 チームワーク 今後取り組みを広げるにあたり、手が足りていない領域はどこだと思いますか？ 目標・今後の整備 コーポレートエンジニアリング業務を行う上でのやりがいはどんなところですか？ 未来のチームメンバーに、何かメッセージはありますか？ 現在のチーム体制を教えていただけますか 2020年当時は責任者含めて兼務者2名 現在は責任者は別事業部兼務あり メンバーはフルタイムコミット4人で構成 この通り圧倒的な戦力増強を果たしました。 メンバー構成 昨冬から今夏にか
pixivのブックマークに関する負荷対策をしました - pixiv inside
10/22(金) 追記 この記事で解説している内容について解説する勉強会を開催することとなりました。以下のconnpassよりお申し込みください。 pixiv.connpass.com 10/22(金) 追記 pixivのブックマークについて ブックマークDBの問題について 具体的な対策内容 論理削除廃止・index追加・ブックマークタグのテーブル分割 適応ハッシュインデックスの無効化 アプリケーションコードのリファクタリング・全発行クエリの列挙と見直し 大きな更新処理の非同期化 結果 あわせてよみたい pixivではサービスの成長に伴い、気に入った作品に対して付けることができるブックマークの総数が急速に増加しており、ユーザーの皆様に滞りなくサービスを提供し続けるためブックマークに関するデータベース(以後DB)の負荷対策が必要になりました。 2021年2月より対策を行うプロジェクトを発足し
ピクシブオフィスを紹介します！オフィス改装の裏側とその後 - pixiv inside
こんにちは。17新卒のhnpnです。 2019年5月に、ピクシブ株式会社（以下ピクシブ）はオフィスフロアを移転し、5Fと6Fの2フロア体制となるとともに、オフィスを改装しました。 www.pixiv.co.jp そこで今回は、オフィス改装プロジェクトの中心となった、デザイナーのyspさん、総務部のkantokuさんbecciさんに、改装の裏側についてインタビューしました！ 本日はよろしくお願いします。まず自己紹介をお願いします。 ysp 10年ぐらい前に入社して、ずっとピクシブのデザイン業務に携わってます。今はVRoidプロダクト周りのデザインを担当しています。最近Twitterで、3文字アカウントの@yspをよこせって言ってくる方が一定数いて困ってます。 kantoku 10年ぐらい前に入社して、バックオフィス全般の業務に携わってきました。今はコーポレート本部内の総務部に所属しています。
ピクシブのこれからについて、COOとCTOから皆さまへお伝えします（前編） - pixiv inside
ピクシブでは企業として掲げているミッション・ビジョン・バリュー達成のため、毎年7月は全社員が一堂に会し、取締役以下全マネージャーより全体方針を踏まえた事業部単位の目標を共有する時間を設けています。 本日はそこからピクシブのテックビジョンにスポットライトを当てつつ、取締役COO清水（以下ushioと表記）とCTO道井（以下harukasanと表記）の対談形式で会社の未来について前編・後編に分けてお話させていただきます。 ushio : 今までピクシブが「どのような姿を目指して」「どのように舵を切って成長していくのか」外部に向けて詳細に語る機会はそう多くありませんでした。ですので本日は、CTOとの対談形式で事業目標とそれに伴う技術・開発方針について話していきたいと思います。harukasan、よろしくお願いします。 harukasan ： よろしくお願いします。 ushio : まず簡単に自己
特別コラボ企画の爆発的アクセスを捌き切るエンジニアリングと腕力 - pixiv inside
こんにちは。ピクシブの社内エンジニア職横断組織「エンジニアギルド」マネージャのbashです。主にエンジニア採用プロセスを取りまとめています。 ピクシブでは複数の事業部があり、様々な専門性を持ったメンバーが集って事業領域にフォーカスする体制を取っています。各事業部にいる技術のキーパーソンがどのような考えでエンジニアリングを進めているのかを紹介したいと思います。 先日、pixivFACTORYというプロダクトで特別コラボ企画があり、普段とは違ったスペシャルな体制でリアルタイム対応が行われました。その件をテーマとして、pixivFACTORYのプロダクト開発と運用を主導しているFACTORY部エンジニアhayaと、ピクシブの全サービスインフラを横断的に管理しているインフラ部SREチームリーダーkonoizに、当日対応や準備の様子について話を聞いてみたいと思います。 まずは自己紹介をお願いします。
入社して1年半の僕が、プロダクトマネージャーとして経験出来たこと - pixiv inside
みなさん、こんにちは。ピクシブで採用担当をしているkamikoです。 本日ですがピクシブで働いている社員が、普段どのような仕事に携わっているのか紹介したいと思います。 特に、今回はサービス開発においてチームの指揮をとるプロダクトマネージャー職（https://hrmos.co/pages/pixiv/jobs/006）の業務について、三回に分けて皆様にお伝えできればと思いますので、是非ご覧くださいね。 最終回となります第三回目は、pixivコミックのプロダクトマネージャーであるshomaさんに話を聞いてみたいと思います。 まず、自己紹介をお願いいたします。 コンテンツ事業部、コミック部の遠藤と申します。社内ではニックネームでshomaと呼ばれています。ピクシブの漫画事業に興味をもち、2018年11月にWebディレクター職として中途入社しました。 pixivコミックとはどんなサービスですか？
赤いラクダは3倍早い！ピーク時毎分1400件を捌くための決済処理のチューニング紹介 - pixiv inside
こんにちは、4月からBOOTH部になったorekyuuです。 この記事では、転属後の一番大きな成果である、BOOTHで発生する大量の注文(ピーク毎分約1400件)を整合性を取りつつ高速にさばく改善について解説します。 BOOTHが抱えていた課題 まずはBOOTHが抱えていた課題について説明します。 BOOTHでは販売開始時刻が事前に予告されていた場合などの理由で瞬間的に決済が集中し、サーバーが大量の注文に耐えきれないケースが度々ありました。 その原因は在庫の処理にありました。擬似コードですが、注文の処理は以下のようになっていました。 def checkout! ActiveRecord::Base.transaction do 商品の悲観的ロック # 在庫数を同時に編集しないようにロックを取る 商品の在庫の減算処理 注文を確定済みにする 決済の請求APIを叩く end end 上記のコード
GitLab CIとPuppeteerを使ってはてなブログのデザインを継続的にデプロイする - pixiv inside - pixiv inside
こんにちは！ピクシブ福岡オフィスでエンジニアをしている@tasshiです。 今回はpixiv insideリニューアルのデプロイ環境についてお話ししたいと思います。 pixiv insideについて 「pixiv inside（ピクシブ インサイド）」は、ピクシブ株式会社の日常を伝えるためのオウンドメディアです。 2014年に「pixiv engineering blog」としてスタートし、2017年に現在の「pixiv inside」になりました。 WordPressからはてなブログへ pixiv insideでは2020年1月にセルフホスティングのWordPressからはてなブログへと移行し、新デザインへのリニューアルを行っています。 デザインリニューアルではデザイナーさんの作ったデザインを元にして、エンジニアがJavaScript, CSSなどのデザインリソースを実装します。 その後
pixivに脆弱なパスワードで登録できないようにしました - pixiv inside
図1: 脆弱なパスワードを入力した場合のエラー画面 こんにちは、pixiv開発支援チームのmipsparcです。 パスワード、もしかして使いまわしていますか? 複数のサービスで同じパスワードを利用していると、「パスワードリスト型攻撃」によって不正アクセスの被害を受けてしまうかもしれません。 パスワードリスト型攻撃の被害にあわないためには、ブラウザやパスワード管理ツールで自動生成された安全なパスワードを利用するのが好ましいです。 しかし、実際には多くの人が「使いまわしたパスワード」や「簡単なパスワード」(以下、脆弱なパスワード)を利用していますし、啓蒙活動にも限界があります。 pixivではサイバー攻撃への対策を複数とっていますが、根本的な対策のひとつとして、脆弱なパスワードを新しく設定できないようにしました。 脆弱なパスワードの判定方法 脆弱なパスワードの利用はどのように防ぐことができるで
pixivで検索エンジン向けにDynamic Renderingを実装した話 - pixiv inside
English version: Implementing Dynamic Rendering for Search Engines on pixiv.net - pixiv inside pixivでプロダクトマネージャーをしているmu-koです。 大規模サービスのpixivで検索エンジン向けにDynamic Rendering（ダイナミックレンダリング）を2019年から実装し始めました。Dynamic Rendering実装の経緯や検証方法、注意点などをご紹介します。 pixivとは pixivはクリエイターがイラスト・マンガ・小説を投稿し、声援をもらうことができるサービスです。 2019年9月時点で登録ユーザーは4,000万ユーザー超、投稿作品数は8,500万作品あります。また、日本からのアクセスは約60％で日本以外の国からのアクセスが約40％です。 日本国外のユーザーが作品を簡単に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
