並び順

ブックマーク数

期間指定

  • から
  • まで

81 - 120 件 / 350件

新着順 人気順

prestoの検索結果81 - 120 件 / 350件

  • Strategies for Telemetry Exfiltration (aka Beaconing In Practice)

    Nic Jansma (@nicj) is a software developer at Akamai building high-performance websites, apps and open-source tools. Table of Contents Introduction What are Beacons? Beaconing Stages Sending Data at Startup Gathering Data through the Page Load Incrementally Gathering Telemetry throughout a Page’s Lifetime Gathering Data up to the End of the Page “Whenever” How Many Beacons? A Single Beacon Multipl

      Strategies for Telemetry Exfiltration (aka Beaconing In Practice)
    • Rubyist Hotlinks 【第 39 回】古橋貞之 さん

      はじめに 著名な Rubyist にインタビューを行う企画「Rubyist Hotlinks」。第 39 回となる今回は、古橋貞之さん。 では、お楽しみください。 インタビュー 聞き手 卜部さん (@shyouhei) 語り手 古橋貞之さん (記事中「古橋」) 野次馬(古橋さんの現職であるトレジャーデータの同僚と元同僚のみなさん) 国分さん、成瀬さん、田籠さん、金子さん、三村さん 日にち 2023 年 5 月 11 日 写真提供 : 目次 Table of content プロフィール 卜部 はい、じゃあお疲れ様です。ゆるりと始めていきますが。るびまのインタビューはポッドキャストにしないという信念の元に、ポッドキャストにしていなくて。 三村 そんな信念が。 卜部 なんでかっていうと、いくら迂闊なことをゆっても後から編集できるからっていう。これがね、やっぱ迂闊なことを言ってもらわないと楽しい

      • 愛媛FCの元日本代表DF森脇良太が今シーズン限りでの引退を発表 「自分でも信じられないくらいの経験をさせてもらいました」 :

        この度、弊クラブ所属の森脇 良太 選手が2024シーズンをもちまして現役を引退することとなりましたのでお知らせいたします。 本人コメント 愛媛FCを、森脇良太を応援していただいている皆様へ。いつも日頃から熱いサポートをしていただきありがとうございます。大切な皆様へ今シーズンをもって現役を引退する事をご報告させていただきます。 プロサッカー選手として過ごした20年、8歳からサッカーを始めてプロになるまでの10年、素晴らしい指導者の皆様、ピッチで共に戦った仲間、チームを支えてくださるクラブ関係者、ファン・サポーターの皆様、スポンサーの皆様、友人知人、サッカーを通じてJリーグを通じて本当に多くの出会いをいただき、素晴らしい時間を過ごさせてもらい感謝の想いでいっぱいです。自分を1番近くで支えてくれた家族にも感謝の想いでいっぱいです。全ての皆様へ心から感謝の想いを伝えさせてください。ありがとうござい

          愛媛FCの元日本代表DF森脇良太が今シーズン限りでの引退を発表 「自分でも信じられないくらいの経験をさせてもらいました」 :
        • 水に流す民族の洗浄便座との相関図 - チコちゃんに叱られないブログ

          正しい排泄 2020年3月10日 東南アジアに旅行に行くことが何度かありました。 どこの国に行っても排尿排泄欲求は消えることはないので、自然と旅行先のおトイレ事情にも関心を持たざるを得ません。 日本の昔式のボッチャントイレを代表に、その国その国でトイレに対して考え方が違った面も見えてくることがあります。 正しい排泄 外国旅行とトイレ事情 バチカン市国のトイレ フランスのホテルのトイレ トルコ旅行のこと トルコのトイレ事情 肛門と括約筋とけつの穴 日本人とウォシュレット 日本人と食生活の変化 日本でウォシュレットが全盛な理由 水に流すと風土 おわりに スコッティ フラワーパック 2倍巻き(12ロールで24ロール分) トイレット 50mダブル メディア: ヘルスケア&ケア用品 外国旅行とトイレ事情 どこの国旅行に行っても、旅行客として外国人が止まるようなホテルでは、ユニットバス風になっているこ

            水に流す民族の洗浄便座との相関図 - チコちゃんに叱られないブログ
          • GeoGuessr- The Top Tips, Tricks and Techniques

            This article is regularly updated with new tips, tricks and techniques. GeoGuessr Modes Fundamental Techniques Highway Numbering Systems General Clues Meta License Plates Languages How To Identify Every Country In North America How To Identify Every Country In Europe How To Identify Every Country In Oceania How To Identify Every Country In Africa How To Identify Every Country In Asia How To Identi

              GeoGuessr- The Top Tips, Tricks and Techniques
            • イタリア友人直伝プーリア州の伝統料理【たまねぎの詰め物入りフォカッチャ】レシピ - イタリアのすすめ

              南イタリア・プーリア州の伝統料理、Focaccia ripiena con la cipolla(たまねぎの詰め物入りフォカッチャ)の作り方をご紹介いたします。 フォカッチャとは、通常は小麦粉、オリーブオイル、塩、イーストで作ったパンのようなものですが、プーリア伝統の、Focaccia ripiena con la cipolla(たまねぎの詰め物入りフォカッチャ)は、その名の示す通り、たまねぎその他の具材を詰めて焼いたトルタ・サラータ(塩味タルト)に似たお料理です。 中に詰める具材は、「たまねぎ」「アンチョビ」「ブラック・オリーブ」で、最後に生地でフタをした後、オリーブオイルを塗り、お砂糖をふりかけるのが特徴です。 赤たまねぎを使うとさらに美味しく出来ます。 春のこの時期なら、甘くて柔らかな新玉ねぎを使うのも良いですね! 南イタリア・プーリア州の伝統料理 たまねぎの詰め物入りフォカッチャ

                イタリア友人直伝プーリア州の伝統料理【たまねぎの詰め物入りフォカッチャ】レシピ - イタリアのすすめ
              • Docker のログを columnify で Athena (Presto) に特化した Parquet にする

                先日 columnify という、入力データを Parquet フォーマットに変換するツールがリリースされました。 cf. 軽量な Go 製カラムナフォーマット変換ツール columnify を作った話 - Repro Tech Blog また、fluent-plugin-s3 で compressor として columnify をサポートする話が出ています。1 cf. Add parquet compressor using columnify by okkez · Pull Request #338 · fluent/fluent-plugin-s3 個人的に前々から Docker のログを Parquet フォーマットで S3 に put して Athena で検索できると素敵だなと思っていたので喜ばしいことですね!そんなわけで、Docker のログを fluentd log dr

                  Docker のログを columnify で Athena (Presto) に特化した Parquet にする
                • Rubyで「expected tokens」をどうやって知るか? Part.1

                  平成生まれのRubyエンジニアで集まり、ステップアップして行きたいという思いで作ったコミュニティ、平成.rbが主催した「平成Ruby会議」。キーノートとして、Yuichiro Kaneko氏が「ある時点で次に来ることができる文字列のトークンをどうやって知るか」について語りました。 次に来ることができる文字列のトークンを知る Yuichiro Kaneko氏:「What is expected?」という話をします。 まず私の自己紹介です。金子雄一郎と申します。今日はArm Treasure Dataという会社から来ました。ふだんはAudienceチームというところに所属をしていて、Prestoのクエリの最適化をしたり、Digdagのワークフローを動的に生成するようなRuby on Railsのアプリケーションを書いたり、あまり得意じゃないですがJavaのKey-Value Storeのサービ

                    Rubyで「expected tokens」をどうやって知るか? Part.1
                  • FacebookがThe Linux Foundationのプラチナメンバーに

                    Steven J. Vaughan-Nichols (ZDNET.com) 翻訳校正: 編集部 2020-08-14 12:08 ウェブベースの企業の多くは、Linuxもしくはオープンソースのソフトウェアをベースにサービスを構築している。20億人のユーザーを擁するFacebookも例外ではない。同社は長年、オープンソースを利用してきただけではなく、主要なオープンソースプロジェクトに積極的に貢献してきた。そうしたものには、JavaScriptライブラリーの「React」、データセンター向けハードウェア設計などのオープンソース化を進める「Open Compute Project」がある。そのFacebookが、The Linux Foundationにプラチナメンバーとして加わることになった。 これは自然な流れと言えるだろう。Facebookのオープンソースグループはすでに長い間メンバーであり

                      FacebookがThe Linux Foundationのプラチナメンバーに
                    • Client-Side SQL Query Parsing with ANTLR

                      Multiple Queries in the Console Query Editor Rockset Console’s query editor allows users to type and run queries over collections. Until now, however, whatever was typed in the editor was run and parsed as a single query. This means that, for a user, it wasn’t that easy to switch between multiple queries in our editor. They would have to comment out the queries they didn’t want to run, or keep all

                        Client-Side SQL Query Parsing with ANTLR
                      • CentOS6サポート終了 yumでパッケージを更新するには at softelメモ

                        問題 CentS6のサポートが終了して、yumでパッケージのupdateやインストールができなくなりました。 もう無理ですか。 答え まだいける。 yumリポジトリの設定ファイルを編集。 vi /etc/yum.repos.d/CentOS-Base.repo mirrorlist の行はコメントアウト。 :%s/^mirrorlist/#mirrorlist/g #baseurl=http://mirror.centos.org/ の行を baseurl=http://vault.centos.org/ に変更。 :%s/^#baseurl/baseurl/g :%s/mirror.centos.org/vault.centos.org/g こんな風になっているところを [base] name=CentOS-$releasever - Base mirrorlist=http://mir

                          CentOS6サポート終了 yumでパッケージを更新するには at softelメモ
                        • ちょこコレ・クラシックCD・LP ② 四季:ヴィヴァルディ - fwssのえっさんブログ

                          前回からスタートさせた、「ちょこコレ」こと、「えっさんのちょこっとコレクション」で、「クラシックCD」です。あとからLP盤も出てきました。 これを、アップすることになった、きっかけは、前回の記事に載せています。 その記事は、最後に添付しています。今回は、②回目になります。 しかし、棚から下ろしたクラシックCDの数が「少ないな~」と感じていました。別の本棚を見るとレコードのLP盤にもクラシックが、数枚だけありました。見出しにLPも加えたいと思います。 その中に、今回の「四季」も、前回の「田園」もありました。今回と、前回も遡って画像を追加しておきます。 ちょこっとコレクション② クラシックCD 四季 ヴィヴァルディ 永遠のベストセラー ヴィヴァルディの「四季」 「和声と創意の試み」は全部で12曲からなるヴァイオリン協奏曲ですが、その冒頭の4曲が季節の詩情を美しく描いた「四季」で〈春〉〈夏〉〈秋

                            ちょこコレ・クラシックCD・LP ② 四季:ヴィヴァルディ - fwssのえっさんブログ
                          • 機械学習システムアーキテクチャ入門 #1

                            機械学習システムのアーキテクチャを検討する上で考慮すべき課題について調査しまとめた資料です。Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。 ## Reference ### 大規模なデータを扱う難しさ - Architecture Evolution in Repro https://speakerdeck.com/joker1007/architecture-evolution-in-repro - Sidekiq to Kafka ストリームベースのmicro services https://speakerdeck.com/joker1007/sidekiq-to-kafka-sutorimubesufalsemicro-services - ReproのImport/Exportを支えるサーバーレスアーキテクチャhttps://spe

                              機械学習システムアーキテクチャ入門 #1
                            • Hilary Hahn plays Bach | MusicArena

                              デッカの昨年のリリースから、ヒラリー・ハーンのバッハ:ソナタ&パルティータの前半抜粋。 https://tower.jp/item/4753861/ Hilary Hahn plays Bach J.S.Bach: Sonata for solo violin No.1 in G minor, BWV1001 1. Adagio 2. Fuga (Allegro) 3. Siciliana 4. Presto Partita for solo violin No.1 in B minor, BWV1002 1. Allemande 2. Double 3. Courante 4. Double (Presto) 5. Sarabande 6. Double 7. Tempo di Bourreé 8. Double Sonata for solo violin No.2 in A mino

                                Hilary Hahn plays Bach | MusicArena
                              • 【コンサート】”Quartet Berlin Tokyo”を楽しむ。今後のためにも。 | 風の奏

                                こんばんは ましゅーです。 (`・ω・´)シャキーン 帰って来ました。 お疲れさまでした。 ねこーん 東京コンサート鑑賞ツアーから帰って来ました。リフレッシュ休暇を利用して、4泊5日の東京旅でした。(旅行記は近日中に公開したい…と思います。)その旅行中に思う事も多々ありましたので、それらについては徐々に対応していこうと思います。 ここから本編 今回の話題は【コンサート】です。 ( ゚д゚)ウム 先にね。 そうですね。 ねこーん 東京へコンサート鑑賞ツアーに出かけたのですが、今回はその前に言っていた四重奏コンサートの感想になります。こちらは室内楽の感想となりますのでね、サラッと書いておきます。 今回のコンサートについて 「何時かはクラウン…。」←古い。では無いですけど、僕は何時か四重奏をやりたいと思っているんです。(心当たりなんて一人もいないけど。)本当に何時かは…なんて思ってる夢なんですけ

                                  【コンサート】”Quartet Berlin Tokyo”を楽しむ。今後のためにも。 | 風の奏
                                • データカタログとは~DMBOKをベースにした拡張的解釈~ - Qiita

                                  はじめに データレイクの普及に伴い、再注目されているデータカタログについて整理します。本投稿は、Data Management Body of Knowledge 日本語版(以後、 DMBOK )をベースに投稿者の解釈を加えてものであり、DMBOKに準拠しているわけではないことに留意してください。 データカタログとは データカタログとは、データモデルとData Integration and Interoperability(データ統合と相互運用性)のメタデータに関する、カタログの作成(定義・抽出・蓄積)、および、カタログの利用(探索・把握・共有・配信)によるデータガバナンス支援ツールです。 メタデータとは、DMBOKにて、下記のように記載されています。 最も一般的な定義である「データに関するデータ」は単純過ぎて誤解を招きやすい。メタデータとして分類できる情報の種類は幅広い。ITプロセスと

                                    データカタログとは~DMBOKをベースにした拡張的解釈~ - Qiita
                                  • 明桜(あさ)とパターであそぼう - 司法書士あさ事務所のブログ

                                    開業する前も してからも ブログの内容が ゆるゆるしたままです… 開業したところで 人間って変わらないものですね 今日もゆるゆるブログです 明桜のサークル前には パターマットがあります 「なんだっ?」 明桜の目の前を コロコロとゴルフボールが通ります 気になるみたいです 可愛いギャラリーがいるので 一人でも楽しいです 五球打って 一つも入らなくても 楽しいです 「なんだろなんだろっ」 ボールを転がすと 明桜はサークル越しに 追いかけていきます ワンちゃんみたいです うさぎさんって 案外アクティブですね 狩の練習ではないのでしょうから 単純におもしろいのでしょうか 「ボールくれ~」 すごく気になるようです ゴルフボールを 明桜に渡した事がないのですが あげたら喜ぶのでしょうか ちょっと気になります チモシーボールは大好きなので 丸いもの=食べられるおもちゃ だと思っているのでしょうか 本当は

                                      明桜(あさ)とパターであそぼう - 司法書士あさ事務所のブログ
                                    • meishi2 keyboard ビルドガイド - たのしい人生

                                      meishi2 - The updated micro macro keyboard をご購入、もしくはリポジトリから製造いただきありがとうございます。この記事では、meishi2 keyboard の組み立て方を簡単に紹介します。 必要なパーツ (オプション) 組み立てに必要・あると便利な道具 はんだづけ 組み立て ダイオード ダイオードの向き タクトスイッチ Pro Micro Pro Micro の固定方向 ピンヘッダの接続 通常のピンヘッダ コンスルー コンスルーの固定方向 キースイッチの固定 完成状態 ファームウェア書き込み 2021/11/18 Remap のファームウェア書き込み機能とキーマップ書き換え機能に対応しました! Google Chrome 等の対応ブラウザでファームウェアの書き込み・キーマップの変更が可能です!🎉 お疲れ様でした Help 従来のファームウェアビ

                                        meishi2 keyboard ビルドガイド - たのしい人生
                                      • 【2023年】AWS全サービスまとめ | DevelopersIO

                                        こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの?」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、

                                          【2023年】AWS全サービスまとめ | DevelopersIO
                                        • オープンソースと自社開発を組み合わせて、データプラットフォームの基盤を作る LINEのデータ基盤開発部門のお仕事

                                          LINEの機械学習/データ基盤開発/AIサービス開発といった各部門のサーバーサイドエンジニア関連の横断的なオンライン採用イベントで、湯川航氏がデータ基盤開発部門のサーバーサイドエンジニアの仕事について共有しました。 LINEのデータプラットフォームのアーキテクチャ 湯川航氏(以下、湯川):湯川と申します。よろしくお願いします。Data Platform室という、データを管理する部署のエンジニアなんですが、そこのアーキテクチャなどを紹介していきたいと思います。 こちらが今日のアジェンダです。最初にLINEのデータプラットフォームのアーキテクチャを簡単に紹介して、規模感をイメージしていただくためにちょっとした数字、KPIを出したいと思います。 その後、今どういう課題、チャレンジがあるかについて紹介し、最後に、うちのエンジニアがたまにLINEのカンファレンスで登壇したりエンジニアリングブログを書

                                            オープンソースと自社開発を組み合わせて、データプラットフォームの基盤を作る LINEのデータ基盤開発部門のお仕事
                                          • We’re rebranding PrestoSQL as Trino

                                            We’re rebranding PrestoSQL as Trino. The software and the community you have come to love and depend on aren’t going anywhere, we are simply renaming. Trino is the new name for PrestoSQL, the project supported by the founders and creators of Presto® along with the major contributors – just under a shiny new name. And now you can find us here: GitHub: https://github.com/trinodb/trino. Please give i

                                              We’re rebranding PrestoSQL as Trino
                                            • Claude の Projects にライブラリのリファレンスを丸ごと入れてみる - Qiita

                                              概要 Anthropic 社の生成 AI サービスである Claude から Projects という機能が新しく公開されました。今回は、この Projects に特定のライブラリのリファレンスをコンテキストとして入れ、そのリファレンスをもとにこちらの質問に回答できるのかを試してみます。 モチベーション 多くの IT エンジニアがコーディング作業で ChatGPT や Claude , Gemini などの生成 AI を活用しているかと思いますが、 新しくリリースされたライブラリやリポジトリを利用する場合、生成 AI に質問をしても適切に回答してくれないことが多いです。また、活発に開発が行われているライブラリの場合、生成 AI に質問をしても回答内容が最新のものではないということも多々起こります。 このような場合に、新機能である Projects にライブラリのリファレンスの情報を与え、質

                                                Claude の Projects にライブラリのリファレンスを丸ごと入れてみる - Qiita
                                              • Amazon Athena Apache IcebergテーブルフォーマットによるACID Transactionを試してみました! #reinvent | DevelopersIO

                                                Icebergの強みを活かす INSERT INTOで300万レコードのデータコピー 普通のAthenaのテーブルと比較して、オーバヘッドが生じることが確認できました。上記では、1レコードINSERTでも7秒かかったりしたので、300万レコードをINSERT INTOしたときの時間がどうなるのかを確認したいと思います。 上記のテーブルからパーティションを取り除いて、INSERT INTOでデータのコピー先のテーブルを作成します。 CREATE TABLE iceberg_table ( id int, data string, category string) LOCATION 's3://<mybucket>/iceberg_table/' TBLPROPERTIES ( 'table_type'='ICEBERG', 'format'='parquet', 'compaction_bi

                                                  Amazon Athena Apache IcebergテーブルフォーマットによるACID Transactionを試してみました! #reinvent | DevelopersIO
                                                • Delta LakeとLakehouseプラットフォームによるデータウェアハウス設計 - every Tech Blog

                                                  Delta LakeとLakehouseプラットフォームによるデータウェアハウス設計 こんにちは。ビッグデータ処理基盤の物理レイヤーから論理レイヤーの設計実装、データエンジニアやデータサイエンティストのタスク管理全般を担当している、Data/AI部門の何でも屋マネージャの @smdmts です。 この記事は、弊社のデータ基盤の大部分を支えるDelta LakeとLakehouseプラットフォームによるデータウェアハウス設計の紹介です。 Databricks社が主体となり開発しているDelta Lakeをご存じでしょうか? Delta Lakeは、Apache Sparkを利用したLakehouseプラットフォームを実装可能とするオープンソースです。 Lakehouseプラットフォームの詳細は、こちらの論文に記載されています。 Lakehouseプラットフォームとは、一つのデータレイクのプラ

                                                    Delta LakeとLakehouseプラットフォームによるデータウェアハウス設計 - every Tech Blog
                                                  • 宮沢孝幸の低レベルな詐術に騙されるな - kojitakenの日記

                                                    「コロナの年」だった2020年だが、安倍から菅へと引き継がれた自公政権にすり寄るいかがわしい学者たちの跳梁跋扈も目立った。その中でも特に悪質であるとともに滑稽でもあったのが、この日記でしばしば取り上げた京大の万年准教授・宮沢孝幸だ。 現在は京大に「SNS自粛令」を出されて発信が減っている宮沢だが、今回の感染の急拡大で沈黙の口実を得られたようなものだろう。なにしろ宮沢の詐欺師ぶりは半端ではない。たとえば宮沢は、12月13日午前7時54分に下記のツイートを発していた。 東京都の場合、もう本当にPCRの陽性者で一喜一憂するのやめよう。こちらの数字を注視しよう。 pic.twitter.com/h4bZ2oFigO — 宮沢孝幸 箕山之節 (@takavet1) 2020年12月12日 このツイートで宮沢は、13日朝の時点から見て「一昨日」に当たる11日には、東京都の陽性者は17人しか出ていないか

                                                      宮沢孝幸の低レベルな詐術に騙されるな - kojitakenの日記
                                                    • 【コンサート】”のだめカンタービレ” 兵庫県でのだめカンタービレの演奏を生で楽しんで来ました。後編 | 風の奏

                                                      夏季休暇中に兵庫県で開催されたのだめカンタービレのコンサートを聴きに行ってきました。の続きです。こういうコンサートってコンピレーションアルバムみたいなものなので、挿入歌を端折ってドンドン聞かせるのが多いんだけど、今回のは本太いや、ゴン太なコンサートでした。 それでは、さっそく本編をどぞ。 2023年8月27日 【コンサート】”のだめカンタービレ” 兵庫県でのだめカンタービレの演奏を生で楽しんで来ました。前編 前回のあらすじ 前回は兵庫県立芸術文化センター(KOBELCOホール)を目指して行動をしたところまで書きました。コロナ禍が落ち着いた夏季休暇中という事もあって町は大混雑中。僕はランチも食べられず、タリーズ珈琲でお腹を誤魔化しながら、半泣きをした内容でした。 (ノシ ‘ω’)ノシ バンガン 覚えておれ! 今回はそんな泣き言を封じ込めて、きちんとコンサートの感想を書いていきたいと思いま

                                                        【コンサート】”のだめカンタービレ” 兵庫県でのだめカンタービレの演奏を生で楽しんで来ました。後編 | 風の奏
                                                      • HyperLogLogについて

                                                        このとき、最初(左)から数えて、 o の連続して出た数を数え、その最大値に注目します。上記の例では、 Aさんが最も多く、2回ですね。 さて、コイントスの表裏が出る確率がそれぞれ 50% (つまり、完全にランダム)であったと仮定した場合、連続して2回表が出る確率は以下ですよね。 (1/2)^2 = 1/4 そうすると、どれだけコイントスを試行したか (≒どれだけの人数がいたか) 考えたときに、最も確率が高いのは4回です。つまり総人数は4人! こう数えることには、大きな利点があります。それは、 ある人が既にカウントされたかどうかを記録しておく必要がない ということです。なぜなら、 o が続いた最大数だけを覚えておけばいいので。これは、特に大きな人数集団であった場合には特に嬉しいですよね。 いやいや、大雑把すぎるだろとか、色々聞こえてきそうです。それは次のセクション以降で説明していきます。ただし

                                                          HyperLogLogについて
                                                        • リクルート『スタディサプリ』のデータ分析基盤を支える技術と活用事例──RECRUIT TECH MEET UP #3 - TECH PLAY Magazine

                                                          200万人近い利用者を要する、リクルートのオンライン学習サービス『スタディサプリ』。そのデータ基盤が約2年の期間を経て、BigQueryを中心としたGCP環境に移管された。従来の基盤における技術的負債や課題をどう解決したのか。リリースに至るまでに開発チームがどのように取り組み、どう成長したのかを紹介する。 ■登壇者プロフィール 株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア マネージャー 戸井田 明俊氏 新卒でオンラインゲーム会社に入社し、広告事業やデータ基盤のエンジニアを担当。2017年リクルートに中途入社。データエンジニアマネージャーとして、データ基盤の開発・運用やデータプロダクトの開発に従事。 株式会社リクルート プロダクト統括本部 まなびデータプラットフォームグループ データエンジニア 橘高 允伸氏 2019年リクルート新卒入社。デー

                                                            リクルート『スタディサプリ』のデータ分析基盤を支える技術と活用事例──RECRUIT TECH MEET UP #3 - TECH PLAY Magazine
                                                          • アマゾン、自社製品を優位にするため検索アルゴリズムを変更か

                                                            Amazonは2018年に検索アルゴリズムをひそかに変更し、最も関連性の高い製品や最も売れている製品ではなく、自社にとって収益性の高い製品を優先しているという。このプロジェクトに携わった関係者らの話として、The Wall Street Journal(WSJ)が報じた。 検索結果で最初のページに表示された商品がクリックされて、実際の購入につながるケースがほとんどであるため、Amazonの検索システムに対する変更は商品やブランドに多大な影響を及ぼしかねないと、市場分析企業のJumpshotはWSJに対して述べた。Amazonは、「AmazonBasics」「Presto」「Lark & Ro」などの独自ブランドで、1万を超える商品を販売していると、WSJは調査企業Marketplace Pulseの情報として報じている。 WSJによると、検索チーム「A9」に所属するエンジニアらは、Amaz

                                                              アマゾン、自社製品を優位にするため検索アルゴリズムを変更か
                                                            • Amazon EMR のバージョンアップ 3/3:Presto から Trino への移行 - Repro Tech Blog

                                                              前回の続きです。 EMR 5.36.1 から EMR 6.15.0 への更新 使用するアプリケーションのバージョンは以下のようになりました。OS は Amazon Linux 2 です。 アプリケーション等 EMR 5.36.1 EMR 6.15.0 Tez 0.9.2 0.10.2 Hue 4.10.0 4.11.0 Hive 2.3.9 3.1.3 Hadoop 2.10.1 3.3.6 Presto 0.267 0.2831 Trino N/A 426 Hive, Hadoop, Tez については前の記事で確認済みなので、ここからはそれ以外の要素について検討していきます。 一番問題になったのは Presto から Trino への移行です。Trino 移行に関係して発生した事柄を列挙します。 Datadog Agent の設定変更 任意の期間の指定したタイプのクエリを実行して結果の

                                                                Amazon EMR のバージョンアップ 3/3:Presto から Trino への移行 - Repro Tech Blog
                                                              • Engineering SQL Support on Apache Pinot at Uber

                                                                Uber leverages real-time analytics on aggregate data to improve the user experience across our products, from fighting fraudulent behavior on Uber Eats to forecasting demand on our platform. As Uber’s operations became more complex and we offered additional features and services through our platform, we needed a way to generate more timely analytics on our aggregated marketplace data to better und

                                                                  Engineering SQL Support on Apache Pinot at Uber
                                                                • AWS入門ブログリレー2024〜 Amazon Athena 編〜 | DevelopersIO

                                                                  データレイクとデータウェアハウス(DWH)は、データの形式、加工の有無、スキーマの扱い方、用途、スケーリングのしやすさ、コストなどの点で大きく異なります。データレイクは、様々な形式のデータを加工せずに格納でき、探索的な分析や機械学習などに適しています。一方、データウェアハウスは、主に構造化データを扱い、定型的な分析やレポーティングなどに適しています。 データレイクとしてテーブルフォーマットHIVEを用いる場合と、データウェアハウス(DWH)に限りなく近い用途でテーブルフォーマットICEBERGを用いる場合がある。Amazon Athenaは、これらの2つのテーブルフォーマットのデータをシームレスにブレンドできるのが大きな特長です。 データウェアハウス(DWH)について、もう少し知りたい方は以下の動画をご覧ください。 Amazon Athenaのクエリエンジン Amazon Athena は

                                                                    AWS入門ブログリレー2024〜 Amazon Athena 編〜 | DevelopersIO
                                                                  • データは財産である LINE Data Platform室のSREが大切にしているミッション

                                                                    LINEユーザーとビジネスの価値をつなぐためのSREとは、いったいどんなことをするのか。LINEの7つの領域から9名が登壇し、業務内容や体制、開発における課題、働く個々人のやりがいなどについて話します。奥田輔氏は、LINE Data PlatformのSREについて紹介しました。 LINEのData Platform室におけるSRE 奥田輔氏(以下、奥田):私からは、LINEのData Platform室におけるSREで、どういうチャレンジがあるのか、どういう仕事なのかを紹介します。よろしくお願いします。 まずは、自己紹介からです。Data Platform室のData Engineering1というチームで、エンジニアリングマネージャーをしている奥田と申します。2013年に、弊社のLINEに新卒入社です。もともとは、LINE GAMEのDBAをやっていました。そこから社内異動で、LINE

                                                                      データは財産である LINE Data Platform室のSREが大切にしているミッション
                                                                    • AWS 導入事例:Repro株式会社 | AWS

                                                                      AWS スタートアップ支援プログラムを活用し 世界 66 カ国の導入実績を誇るマーケティングツールをクイックスタート スケーラブルなアーキテクチャへの進化で世界シェアの獲得へ 世界 66 カ国、7,300 以上の導入実績を持つカスタマーエンゲージメントプラットフォーム『Repro(リプロ)』を提供する Repro 株式会社。同社は 2014 年の創業直後からアマゾン ウェブ サービス(AWS)を SaaS プラットフォームに採用しています。ビジネスの成長とともに大量のトラフィックを処理する課題に直面するものの、AWS のコンテナ、サーバーレス、マネージドサービスを活用しながらスケーラブルなアーキテクチャに進化させてきました。2019 年からは東南アジアへの本格進出を開始。10 年後の世界シェア 1 位の獲得に向けて、AWS のグローバルインフラは欠かせない存在となっています。 創業時からビ

                                                                        AWS 導入事例:Repro株式会社 | AWS
                                                                      • Achat Discrete Diaminodiphenyl Sulfone 1000Mg. Achat Dapsone En Ligne Suisse - ask me/اسالني

                                                                        Achat Discrete Diaminodiphenyl Sulfone 1000Mg. Achat Dapsone En Ligne Suisse Acheter Du Diaminodiphenyl Sulfone Sur Le Net Diaminodiphenyl Sulfone Moins Cher Pharmacie Paris, Diaminodiphenyl Sulfone 1000 Pas Cher Acheter, Acheter Diaminodiphenyl Sulfone Par Cheque ACHETER Diaminodiphenyl Sulfone (Dapsone) EN LIGNE! - CLIQUEZ ICI! Achat Discrete Diaminodiphenyl Sulfone 1000Mg. Achat Dapsone En Lign

                                                                        • localstack有料版をちゃんと使ってみる - 続 カッコの付け方

                                                                          数ヶ月前にカッとなって課金だけしてたlocalstack Pro版を触ってみたのでその記録 localstackのPro(有償)版とは? localstackはaws-apiをローカル環境で再現するものです。それの有償版がPro。できること・できないことは https://localstack.cloud/ を見てください。 だけど これだけ見てもよくわからんよね? なので自腹を切って試してみた、というより面白そうだとおもったから、とりあえず課金した、英語を含めてもあんまり有償版のポストが見つからなかったため。 システム的な違い/機能Activateなどの話 Communitiy版をdocker-imageで無償で公開してるので、Pro版はどう違うんや?と思ってたけど、Pro版の場合は、API_KEYを環境変数として仕込むことによって、認証サーバとおしゃべりして機能を有効・無効化しているは

                                                                            localstack有料版をちゃんと使ってみる - 続 カッコの付け方
                                                                          • Vue.js+Bootstrap環境でExcelのようなピボットテーブルを OSSコンポーネント「vue-pivot-table-plus」開発秘話

                                                                            LINEが定期的に開催する技術者向けミートアップ「LINE Developer Meetup」の72回目は、Vue.js Communityと共同で開催。ここではLINEの坂口達彦氏がVue.js+Bootstrap環境向けピボットテーブルコンポーネントの開発秘話を紹介しました。 Vue.js向けvue-pivot-table-plus 坂口達彦氏(以下、坂口):ではこれから「Vue.js向けvue-pivot-table-plus」と題して、LINE株式会社の坂口が発表いたします。他のみなさんのセッションがフレームワークまわりの、ためになる話の中で、突然ピボットテーブルが出てきて「なんだそりゃ?」みたいな感じだと思います。ただ、少しマイナーな領域ではあるんですが、せっかくこのような機会をいただいたので、こんなものも作っているよという紹介のつもりでお話できればと思います。よろしくお願いしま

                                                                              Vue.js+Bootstrap環境でExcelのようなピボットテーブルを OSSコンポーネント「vue-pivot-table-plus」開発秘話
                                                                            • 【コンサート】”すみだクラシックへの扉#17” 東京都墨田区で新日本フィルを楽しみました。中編 | 風の奏

                                                                              プレイリスト では、プレイリストを。 ラヴェル作曲:泣き王女のためのパヴァーヌ(管弦楽版) ラヴェル作曲:ピアノ協奏曲 ト長調 Pf.三浦謙司 Ⅰ.Allegramennte Ⅱ.Adagio assai Ⅲ.Presto ソリストアンコール ドビュッシー作曲:忘れられた映像 ~休憩~ チャイコフスキー作曲:交響曲第6番 ロ短調 OP.74「悲愴」 Ⅰ.Adagio-Allegro non troppo Ⅱ.Allegro con grazia Ⅲ.Allegro molto vivace Ⅳ.Finale Adagio lamentoso ( ゚д゚)ウム 良いではないか×2 今回の指揮者は”阿部加奈子”さん。初めて聞く指揮なので、それもまた楽しみで仕方がない。ソリストの”三浦謙司”さんも初めて。もうね、わくわくするね。 ましゅーの感想 では、僕の感想を書いていきます。 ラヴェル作曲:泣

                                                                                【コンサート】”すみだクラシックへの扉#17” 東京都墨田区で新日本フィルを楽しみました。中編 | 風の奏
                                                                              • 転職して1年の感想|OKIYUKI|note

                                                                                退職者 Advent Calendar いつか書きたいと思っていました。そして今年、1月からLINE Data Labsのデータサイエンティストとして転職しましたので、良い機会と思い書いてみました。 サマリ1年前 NTTのグループ会社を辞めるかどうか悩みながらも転職活動をしていくうちに、新しい会社に行きたい気持ちが増し、6年弱のお勤めで退職しLINEに転職しました。 今 とても働きやすく、本業に集中できるようにすばらしい環境に身を置きながら、分析仕事を楽しんでいます。 前職は何してたんですか?NTTのグループ会社に新卒で入社し、研究開発に関わる部署にいました。約6年弱同じ部署で勤めました。広くデータ分析に関わり、基盤、分析、研究、と色々な業務を行いました。振り返ってもとても良い環境だったと思います。 楽しかったですか?居心地の良さ、チームメンバーのレベルの高さ、圧倒的な福利厚生など、いろい

                                                                                  転職して1年の感想|OKIYUKI|note
                                                                                • Facebook オープンソースのかっこよさ / morrita - Message Passing

                                                                                  Facebook のオープンソースプロジェクトには、妙にかっこいいものが多い。 企業発 OSS の中でもかっこよさが突出している。 有名どころでは React (2013) と PyTorch (2016) があるけれども、 他にも MySQL のストレージエンジンをとりかえた MyRocks/RocksDB, Microsoft も使い始めた静的解析ツール Infer (これは買収だな), AWS が managed service をはじめるに至った OLAP DB の Presto, Rust で書いてしまった Marcurial Backend の Eden などなど枚挙に暇がない。 プロジェクトの数だけなら他にも数多く公開している会社はあるし、 プロジェクトの規模(つっこまれている人員)が特別多い感じでもない。 が、かっこよさは企業発オープンソースの中で一歩先を行っている、気がす

                                                                                    Facebook オープンソースのかっこよさ / morrita - Message Passing