並び順

ブックマーク数

期間指定

  • から
  • まで

121 - 160 件 / 366件

新着順 人気順

prestoの検索結果121 - 160 件 / 366件

  • AWS 導入事例:Repro株式会社 | AWS

    AWS スタートアップ支援プログラムを活用し 世界 66 カ国の導入実績を誇るマーケティングツールをクイックスタート スケーラブルなアーキテクチャへの進化で世界シェアの獲得へ 世界 66 カ国、7,300 以上の導入実績を持つカスタマーエンゲージメントプラットフォーム『Repro(リプロ)』を提供する Repro 株式会社。同社は 2014 年の創業直後からアマゾン ウェブ サービス(AWS)を SaaS プラットフォームに採用しています。ビジネスの成長とともに大量のトラフィックを処理する課題に直面するものの、AWS のコンテナ、サーバーレス、マネージドサービスを活用しながらスケーラブルなアーキテクチャに進化させてきました。2019 年からは東南アジアへの本格進出を開始。10 年後の世界シェア 1 位の獲得に向けて、AWS のグローバルインフラは欠かせない存在となっています。 創業時からビ

      AWS 導入事例:Repro株式会社 | AWS
    • Achat Discrete Diaminodiphenyl Sulfone 1000Mg. Achat Dapsone En Ligne Suisse - ask me/اسالني

      Achat Discrete Diaminodiphenyl Sulfone 1000Mg. Achat Dapsone En Ligne Suisse Acheter Du Diaminodiphenyl Sulfone Sur Le Net Diaminodiphenyl Sulfone Moins Cher Pharmacie Paris, Diaminodiphenyl Sulfone 1000 Pas Cher Acheter, Acheter Diaminodiphenyl Sulfone Par Cheque ACHETER Diaminodiphenyl Sulfone (Dapsone) EN LIGNE! - CLIQUEZ ICI! Achat Discrete Diaminodiphenyl Sulfone 1000Mg. Achat Dapsone En Lign

      • localstack有料版をちゃんと使ってみる - 続 カッコの付け方

        数ヶ月前にカッとなって課金だけしてたlocalstack Pro版を触ってみたのでその記録 localstackのPro(有償)版とは? localstackはaws-apiをローカル環境で再現するものです。それの有償版がPro。できること・できないことは https://localstack.cloud/ を見てください。 だけど これだけ見てもよくわからんよね? なので自腹を切って試してみた、というより面白そうだとおもったから、とりあえず課金した、英語を含めてもあんまり有償版のポストが見つからなかったため。 システム的な違い/機能Activateなどの話 Communitiy版をdocker-imageで無償で公開してるので、Pro版はどう違うんや?と思ってたけど、Pro版の場合は、API_KEYを環境変数として仕込むことによって、認証サーバとおしゃべりして機能を有効・無効化しているは

          localstack有料版をちゃんと使ってみる - 続 カッコの付け方
        • Vue.js+Bootstrap環境でExcelのようなピボットテーブルを OSSコンポーネント「vue-pivot-table-plus」開発秘話

          LINEが定期的に開催する技術者向けミートアップ「LINE Developer Meetup」の72回目は、Vue.js Communityと共同で開催。ここではLINEの坂口達彦氏がVue.js+Bootstrap環境向けピボットテーブルコンポーネントの開発秘話を紹介しました。 Vue.js向けvue-pivot-table-plus 坂口達彦氏(以下、坂口):ではこれから「Vue.js向けvue-pivot-table-plus」と題して、LINE株式会社の坂口が発表いたします。他のみなさんのセッションがフレームワークまわりの、ためになる話の中で、突然ピボットテーブルが出てきて「なんだそりゃ?」みたいな感じだと思います。ただ、少しマイナーな領域ではあるんですが、せっかくこのような機会をいただいたので、こんなものも作っているよという紹介のつもりでお話できればと思います。よろしくお願いしま

            Vue.js+Bootstrap環境でExcelのようなピボットテーブルを OSSコンポーネント「vue-pivot-table-plus」開発秘話
          • HyperLogLogについて

            このとき、最初(左)から数えて、 o の連続して出た数を数え、その最大値に注目します。上記の例では、 Aさんが最も多く、2回ですね。 さて、コイントスの表裏が出る確率がそれぞれ 50% (つまり、完全にランダム)であったと仮定した場合、連続して2回表が出る確率は以下ですよね。 (1/2)^2 = 1/4 そうすると、どれだけコイントスを試行したか (≒どれだけの人数がいたか) 考えたときに、最も確率が高いのは4回です。つまり総人数は4人! こう数えることには、大きな利点があります。それは、 ある人が既にカウントされたかどうかを記録しておく必要がない ということです。なぜなら、 o が続いた最大数だけを覚えておけばいいので。これは、特に大きな人数集団であった場合には特に嬉しいですよね。 いやいや、大雑把すぎるだろとか、色々聞こえてきそうです。それは次のセクション以降で説明していきます。ただし

              HyperLogLogについて
            • 【コンサート】”すみだクラシックへの扉#17” 東京都墨田区で新日本フィルを楽しみました。中編 | 風の奏

              プレイリスト では、プレイリストを。 ラヴェル作曲:泣き王女のためのパヴァーヌ(管弦楽版) ラヴェル作曲:ピアノ協奏曲 ト長調 Pf.三浦謙司 Ⅰ.Allegramennte Ⅱ.Adagio assai Ⅲ.Presto ソリストアンコール ドビュッシー作曲:忘れられた映像 ~休憩~ チャイコフスキー作曲:交響曲第6番 ロ短調 OP.74「悲愴」 Ⅰ.Adagio-Allegro non troppo Ⅱ.Allegro con grazia Ⅲ.Allegro molto vivace Ⅳ.Finale Adagio lamentoso ( ゚д゚)ウム 良いではないか×2 今回の指揮者は”阿部加奈子”さん。初めて聞く指揮なので、それもまた楽しみで仕方がない。ソリストの”三浦謙司”さんも初めて。もうね、わくわくするね。 ましゅーの感想 では、僕の感想を書いていきます。 ラヴェル作曲:泣

                【コンサート】”すみだクラシックへの扉#17” 東京都墨田区で新日本フィルを楽しみました。中編 | 風の奏
              • 転職して1年の感想|OKIYUKI|note

                退職者 Advent Calendar いつか書きたいと思っていました。そして今年、1月からLINE Data Labsのデータサイエンティストとして転職しましたので、良い機会と思い書いてみました。 サマリ1年前 NTTのグループ会社を辞めるかどうか悩みながらも転職活動をしていくうちに、新しい会社に行きたい気持ちが増し、6年弱のお勤めで退職しLINEに転職しました。 今 とても働きやすく、本業に集中できるようにすばらしい環境に身を置きながら、分析仕事を楽しんでいます。 前職は何してたんですか?NTTのグループ会社に新卒で入社し、研究開発に関わる部署にいました。約6年弱同じ部署で勤めました。広くデータ分析に関わり、基盤、分析、研究、と色々な業務を行いました。振り返ってもとても良い環境だったと思います。 楽しかったですか?居心地の良さ、チームメンバーのレベルの高さ、圧倒的な福利厚生など、いろい

                  転職して1年の感想|OKIYUKI|note
                • Facebook オープンソースのかっこよさ / morrita - Message Passing

                  Facebook のオープンソースプロジェクトには、妙にかっこいいものが多い。 企業発 OSS の中でもかっこよさが突出している。 有名どころでは React (2013) と PyTorch (2016) があるけれども、 他にも MySQL のストレージエンジンをとりかえた MyRocks/RocksDB, Microsoft も使い始めた静的解析ツール Infer (これは買収だな), AWS が managed service をはじめるに至った OLAP DB の Presto, Rust で書いてしまった Marcurial Backend の Eden などなど枚挙に暇がない。 プロジェクトの数だけなら他にも数多く公開している会社はあるし、 プロジェクトの規模(つっこまれている人員)が特別多い感じでもない。 が、かっこよさは企業発オープンソースの中で一歩先を行っている、気がす

                    Facebook オープンソースのかっこよさ / morrita - Message Passing
                  • Vertrauenswürdige Seite, Um Naltrexin Naltrexon Ohne Rezept Zu Kaufen. Naltrexon Generika Ohne Rezept Bestellen - Colibris-wiki Q&A

                    Bestellen Sie in unserem Online Drogerie Shop Ihre Wunschartikel einfach und bequem von Zuhause! 365 Tage im Jahr geöffnet! Naltrexin 50 mg OHNE PROBLEME ONLINE KAUFEN ⇒ KLICKEN SIE JETZT HIER ⇐ naltrexin 50mg online kaufen basel-stadt naltrexin mit bitcoin kaufen naltrexin kaufen 50mg günstig naltrexon kaufen naltrexin 50mg 84 stück kaufen naltrexin generika preise was kostet naltrexin 50mg preis

                    • DBeaverでSSH Tunnelを設定してみる | DevelopersIO

                      DBeaverとは 公式サイトから引用 開発者、データベース管理者、アナリスト、およびデータベースを操作する必要があるすべての人のための無料のマルチプラットフォームデータベースツール。MySQL、PostgreSQL、SQLite、Oracle、DB2、SQL Server、Sybase、MS Access、Teradata、Firebird、Apache Hive、Phoenix、Prestoなどの一般的なすべてのデータベースをサポートします。 コミュニティ版については無償で利用することができ、ある程度メジャーなRDBについては対応しています。 有料版の場合はNoSQLに対応していたり便利な機能があるようです。今回はコミュニティ版を使用します。 想定する構成 以下の図のような構成を考えます。 自分のPCからプロキシサーバーを経由して、AWS内の踏み台サーバーにSSH、そこからRDSに接続

                        DBeaverでSSH Tunnelを設定してみる | DevelopersIO
                      • [Amazon Athena]一見json配列に見えるvarcharのデータをパースして集計できる形式に変換する | DevelopersIO

                        データアナリティクス事業本部の貞松です。最近は少々データレイクに想いを馳せています。 今回は業務で発生したAmazon Athenaのクエリ集計について、実現したい内容とその実現方法を解説します。 集計対象データと実現したい内容 集計対象データの中身 集計対象のテーブルデータは以下のようなものです。 [{"item_id":"1","score":"0.8351"},{"item_id":"2","score":"0.8026"},{"item_id":"3","score":"0.7885"},{"item_id":"4","score":"0.7789"},{"item_id":"5","score":"0.7699"}] [{"item_id":"3","score":"0.8701"},{"item_id":"5","score":"0.8219"},{"item_id":"7",

                          [Amazon Athena]一見json配列に見えるvarcharのデータをパースして集計できる形式に変換する | DevelopersIO
                        • [増補改訂]ビッグデータを支える技術 ――ラップトップ1台で学ぶデータ基盤のしくみ

                          2021年2月13日紙版発売 2021年2月10日電子版発売 西田圭介 著 A5判/368ページ 定価3,520円(本体3,200円+税10%) ISBN 978-4-297-11952-2 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 「ビッグデータ」をテーマに,データ分析基盤技術をまとめた解説書。 AIの発展,コンテナ技術の進歩をはじめ,ビッグデータを取り巻く技術が大きく変わり始めました。ビッグデータの技術には,元々大きく分けて2つのバックグラウンドがありました。一つは業務系システムで,RDB(Relational Database)から取り出したデータをバッ

                            [増補改訂]ビッグデータを支える技術 ――ラップトップ1台で学ぶデータ基盤のしくみ
                          • Enabling static analysis of SQL queries at Meta

                            UPM is our internal standalone library to perform static analysis of SQL code and enhance SQL authoring. UPM takes SQL code as input and represents it as a data structure called a semantic tree. Infrastructure teams at Meta leverage UPM to build SQL linters, catch user mistakes in SQL code, and perform data lineage analysis at scale. Executing SQL queries against our data warehouse is important to

                              Enabling static analysis of SQL queries at Meta
                            • tramadolo senza ricetta $ Ordine legale online senza ricetta FedEx. Acquista con Visa. | My Czech Republic Message Boards

                              tramadolo senza ricetta $ Ordine legale online senza ricetta FedEx. Acquista con Visa. Farmacia europea tramadolo senza ricetta - http://url-qr.tk/pharmacy - Fai clic qui - Vai in farmacia - Prodotti legali al 100%. - Qualità e dosaggio farmaceutico. - Consegna veloce garantita. - Diversi metodi di pagamento: MasterCard / Visa / AMEX / PayPal / BitCoin Acquista con Visa è e stati dosaggio anche as

                                tramadolo senza ricetta $ Ordine legale online senza ricetta FedEx. Acquista con Visa. | My Czech Republic Message Boards
                              • より使いやすいデータ分析基盤にするために - MicroAd Developers Blog

                                京都研究所・TechLabの田中です。 今回は、データ分析基盤をより使いやすくするために実施した取り組みをご紹介します。 この記事では、結論だけでなくそこに至るまでの過程も一緒に紹介しているので、実務の雰囲気の一端も感じ取っていただければ幸いです。 1.ことの始まり 2.状況の整理 2-1 Hive on MR 2-2 Complex型のカラムに対する pushdown が機能しない 3.対策を考える 3-1 Hive on MR 以外の選択肢 3-2 ネストしたカラムへのpushdown 3-3 必要なアクションは? 4.つまづきポイント 4-1 HDFSファイルが圧縮できていない 4-2 そのDDLは無力 4-3 SETで指定するパラメータ 4-4 HDFSファイルの圧縮形式を確認 5.対策の効果 参考リンク 1.ことの始まり マイクロアドでは、すべてのデータを1つのHadoopクラス

                                  より使いやすいデータ分析基盤にするために - MicroAd Developers Blog
                                • 2021年度振り返り - petitviolet_blog

                                  2021年度の振り返り。 昨年度のはこれ 仕事 2022年1月に転職した。 前職ではCDPというとても複雑なアプリケーションの開発をしていた。 退職前は↓みたいなことも。書き残していったアレらはどうなったのか果たして。 https://www.treasuredata.co.jp/press_release_jp/20210914_cdp_for_sales/ 現職では受託開発がメインではあるものの自社サービスのポチコの開発なんかも少しずつ始めている。 オフィスに集まって(2人だけど)わいわいやるの楽しいし最高。 それはそうとオフィスが出来た話は近いうちにきっと公開されるはず。 エンジニアとして 前職では自分が触ることが多かったのはRuby, Ruby on Rails, AWS, Terraformくらいで後は内製のツール群だったり別チームが担当しているPresto, Hive, dig

                                    2021年度振り返り - petitviolet_blog
                                  • Towards MLOps: Technical capabilities of a Machine Learning platform

                                    Table of contentsIntroduction 1.1 The workflows of data science and software development are different 1.2 The ML pipeline has to include Continuous Training 1.3 Model driftFeature Store 2.1 Centralised data access 2.2 Data Versioning 2.3 Data pipelines 2.4 Data labeling 2.5 Feature repository and data discoveryTraining pipeline 3.1 Model and experiment management 3.2 Pipeline orchestration 3.3 Au

                                      Towards MLOps: Technical capabilities of a Machine Learning platform
                                    • Huge SQL Loads? Check Out These Benchmarks: AWS Graviton2 with Presto and Treasure Data CDP

                                      High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP Last modified: March 4, 2022 High Performance SQL: AWS Graviton2 Benchmarks with Presto and Treasure Data CDP In December, AWS announced new Amazon EC2 M6g, C6g, and R6g instance types powered by Arm-based AWS Graviton2 processors. It is

                                        Huge SQL Loads? Check Out These Benchmarks: AWS Graviton2 with Presto and Treasure Data CDP
                                      • 2023-02-28のJS: Next.js 13.2、Deno 1.31(`package.json`サポート)、TypeScript Runtime Validation Benchmark

                                        JSer.info #633 - Next.js 13.2がリリースされています。 Blog - Next.js 13.2 | Next.js Next SEOをインスパイアしたMetadata APIをサポート、Route Handlers APIのサポート、MDXをServer Side Componentで利用できるようになっています。 Rustで書き直されたMDXパーサを利用できるように、<Link>のhrefが型安全に、エラーオーバーレイの改善、Turbopackの改善なども含まれています。 またTurbopackが一部のwebpack loaderのサポート、Vercel Cache APIを利用したNext.js Cacheのサポートなども含まれます。 Deno 1.31がリリースされています。 Deno 1.31: package.json support package.

                                          2023-02-28のJS: Next.js 13.2、Deno 1.31(`package.json`サポート)、TypeScript Runtime Validation Benchmark
                                        • Brahms: 21Hungarian Dances & 16Waltzes@C.Katsaris,H.Mercier | MusicArena

                                          ワーナーからのリリースで、カツァリスとメルシエが弾くブラームスのワルツ/ハンガリー舞曲の全曲。 https://tower.jp/item/4755740/ Johannes Brahms: 16 Waltzes, Op.39 21 Hungarian Dances, WoO 1 1  No.3 in G♯ min 2  No.5 in E 3  No.6 in C♯ Vivace 4 No.3 in F Allegretto-Vivace-Tempo I-Vivace-Tempo I 5 No.4 in F min Poco sostenuto-Vivace-Molto allegro 6 No.5 in F♯ min Allegro-Vivace-Allegro 7 No.6 in D♭ Vivace-Molto sostenuto-Vivace 8 No.7 in A Allegre

                                            Brahms: 21Hungarian Dances & 16Waltzes@C.Katsaris,H.Mercier | MusicArena
                                          • Data Lineage したい - satoshihirose.log

                                            条件 現職で管理している現行のデータパイプラインである Treasure Workflow(managed digdag on TD)+ Presto に適用できること ウェブでメタデータのドキュメントが公開でき、社内に共有できること Data Lineage 的なデータの依存関係がわかること dbt dbt は構築したプロジェクトとその内部のクエリを元にドキュメントを自動で生成してくれる。データの依存関係のDAGを可視化してくれるようで、良さそう。dbt docs serve というドキュメントサイトをホストする機能も提供しているが、現時点では本番稼働を想定していないものらしい。その代わりに dbt Cloud を使う、生成したドキュメントを S3 でホストするなどの方法を推奨している。 The dbt docs serve command is only intended for lo

                                              Data Lineage したい - satoshihirose.log
                                            • DataformでBigQueryのデータ変換を試してみた

                                              Dataform とは 先日Google Cloud のブログでDataformが Google Cloud に買収されたとの記事が公開されました。 Dataform をかんたんに説明すると、ELT(Extract/Load/Transform)のうちの Transform を SQLX で記述し、テーブル定義やデータ変換のドキュメント化・依存関係の管理による DAG の自動生成・テストなどができるツールです。 現在以下の DWH をサポートしています。 BigQuery Snowflake Redshift Postgres Azure SQL data warehouse Presto (under development) GUI・CLI・REST API(beta)での機能が提供されており、基本的には無料(ただし DWH のプロジェクト側の利用料で課金)で利用できます。 Googl

                                                DataformでBigQueryのデータ変換を試してみた
                                              • 【コンサート】年の終わりは第九だよね。後編 | 風の奏

                                                こんばんは ましゅーです。 …( = =) トオイメ目 桜も終わりだねぇ…。 早いですよね。 ねこーん 桜が散り始めていますね。今年はお花見へ行きたかったんですが、チャンスを完全に逃した感じです。まあ、ひとりで酒を飲むだけなので、別にやってもらやなくても…って感じですけどね。 ここから本編 今回の話題は【コンサート】です。 (`・ω・´)シャキーン 2023年最後のコンサート。 ささっと進みましょう。 ねこーん 12月に行った最後のコンサート。日本の冬と言えば第九。その続き記事となります。さっそく本編へ入りますが、どうせなら最初から読んで頂いた方が楽しいですよ。 2024年4月7日 【コンサート】年の終わりは第九だよね。 前編 前回のあらすじ 前回は小岩井の夜を楽しんだ所まででしたかね。そうそう、小岩井へ行く前にブルーボトルコーヒーさんで珈琲も楽しみましたかね。(当然、秋葉原にも行ったけど

                                                  【コンサート】年の終わりは第九だよね。後編 | 風の奏
                                                • Server-Side Renderingって何なのさ ~あるいは雑な用語定義に対するお気持ち表明~ - Qiita

                                                  最初はプンスコしてたんですが、週末を挟んで寝かせていたら、割とどうでも良くなってきたので、もうそこまで怒ってないです。 ただ、どうしてこういう用語が誕生するのかには興味があるので、調査結果とお気持ちをしたためておきます。 引っかかるポイント 先に疑問に思うポイントをまとめておきます。 あるレイヤーの最終出力を"レンダリング"と呼ぶのは良しとしても、すぐ隣のレイヤーでブラウザが HTML のレンダリングを頑張ってるのに、何で被せるようなネーミングにしたのか 従来の CGI や PHP、JSP、ASP.NET でやってきたことと何が違うのか 違うとしたら JavaScript フレームワークから出力することを特別視する理由は何か クラウドゲーミングなどにおけるレンダリングとも混同しがちなんですが、それは私が CG・ゲーム寄りの立ち位置にいるせいだと思うので、とりあえず気にしないことにします。

                                                    Server-Side Renderingって何なのさ ~あるいは雑な用語定義に対するお気持ち表明~ - Qiita
                                                  • ORC について最初に知っておきたかったこと - Qiita

                                                    数テラバイト越えあたり or パーティション数大量になったあたりで、ORC ファイルについて詳しくなったけど最初から知っておきたかった事。 がまとまったので書いておくけど、もう一桁増えると更に知っておきたかった事が増える気がする。随時更新。 BigData を扱うデータフォーマット ORC とは Hive / Spark / Presto 等と言った(以下 Hive 等)のビッグデータ基盤で使えるカラムナデータフォーマットだ。 MySQL では、実際のデータファイルは .idb ファイル等の形式で保存されるが、Hive 等ではフォーマットを複数選ぶことができ、ORC はデファクトスタンダートだ。次点に Perquet1 等がある。 HDFS に収納されて Hive 等 Query 対象となることが多い。 Reference Primary 公式サイト - https://orc.apach

                                                      ORC について最初に知っておきたかったこと - Qiita
                                                    • Tricks of the Trade: Tuning JVM Memory for Large-scale Services

                                                      You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Running queries on Uber’s data platform lets us make data-driven decisions at every level, from forecasting rider demand during high traffic events to identifying and addressing bottlenecks in the driver sign-up process. Our Apache Hadoop-based data platform ingests hun

                                                        Tricks of the Trade: Tuning JVM Memory for Large-scale Services
                                                      • Functional Design and Architecture (First Edition)

                                                        Important: this is the First Edition of the book. * Consider buying Functional Design and Architecture (Second Edition) by Manning instead. * See also my new book Pragmatic Type-Level Design. FDaA is a fundamental book about Software Design in Haskell and other functional languages. The main idea of this book is to provide a comprehensive source of knowledge, and a complete methodology for buildin

                                                          Functional Design and Architecture (First Edition)
                                                        • 空前の「レコードブーム」に喜ぶ人、焦る人の実態

                                                          アンダーグラウンド・ロックのアナログレコード愛好家向け専門レーベル「ジョイフル・ノイズ・レコーディングス」がインディアナポリスに構えるオフィスには、従業員たちが「旋盤の洞窟」と呼ぶ一角がある。 そこにあるのは、電子レンジほどの大きさをした1940年代の古いレコード旋盤「Presto 6N」。まだ何も記録されていないレコード盤に溝を切る機械だ。百枚、千枚といった単位でプレスされる一般的なレコードとは違って、1枚ずつ溝をカットする。 ジョイフル・ノイズ・レコーディングスの創業者カール・ホフステッターは「信じられないほど手間がかかる」と話す。「3分の曲なら、溝のカットにかかる時間も3分だ」。 コロナ禍でLP販売数が劇的に増加 この旧式の技術が、同レーベルが火をつけるのに一役買ったレコード人気を乗り切る戦略の要となっている。1980年代のCDの登場によって見捨てられたレコードだが、今や音楽業界で最

                                                            空前の「レコードブーム」に喜ぶ人、焦る人の実態
                                                          • ログ分析基盤のアーキテクチャを振り返る - Qiita

                                                            はじめに 現在の会社で、半年ほど前からログ分析基盤の構築に取り組み、昨日試験的に本番運用を迎えました。 これを機にアーキテクチャの振り返りを会社のブログにて公表しましたので、こちらでも紹介したい思います。 基本的には内容は同じですので、見やすい方で見ていただければと思います。 また、リンクを辿っていただければ、他の社員が書いたブログもたくさんありますので、興味持っていただければ幸いです。 解決したかった課題 当社では、ここ1,2年ユーザ行動ログ等のさまざまなデータを機械学習等の分析につなげようという動きが多くなっておりますが、主に以下の二つにより、分析、及び分析の結果を用いたアプリの作成が制限されてしまっておりました。 ログが一台のサーバのPostgresにhstore形式にて格納されている Postgresは分析に適していない スケールしない(複数サーバによりクラスタリング構成を組めない

                                                              ログ分析基盤のアーキテクチャを振り返る - Qiita
                                                            • Amazon EMR のバージョンアップ 1/3:メジャーバージョンアップの前にやったこと - Repro Tech Blog

                                                              Development Division/Platform Team/Sys-Infra Unit で実施した Amazon EMR 1 のバージョンアップについてどのようなことをやったのか紹介します。 Repro では Presto や Hive などのセットアップに EMR を使用しており、以下の用途で活用しています。 プッシュ通知の配信対象を抽出する 管理画面で参照するデータを抽出する S3 などに貯まっているイベントデータを集計する EMR のアプリケーションとしては以下を使用していました。 Presto Tez Hadoop Hive Hue 経緯 Repro では多くのミドルウェアを運用しており、日々バージョンアップしているのですが、最近まで2019年2月18日にリリースされた EMR 5.21.0 というバージョンを使用していました。もちろん Log4Shell のような脆弱

                                                                Amazon EMR のバージョンアップ 1/3:メジャーバージョンアップの前にやったこと - Repro Tech Blog
                                                              • iPhoneを未開封のままアップデート!Apple、新装置を全米の直営店に導入へ - iPhone Mania

                                                                Appleが、iPhoneが箱に入ったままでソフトウェアアップデートを可能にする装置を今年の初夏までには全米のApple Storeに導入する予定だ、とBloombergのマーク・ガーマン記者が報じています。ワイヤレス装置を用いてiPhoneの電源オン、ソフトウェアのインストール、電源オフまで可能とのことです。 箱に入ったままのiPhoneをアップデートする装置、全米展開へ Appleが、箱に入ったままのiPhoneのソフトウェアを小売店でアップデート可能にする独自のシステムを、全米のApple Storeに展開する予定だ、とBloombergのマーク・ガーマン記者がニュースレターPower Onで報じています。 Apple内部で「Presto」と呼ばれるこのシステムの導入により、iPhoneが保管庫に置かれたままで最新のソフトウェアアップデートを適用でき、顧客は購入したiPhoneの箱を

                                                                  iPhoneを未開封のままアップデート!Apple、新装置を全米の直営店に導入へ - iPhone Mania
                                                                • LINE従業員がどんな使い方をしてるのかを測る6つのKPI データプラットフォーム利用者のアクセス解析

                                                                  2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこでData Infrastructureチームの茂木高宏氏が、「データプラットフォーム利用者のアクセス解析」というテーマで、Hadoop利用ユーザーのアクセス解析について共有しました。 Data Platform室の紹介 茂木高宏氏(以下、茂木):本セッションに参加していただきありがとうございます。「Access analysis of Data Platform users」というタイトルで、Data Platform室 Data Infrastructureチームの茂木高宏が発表します。 アジェンダです。最初にData Platform室の簡単な紹介を行い、次にData Platformのユーザーアクセス解析

                                                                    LINE従業員がどんな使い方をしてるのかを測る6つのKPI データプラットフォーム利用者のアクセス解析
                                                                  • 新発表 — Amazon EMR on Amazon Elastic Kubernetes Service (EKS) | Amazon Web Services

                                                                    Amazon Web Services ブログ 新発表 — Amazon EMR on Amazon Elastic Kubernetes Service (EKS) 数万社のお客様が、Amazon EMR を使用して、Apache Spark、 Hive、HBase、Flink、Hudi、および Presto などのフレームワークでビッグデータ分析アプリケーションを大規模に実行しています。EMR は、これらのフレームワークのプロビジョニングとスケーリングを自動化し、さまざまな EC2 インスタンスタイプでパフォーマンスを最適化して、価格とパフォーマンスの要件を満たします。お客様は現在、Kubernetes を使用して組織全体でコンピューティングプールを統合しています。Amazon Elastic Kubernetes Service (EKS) で Apache Spark を管理してい

                                                                    • 大国のエゴのはじまり、ポーランド分割。マリア・テレジアとヨーゼフ2世母子の葛藤物語10。ハイドン『交響曲 第59番 イ長調《火事》』 - 孤独のクラシック ~私のおすすめ~

                                                                      ポーランド分割の風刺画。左からエカチェリーナ2世、ポーランド王スタニスワフ2世アウグスト、ヨーゼフ2世、フリードリヒ2世 首脳会談での密議とは 母帝マリア・テレジアを若き日から苦しめ続けた、プロイセン王フリードリヒ2世(大王)。 ところが息子のヨーゼフ2世は、あろうことか、大王に憧れ、心酔してしまいました。 そして、1769年には、母が止めるのも聴かず、大王の招待に応じて、元々オーストリア領で、大王に奪われたシュレージェンのナイセに会いに行ってしまいました。 その1年後には、ヨーゼフ2世は招待の答礼として、大王をオーストリア領メーリッシュ=ノイシュタットに招きました。 今度は、マリア・テレジアの懐刀で、フランスとの同盟を推進して外交革命を成し遂げた名宰相、カウニッツ侯爵も同席しました。 そのため、儀礼的だった前回のナイセの会見より、より政治的なものになったのです。 もちろん、マリア・テレジ

                                                                        大国のエゴのはじまり、ポーランド分割。マリア・テレジアとヨーゼフ2世母子の葛藤物語10。ハイドン『交響曲 第59番 イ長調《火事》』 - 孤独のクラシック ~私のおすすめ~
                                                                      • Amazon EMR のバージョンアップ 2/3:メジャーバージョンアップで遭遇した問題 - Repro Tech Blog

                                                                        前回の続きです。 EMR 5.36.1 から EMR 6.6.0 への更新について書きます。 EMR 5.36.1 から EMR 6.6.0 への更新 アプリケーション等 EMR 5.36.1 EMR 6.6.0 Tez 0.9.2 0.9.2 Hue 4.10.0 4.10.0 Hive 2.3.9 3.1.2 Hadoop 2.10.1 3.2.1 Presto 0.267 0.267 Trino N/A 367 Amazon Linux 2 2 このバージョンアップでは Hive と Hadoop のメジャーバージョンアップがあるので、Upgrade Amazon EMR Hive Metastore from 5.X to 6.X | AWS Big Data Blog のとおりに Hive メタストアをマイグレートしました。 その後、検証用 EMR cluster を作成してクエ

                                                                          Amazon EMR のバージョンアップ 2/3:メジャーバージョンアップで遭遇した問題 - Repro Tech Blog
                                                                        • New – Amazon EMR on Amazon Elastic Kubernetes Service (EKS) | Amazon Web Services

                                                                          AWS News Blog New – Amazon EMR on Amazon Elastic Kubernetes Service (EKS) Tens of thousands of customers use Amazon EMR to run big data analytics applications on frameworks such as Apache Spark, Hive, HBase, Flink, Hudi, and Presto at scale. EMR automates the provisioning and scaling of these frameworks and optimizes performance with a wide range of EC2 instance types to meet price and performance

                                                                            New – Amazon EMR on Amazon Elastic Kubernetes Service (EKS) | Amazon Web Services
                                                                          • History of Web Browser Engines from 1990 until today

                                                                            Many tried, few remain... Last updated: April 2023 The loss of browser diversity since the rise of Chromium has been greatly lamented. Below you can find a graph that shows the historical and present browser engines (not browsers, but the HTML rendering engines), as well as from when to when they were developed. For the bigger engines, the market share is indicated by a coloured shape (see legend)

                                                                            • Advanced checklists: the better way to track Trello board tasks - Work Life by Atlassian

                                                                              Advanced checklists: the better way to track Trello board tasks A checklist that captures tasks at the right level of complexity is thing of beauty.  Use Trello’s advanced checklists to ensure the right information is shared with the right people at the right time. There’s no better way to break down a large project than with a simple checklist. To quote Atul Gawande, author of The Checklist Manif

                                                                                Advanced checklists: the better way to track Trello board tasks - Work Life by Atlassian
                                                                              • MinIO 最新情報 | OSSサポートのOpenStandia™【NRI】

                                                                                MinIO情報 MinIOとは 主な特徴 類似プロダクト 動作環境 MinIOのライセンス 製品ダウンロード 参考情報 オープンソース年間サポートサービス MinIOとは MinIOは、Go言語で実装されたAmazon S3クラウド・ストレージ・サービスと互換性のあるオブジェクト・ストレージ・サーバーです。Anand Babu Periasamy氏、Garima Kapoor氏、Harshavardhana氏により2014年に設立されたMinIO, Inc.によって、主な開発が行われています。 MinIOは、写真や動画、ログファイル、バックアップ、コンテナ、VMイメージなどの非構造化データを格納するのに最適です。1つのオブジェクトサイズとしては、数KBのものから最大5TBまで対応します。MinIOサーバーは非常に軽量なので、Node.jsやRedis、MySQLなどと同様にアプリケーション

                                                                                • 年初から激しく燃やす、この心意気を皆様に!空振っても、スルーされても、基本はブルドーザーよ! - けみかる、らじかる、ぷれすとリアクション

                                                                                  2022年、始まりました。そして、ラフマニストは中部地方に引っ越しマシタ。心機一転です。ブログのタイトルも変えちゃいました。 もともと「東北、飛んで、九州」でしたので、「『東北、飛んで、九州』からの中部」と変更しました。しかし、5分経過したところ、もやもやしてきました。そもそも「東北、飛んで、九州」に違和感があったので、それに更に言葉を足しても良いものに辿り着ける訳ありませんよね。命名って、ホント難しいんです。RPGの名づけですら真剣に考えてしまい、結局デフォルトの名前を使う始末ですもん。そこで、自分がダレで、何をしたいのかと自分に問い、 「ラフマニストの誘惑♫」 としました。ラフマニストは、ラフマニノフが大好きなワタシです。そして、このブログにより「ラフマニスト推し」を皆様にご紹介しています。ご紹介というと、ピンと来ませんでしたので、また悩みました。ぐるぐる考えた末に、 誘惑している!

                                                                                    年初から激しく燃やす、この心意気を皆様に!空振っても、スルーされても、基本はブルドーザーよ! - けみかる、らじかる、ぷれすとリアクション