検索対象

並び順

ブックマーク数

セーフサーチ

期間指定

  • から
  • まで

データ処理の検索結果(絞り込み: 3 users 以上)88 件中 1 - 40 件目

  • Embulk & Digdag Meetup 2020|IT勉強会ならTECH PLAY[テックプレイ]

    お知らせ 誠に残念ですが、Embulk & Digdag Meetup 2020の開催の延期をご報告いたします。 新型コロナウイルス感染症(COVID-19)の被害拡の状況下において、今回のミートアップ開催は望ましくないと判断...

    Embulk & Digdag Meetup 2020|IT勉強会ならTECH PLAY[テックプレイ]
    • メタデータ管理のすすめ - ぐるなびをちょっと良くするエンジニアブログ

      こんにちは、ぐるなび データマネジメントグループの中島です。 我々のグループは、全社的なデータマネジメントの企画・推進を行っております。直近では特に、メタデータ管理に力を入れています。 今回...

      メタデータ管理のすすめ - ぐるなびをちょっと良くするエンジニアブログ
      • 全人類に告ぐ。セル結合をやめろ。 - hibitの技術系メモ

        (12/13追記 タイトルや表記に過剰な表現があり、セル結合を全否定するかのような印象を与えてしまいました。そのような意図はなかったのですが、補足記事を書きましたので、併せて読んでいただけると...

        全人類に告ぐ。セル結合をやめろ。 - hibitの技術系メモ
        • Robust PCA (Principlal Component Pursuit) の実装 - やったことの説明

          はじめに 多変量データは実世界の様々なところで現れる(e.g., 画像、音声、動画).これらの多変量データの多くは、データ自体がもつ次元 (e.g., ピクセル数)よりも小さい次元(自然画像の多様体的なやつ...

          Robust PCA (Principlal Component Pursuit) の実装 - やったことの説明
          • Pandas の groupby の使い方 - Qiita

            Python でデータ処理するライブラリの定番 Pandas の groupby がなかなか難しいので整理する。特に apply の仕様はパラメータの関数の戻り値によって予想外の振る舞いをするので凶悪に思える。 まず必...

            Pandas の groupby の使い方 - Qiita
            • 自民党はデータと事実を捨て、近代国家を放棄する覚悟があるか ー 高度プロフェッショナル制度の委員会採決を巡って - 読む国会

              この記事はかなり長い。それを断った上で、憲政史上最悪とも言える、厚生労働委員会の採決に至るまでの経緯を説明したい。 この経緯は実況していただいた、法政大学の上西教授のツイートを引用している...

              自民党はデータと事実を捨て、近代国家を放棄する覚悟があるか ー 高度プロフェッショナル制度の委員会採決を巡って - 読む国会
              • pandas.DataFrame, Seriesのインデックスを振り直すreset_index | note.nkmk.me

                reset_index()メソッドを使うと、pandas.DataFrame, pandas.Seriesのインデックス(行名、行ラベル)を0始まりの連番(行番号)に振り直すことができる。 pandas.DataFrame.reset_index — pandas 0.22....

                pandas.DataFrame, Seriesのインデックスを振り直すreset_index | note.nkmk.me
                • Python: pandas の DataFrameGroupBy#agg() には関数も渡せる - CUBE SUGAR CONTAINER

                  今回は pandas で DataFrame#groupby() したときに得られるオブジェクト DataFrameGroupBy が持つメソッド agg() について。 これまであんまり使ってこなかったけど、関数が渡せることを知って色々と便...

                  Python: pandas の DataFrameGroupBy#agg() には関数も渡せる - CUBE SUGAR CONTAINER
                  • データ解析に関するいろいろな手法・考え方・注意点のまとめ

                    データ解析に関するいろいろな手法を解説した記事や、データ解析をするときの考え方の記事をまとめました。興味のある内容がございましたら、ぜひリンクへ飛んでいただけたらと思います。 pdfファイル...

                    データ解析に関するいろいろな手法・考え方・注意点のまとめ
                    • よくある質問 - Amazon Kinesis Data Firehose | AWS

                      Q: Amazon Kinesis Data Firehose とは何ですか? Amazon Kinesis Data Firehose は、ストリーミングデータをデータストアや分析ツールにロードする最も簡単な方法です。ストリーミングデータをキャプチ...

                      よくある質問 - Amazon Kinesis Data Firehose | AWS
                      • Pythonで大量データ処理!�PySparkを用いたデータ処理と分析のきほん - Speaker Deck

                        PyConJP2017の資料 Python Spark PySpark PyConJP 2017 Apache Spark

                        Pythonで大量データ処理!�PySparkを用いたデータ処理と分析のきほん - Speaker Deck
                        • Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで - Publickey

                          Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューをリリースしました。 Ap...

                          Apache Kafkaに対応したSQLエンジン「KSQL」リリース、ストリームデータをSQLで継続的に処理。Confluentがオープンソースで - Publickey
                          • 「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮

                            Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのか...

                            「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
                            • Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ

                              こんにちは。データ分析部のオギワラです。最近は「NANIMONO (feat.米津玄師)」をよく聞いています。 今回はPythonのデータ分析ライブラリであるPandasについて、実践的なテクニックを「データ処理」「...

                              Pandasによる実践データ分析入門 - Gunosyデータ分析ブログ
                              • 最近のストリーム処理事情振り返り

                                最近のストリーム処理事情振り返り 1. 最近のストリーム処理事情 振り返り 2017/03/03 Hadoopソースコードリーディング第22回 Kimura, Sotaro(@kimutansk) https://www.flickr.com/photos/esoastrono...

                                最近のストリーム処理事情振り返り
                                • 30分でわかる機械学習用語「次元削減(Dimensionality Reduction)」 - Qiita

                                  機械学習用語としての「次元削減(Dimensionality Reduction)」について、「次元削減という言葉を初めて聞いた」という程度の方を対象に、次元削減の目的・方法から、どんな方法で実現するのかという話...

                                  30分でわかる機械学習用語「次元削減(Dimensionality Reduction)」 - Qiita
                                  • 面倒くさいこと考えたくないあなたへ〜Tpotと機械学習〜

                                    面倒くさいこと考えたくないあなたへ〜Tpotと機械学習〜 1. 面倒くさいこと考えたくない あなたへ 〜TPOTと機械学習〜 Acroquest Technology株式会社 山本 大輝(@tereka114) 2. 自己紹介 1. 山本 大...

                                    面倒くさいこと考えたくないあなたへ〜Tpotと機械学習〜
                                    • 第4回 Rにおけるデータ加工処理高速化の基本|Tech Book Zone Manatee

                                      統計解析向けのプログラミング言語であるRは分析モデリングを簡単な記述で実現できる一方、計算に長い時間がかかる場合があります。本記事ではデータ加工処理高速化の基礎的なテクニックを紹介します。...

                                      第4回 Rにおけるデータ加工処理高速化の基本|Tech Book Zone Manatee
                                      • グーグルの「BigQuery」、「Google Drive」のデータ処理が可能に--まず「Sheets」から - ZDNet Japan

                                        Googleは「Google Cloud Platform」(GCP)と「Google Apps」の間にある壁を取り払おうとしている。同社は米国時間5月6日、GCPのサービスの1つである「BigQuery」と、「Google Drive」の統合を発表した...

                                        グーグルの「BigQuery」、「Google Drive」のデータ処理が可能に--まず「Sheets」から - ZDNet Japan
                                        • Crash Course - データサイエンティスト育成クラッシュコース -

                                          Crash Course - データサイエンティスト育成クラッシュコース - Home Crash Course - データサイエンティスト育成クラッシュコース - 統計数理研究所の人的リソースを最大限に活用した教材を開発しまし...

                                          • 実務で使う統計手法は、5つ。すごい、そんなシンプル? – rupurupu

                                            このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、201...

                                            実務で使う統計手法は、5つ。すごい、そんなシンプル? – rupurupu
                                            • Treasure Dataの新データ転送ツールEmbulkを触ってみた #dtm_meetup | Developers.IO

                                              この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。 ども、大瀧です。 本日開催されたデータ転送ミドルウェア勉強会で、開発者の@frsyukiさんによって...

                                              Treasure Dataの新データ転送ツールEmbulkを触ってみた #dtm_meetup | Developers.IO
                                              • 主キーはインデックスではない: 設計者の発言

                                                仕事柄、奇妙なDB構造を目にすることが多い。どういう発想からそんな設計がされるのかを理解したいと思っていたのだが、モデラー仲間の秋里さんが先日うまい指摘をした。「主キーをインデックスみたい...

                                                主キーはインデックスではない: 設計者の発言
                                                • Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014 - Publickey

                                                  Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014 大規模分散処理のフレームワークとしてGo...

                                                  Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014 - Publickey
                                                  • Excelの“条件付き書式”を過小評価してましたと感じた超便利な小ワザ4つ - 週刊アスキー

                                                    エクセルの表って大きくなればなるほど、数字ばかりになって見づらくなりますよね。そこでぜひ活用したいのが“条件付き書式”です。つまり、セルの値によって書式を変えることで、特定のセルを目立たせ...

                                                    Excelの“条件付き書式”を過小評価してましたと感じた超便利な小ワザ4つ - 週刊アスキー
                                                    • データを多角的に分析できるピボットグラフはデータサイエンティストの必須スキル | 日経 xTECH(クロステック)

                                                      ●ビッグデータ時代に注目の職業 ビッグデータ時代に注目の職業といえば? 「そりゃ、データサイエンティストだろ」 そうだな。2012年1月号の「ハーバード・ビジネス・レビュー」で、「Data Scientist:...

                                                      データを多角的に分析できるピボットグラフはデータサイエンティストの必須スキル | 日経 xTECH(クロステック)
                                                      • NYSOL – 超高速な大規模データ解析を実現するソフトウェアツール

                                                        超高速な大規模データ解析を 実現するソフトウェアツール NYSOL makes it easier and faster to analyze big data. NYSOLver2.4.2 SOFTWARE LIST GitHub NYSOL Manual ※NYSOLは日本発のオープンソース...

                                                        • ビッグデータからIoT(モノのインターネット)へ|佐藤一郎のパースペクティブ|ダイヤモンド・オンライン

                                                          今年に入って、IT系のメディアでは、ビッグデータに代わって、IoT(Internet of Things)やM2M(Machine-to-Machine)というキーワードが目立ってきました。トレンドの潮目が代わってきているのでしょ...

                                                          ビッグデータからIoT(モノのインターネット)へ|佐藤一郎のパースペクティブ|ダイヤモンド・オンライン
                                                          • #GB37301 資料まとめ - マルシテイア

                                                            敬称略的な 1日め 永安 悟史 (アップタイム・テクノロジーズ) Inside PostgreSQL Kernel 星野 喬 (サイボウズ・ラボ) 10分で分かるデータストレージ 10分で分かるLinuxブロックレイヤ 10分で分かるバッ...

                                                            #GB37301 資料まとめ - マルシテイア
                                                            • スシロー、ビッグデータ分析し寿司流す 廃棄量75%減  :日本経済新聞

                                                              JR川崎駅にほど近い「スシロー」のミューザ川崎店(川崎市)。ここはスシローでもト…

                                                              スシロー、ビッグデータ分析し寿司流す 廃棄量75%減  :日本経済新聞
                                                              • ASCII.jp:「ビッグデータが民主主義を壊す」のは悪くない話

                                                                「ビッグデータ産業」の育成を目指して、政府のIT総合戦略本部が2015年1月の通常国会で個人情報保護法を改正する方針を固めた。実現すれば、データを匿名化し、個人が特定できる状態に戻さないことを約...

                                                                ASCII.jp:「ビッグデータが民主主義を壊す」のは悪くない話
                                                                • プライベートブログ › ログイン

                                                                  このサイトは、オーナーによりプライベートサイトとして設定されています。このサイトを見るには、次の2つが必要です。 WordPress.com のアカウント。アカウントをお持ちではありませんか ?メールアド...

                                                                  プライベートブログ › ログイン
                                                                  • 合理的な匿名化措置は可能なのか 「パーソナルデータに関する検討会」で議論されたこと | 日経 xTECH(クロステック)

                                                                    「個人情報保護法の改正が本格的に議論されそうだ」。2013年9月に「パーソナルデータに関する検討会」がそんな目的でスタートすると聞き、あわてて第1回会合の傍聴を申し込んだのは開催の前日だった。...

                                                                    合理的な匿名化措置は可能なのか 「パーソナルデータに関する検討会」で議論されたこと | 日経 xTECH(クロステック)
                                                                    • 2013年秋版:データサイエンティストを目指すなら揃えておくべき10冊 - 渋谷駅前で働くデータサイエンティストのブログ

                                                                      5ヶ月前に書いた記事がだいぶ陳腐化してきた*1気がするので、それ以降出版された書籍や、他にも学術的知識を得るだけでなく「データサイエンティストとして働く上で必要なスキル」について書かれた書籍...

                                                                      2013年秋版:データサイエンティストを目指すなら揃えておくべき10冊 - 渋谷駅前で働くデータサイエンティストのブログ
                                                                      • 第29回 データマイニング+WEB@東京( #TokyoWebmining 29th)-大規模解析・サービス活用 祭り- を開催しました - hamadakoichi blog

                                                                        2013/9/21 "第29回 データマイニング+WEB@東京−大規模解析・サービス活用 祭り−"を開催しました。 第29回 データマイニング+WEB@東京 ( #TokyoWebmining 29th)大規模解析・サービス活用 祭り−: Event...

                                                                        第29回 データマイニング+WEB@東京( #TokyoWebmining 29th)-大規模解析・サービス活用 祭り- を開催しました - hamadakoichi blog
                                                                        • Clojure/kuromojiでテキストマイニング入門 ~形態素解析からワードカウントまで~ - あんちべ!

                                                                          [テキストマイニング] Clojureでテキストマイニングをしたい!という方がTLにいらっしゃったので、 Clojureという言語とkuromojiという形態素解析器を用いたテキストマイニング入門の記事を書きます。 ...

                                                                          Clojure/kuromojiでテキストマイニング入門 ~形態素解析からワードカウントまで~ - あんちべ!
                                                                          • 古典的統計手法に超高速アルゴリズムを組み合わせ、ビッグデータから新しい事象を見出す統計手法を開発 | 特集記事 | Nature Careers | Nature Research

                                                                            古典的統計手法に超高速アルゴリズムを組み合わせ、ビッグデータから新しい事象を見出す統計手法を開発 2013年8月22日 東京工業大学大学院 情報理工学研究科 計算工学専攻 瀬々 潤 准教授 生命科学の研...

                                                                            古典的統計手法に超高速アルゴリズムを組み合わせ、ビッグデータから新しい事象を見出す統計手法を開発 | 特集記事 | Nature Careers | Nature Research
                                                                            • センサが集める大量データから、アプリケーションやサービスに必要な情報をリアルタイムで処理・配信できるCEP技術 | NEC R&D

                                                                              Please note that JavaScript and style sheet are used in this website, Due to unadaptability of the style sheet with the browser used in your computer, pages may not look as original. Even...

                                                                              • ログ解析をあきらめない、あるいはSumoLogicの紹介

                                                                                ログ解析をあきらめない、あるいはSumoLogicの紹介 1. ログ処理を「あきらめない」 JAWS−UG 中央線 第0回 荒木靖宏 2. 自己紹介 名前 • 荒木 靖宏(AWSのSAです) 中央線 • 吉祥寺と武蔵境に7年弱 ID...

                                                                                ログ解析をあきらめない、あるいはSumoLogicの紹介
                                                                                • 【進撃の巨大データ】RealTimeLog集計を目的としたRedisの活用 - Y's note

                                                                                  Log集計の設計を再考 【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Yuta.Kikuchiの日記 人生を前向きに楽しむことを心に誓った@yutakikucです。最近はこのブログで【進撃の巨...

                                                                                  【進撃の巨大データ】RealTimeLog集計を目的としたRedisの活用 - Y's note