はてなブックマーク

  • はてなブックマークって?
  • アプリ・拡張の紹介
  • ユーザー登録
  • ログイン
  • Hatena

はてなブックマーク

トップへ戻る

  • 総合
    • 人気
    • 新着
    • 国内
    • 国際
    • 経済・金融
    • IT
    • 社会
    • 文化
    • 事件・事故
    • はてなブログ(総合)
  • 一般
    • 人気
    • 新着
    • 今日の出来事
    • 生活
    • グルメ
    • 新型コロナウイルス
    • 今後の「働き方」
    • 夏の風物詩
    • ビジネス・経営
    • 雑学
    • 将棋・囲碁
  • 世の中
    • 人気
    • 新着
    • 新型コロナウイルス
    • 働き方
    • 生き方
    • 地域
    • 医療・ヘルス
    • 教育
    • 恋愛
    • はてな匿名ダイアリー
  • 政治と経済
    • 人気
    • 新着
    • 政治
    • 経済・金融
    • 企業
    • 仕事・就職
    • マーケット
    • はてなブログ(政治と経済)
  • 暮らし
    • 人気
    • 新着
    • カルチャー・ライフスタイル
    • ファッション
    • 運動・エクササイズ
    • 結婚・子育て
    • 住まい
    • グルメ
    • お金
    • はてなブログ(暮らし)
    • 掃除・整理整頓
    • 雑貨
    • 買ってよかったもの
    • 旅行
    • 趣味
  • 学び
    • 人気
    • 新着
    • 人文科学
    • 社会科学
    • 自然科学
    • 英語
    • ビジネス・経営
    • デザイン
    • 法律
  • テクノロジー
    • 人気
    • 新着
    • IT
    • セキュリティ技術
    • はてなブログ(テクノロジー)
    • AI・機械学習
    • プログラミング
    • エンジニア
  • おもしろ
    • 人気
    • 新着
    • まとめ
    • ネタ
    • おもしろ
    • これはすごい
    • かわいい
    • 雑学
  • エンタメ
    • 人気
    • 新着
    • スポーツ
    • 映画
    • 音楽
    • アイドル
    • 芸能
    • サッカー
    • 将棋・囲碁
  • アニメとゲーム
    • 人気
    • 新着
    • マンガ
    • Webマンガ
    • ゲーム
    • 任天堂
    • PlayStation
    • アニメ
    • バーチャルYouTuber
    • オタクカルチャー
  • おすすめ

    カレーが食べたい

『株式会社ホクソエムのブログ』

  • 人気
  • 新着
  • すべて
  • 機械学習とビジネスを橋渡しするものこそ評価指標であり, ”全てのビジネスは条件付期待値の最大化問題として書ける”仮説についての一考察 - 株式会社ホクソエムのブログ

    178 users

    blog.hoxo-m.com

    はじめに 株式会社ホクソエム常務取締役のタカヤナギ=サンです、データサイエンスや意思決定のプロ・経営をしています。 掲題の件、現在、某社さんと”機械学習における評価指標とビジネスの関係、および宇宙の全て”というタイトルの書籍を書いているのですが、 本記事のタイトルにあるような考え方については、論文・書籍などを数多く調査しても未だお目にかかることができず、これをいきなり書籍にしてAmazonレビューなどでフルボッコに叩かれて炎上して枕を涙で濡らすよりも、ある程度小出しにして様々な人々の意見を聞いた方が良いのではないかと思い独断で筆を取った次第です。 筋が良さそうなら論文にするのも良いと思っている。 「いや、そんなもん会社のBLOGに書くんじゃねーよ💢」という話があるかもしれないですが、ここは私の保有する会社なので何の問題もない、don't you? こういうビジネスを考えてみよう 「この人

    • テクノロジー
    • 2021/06/27 17:39
    • 機械学習
    • あとで読む
    • DataScience
    • ビジネス
    • techfeed
    • 仕事
    • pytest fixtureの地味だけど重要な部分について - 株式会社ホクソエムのブログ

      34 users

      blog.hoxo-m.com

      こんにちは。ホクソエム支援部サポーターのPython担当、藤岡です。 最近はデータエンジニア見習いとしてBI周りを触っています。 今回はpytestのfixtureについての記事です。 pytest自体が有名で記事もたくさんあるので、今回は地味だけど重要だと個人的に思っている usefixturesとスコープについて取り上げます。 地味とはいえ、pytestの初心者がfixtureを使いこなすためのステップアップに必要な内容だと思います。 ぜひマスターしていただければ幸いです。 1. 前書き 基礎的なことに関してはこの記事にとても簡潔にまとまっているので、こちらをまず読むのがオススメです。とても良い記事です。 pytestは独自の書き方を持ち込んでいるライブラリです。その機能を使いこなすと「綺麗」なコードにはなりますが、反面それは使われている機能を知らない人にとってはこの上なく読みにくいも

      • テクノロジー
      • 2021/05/25 10:02
      • python
      • pytest
      • fixture
      • testing
      • テスト
      • test
      • あとで読む
      • 「技術に正しく課金したいがためにアラフォーでも髪を染め続けているよ」というお話。 - 株式会社ホクソエムのブログ

        3 users

        blog.hoxo-m.com

        株式会社ホクソエム常務取締役のタカヤナギ=サンです、主に経営を担当しています。 株式会社ホクソエムの顧客、あるいは同僚から「何で君はアラフォーになっても変な髪色になっとるんじゃい?」という質問を結構いただくんで、 いい加減そのことについての私の考えをポエムにしたいなと思ってこのブログを書いています。 「いや、そんなもん会社のBLOGに書くんじゃねーよ💢」という話があるかもしれないですが、ここは私の保有する会社なので何の問題もない、don't you? タイトルにある"技術"(テクノロジー)はより正確には”技”(テクネ、スキル)のほうが正しい気もするが、まあここでは問題としないで同義として扱っていきたく存じます。 美容室のビジネスモデル 美容室のビジネスモデルっていうのは比較的シンプルで、月当たりの売上は以下で計算できるわけです。 売上 = 顧客単価 x 顧客人数/月 これが一月の売上にな

        • 学び
        • 2021/05/09 16:52
        • あとで読む
        • darts-cloneを使って最長一致法で分かち書きしてみる - 株式会社ホクソエムのブログ

          6 users

          blog.hoxo-m.com

          ホクソエムサポーターの白井です。 呪術廻戦をみて喜久福が食べたくなりました *1。 今回は形態素解析について深堀りしてみます。 日本語の自然言語処理において、形態素解析は必ずといっていいほど通る道です。 形態素解析を必要としないSentencePieceのような深層学習向けのtokenizerも出現していますが、品詞単位で分割する形態素解析が重要であることは変わりありません。 そんなこんなで、『実践・自然言語処理シリーズ2 形態素解析の理論と実装』 (以降「形態素解析本」と表記)を読んでいます。 リンク先の目次を見て分かるとおり、基礎の部分から実装まで説明されている本です。 今回は4章で紹介されている darts-clone を使って、精度は粗いが高速で分かち書きができる最長一致法で、どれぐらい分かち書きが可能かを検証します。 事前知識・辞書引き darts-cloneを使ってみる 単語辞

          • テクノロジー
          • 2020/10/28 10:21
          • 自然言語処理
          • アルゴリズム
          • Python
          • 言葉
          • EDINET APIって知ってる? ~有価証券報告書をもっと楽にダウンロードする話~ - 株式会社ホクソエムのブログ

            4 users

            blog.hoxo-m.com

            はじめに こんにちは, ホクソエムサポーターのKAZYです。 最近はペンギンに興味があります🐧。 世界最大のペンギンであるコウテイペンギンを日本で見るならば名古屋港水族館 (愛知) かアドベンチャーワールド (和歌山) らしいです。 ところで, 平成31年3月17日からEDINETに提出された書類をAPIで取得できるようになったことをご存知でしょうか? だからなんなの?っていう方聞いてください。 もうブラウザポチポチやらなくても有価証券報告書ダウンロードできるんですよっ!!!! 「退屈なことはPythonにやらせよう」マンになる時が来たのです。 今回はEDINET APIで有価証券報告書を保存するための最低限の知識と 任意の日付の有価証券報告書をダウンロードするPythonプログラムを紹介します。 読んだら幸せになりそうな方 提出日を指定した有価証券報告書のダウンロードしたい方 (e.g

            • テクノロジー
            • 2020/10/14 23:33
            • あとで読む
            • 有価証券報告テキストマイニング入門 - 株式会社ホクソエムのブログ

              92 users

              blog.hoxo-m.com

              はじめに こんにちは, ホクソエムサポーターのKAZYです。 先日猫カフェデビューをして, 猫アレルギーであることがわかりました🐈。 次はフクロウカフェに挑戦してみようかなと思っています🦉。 ところで皆様, 有価証券報告書は読んでますか? 私は読んでいません。 読めません。 眺めていると眠くなります💤。 私は眠くなるんですが, 有価証券報告書ってテキストマイニングするのに向いているんです。企業の事業や財務情報が詳細に書かれています。 XBRL形式で構造化されています。 数千社分のテキストが手に入ります。 おまけに無料です。 どうです?興味湧いてきませんか? 本記事ではPythonを使って有価証券報告書をテキストマイニングする方法を紹介します。 有価証券報告書をダウンロードするところからご紹介するのでご安心を。 こんな方が見たら役に立つかも 企業分析をプログラミングでやりたいが何してい

              • テクノロジー
              • 2020/10/07 10:56
              • python
              • 投資
              • あとで読む
              • 自然言語処理
              • NLP
              • テキスト
              • 株
              • プログラミング
              • MLflowのXGBoost拡張を読んでみる - 株式会社ホクソエムのブログ

                22 users

                blog.hoxo-m.com

                はじめに ホクソエムサポーターの藤岡です。会社を移りましたが、相変わらずPythonを書く仕事をしています。 前回の記事に引き続き、今回もMLflowについての記事です。 前回はトラッキング寄りでしたが、今回はモデルのデプロイにも関わってくる内容です。 MLflowはXGBoost, PySpark, scikit-learnといった多様なライブラリに対応していて、様々な機械学習タスクに活用することができるのが売りの一つです。 その実現のため、設計や実装に様々な工夫がされているのですが、 この部分について詳しくなることで、オリジナルの機械学習モデルをMLflowとうまく繋ぐことができるようになったり ETLのようなモデル学習にとどまらない使い方もできるようになったりします。 本記事では、XGBoostをMLflowで扱うためのモジュール mlflow.xgboost について解説することで

                • テクノロジー
                • 2020/08/20 14:13
                • 機械学習
                • あとで読む
                • HotEntry
                • TRI-AD(TOYOTAの自動運転のとこ)の服部圭悟さんにカジュアル面談してもらった - 株式会社ホクソエムのブログ

                  4 users

                  blog.hoxo-m.com

                  頭出し 前職の同僚(一時期私の真後ろの席に座っていた)で、今は「誰もが、安全に移動できる世界へ」を掲げるTRI-ADに勤めている服部圭悟さんとカジュアル面談したら面白かったのでまとめておきたい、そして彼のチームの採用へとつなげていきたい。 カジュアル面談中にメモった箇条書きを体裁整えただけなので、やや文が壊れているがご容赦&そこも含めて愛して欲しい。 「いや、そんなもん会社のBLOGに書くんじゃねーよ💢」という話があるかもしれないですが、ここは私の保有する会社なので何の問題もない、don't you? このカジュアル面談では、会社の全容とかまるで聞かないで私の聞きたいことだけ聞いてきたんで、その質疑応答をまとめました。 本当に好き勝手に聞いたのにまじで全部真摯に答えてもらって大変ありがたかったです。 みんなが話を聞きに行くとまた違った結果になるかもしれない、カジュアル面談はここからカジュ

                  • テクノロジー
                  • 2020/08/12 00:15
                  • あとで読む
                  • 法人としての価格設定問題からの、おじさんエンジニアの辛さと賃金の関係性 - 株式会社ホクソエムのブログ

                    308 users

                    blog.hoxo-m.com

                    株式会社ホクソエム常務取締役のタカヤナギ=サンです、主にバックオフィス業務を担当しています。 自分メモに書き溜めていたポエムネタが溜まってきたので少しずつ放出していこうと思い筆をとりました。 「いや、そんなもん会社のBLOGに書くんじゃねーよ💢」という話があるかもしれないですが、ここは私の保有する会社なので何の問題もない、don't you? これは何の話なの? 以前、社のお若い方が技術的に楽しそうな案件を持ってこられて、その価格設定をどうするかについて悩まれておられた時がありました。 その際に社内のSlackにいわゆる”おじさんの小言”のようなものをちらほら書いていたので、それを改めて文章にし、更に「あ、この話は私がちょいちょい感じているおじさんエンジニアの辛さと賃金の話にもつながってくるな」思い、そことも絡めて書いたものになります。 法人としての価格設定問題 既にご存じの方もいるかも

                    • テクノロジー
                    • 2020/07/11 08:36
                    • エンジニア
                    • あとで読む
                    • 労働
                    • 技術
                    • 会社
                    • 転職
                    • 組織論
                    • 【翻訳】機械学習の技術的負債の重箱の隅をつつく (後編) - 株式会社ホクソエムのブログ

                      25 users

                      blog.hoxo-m.com

                      ホクソエムサポーターの白井です。 今回は前回 【翻訳】機械学習の技術的負債の重箱の隅をつつく (前編) の続きを紹介します。 blog.hoxo-m.com ※この記事は、Matthew McAteer氏によるブログ記事Nitpicking Machine Learning Technical Debtの和訳です。原著者の許可取得済みです。 後編では、コードのアンチパターンなど、エンジニアには身近な話題で、前編と比較して実践しやすいコンテンツも多いと思います。 Nitpicking Machine Learning Technical Debt (機械学習の技術的負債の重箱の隅をつつく) Part5 MLコードにある共通のダメなパターン Part6 構成の負債 (退屈だけど修正は簡単) Part7 解決への夢を打ち砕く実世界 Part8 奇妙なメタセクション サニティーチェック (Sani

                      • テクノロジー
                      • 2020/07/06 18:29
                      • 機械学習
                      • あとで読む
                      • HotEntry
                      • techfeed
                      • 【翻訳】機械学習の技術的負債の重箱の隅をつつく (前編) - 株式会社ホクソエムのブログ

                        113 users

                        blog.hoxo-m.com

                        ホクソエムサポーターの白井です。 今回は Matthew McAteer氏によるブログ記事Nitpicking Machine Learning Technical Debtの和訳を紹介します。 原著者の許可取得済みです。 Thank you! アメリカの国内ネタも含んでいて、日本語だと理解しにくい箇所もありますが、機械学習の技術的負債をどう対処していくかについて、とても役に立つ記事だと思います。 Nitpicking Machine Learning Technical Debt (機械学習の技術的負債の重箱の隅をつつく) イントロダクション Part1 技術的負債はあなたの予想以上に悪い Part2 機械学習の漠然とした性質 Part3 (通常の依存関係の頂上にある) データ依存関係 Part4 イライラさせるほど未定義なフィードバックループ 後編に続きます Nitpicking Ma

                        • テクノロジー
                        • 2020/06/21 19:32
                        • 機械学習
                        • あとで読む
                        • コード
                        • システム
                        • MLflowのデータストアを覗いてみる - 株式会社ホクソエムのブログ

                          13 users

                          blog.hoxo-m.com

                          (2020/08/14 flavorについての記載を一部修正) はじめに こんにちは、ホクソエムサポーターの藤岡です。 最近、MLflowを分析業務で使用しているのですが、お手軽に機械学習のモデルや結果が管理できて重宝しています。 また、特定のライブラリに依存しないなど、使い方の自由度も非常に高いところが魅力的です。 ただ、ザ・分析用のPythonライブラリという感じでとにかく色々なものが隠蔽されており、 サーバにつなぐクライアントさえもプログラマあまりは意識する必要がないという徹底っぷりです。 もちろんマニュアル通りに使う分には問題ないですが、 ちゃんと中身を知っておくと自由度の高さも相まって色々と応用が効くようになり、 様々なシチュエーションで最適な使い方をすることができるようになります。 というわけで、今回はMLflowの記録部分を担う、 Experiment, Run, Artif

                          • テクノロジー
                          • 2020/05/01 02:26
                          • MLFlow
                          • あとで読む
                          • 深層学習系のトップ会議ICLR2020のNLP系論文についてざっくり紹介 - 株式会社ホクソエムのブログ

                            36 users

                            blog.hoxo-m.com

                            ホクソエムサポーターの白井です。今回はICLR2020 の論文を紹介します。 The International Conference on Learning Representations (ICLR) は機械学習の中でも特に深層学習 を専門とした国際会議です。 OpenReview.net によるopen peer reviewを採用しているので、submitされた論文はだれでも閲覧可能です。(ICLR2020 open review) 2020年はエチオピアで開催予定でしたが、COVID-19の影響でvirtual conferenceとなりました。 今回はNLP系の論文について5本紹介します。 すでに日本語ブログ記事で紹介されているような論文もありますが、自分が興味を持った部分を中心としてざっくりと紹介したいと思います。 以降、とくに記載がない場合、図は論文またはブログからの引用で

                            • テクノロジー
                            • 2020/04/21 14:16
                            • NLP
                            • 機械学習
                            • deeplearning
                            • あとで読む
                            • https
                            • 自然言語処理
                            • paper
                            • HotEntry
                            • 論文
                            • 学習済み日本語word2vecとその評価について - 株式会社ホクソエムのブログ

                              87 users

                              blog.hoxo-m.com

                              ホクソエムサポーターの白井です。 今回は日本語の word2vec に着目し、日本語の学習済み word2vec の評価方法について紹介します。 自然言語は非構造化データであるため、単語や文章を計算機で扱いやすい表現に変換する必要があります。 そのための方法の1つに word2vec があり、Bag of Words (BoW) や tf-idf とならんでよく用いられます。 一般に、word2vec は Mikolovが提案した手法 (CBOW, Skip-gram) をはじめ、 GloVe や fastText など、単語をベクトルで表現する単語分散表現のことを指します。 word2vec は教師なし学習のため、コーパスさえ準備できれば誰でも新しい単語分散表現を学習することができます。 しかし、実際に word2vec を使う際に、どのように評価すれば良いのかがよく分からず、配布されて

                              • テクノロジー
                              • 2020/02/20 09:31
                              • word2vec
                              • 機械学習
                              • NLP
                              • テキストマイニング
                              • あとで読む
                              • アルゴリズム
                              • 分析
                              • sqlparse 入門 - 字句解析編 - - 株式会社ホクソエムのブログ

                                6 users

                                blog.hoxo-m.com

                                本記事はPythonその2 Advent Calendar 2019に参加しています。 1. はじめに こんにちは。ホクソエムサポーターの藤岡です。 データアナリストらしいですが、分析そっちのけでPySparkと戯れてます。 メソッドチェインを積み上げていくスタイルで最初はちょっと使いづらいなと思ったのですが、 DataFrameが思いのほか使いやすくて、 気がつくとPySpark無しでは生きられない身体になってしまいました......。 さて、今回紹介するライブラリはsqlparseです。 sqlparseは、SQLエンジンを一切使わずにSQLを解析し、そこから種々の情報を得ることができる非常に頼もしいライブラリです。 例えば、SQLの山の中から欲しいテーブルのDDLを簡単に検索できるようにしたり、 さらにそこからカラムの情報を抜き出してきたり、業務で大変お世話になっております。 ただ、

                                • テクノロジー
                                • 2019/12/30 12:40
                                • Python
                                • *program
                                • SQL
                                • gganimateでバーチャートレースを作って競争心を煽る - 株式会社ホクソエムのブログ

                                  3 users

                                  blog.hoxo-m.com

                                  ホクソエムサポーターの輿石です。普段はデータ分析会社で分析業務や社内Rパッケージ開発をはじめ分析環境を整備する仕事をしています。 最近WEB系のメディアで「バーチャートレース(bar chart race )」と呼ばれるぬるぬる動く棒グラフを見ることが増えてきました。興味を惹くという点で優れた面白い可視化だと思います。Rではgganimateパッケージを使うことで簡単にggplot2のグラフをアニメーションにできたので、作成方法を細かい部分含めて紹介します。 なお、本記事ではggplot2の詳細には触れていませんが、詳細は「Rグラフィックスクックブック」がオススメです。なんと本記事が投稿された2019年11月21日は約6年ぶりの改版となる第2版の発売日なようです!6年前は少し面倒だったことも今ではより簡単にできるようになっていたりするので、すでにggplot2が使えるあなたも是非ッ。 Rグ

                                  • 学び
                                  • 2019/12/05 15:59
                                  • R
                                  • *program
                                  • visualization
                                  • EMNLP2019の気になった論文を紹介 - 株式会社ホクソエムのブログ

                                    14 users

                                    blog.hoxo-m.com

                                    ホクソエムサポーターの白井です。 EMNLP-IJCNLP 2019 (以降 EMNLP) が先日、香港で開催されました。 EMNLPは Empirical Methods in Natural Language Processing の略称で、ACLやNAACLと並ぶ、計算機科学のTop conferenceと言われてます*1。 今年採択されたEMNLPの論文は682本 (+システム/デモ論文45本) です。 (年々増えています。) 今回は、EMNLP2019の論文から、いくつか気になったものを紹介します。 前回に引き続き、検証系の論文とデータ構築についての論文をメインに扱います。 以降、記載する図表は、明記しない限り、論文から引用しています。 1. ner and pos when nothing is capitalized 2. A Little Annotation does a

                                    • テクノロジー
                                    • 2019/11/19 12:07
                                    • NLP
                                    • 論文
                                    • 機械学習
                                    • HotEntry
                                    • あとで読む
                                    • 今年読んだNLP系論文で面白かった5つ - 株式会社ホクソエムのブログ

                                      78 users

                                      blog.hoxo-m.com

                                      ホクソエムサポーターの白井です。学生時代は自然言語処理の研究をしていました。 「今年読んだ論文、面白かった5つ」というテーマで、自然言語処理(NLP)の論文を紹介します。 主にACL anthologyに公開されている論文から選んでいます。 はじめに 今年のNLP界隈の概観 1. Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems 面白いと思った点 2. Errudite: Scalable, Reproducible, and Testable Error Analysis 面白いと思った点 3. Language Models as Knowledge Bases? 面白いと思った点 余談 4. A Structural Probe for Finding Syntax in Word

                                      • テクノロジー
                                      • 2019/10/24 09:10
                                      • NLP
                                      • 機械学習
                                      • あとで読む
                                      • 論文
                                      • 自然言語処理
                                      • 研究
                                      • paper
                                      • 言語
                                      • Rでのナウなデータ分割のやり方: rsampleパッケージによる交差検証 - 株式会社ホクソエムのブログ

                                        13 users

                                        blog.hoxo-m.com

                                        前処理大全の「分割」の章では、予測モデルの評価のためのデータセット分割方法が解説されています。基礎から時系列データへ適用する際の注意まで説明されているだけでなく、awesomeなコードの例がRおよびPythonで書かれており、実践的な側面もあります(お手元にぜひ!)。 しかし今回は、Awesome例とは異なる、より新しいやり方で・簡単にRでのデータ分割を行う方法を紹介したいと思います。前処理大全でも取り上げられているcaretパッケージですが、その開発者のMax Kuhnが開発するパッケージの中に rsample を使う方法です。ここでは前処理大全で書かれている一般的なデータと時系列データの交差検証による分割をrsampleの使い方を紹介しながらやっていきます。加えて、rsampleの層化サンプリングについても最後に触れます。 1. レコードデータにおけるモデル検証用のデータ分割 zeal

                                        • テクノロジー
                                        • 2019/06/08 22:44
                                        • R
                                        • これは便利
                                        • あとで読む
                                        • programming
                                        • ggplot2 で時系列プロットの端点にラベルを表示する - 株式会社ホクソエムのブログ

                                          6 users

                                          blog.hoxo-m.com

                                          こういう感じで時系列プロットの端点にラベルを表示したい。 この方が時系列とラベルの対応がわかりやすくて良い。 データ視覚化のデザイン #1|Go Ando / THE GUILD|note ggrepel パッケージを使うと簡単にできるが、いくつか注意点があるのでここで紹介したい。 まずはデータを用意する。 library(tidyverse) set.seed(314) d <- map_dfr( c("setosa", "versicolor", "virginica"), ~ tibble( idx = 1:400, value = cumsum(runif(400, -1, 1)), type = . ) ) ggplot(d, aes(idx, value, colour = type)) + geom_line() 普通にプロットするとこんな感じだが、右端にラベルをつけたい。

                                          • 学び
                                          • 2018/09/16 16:43
                                          • R
                                          • あとで読む
                                          • データ分析のワークフローをdrakeで管理して効率的に作業を進めよう - 株式会社ホクソエムのブログ

                                            30 users

                                            blog.hoxo-m.com

                                            要約 drakeパッケージは、GNU makeのようにあらかじめ定義されたワークフローを自動的に実施する仕組みを、Rユーザに馴染みやすいデータフレーム形式で提供する ワークフローの構築と管理、実行はRの関数として提供され、依存関係を可視化する関数も用意される drakeパッケージを使うことで、データ分析でありがちな「再実行」の負担(再計算、コードの保守)を軽減することが可能となる 各オブジェクトは自動的にキャッシュされ、コードや依存関係に変更のない場合はキャッシュが利用される ワークフローの各処理の状況、依存関係を可視化する関数も用意され、ワークフロー管理が容易になる 要約 はじめに シーシュポスの岩 既存の解決策 drake: Rユーザのためのワークフロー処理パッケージ ワークフロー管理の基礎 ワークフローと依存関係の可視化 ワークフローの変更 参考URL はじめに データ分析の作業は、

                                            • 学び
                                            • 2018/09/05 18:54
                                            • R
                                            • drake
                                            • あとで読む
                                            • *program
                                            • make
                                            • 分析
                                            • SmartNews
                                            • モデルで扱うデータの前処理をrecipesで行う - 株式会社ホクソエムのブログ

                                              10 users

                                              blog.hoxo-m.com

                                              ドーモ。ホクソエムの @u_ribo です。本業ではモデリングとは離れたギョームをしています。寂しくなったので、Rのrecipesパッケージについて紹介します。 tidymodels.github.io モデルに適用するデータの前処理 Rでのモデル式 (model formula) の記述って、利用時に不便を感じることや覚えるのが難しい面が時々ありませんか?例えば、y ~ .」は右辺のドットが、目的変数以外の全ての変数を説明変数として扱うことを示しますが、説明変数に対数変換などの変数変換を行うにはy ~ log(.)という記述はできず、結局、説明変数を「+」でつなげていくことになります。また、交互作用項の指定には「x1 * x2」や「(x1 + x2)^2」、「:」を使う表記が可能ですが、この表記には最初は混乱しませんか?(単に私が不勉強なだけということもあります) 加えて、多くのモデルで

                                              • テクノロジー
                                              • 2018/08/26 16:58
                                              • R
                                              • log
                                              • モデル
                                              • 分析
                                              • データ
                                              • data
                                              • あとで読む
                                              • ブログ
                                              • ggplot2 で時系列の区間に影をつけるのは annotate が便利ぽい - 株式会社ホクソエムのブログ

                                                3 users

                                                blog.hoxo-m.com

                                                例えば次のような時系列データがあるとします。 library(xts) ts <- as.xts(Nile) library(ggplot2) autoplot(ts) このプロットの 1900年から1940年までの区間に影をつけたい。 これには annotate() が便利ぽい。 autoplot(ts) + annotate("rect", xmin = as.Date("1900-01-01"), xmax = as.Date("1940-01-01"), ymin = -Inf, ymax = Inf, alpha = 0.2) Enjoy! 参考 Create an annotation layer — annotate • ggplot2

                                                • 世の中
                                                • 2018/08/22 09:45
                                                • awe.s3パッケージでRからのAWS S3とのファイルやりとりを行う ·

                                                  6 users

                                                  blog.hoxo-m.com

                                                  ドーモ。ホクソエムです。更新が久しくなってしまいました。ホクソエムでは現在、Amazon Web Service (AWS)を利用していないのですが、本職の方でS3に触れる機会があったので、RからS3への操作を行うためのパッケージ awe.s3 を紹介したいと思います。 ASW S3とは、AWSが提供するサービスの一つで、オンラインでのファイルストレージとして利用できます。ストレージするファイルの容量・種類は問わないので、一時的なデータや画像の保存先として使われているのではないでしょうか。また、柔軟にアクセス制限やファイルのライフサイクル(自動的な削除)がかけられるのも特徴です。S3では、バケットと呼ばれるフォルダのような構造と、オブジェクト(データ)を管理します。 awe.s3パッケージは、数多くの便利なRパッケージを行っているROpenSciのメンバーでもあるThomas J. Lee

                                                  • テクノロジー
                                                  • 2017/07/31 18:04
                                                  • S3
                                                  • AWS
                                                  • R
                                                  • あとで読む
                                                  • RStudioアドイン 10選 ·

                                                    24 users

                                                    blog.hoxo-m.com

                                                    Rユーザのみなさん、RStudio使っていますか。RStudioを使うなら、RStudioアドインも使いましょう。便利です。 … でも、\どんなアドインがあるのかわからない!/ という声をしばしば聞きます。というわけでお気に入りのアドインを10個まとめました。用途ごとに部門を設けて紹介します。 RStudioアドインとは そもそもRStudioアドインとは何か。それを説明しておかないといけませんね。 RStudioアドインとは、0.99.878以降のバージョンで実装されているRStudioの一機能です。複雑な処理をボタン一発で実行したり、ショートカットとして利用したり、GUI操作で処理を実行できるようになります。 RStudioアドインはメニューバーの「Addins」というボタンあるいは設定されたショートカットから呼び出すことができます。アドインは、Rの関数と同様にパッケージによって提供さ

                                                    • テクノロジー
                                                    • 2017/05/10 21:10
                                                    • R
                                                    • RStudio
                                                    • 研究
                                                    • プログラミング
                                                    • デザイン
                                                    • 「東京ベイエリア・タワーマンション地図」の作成 ·

                                                      3 users

                                                      blog.hoxo-m.com

                                                      はじめに キュッキュキュッキュ🎧こんばんはDJタカヤナギです😤。 今日で連休が終わるという方が大半なのではないでしょうか? 長い連休明けの月曜日はいつだって嫌なものですね。 さて、東京オリンピックまであと3年ということで、その中心地となるであろう東京湾周辺、通称、東京ベイエリアが熱いわけです。 特にここ数年で高騰したタワーマンション(以下、タワマン)や、 これからもガンガン建設されていく予定のまだ見ぬタワマンに対し、投資対象として強い興味があるわけです。 主に、弊社の社長が。 ただ、東京ベイエリアのタワマンと言いましても数がたくさんありすぎて覚えられないぞと、 一目で、どれがどのタワマンかわかるような地図が必要だぞというわけで、それをR言語を用いて作ってみましたので、その方法を公開します。 R言語での実装 さて、問題となるのはタワマン一覧のデータソースですが、ここではアクセルホームさん

                                                      • 暮らし
                                                      • 2017/05/07 09:36
                                                      • 地図
                                                      • ナウでヤングなRの環境変数管理方法 ·

                                                        5 users

                                                        blog.hoxo-m.com

                                                        こんにちは。ホクソエムのグローバル推進事業部にて本部長を努めます瓜生(@u_ribo)です。この記事ではRにおける環境変数の設定方法のおさらいと、ナウな手法を使った環境変数の管理方法について紹介します。 環境変数を利用していますか? Rでは、利用している環境やユーザの設定を環境変数として記録・利用できるようになっています。具体的な項目についてはドキュメントに記されている通りですが、例えばユーザのホームディレクトリ (HOME)やロケール (LC_ALL)などがあります。こうした環境変数は直接意識して利用することは稀ですが、頻繁に使う値やディレクトリのパスなどを環境変数として保存しておくと便利なことがあります。 現在設定されている環境変数の値を確認するにはSys.getenv()関数を実行します。引数に何も指定せずに実行すると全ての環境変数と値が出力されますが、引数に環境変数名を指定すること

                                                        • 暮らし
                                                        • 2017/04/24 16:47
                                                        • R
                                                        • DJタカヤナギ=サンで学ぶRを用いた画像操作 ·

                                                          3 users

                                                          blog.hoxo-m.com

                                                          こんにちは、ホクソエムの市川です。 日々の業務の合間にちょっとクソコラを作りたいこと、あると思います。 でもクソコラに手間はかけたくない。 そんな時に使えるのがimagerパッケージです。 ちなみに画像操作に使えるRのパッケージには他にもEBImageパッケージ、magickパッケージ等があります。 それぞれに利点はあるのですが、EBImageはbioconductorからインストールする必要があるので手間がかかり、magickは画像の上に図形を描くのが意外と面倒だったりします。 繰り返しますがクソコラに手間はかけたくない。 ということで今回はCC0ライセンスで公開されているDJタカヤナギ=サンの画像を用いてimagerパッケージの使い方について学びたいと思います。 画像の読み込みと表示 画像の読み込みにはload.image()を用います。 読み込んだ画像の情報はprint.cimg()

                                                          • 世の中
                                                          • 2017/04/11 17:15
                                                          • 画像処理
                                                          • R

                                                          このページはまだ
                                                          ブックマークされていません

                                                          このページを最初にブックマークしてみませんか?

                                                          『株式会社ホクソエムのブログ』の新着エントリーを見る

                                                          キーボードショートカット一覧

                                                          j次のブックマーク

                                                          k前のブックマーク

                                                          lあとで読む

                                                          eコメント一覧を開く

                                                          oページを開く

                                                          はてなブックマーク

                                                          • 総合
                                                          • 一般
                                                          • 世の中
                                                          • 政治と経済
                                                          • 暮らし
                                                          • 学び
                                                          • テクノロジー
                                                          • エンタメ
                                                          • アニメとゲーム
                                                          • おもしろ
                                                          • アプリ・拡張機能
                                                          • 開発ブログ
                                                          • ヘルプ
                                                          • お問い合わせ
                                                          • 公式Twitter
                                                          • ホットエントリー

                                                          はてなのサービス

                                                          • はてなブログ
                                                          • はてなブログPro
                                                          • 人力検索はてな
                                                          • はてなブログ タグ
                                                          • はてなニュース
                                                          • App Storeからダウンロード
                                                          • Google Playで手に入れよう
                                                          Copyright © 2005–2022 Hatena. All Rights Reserved.
                                                          設定を変更しましたx