並び順

ブックマーク数

期間指定

  • から
  • まで

241 - 280 件 / 1664件

新着順 人気順

algorithmの検索結果241 - 280 件 / 1664件

  • Aphex Twinのアイディアを具現化したサンプル加工ソフト、「samplebrain」が無償公開…… サンプルを別のサンプルの音響特性に一致させて再生

    エイフェックス・ツイン(Aphex Twin)ことリチャード・D・ジェームス(Richard D. James)が、オリジナルのサンプル・マッシュアップ・ソフトウェア「samplebrain(サンプルブレイン)」を公開。大きな注目を集めています。 「samplebrain」 GitLabで公開された「samplebrain」は、あのリチャード・D・ジェームスがデザインしたサンプル・マッシュアップ・ソフトウェア。実際に開発を手がけているのは、デイヴ・グリフィス(Dave Griffiths) というプログラマーで、GitLabではソース・ファイルのほか、Mac(Intel/M1)/Windows用のバイナリも配布されています。気になるのがこのソフトウェアの信ぴょう性(本当にリチャード・D・ジェームスが関わっているのか?という点)ですが、あるユーザーがWarp Recordsに問い合わせたとこ

      Aphex Twinのアイディアを具現化したサンプル加工ソフト、「samplebrain」が無償公開…… サンプルを別のサンプルの音響特性に一致させて再生
    • 圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案

      広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ

        圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
      • マイクロソフト、ChatGPTに任意のドキュメントを読み込ませて回答を得られる「Azure OpenAI Service On Your Data」パブリックプレビュー開始

        マイクロソフトは、ChatGPTとChatGPT-4に任意のドキュメントなどを読み込ませることで、そのドキュメントに基づいた回答を自然言語で得られる新サービス「Azure OpenAI Service On Your Data」のパブリックプレビューを発表しました。 例えば、社内規約や社内マニュアルなどをChatGPTに読み込ませると、「PCの修理を申し込むための社内手続きは?」といった、汎用の知識だけしか持たない従来のChatGPTでは答えられない質問にも回答できるようになります。 さらに、ChatGPT/ChatGPT-4に任意のドキュメントを読み込ませるための支援ツール「Azure AI Studio」には、そのままチャットボットAIをWebアプリケーションとして公開する機能が備わっています。 これにより、ドキュメントやデータを読み込ませるように設定したチャットAIのサービスを、簡単

          マイクロソフト、ChatGPTに任意のドキュメントを読み込ませて回答を得られる「Azure OpenAI Service On Your Data」パブリックプレビュー開始
        • MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか? | mond

          MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか? 端的に言うと性能が良いからです。 これを理解するにはバッファプールへの理解が必要です。ディスク指向のデータベースの上では有限のメモリを最大限活用することでメモリに入り切らない巨大なデータ群に対して良好な参照性能を出す必要があります。バッファプールとはディスク上のデータの羅列を固定サイズのページ(InnoDBの場合16KB)の羅列であるとして読み書きに必要な分だけをメモリに移し取り複数の書き込みをできる限りメモリ内で受け止めて後でまとめてディスクに書き戻すという、ライトバック型のキャッシュのような機構です。 この中においてバッファプールは有限のサイズしか無いので適宜プール内のデータを書き戻して入れ替えながら上手くやっていく必要があります。 さてB+treeとB-treeの最大の違いは木のリ

            MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか? | mond
          • How to implement Japanese full-text search in Elasticsearch

            全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは? Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書(ファイル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検

              How to implement Japanese full-text search in Elasticsearch
            • グルメサイトで評価急落、独禁法違反の恐れも 公取見解 星付けアルゴリズム巡る訴訟で - 日本経済新聞

              グルメサイト「食べログ」の飲食店評価の公平性を問う訴訟が東京地裁であり、公正取引委員会が異例の意見書を裁判所に出したことがわかった。評価の点数を算出するアルゴリズムの一方的な変更で、特定の店の評価が大きく下がるなどすれば、独占禁止法に違反する恐れもあると示唆した。アルゴリズムがもたらしているデジタル時代の市場競争の変化に独禁法がどう対応するのか。他のプラットフォーム企業も注目する司法の判断になり

                グルメサイトで評価急落、独禁法違反の恐れも 公取見解 星付けアルゴリズム巡る訴訟で - 日本経済新聞
              • Xで「ハッシュタグを使うのはやめて」とイーロン・マスク氏--「目立ちたがりを罰するアルゴリズム」示唆?

                X(旧Twitter)のイーロン・マスク氏は日本時間12月18日未明、Xに「ハッシュタグを使うのはやめて」と投稿した。「システムにはもう不必要で、見た目も悪い」とも付け加えた。 コンセントに挿して充電器にもなるAnkerのモバイルバッテリー(価格をAmazonでチェック) あわせてマスク氏が引用ポストした「Xにハッシュタグは必要か否か」という質問に対する生成AI「Grok」の回答は次のようなものだった。 「ハッシュタグは潜水艦に網戸を付けるくらいに無意味。ハッシュタグをたくさんつけたツイートは『私を見て!必死なんです』と叫んでいるみたいだ。Xは目立とうとする人をアルゴリズムで罰するような場所になってしまった。『もっと見られたい』と必死になるほど、逆に誰にも見られなくなる。ハッシュタグは『無名』への片道切符だ」

                  Xで「ハッシュタグを使うのはやめて」とイーロン・マスク氏--「目立ちたがりを罰するアルゴリズム」示唆?
                • カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog

                  はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが

                    カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog
                  • 「量子」と組合せ最適化に関する怪しい言説 ―とある研究者の小言― - むしゃくしゃしてやった,今は反省している日記

                    最近,量子コンピュータの話題をニュースや新聞で見かけることが増えてきました. その中で気になってきたのが,組合せ最適化と量子コンピュータ(特に量子アニーリング)に関する怪しい言説.私自身は(古典コンピュータでの)組合せ最適化の研究をやってきて,量子コンピュータを研究しているわけではないのですが,さすがにこれはちょっと・・・と思う言説を何回か見かけてきました. 最近の「量子」に対する過熱ぶりは凄まじいので,こういう怪しい言説が広まるのは困りものです.すでにTwitter上には,“組合せ最適化は今のコンピュータでは解けない”とか“でも量子なら一瞬で解ける”という勘違いをしてしまっている人が多数見られます*1. さすがに危機感を覚えてきたので,この場できちんと指摘しておくことにしました. 今北産業(TL;DR) “古典コンピュータは組合せ最適化を解けない” → 古典コンピュータで組合せ最適化を解

                      「量子」と組合せ最適化に関する怪しい言説 ―とある研究者の小言― - むしゃくしゃしてやった,今は反省している日記
                    • 大学の情報工学科はGitを教えませんが、それで実務ができるのでしょうか?企業は大学で習わなくても自分で勉強しており、入社したらGitは当たり前に使える人間が欲しいですか?

                      回答 (13件中の1件目) 社会に出てすぐ役立つスキルを教える大学は「職業訓練校」です(暴言) 大学の情報工学科の役目を図で表してみましょう。 まず、横軸は分野・ジャンルを表します。世界全体はもっと広いものですが、画面の横幅には制限があるのでご勘弁を。 縦軸は一般から専門までの、専門性の高さを表します。 一番下の層は「常識」です。だれもが持つべき知識や能力です。この常識をなるべく埋めようと、長い年月をかけて義務教育が行われます。 下から二番目の層は「スキル」です。社会で付加価値を生む専門性です。例えば、IT・財務・外国語・プレゼンテーション・交渉術・チームマネジメント・・・等...

                        大学の情報工学科はGitを教えませんが、それで実務ができるのでしょうか?企業は大学で習わなくても自分で勉強しており、入社したらGitは当たり前に使える人間が欲しいですか?
                      • タイムスタンプの精度を落とすときは切り捨てろ - methaneのブログ

                        とあるプロジェクトでナノ秒からミリ秒への変換で四捨五入してきた人がいて、時刻を扱うときは保存精度未満は切り捨てるべきというのが常識になっていないなーと思ったので。 2023-10-01 を、何年か表示する時に、2024年に丸める人はいないだろう。 13:45 が何時か表示する時も、13時と表示するだろう。(口頭で何時?と聞かれたら14時と答えるかもしれないけれど) つまり、ある精度で表した時刻は、実際には次のような半開区間を示しているのである。 2023-01-01 00:00:00 <= 2023年 < 2024-01-01 00:00:00 13:45:00.000 <= 13:45 < 13:46:00.000 そして、そう決めたからには一貫して同じように、指定精度未満は切り捨てというルールを維持しなければならない。秒以下は四捨五入で、とかやってはいけないのだ。 一貫しないと何が問題

                          タイムスタンプの精度を落とすときは切り捨てろ - methaneのブログ
                        • クックパッドマートの配送ルートを自動生成している仕組み - クックパッド開発者ブログ

                          こんにちは、クックパッドマート流通基盤アプリケーション開発グループのオサ(@s_osa_)です。 生鮮食品の EC サービスであるクックパッドマートでは、「1品から送料無料」をはじめとするサービスの特徴を実現するために、商品の流通網を自分たちでつくっています。 このエントリでは、商品をユーザーに届けるための配送ルートを自動生成している仕組みについて紹介します。 解決したい問題 配送ルートとは クックパッドマートにはいくつかの流通方法がありますが、ここでは「ステーション便」と呼ばれるものについて解説します。他の流通方法などを含む全体像が気になる方は以下のエントリがオススメです。 クックパッド生鮮 EC お届けの裏側 2022 年版 - クックパッド開発者ブログ ステーション便では、ハブと呼ばれる流通拠点からユーザーが商品を受け取りに行く場所であるステーションへと商品を運びます。東京都、神奈川

                            クックパッドマートの配送ルートを自動生成している仕組み - クックパッド開発者ブログ
                          • はてブのコメントが大幅に仕様変更されて不評らしいけど、これって、かつ..

                            はてブのコメントが大幅に仕様変更されて不評らしいけど、これって、かつて行われた「歌舞伎町浄化作戦」みたいなものだよね ぶっちゃけ今のはてブって「5ちゃんねる@はてブ板」ってくらい閉鎖的で偏った傾向の人達のたまり場になってしまっていて、それでも板の中に籠もってよろしくやってるのならともかく、外部サイトだろうが無差別に一言書き捨てていくのが当たり前の文化だから外部からはすこぶる評判が悪い しかも活発に書き込んで上位にランクされる人ほど、ブックマークされた側にとって不愉快なコメントが多い 一番の解決方法ははてなブックマークそのものをサービス停止する事なんだろうけど、さすがにそれはできないからコメント評価のアルゴリズムそのものを変えてしまう戦略をとったんだろう この件で文句たらたら言ってる人達、運営から「Not For You(あなたのために提供しているサービスではない)」と暗に言われてる事に気付

                              はてブのコメントが大幅に仕様変更されて不評らしいけど、これって、かつ..
                            • 独学でも教えてもらってもダメ、プログラミングができない本当の理由

                              今はプログラミングができないけれども、ゆくゆくはできるようになりたい。そう思っている人は多いだろう。そうした人が知りたいのは「独学でプログラミングができるようになるのか」ということではないだろうか。 こうしたことを考えているのは、「独学コンピューターサイエンティスト Pythonで学ぶアルゴリズムとデータ構造」(日経BP発行)という書籍を読み始めたからだ。著者のコーリー・アルソフ氏は、大学の政治学科を卒業し、独学でプログラミングを学んで職業プログラマーになったという。前著の「独学プログラマー Python言語の基本から仕事のやり方まで」(日経BP発行)は、そうした経験を通して同氏が得たプログラミングの知識をまとめたもの。そうした知識の中から、特にアルゴリズムやデータ構造といったコンピューターサイエンスに焦点を当てて解説したのが本書だ。 もっとも同氏がいう「独学」は、大学でコンピューターサイ

                                独学でも教えてもらってもダメ、プログラミングができない本当の理由
                              • 暗号技術の実装と数学

                                九州大学談話会「IMI Colloquium」 https://www.imi.kyushu-u.ac.jp/seminars/view/3001Read less

                                  暗号技術の実装と数学
                                • 数学入門公開講座|京都大学数理解析研究所

                                  スペクトル不変量とその応用について 助教・石川 卓 大学で習う幾何学の基本的な話に Morse 理論というものがあります。これは多様体の性質を、その上の函 数を用いて調べる理論です。これは基本的にはどのような関数を用いても同じ答えを出しますが、これを逆 に利用して、各関数に対してスペクトル不変量とよばれる値を紐づけることができます。シンプレクティッ ク幾何学等で用いられる Floer 理論は Morse 理論を手本としてつくられた理論であり、これに対するスペク トル不変量が、幾何学的性質を導きだすことに応用されています。このあたりのことについて、紹介する予 定です。 体構造の復元を通した遠アーベル幾何学入門 助教・辻村 昇太 遠アーベル幾何学では(体に対するガロア群のような)構造の対称性のなす群が元の構造の情報をどの程 度保持しているかについて考察します。この対称性のなす群が(高度に)非可

                                  • 40年越しにTCPの仕様(RFC793)が改訂される RFC9293 - ASnoKaze blog

                                    2022/08/09 追記 「RFC 9293 Transmission Control Protocol (TCP)」として正式なRFCが出ました TCPのコア部分の仕様は1981年に発行された「RFC793 TRANSMISSION CONTROL PROTOCOL」で標準化されています。 この、RFC793の改訂版となる「Transmission Control Protocol (TCP) Specification」は、2013年からIETFのTCPM WGで議論されてきましたが、4月4日にIESGによって承認されました(参考URL)。現在はRFC出版の準備に入っています(新しいRFC番号はこの後正式に決まります) www.ietf.org 改めてTCPの仕様を読みたい場合はこのドキュメントを読むのが良さそう。 概要 この改訂版の仕様(通称 rfc793bis)は、RFC793が

                                      40年越しにTCPの仕様(RFC793)が改訂される RFC9293 - ASnoKaze blog
                                    • iPhoneが100万分の1の確率で偶然撮影してしまった「あまりにも不思議で奇妙な写真」とは?

                                      AppleのiPhoneやGoogleのPixelなど、ハイエンドスマートフォンには高機能なカメラが搭載されており、誰でも簡単にいつでも美麗な写真を撮影できます。そんなiPhoneのカメラで「決して現実では起こり得ない光景」が偶然撮影できてしまった非常に珍しい例を、カメラ関連のニュースサイトであるPetaPixelが紹介しています。 'One in a Million' iPhone Photo Shows Three Versions of the Same Woman | PetaPixel https://petapixel.com/2023/11/16/one-in-a-million-iphone-photo-shows-two-versions-of-the-same-woman/ 以下は、イギリスのコメディアンであるテッサ・コーツさんがウェディングドレスを試着中にiPhone

                                        iPhoneが100万分の1の確率で偶然撮影してしまった「あまりにも不思議で奇妙な写真」とは?
                                      • 「施策デザインのための機械学習入門」を完全に理解したサトシくんがポケモン捕獲アルゴリズムを実装する話 - kanayamaのブログ

                                        プロローグ ストーリー編 第1章 感銘 step1. KPIの設定 step2. データの観測構造をモデル化する step3. 解くべき問題を特定する step4. 観測データのみを用いて問題を解く方法を考える step5. 機械学習モデルを学習する step6. 施策を導入する 第2章 絶望 第3章 反省 第4章 再起 step1(再) KPIの設定 step2(再) データの観測構造をモデル化する step3(再) 解くべき問題を特定する step4(再) 観測データのみを用いて問題を解く方法を考える step5(再) 機械学習モデルを学習する step6(再) 施策を導入する 第5章 俺たちの戦いはこれからだ! 実装編 準備 擬似データの生成 意思決定モデルの学習 モデルのオフ方策評価 モデルの真の性能の評価 まとめ この記事を読んだ方はこんな記事も読んでいます(多分) @tkana

                                          「施策デザインのための機械学習入門」を完全に理解したサトシくんがポケモン捕獲アルゴリズムを実装する話 - kanayamaのブログ
                                        • Parquetフォーマット概観 - 発明のための再発明

                                          Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に

                                            Parquetフォーマット概観 - 発明のための再発明
                                          • 書籍「競技プログラミングの鉄則」を書きました - E869120's Blog

                                            1. はじめに こんにちは、東京大学 2 年生の米田優峻(E869120)と申します。私は競技プログラミングが趣味で、AtCoder や国際情報オリンピックなどに出場しています1。また、2021 年 12 月には、初の著書となる『「アルゴリズム×数学」が基礎からしっかり身につく本』を出版しました(2 万部突破)。 さて、このたびはマイナビ出版から、2 冊目の本を出版させていただくことになりました。競技プログラミングで必要となる「アルゴリズム」や「思考テクニック」を学ぶことができる、全く新しい教科書です。 競技プログラミングの鉄則 - honto 発売日は 2022/9/16 です。電子書籍版も同じ日(9 月 16 日)に出る予定です。この記事では、本書の内容と想定読者について説明させていただきます。 2. 本書の構成 本書は、競技プログラミングの全く新しい教科書です。序章「競技プログラミン

                                              書籍「競技プログラミングの鉄則」を書きました - E869120's Blog
                                            • 「時系列分析」にはグーグルやフェイスブックが考案した最新手法がお薦め

                                              ビジネスでデータサイエンスを活用するシーンとして、過去データを使って将来を予測するタイプの問題がある。商品販売数や店舗売上高など、折れ線グラフを使って表現するようなデータ(時系列データ)に基づいた時系列分析だ。過去の販売データに基づいて翌月の発注量を決めたり、3年後など中長期の計画を策定したりするのに使う。今回は、この時系列分析に活用しやすい3つのアルゴリズムを見ていこう。 Prophet

                                                「時系列分析」にはグーグルやフェイスブックが考案した最新手法がお薦め
                                              • 暗号アルゴリズム「SHA-1」の廃止を発表、NIST

                                                米国国立標準技術研究所(NIST: National Institute of Standards and Technology)は12月15日(米国時間)、「NIST Retires SHA-1 Cryptographic Algorithm|NIST」において、暗号アルゴリズム「SHA-1」を廃止すると伝えた。SHA-1の暗号ハッシュ関数はすでに脆弱と評価されており米国政府機関での利用廃止が発表されている。 電子情報を保護するために初期に広く使われた手法の一つであるSHA-1アルゴリズムは、耐用年数が終了しているとして廃止が決定されている。SHA-1がまだ使用されているという現状から、より安全性の高い新しいアルゴリズムに置き換えることが推奨されている。 SHA-1という名称は「Secure Hash Algorithm」の頭文字からきており、1995年から連邦情報処理規格(FIPS:

                                                  暗号アルゴリズム「SHA-1」の廃止を発表、NIST
                                                • にゃんふ on Twitter: "遺伝的アルゴリズムで最高にエッチな画像を作ろう! https://t.co/44bmEwFWqI 0~10190世代目まで動画にした 進化の過程を見よ https://t.co/iq9HhNkFuh"

                                                  遺伝的アルゴリズムで最高にエッチな画像を作ろう! https://t.co/44bmEwFWqI 0~10190世代目まで動画にした 進化の過程を見よ https://t.co/iq9HhNkFuh

                                                    にゃんふ on Twitter: "遺伝的アルゴリズムで最高にエッチな画像を作ろう! https://t.co/44bmEwFWqI 0~10190世代目まで動画にした 進化の過程を見よ https://t.co/iq9HhNkFuh"
                                                  • Log4jで話題になったWAFの回避/難読化とは何か

                                                    はじめに 2021年12月に発見されたLog4jのCVE-2021-44228は、稀に見るレベル、まさに超弩級の脆弱性となっています。今回、私はTwitterを主な足がかりとして情報収集を行いましたが、(英語・日本語どちらにおいても)かなりWAFそのものが話題になっていることに驚きました。ある人は「WAFが早速対応してくれたから安心だ!」と叫び、別の人は「WAFを回避できる難読化の方法が見つかった。WAFは役に立たない!」と主張する。さらにはGitHubに「WAFを回避できるペイロード(攻撃文字列)一覧」がアップロードされ、それについて「Scutumではこのパターンも止まりますか?」と問い合わせが来るなど、かなりWAFでの防御とその回避方法について注目が集まりました。 実はWAFにおいては、「回避(EvasionあるいはBypass)」との戦いは永遠のテーマです。これは今回Log4jの件で

                                                      Log4jで話題になったWAFの回避/難読化とは何か
                                                    • node_modulesの問題点とその歴史 npm, yarnとpnpm

                                                      皆さんnpmパッケージのバージョンを上げるときにハマって依存地獄から抜けられなかったことはありませんか? 私はあります。 複雑怪奇な依存関係を調べてみようとnode_modulesを覗いてみて、そのカオスっぷりに臭いものに蓋をしたことはありませんか? 私はあります。 そこでnode_modules以下について調べてみたのですが、node_modulesにどんな問題点があって、npmやyarn, pnpmは何を目指していたのか時系列順に紐解いた方がわかりやすいことに気づきました。 ここでは初期のnpmが抱えていた問題から今に至るまでを順を追って説明します。 するとnode_modulesの仕組みの他に、各パッケージマネージャの方針の違いが見えてくるはずです。 初期の頃のnpm (~2015年以前) この頃はシンプルで、依存関係はそのままnode_modulesのディレクトリ構造に反映されてい

                                                        node_modulesの問題点とその歴史 npm, yarnとpnpm
                                                      • 1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita

                                                        はじめに この記事は,Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量(最小値、最大値、平均、分散、四分位数)などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検

                                                          1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
                                                        • 大学院で教授が何の説明もなしに使った近似に衝撃…「1年 ≒ 円周率×一千万秒」って本当?→つまりこういうことらしい

                                                          神山 翼@お茶大・気象学 @kohyama_met こうやま・つばさ。お茶の水女子大学理学部・理学専攻の教員(情報科学)。主要業績: 月と降水(Kohyama and Wallace 2016, GRL)、ラニーニャ的温暖化(Kohyama et al. 2017, J Clim)、黒潮とメキシコ湾流の同期現象(Kohyama et al. 2021, Science) sites.google.com/site/tsubasako… リンク Wikipedia 円周率 円周率(えんしゅうりつ、英: Pi、独: Kreiszahl、中: 圓周率)とは、円の直径に対する円周の長さの比率のことをいい、数学定数の一つである。通常、円周率はギリシア文字である πに代表される。円の直径から円周の長さや円の面積を求めるときに用いる。また、数学をはじめ、物理学、工学といった科学の様々な理論の計算式にも出

                                                            大学院で教授が何の説明もなしに使った近似に衝撃…「1年 ≒ 円周率×一千万秒」って本当?→つまりこういうことらしい
                                                          • 作って理解する RDBMSのしくみ

                                                            Kaigi on Rails 2024「作って理解する RDBMSのしくみ」の発表スライド。 #kaigionrails https://kaigionrails.org/2024/talks/ydah/

                                                              作って理解する RDBMSのしくみ
                                                            • 『マスターアルゴリズム』は全ての人々を機械学習(人工知能)の世界へといざなう「冒険物語」 - 渋谷駅前で働くデータサイエンティストのブログ

                                                              しましま先生(@shima__shima)こと神嶌敏弘先生から、訳書『マスターアルゴリズム』をご恵贈いただきました。 マスターアルゴリズム 世界を再構築する「究極の機械学習」 作者:ペドロ・ドミンゴス講談社Amazon 本書はビル・ゲイツが「AIを知るための本」と絶賛したという"The Master Algorithm"の邦訳版で、実際に「難しい理論や数式は書かれていないがこの一冊を読むだけで現代の機械学習(人工知能)の世界の全容を一望できる」優れた本だと個人的には感じました。また縦書き本ゆえいわば「読み物」的な立ち位置の書籍であり、研究者や技術者のみならずビジネスパーソンさらには一般の読書家にとっても読みやすく、尚且つ得るものの大きい一冊だと思います。 ということで、以下簡単にレビューしていきたいと思います。なお実は僕自身もしましま先生から発刊前の段階で翻訳内容の閲読を依頼されて一通り目

                                                                『マスターアルゴリズム』は全ての人々を機械学習(人工知能)の世界へといざなう「冒険物語」 - 渋谷駅前で働くデータサイエンティストのブログ
                                                              • ChatGPTで英作文の添削+CEFR C2レベルまで仕上げる方法|Sangmin Ahn

                                                                こんにちは、Choimirai Schoolのサンミンです。 0  はじめに先日Twitterに投稿したツイートに対し、添削で使えるプロンプトを教えてほしい、というコメントがありましたのでこのnoteでシェアします。 実は英語を教えてる全ての方にお勧めしたいのが、ChatGPTです。添削ツールとしても超優秀で、作文を渡すと改善が必要な箇所を直してくれる。また、"直した理由を含めテーブルにまとめて"、と指示すれば表にしてくれるのも大変助かる。うまく活用すればより付加価値の高い学習体験を提供できるはず👏。 https://t.co/tCQMXkCe6e pic.twitter.com/84q7y52EqZ — sangmin.eth @ChoimiraiSchool (@gijigae) January 17, 2023 1  一連の流れツイートでシェアした添削は下記の流れで実施された結果で

                                                                  ChatGPTで英作文の添削+CEFR C2レベルまで仕上げる方法|Sangmin Ahn
                                                                • 「君の名は。」の二人は例の階段で出会えるのか

                                                                  映画の中で二人が出会う階段がある 2016年公開の「君の名は。」という映画にこういうシーンがある。主人公の男女それぞれが乗った電車がすれ違い、一人は新宿駅で降り、もう一人はその隣駅で降りる。お互いを探し歩き、とある神社の階段で出会う。 モデルとなった階段 いいシーンなのだが、地理好きとしてはそれらの位置関係がどうしても気になっていた。 赤は男が降りた新宿駅、青は女が降りた千駄ヶ谷駅、そして緑は二人が出会った階段のある須賀神社だ。 緑の場所、べつに中間地点じゃないのが分かると思う。 そしてそもそも、お互い連絡も取れない状況で歩き回ってどこかで出会えるということがあるんだろうか。文句を言ってるわけじゃなくて、ふつうに興味があるのだ。 検証してみる 広い新宿のどこかで本当に二人は出会えるか。それを検証するためにシミュレーションをしてみることにした。 こういう仕組みをつくった やり方はこうだ。 ・

                                                                    「君の名は。」の二人は例の階段で出会えるのか
                                                                  • 『デウス・エクス・アートマキナ』:作画AIによる日本オタク界への大局的影響を考える

                                                                    Just another blog about manga, anime, video games, models, and the life of Dan Kanemitsu. NovelAI Stable Diffusion Midjourney 画像:2022年10月の段階で三つの作画AIに「女の子、キツネ耳、白耳、白尻尾、ぴっちりボディスーツ、だぼだぼジャケット、秋葉原、夜の街、雨、路面に反射」などと入力した出力した結果。絵柄は指定しておらずそれぞれの作画AIのデフォルトスタイルである。 ■今回の騒動の背景を少々…… 作画AIが及ぼす影響について日本のクリエーターや受け手側の間でかなり憂慮する声が広がっています。この10年、機械学習の躍進とそれが社会に及ぼした影響はすさまじいの一言としか言いようがないと思います。機械翻訳の質が飛躍的に向上したことによって一般的な会話であれば機械によ

                                                                      『デウス・エクス・アートマキナ』:作画AIによる日本オタク界への大局的影響を考える
                                                                    • 最適輸送の解き方

                                                                      最適輸送問題(Wasserstein 距離)を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中! https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https

                                                                        最適輸送の解き方
                                                                      • 和暦を正しく扱うための暦の話

                                                                        burikaigi 2023 の懇親会で発表したセッションの資料です。 日本では明治6年(1873)よりグレゴリオ暦が採用されましたが、それ以前の年代での和暦の扱いについて注意点をまとめたものです。

                                                                          和暦を正しく扱うための暦の話
                                                                        • 「強いメモリモデル」と「弱いメモリモデル」 - yamasaのネタ帳

                                                                          Apple M1についての面白い記事を見かけて、久しぶりにメモリモデル屋(?)の血が騒いだのでブログを書く。 note.com 強いメモリモデル 現代のCPUアーキテクチャでは、x86(64bit, 32bitどちらも)が「強いメモリモデル」を採用しており、それ以外のメジャーなCPUが「弱いメモリモデル」を採用している。この「強いメモリモデル」「弱いメモリモデル」について、まずおさらいしておこう。 以下のように、2つの変数a, bに対して異なるCPUコアが同時にアクセスしたとする。 int a = 0; int b = 0; CPU1: a = 1; b = 1; CPU2: int r1 = b; int r2 = a; (上記はC言語に似た疑似コードを用いているが、実際は機械語命令になっていると考えてほしい。つまり、CPU1は変数a, bの示すメモリアドレスに対するストア命令を実行して

                                                                            「強いメモリモデル」と「弱いメモリモデル」 - yamasaのネタ帳
                                                                          • 小学生のプログラミング教室で「お父さんをトイレに行かせてうんちさせるアルゴリズムを作ろう」っていう題材が本当に良い。だいたいのお父さんがリビングでうんち漏らすけど、出来がいい子のお父さんは便器の前まで行ってうんち漏らすらしい

                                                                            ヤノパイ @yanopai14 小学生のプログラミング教室で「リビングにいるお父さんをトイレに行かせてうんちさせるアルゴリズムを作ろう」っていう題材が本当に良い 小学生が作るとだいたいのお父さんがリビングでうんち漏らす羽目になるんだけど、出来がいい子のお父さんは便器の前まで行ってうんち漏らすらしい

                                                                              小学生のプログラミング教室で「お父さんをトイレに行かせてうんちさせるアルゴリズムを作ろう」っていう題材が本当に良い。だいたいのお父さんがリビングでうんち漏らすけど、出来がいい子のお父さんは便器の前まで行ってうんち漏らすらしい
                                                                            • 「センターサーバ方式Suica」に関する疑問をJR東日本に聞いた【鈴木淳也のPay Attention】

                                                                                「センターサーバ方式Suica」に関する疑問をJR東日本に聞いた【鈴木淳也のPay Attention】
                                                                              • 初代プレステで「神」になろうとした男。機械学習で生命創造を試みた『がんばれ森川君2号』『アストロノーカ』開発者の苦悩と野望【フォーカス】 | レバテックラボ(レバテックLAB)

                                                                                TOPフォーカス初代プレステで「神」になろうとした男。機械学習で生命創造を試みた『がんばれ森川君2号』『アストロノーカ』開発者の苦悩と野望【フォーカス】 初代プレステで「神」になろうとした男。機械学習で生命創造を試みた『がんばれ森川君2号』『アストロノーカ』開発者の苦悩と野望【フォーカス】 2025年4月22日 モリカトロン株式会社代表取締役 森川幸人 1959年生まれ。CGクリエイターとして『アインシュタイン』『ウゴウゴ・ルーガ』等のテレビ番組に携わった後、1995年に有限会社ムームーを設立してゲーム制作の道へ進む。AIとゲームシステムが融合したタイトルを多数手がけており、代表作に『がんばれ森川君2号』『アストロノーカ』等がある。2004年に『くまうた』で文化庁メディア芸術祭審査員推薦賞を、2011年に著書『ヌカカの結婚』でダ・ヴィンチ電子書籍大賞を受賞。2017年にモリカトロン株式会社

                                                                                  初代プレステで「神」になろうとした男。機械学習で生命創造を試みた『がんばれ森川君2号』『アストロノーカ』開発者の苦悩と野望【フォーカス】 | レバテックラボ(レバテックLAB)
                                                                                • 何でも微分する

                                                                                  IBIS 2023 企画セッション『最適輸送』 https://ibisml.org/ibis2023/os/#os3 で発表した内容です。 講演概要: 最適輸送が機械学習コミュニティーで人気を博している要因として、最適輸送には微分可能な変種が存在することが挙げられる。微分可能な最適輸送は様々な機…

                                                                                    何でも微分する

                                                                                  新着記事