並び順

ブックマーク数

期間指定

  • から
  • まで

961 - 1000 件 / 1558件

新着順 人気順

algorithmの検索結果961 - 1000 件 / 1558件

  • 「分子内の原子」まで見える物理的限界にせまった画像を公開 - ナゾロジー

    物理的に見ることができる限界サイズコーネル大学の研究チームは、2018年に高出力の検出器と電子タイコグラフィと呼ばれる手法を組み合わせて、最先端電子顕微鏡の解像度を大きく引き上げる世界記録を樹立しました。 しかし、そのとき達成された方法には弱点があり、見ることができる物質は原子数個分の厚さまでという、極薄サンプルにか対応できなかったのです。 この原因はサンプルが、それ以上の厚さになると、ぶつけた電子ビームが解析できないレベルで散乱してしまうためです。 今回、米国のコーネル大学カブリ・ナノスケール科学研究所(KIC)のデビッド・ミュラー氏が率いるチームは、これまで以上に高度な最先端の3D再構成アルゴリズムと電子顕微鏡ピクセルアレイ検出器(EMPAD)を開発し、解像度記録を2倍近く更新させました。 「これは単なる新記録の樹立というだけではありません。 我々は事実上、分解能の究極限界となる領域に

      「分子内の原子」まで見える物理的限界にせまった画像を公開 - ナゾロジー
    • Compiling Rust is NP-hard

      Compiling Rust is NP-hard July 7, 2021 · 10 minute read ...though it's not the flagship borrow checking that's at fault. What I noticed, and would like to share with you today, is that the exhaustiveness checking performed by the Rust compiler on match patterns is a superset of the SAT problem. Exhaustiveness checking Consider the following code (playground): fn update_thing(old_thing: Option<Thin

        Compiling Rust is NP-hard
      • ロジスティック回帰をscikit-learnを使わずゼロから実装する(Python)|es

        機械学習を理解するにはアルゴリズムをから実装するのが一番です。そして問いデータを使って遊んでみましょう。 ロジスティック回帰とは、二項分類(2値分類)を行うための方法です。二項分類とは、ある物体がAかBのどちらかに分類することを指します。例えば、試験の点数が60点以上かどうかで分類することができます。 ロジスティック回帰では、試験の点数だけでなく、その他の情報も考慮に入れることができます。例えば、試験の点数だけでなく、勉強時間や家庭環境なども考慮に入れることができます。これらの情報を使って、試験の点数が60点以上かどうかを推定することができます。 import numpy as np class LogisticRegression: def __init__(self): self.w = None self.b = None def fit(self, X, y, learning_r

          ロジスティック回帰をscikit-learnを使わずゼロから実装する(Python)|es
        • 「遺伝的アルゴリズム」でエッチな画像を作る紳士的実験が注目集める 抽象的な図形が学習の末におっぱいへ進化 | ねとらぼ

          「遺伝的アルゴリズム」を活用してエッチな画像を生成しようという実験が紳士たちの間で注目を集めています。動機・目標・手段の全てが意欲的すぎておかしい。 遺伝的アルゴリズムとは、生物の進化の仕組みを模倣した解探索手法です。このサイトでは、さまざまな色や形の図形3000個で構成した画像を2枚用意し「どちらがエッチか」を閲覧者に質問、投票(試合)数が2000に達すると、システムは投票結果をもとにまた次の世代の画像を生成します。これを繰り返して世代を重ねていくことで、よりエッチな画像を目指していく――というのが実験の狙いです。 サイトは1月10日に公開され、「面白すぎる」「天才じゃん」とたちまち話題に。「このモザイクタイルみたいな絵のどこにエロティシズムを感じて選べばいいのか」「とりあえず肌色の多いほうを選ぶしかないか」と、参加者を困惑させながらも多くの投票を集めました。 執筆時点(1月14日16時

            「遺伝的アルゴリズム」でエッチな画像を作る紳士的実験が注目集める 抽象的な図形が学習の末におっぱいへ進化 | ねとらぼ
          • 大規模量子コンピュータに期待。世界初、複数の論理量子ビットを復号する量子誤り訂正アルゴリズム開発

              大規模量子コンピュータに期待。世界初、複数の論理量子ビットを復号する量子誤り訂正アルゴリズム開発
            • Writing a simple pool allocator in C

              I found out about pool allocators some time ago, and I really liked its simplicity and high performance, so I decided to write my own. This article was initially inspired by Dmitry Soshnikov’s article. It’s also worth mentioning that this article was discussed in Hacker News. Similarly to malloc, a pool allocator allows the user to allocate memory at run time. The pool allocator, however, is much

              • PyCaretとMLflowで機械学習の実験...

                こんにちは!nakamura(@naka957)です。 今回は様々な機械学習アルゴリズムの比較・モデル実装に加えて、行った実験記録の管理を簡単に行う方法をご紹介します。実施事項がたくさんありますが、PyCaretとMLflowの活用で少ないコード行数で簡単に実施できます。 PyCaretは機械学習モデルの実装を簡単に行えるOSSですが、PyCaretからMLflowを呼び出すこともでき、実験記録の管理も同時に行えます。PyCaretとMLflowについては、DATA Campusにも紹介記事があります。是非、参考にしてみてください。 【PyCaret】 ■ AutoMLライブラリPyCaretを使ってみた〜モデル実装から予測まで〜 ■【続き】 AutoMLライブラリPyCaretを使ってみた 〜結果の描画〜 【MLflow】 ■ MLflowの使い方 - 機械学習初心者にもできる実験記録の

                  PyCaretとMLflowで機械学習の実験...
                • SHAPやLIMEなどの説明AI(XAI)のご紹介 / SHAP LIME PDP Grad-CAM

                  ************************************************************* # 要約 ************************************************************* ・SHAP のアルゴリズムを説明 ・S…

                    SHAPやLIMEなどの説明AI(XAI)のご紹介 / SHAP LIME PDP Grad-CAM
                  • A non-mathematical introduction to Kalman Filters for programmers - Pravesh Koirala

                    Read my manifesto on Code as an alternative to Mathematics. Code for this article can be found on this Colab Notebook should you choose to follow along. Why Kalman Filters? Kalman filters are ingenius. If you have never heard of them, then a very intuitive (and arguably reductive) way to think about them is to consider them as a funnel where you pour information from multiple noisy sources to cond

                    • Rustで有名アルゴリズムに挑戦(24) Rustで効率的なFisher–Yatesシャッフルを実装してみよう

                      Rustで有名アルゴリズムを実装して、Rustについての理解を深めることが目的の連載です。今回扱うのは、配列のシャッフルについてです。最初に何も考えずに実装してみて、次に効率的に配列の要素をシャッフルするFisher–Yatesシャッフルを実装してみましょう。 Fisher–Yatesシャッフルを実装してみよう コンピューターにとって適当にシャッフルは難しい コンピューターは、人間よりも計算も速く正確に動いてくれるものですが、意外なことが苦手だったりします。そんな苦手なことの一つが「適当にシャッフルする」という作業です。 そもそも計算によって乱数を生成するのは簡単なことではありません。それで、さまざまな乱数生成アルゴリズムが提案されています。また、現在時刻やマウスの移動など、さまざまな物理現象を利用して、乱数生成を行う手法もあります。「適当さ」をコンピューターで再現するのは難しいものなので

                        Rustで有名アルゴリズムに挑戦(24) Rustで効率的なFisher–Yatesシャッフルを実装してみよう
                      • 実践TLA+ | 翔泳社

                        設計だってテストしたい! 【本書の内容】 本書は Hillel Wayne, "Practical TLA+", Apress, 2018 の邦訳版です。 複雑精緻なシステムを構築する際に、設計そのもの、仕様そのものにバグがないかをテストできたら、もう少し幸せな開発人生を送れそうな気がします。 本書は送金システムの小規模な仕様からTLA+を使ってヤバいバグを発見するところから始まります。この小さなサンプルをもとに、より良いアプリケーションの設計・テスト・構築に、どのようにTLA+を使えばよいかを理解し、実際のプロジェクトに援用できるよう、TLA+の演算子、論理、関数、PlusCal、モデル、および同時実行の基礎を学びます。 設計図の整理の仕方、分散システムや最終的な整合性の指定の仕方を学んだら、アルゴリズムのパフォーマンスやデータ構造、ビジネスコードやMapReduceなど、さまざまな実用

                          実践TLA+ | 翔泳社
                        • カーナビの歴史を振り返るイベント開催。これからのナビはどう進化する? 最短ルート至上主義からの脱却が課題?【地図と位置情報】

                            カーナビの歴史を振り返るイベント開催。これからのナビはどう進化する? 最短ルート至上主義からの脱却が課題?【地図と位置情報】
                          • TikTokのアルゴリズムが中国政府への批判を積極的に抑制している可能性があることが判明

                            TikTokで「ウイグル」や「天安門」などと検索すると、中国寄りの動画が表示される可能性が高いことが明らかになりました。この現象を調査した研究者らは、「TikTokのアルゴリズムが政府批判を抑制し、利用者を洗脳している」と報告しました。 NCRI-Report_-The-CCPs-Digital-Charm-Offensive.pdf (PDFファイル)https://networkcontagion.us/wp-content/uploads/NCRI-Report_-The-CCPs-Digital-Charm-Offensive.pdf TikTok Algorithms Actively Suppress Criticism of Chinese Regime, Study Finds | NTD https://www.ntd.com/tiktok-algorithms-acti

                              TikTokのアルゴリズムが中国政府への批判を積極的に抑制している可能性があることが判明
                            • 新機能 – Amazon S3 向け、追加のチェックサムアルゴリズム | Amazon Web Services

                              Amazon Web Services ブログ 新機能 – Amazon S3 向け、追加のチェックサムアルゴリズム Amazon Simple Storage Service (Amazon S3) は、オブジェクトおよびオブジェクトに関連付けられたメタデータのために 99.999999999% (イレブンナイン) の耐久性を提供するように設計されています。S3 は PUT した内容を正確に格納し、GET 時に格納された内容を正確に返すので、安心してご利用いただけます。オブジェクトが適切にやり取りされるように、S3 はチェックサムを使用します。チェックサムは基本的にデジタルフィンガープリントの一種です。 S3 の PutObject 関数では、オブジェクトの MD5 チェックサムを渡すことが既に許可されており、指定した値が S3 によって計算された値と一致する場合にのみオペレーションを受

                                新機能 – Amazon S3 向け、追加のチェックサムアルゴリズム | Amazon Web Services
                              • 4月新刊情報『Pythonからはじめるアルゴリズムトレード』

                                『Pythonからはじめるアルゴリズムトレード ―自動売買の基礎と機械学習の本格導入に向けたPythonプログラミング』 Yves Hilpisch 著、村上 振一郎 訳 2022年4月8日発売予定 368ページ(予定) ISBN978-4-87311-979-3 定価3,960円(税込) 『Pythonによるファイナンス 第2版』の著者が、アルゴリズムトレードを始める上で必要な自動売買の基礎と、機械学習を本格的に導入するために必要なPythonの知識について解説します。具体的には、アルゴリズムトレード用の適切なPython環境の設定、データの取得、NumPy/pandasを使ったデータ分析、トレード戦略のバックテスト、市場予測、ストリーミングのリアルタイム処理等、アルゴリズムトレードのさまざまな側面にPythonを適用するさまざまな手法を紹介し、自動トレード戦略を効率よく構築、デプロイす

                                  4月新刊情報『Pythonからはじめるアルゴリズムトレード』
                                • Twitterの公開したアルゴリズムのソースコードで判明した「おすすめ」タイムラインに掲載されやすい投稿・掲載されにくい投稿まとめ

                                  Twitterの「おすすめ」タイムラインの投稿選択アルゴリズムが2023年3月31日に公開され、どんな投稿が「おすすめ」タイムラインに掲載されやすいかが明らかになりました。 Twitter's Recommendation Algorithm https://blog.twitter.com/engineering/en_us/topics/open-source/2023/twitter-recommendation-algorithm Twitter open-sources recommendation algorithm code https://www.bleepingcomputer.com/news/technology/twitter-open-sources-recommendation-algorithm-code/ Twitter's newly-released a

                                    Twitterの公開したアルゴリズムのソースコードで判明した「おすすめ」タイムラインに掲載されやすい投稿・掲載されにくい投稿まとめ
                                  • 生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 | IT Leaders

                                    IT Leaders トップ > テクノロジー一覧 > AI > インタビュー > 生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 AI AI記事一覧へ [インタビュー] 生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 米ガートナー バイスプレジデント アナリスト アンソニー・ムレン氏 2024年7月25日(木)田口 潤(IT Leaders編集部) リスト 生成AIが画期的な技術であることは論を要しない。だれもが簡単に利用でき、文書の作成や要約、翻訳、問い合わせへの回答、アイデア出し、表や図形・画像の自動作成など、さまざまな処理を高いレベルでこなしてくれる。半面、進化の最中にある技術であり、平気で間違えることもあって、業務で効果的に活用するのはそれなりに難しい。企業

                                      生成AIの業務活用のカギはRAG、AIはアルゴリズムから「World Model」へ─専門家が説く現状と将来 | IT Leaders
                                    • ドット絵を滑らかなイラスト調に拡大できるウェブアプリ「ぴくせる すけゐらぁ」を使ってみた

                                      ドット絵はファミリーコンピュータなどの時代ではゲーム画面にとっての当たり前でしたが、解像度が上がり3DCGを用いたゲーム画面が当たり前になった今では、レトロなゲームを思い起こさせるノスタルジックなものとして楽しまれるようになっています。そんなドット絵をイラスト調に変換しながら拡大することができるのが、RPG Maker Uniteの公式外部ツールに選ばれた「ぴくせる すけゐらぁ」ということで、実際に使って拡大手順や拡大結果を確認してみました。 ぴくせる すけゐらぁ https://irokaru.github.io/pixel-scaler/ ドット絵を拡大するには、上記のリンクから「ぴくせる すけゐらぁ」にアクセスして「ピクチャを選択」をクリックします。 ファイル選択画面が表示されたら拡大したい画像を選択します。今回はWikipediaの非公式擬人化キャラクター「ウィキペたん」のドット絵

                                        ドット絵を滑らかなイラスト調に拡大できるウェブアプリ「ぴくせる すけゐらぁ」を使ってみた
                                      • 【22新卒エンジニア】Indeedから内定をもらうまで【新卒1000万】|Keisuke@外資ITエンジニア

                                        はじめにIndeed Japanの新卒エンジニアの内定をもらうことができました。本記事では、応募に至った経緯から内定をもらうまでのプロセスと、自分がどのように選考の対策をしたかについて書きます。 自分が体験した選考の流れは、ざっくりまとめると以下のようになります。 1. 履歴書(CV)を出す (2021年2月上旬)→ 書類通過のメール(2月中旬) 2. Karatというサービスを用いて外部のエンジニアとの面接 60分 (3月下旬)→ 通過の連絡(電話面接の翌日) 3. 本面接: Indeed Japanのエンジニアと1対1の面接 1時間 × 3回 (4月下旬) 4. オファーをもらう(4月下旬) 応募から内定まで、2ヶ月ほどしかかかりませんでした。これは新卒採用ではかなり短い方なのでは?と思います。なお、僕は準備に時間をかけたかったため、できるだけ面接の予定を遠くに設定してもらいました。面

                                          【22新卒エンジニア】Indeedから内定をもらうまで【新卒1000万】|Keisuke@外資ITエンジニア
                                        • 近似最近傍探索ライブラリFaissの4bit PQアルゴリズムについて、ARM CPU上での動作を60倍程度高速化しました - Fixstars Tech Blog /proc/cpuinfo

                                          このブログは、株式会社フィックスターズのエンジニアが、あらゆるテーマについて自由に書いているブログです。 TL;DR: Issue, PR ソリューション第二事業部の今泉です。 先日東京大学の松井先生と共同でFacebook AI Research(以下FAIR)が公開している近似最近傍探索ライブラリFaissの4bit PQアルゴリズムのARM CPU(aarch64)上での動作を60倍程度高速化しました。 本稿ではまず近似最近傍探索やFaissについて軽く紹介した後、その高速化内容について解説を行います。 近似最近傍探索について まず最近傍探索とは、「複数のベクトルからなる集合 \( \mathit{Vs} \) が存在し、あるベクトル \( \boldsymbol{x} \) に対して最も近い要素 \( \boldsymbol{v} \in \mathit{Vs} \) を求める」と

                                            近似最近傍探索ライブラリFaissの4bit PQアルゴリズムについて、ARM CPU上での動作を60倍程度高速化しました - Fixstars Tech Blog /proc/cpuinfo
                                          • クレジットカード番号とセキュリティコードの生成アルゴリズムを調べ、紙とペンで計算・生成 | スラド セキュリティ

                                            アルゼンチンで新聞販売店を営む男性が、169件のクレジットカード詐欺をおこなったとして逮捕されたそうだ。発表によると容疑者のFernando Falsettiは、クレジットカード詐欺により日本円で約100万円相当の被害を発生させたという。話題になったのはその詐欺の手法(LA NACION、Infobae、GIGAZINE)。 警察が押収したノートから、同容疑者がクレジットカード番号とセキュリティコードを生成するアルゴリズムを見つけ、それを元に紙とペンで計算して有効なクレジットカード番号を割り出していたことが分かったとのこと。

                                            • 数学を愛する会 on Twitter: "迷路を解くのに最も愚かな方法として、スタートから拡散する数千個の粒子をシミュレーションするという方法が紹介されています。 https://t.co/OOAcaQZmzL"

                                              迷路を解くのに最も愚かな方法として、スタートから拡散する数千個の粒子をシミュレーションするという方法が紹介されています。 https://t.co/OOAcaQZmzL

                                                数学を愛する会 on Twitter: "迷路を解くのに最も愚かな方法として、スタートから拡散する数千個の粒子をシミュレーションするという方法が紹介されています。 https://t.co/OOAcaQZmzL"
                                              • ぼくのかんがえたさいきょうの強化学習アルゴリズム(古典強化学習編) - Qiita

                                                この記事は自作している強化学習フレームワークの解説記事です。 次:離散制御/MDP編 理論パート はじめに 今までフレームワークを通じて様々な強化学習アルゴリズムを実装してきました。 今回その知識を生かしてオリジナルなアルゴリズムを考えてみたので記事にまとめてみます。 このアルゴリズムは以下の状況でかなりの精度を誇ります。 マルコフ決定過程なモデル 状態が離散で現実的な数 行動が離散で現実的な数 ※"現実的な数"というのは数に上限があり、その上限がそれほど大きくない場合を指します 基本アイデア 基本的なアイデアは探索(Exploration)と活用(Exploitation)の分離です。 強化学習では一般的に「探索と活用のトレードオフの問題」1があり、探索を優先すると報酬が少なくなり、活用を優先すると局所解に陥る可能性が高くなる問題があります。 私が過去に記事で取り上げた手法では、どれも探

                                                  ぼくのかんがえたさいきょうの強化学習アルゴリズム(古典強化学習編) - Qiita
                                                • アルゴリズムの枠組みの延長線上にあるAI研究が真の人工知能を達成できない理由は「アフォーダンス」の欠如が原因

                                                  人工知能(AI)の研究は急激に進んでおり、人間のような精度で絵を描いたり文章を書いたりするモデルも登場しています。しかし、これらは「人工知能」という名前でありながら、実際は事前に人間が与えたデータセットを元にアルゴリズムを組んで、その通りに処理しているに過ぎず、独立した知性を持った真の人工知能とはいえません。この真の人工知能を生むためには、「アフォーダンス」が必要だという論文が発表されています。 Frontiers | How Organisms Come to Know the World: Fundamental Limits on Artificial General Intelligence https://doi.org/10.3389/fevo.2021.806283 AIの研究は、アラン・チューリングが1950年に発表した論文「計算する機械と知性」の中で「機械は考えることがで

                                                    アルゴリズムの枠組みの延長線上にあるAI研究が真の人工知能を達成できない理由は「アフォーダンス」の欠如が原因
                                                  • AtCoderで入緑しました - 空の箱

                                                    先日のAtCoder Beginner Contest 424でようやく入緑することができた。足掛け3年。長い道のりだった。言語はPython*1。 とりあえず祝ってほしいので先に干し芋を貼っておく。記事執筆時点であと2人で読者が100人になるので、お祝いに読者になってくれるとめちゃくちゃ嬉しい。 www.amazon.jp アルゴリズム部門での緑色以上の人数割合は レーティングのしくみ - AtCoderInfo によると2023 年時点で 7.86 % 程度。全体だと15.48%に入るらしい。 色ごとの絶対的な実力はchokudaiさんのエントリによるとこんな感じ。 印象としては、 学生ならかなり優秀。 エンジニアとしてもある程度の安心感がある。論理的に複雑な処理の実装に対応できない、なんてことはなさそう、くらいには思える。データ量が多い現場など、計算量の多い処理が要求される現場でなけ

                                                      AtCoderで入緑しました - 空の箱
                                                    • 深層学習だけではない、業務の現場で「使える」AIアルゴリズムとは

                                                      「AI(人工知能)の民主化」と呼んでいいほど、AIを自ら開発・運用しようという機運が高まっている。データサイエンティストではない一般的なビジネスパーソンが統計や機械学習アルゴリズムに自ら触れ、データを分析してその結果を業務に活用し始めている。実際にアルゴリズムに触れる機会が増えたと感じる読者も多いだろう。 一方で、「アルゴリズムが色々とあり過ぎて、どこから勉強を始めるべきか分からない」といった悩みの声をよく聞く。そこで本特集はコンサルティングファームで働く現役データサイエンティストの視点から、ビジネスに使える最新のアルゴリズムを10種類選んで紹介する。 データサイエンスで利用されるアルゴリズムには、一つ一つ違った特性があり、業務シーンによって向き不向きがある。そこで本特集ではビジネスに使えるアルゴリズムを、以下の4項目の観点で評価した。 簡便性……専門知識が不要で、すぐに実装できること 汎

                                                        深層学習だけではない、業務の現場で「使える」AIアルゴリズムとは
                                                      • High throughput Fizz Buzz

                                                        Fizz Buzz is a common challenge given during interviews. The challenge goes something like this: Write a program that prints the numbers from 1 to n. If a number is divisible by 3, write Fizz instead. If a number is divisible by 5, write Buzz instead. However, if the number is divisible by both 3 and 5, write FizzBuzz instead. The goal of this question is to write a FizzBuzz implementation that go

                                                          High throughput Fizz Buzz
                                                        • Twitterが「人種差別をなくすため自動トリミングをやめる」と発表

                                                          Twitterが2021年5月19日に、画像を自動でトリミングする機能にわずかながら「白人を優先的に中心に収める」という傾向があったとの調査結果を発表しました。これを受けて同社は、自動トリミング機能のアルゴリズムを段階的に廃止し、トリミングに関する判断をユーザーに委ねる方針を固めました。 Image Cropping on Twitter: Fairness Metrics, their Limitations, and theImportance of Representation, Design, and Agency (PDFファイル)https://arxiv.org/pdf/2105.08667.pdf Sharing learnings about our image cropping algorithm https://blog.twitter.com/engineering

                                                            Twitterが「人種差別をなくすため自動トリミングをやめる」と発表
                                                          • 植物の成長システムをシミュレーションして3Dモデリングに反映した書籍「植物のアルゴリズム的美しさ」とは?

                                                            「The Algorithmic Beauty of Plants(植物のアルゴリズム的美しさ)」とは、ポーランドのコンピューター科学者であるプシェミスワフ・プルシンキェヴィチ氏とハンガリーの生物学者であるアリスティド・リンデンマイヤー氏が執筆した書籍で、植物の発生と成長プロセスに現れる特定のパターンをコンピューターシミュレーションで分析した最初の包括的な本として知られています。1990年の初版発行以来繰り返し論文として引用されている他、本書で紹介された植物のアルゴリズム的美しさを、実際のプログラムで再現するといった動きも複数見られています。 (PDFファイル)The Algorithmic Beauty of Plants http://algorithmicbotany.org/papers/abop/abop.pdf 001 Algorithmic Botany: Publicati

                                                              植物の成長システムをシミュレーションして3Dモデリングに反映した書籍「植物のアルゴリズム的美しさ」とは?
                                                            • https://twitter.com/mootastic/status/1551102157038186496

                                                                https://twitter.com/mootastic/status/1551102157038186496
                                                              • 業務から見たテンポラルデータモデルの解釈と利用方法の紹介

                                                                FOLIO Advent Calendar 2020の25日目の記事です。 これはなに 金融機関は業として金融商品や為替の取引を行ないますので、それに付随してお客様のお金や証券といった保有資産を管理が必要となります。 お客様の資産ですので1円でもズレることがないよう、厳密な管理が求められます。 特に顧客資産を含むようなデータの履歴管理は、(意識的, 無意識を問わず)不正な操作が行なわれていないことを担保するために重要です。 一方でデータの履歴管理を実現するデータモデルとして、テンポラルデータモデルが存在します。 テンポラルデータモデルは履歴管理が可能ではあるのですが、寡聞にしてどのような業務にどのテンポラルデータモデルを適用するべきかについて述べられた日本語記事はないように思われます。 実際に私が関わったシステムでテンポラルデータモデルを採用したのですが、どの業務でどのテンポラルデータモデ

                                                                  業務から見たテンポラルデータモデルの解釈と利用方法の紹介
                                                                • Text2Landscape: Visualize a Text in Multiple Spaces with R — Force-directed networks, Biofabric, Word Embeddings, Principal Component Analysis and Self-Organizing Maps

                                                                  First Visualizations: Frequencies Let us first visualize word frequencies. We can get these frequencies with the quanteda package, which implies transforming the column of lemmas (text.lemmas$lemma) into a quanteda tokens object, then to a document-feature matrix. Doing so, we only retain significant parts of phrases (nous, proper nouns, verbs and adjectives). This only partially spares us the tas

                                                                    Text2Landscape: Visualize a Text in Multiple Spaces with R — Force-directed networks, Biofabric, Word Embeddings, Principal Component Analysis and Self-Organizing Maps
                                                                  • The tar archive format, its extensions, and why GNU tar extracts in quadratic time - Mort's Ramblings

                                                                    Date: 2022-07-23 Git: https://gitlab.com/mort96/blog/blob/published/content/00000-home/00014-tar.md (If you're here from Google and just need help with tar being slow: If you trust the tar archive, extract with -P to make tar fast.) A couple of days ago, I had a 518GiB tar.gz file (1.1 TiB uncompressed) that I had to extract. At first, GNU tar was doing a great job, chewing through the tar.gz at a

                                                                    • ビジネスに必要な情報を世界中から集めるクローリングの仕組みと今後の課題|Stockmark

                                                                      Stockmarkのプロダクトは、5,000万件を超えるビジネス記事を基盤として提供されています。これらのデータがプロダクトの根幹の1つであり、記事を収集するクローリングは要といえます。 本記事では、1) 現在のクローリングの仕組み、2) 現在抱えている課題、 3) 未来へのアプローチ(新規チーム立ち上げ) の3点をご紹介いたします。 クローリングの仕組み そもそもクローリングという言葉に耳慣れない方もいらっしゃるかもしれません。非常に簡単に説明すると、クローリングとは "WebページのHTMLを保存し、HTMLからURLを抽出すること" です。クローリングするプログラムは、一般に "クローラー" と呼ばれます。(詳細は英語版の Wikipedia 記事を参照ください。) Stockmarkのプロダクトは、日々発生する膨大なビジネス記事(10万件以上)を常にクローリングし続けています。クロ

                                                                        ビジネスに必要な情報を世界中から集めるクローリングの仕組みと今後の課題|Stockmark
                                                                      • Xで「ハッシュタグを使うのはやめて」とイーロン・マスク氏--「目立ちたがりを罰するアルゴリズム」示唆?(CNET Japan) - Yahoo!ニュース

                                                                        X(旧Twitter)のイーロン・マスク氏は日本時間12月18日未明、Xに「ハッシュタグを使うのはやめて」と投稿した。「システムにはもう不必要で、見た目も悪い」とも付け加えた。 【画像】マスク氏の投稿 あわせてマスク氏が引用ポストした「Xにハッシュタグは必要か否か」という質問に対する生成AI「Grok」の回答は次のようなものだった。 「ハッシュタグは潜水艦に網戸を付けるくらいに無意味。ハッシュタグをたくさんつけたツイートは『私を見て!必死なんです』と叫んでいるみたいだ。Xは目立とうとする人をアルゴリズムで罰するような場所になってしまった。『もっと見られたい』と必死になるほど、逆に誰にも見られなくなる。ハッシュタグは『無名』への片道切符だ」 マスク氏がハッシュタグについて否定的な見解を述べるのはこれが最初ではない。2023年11月には「ハッシュタグを廃止すべきだと思う」とのユーザーの投稿に対

                                                                          Xで「ハッシュタグを使うのはやめて」とイーロン・マスク氏--「目立ちたがりを罰するアルゴリズム」示唆?(CNET Japan) - Yahoo!ニュース
                                                                        • cuGraph でページランクを計算したら爆速だった - Taste of Tech Topics

                                                                          概要 こんにちは、機械学習エンジニアの古賀です。 最近、人の動きを時系列で解析するためにグラフデータを扱ったのですが、データ量が大きくなると解析に時間がかかってしまい、効率が悪いと感じることがありました。 そんな中、cuGraph という高速にグラフ分析ができるライブラリが あることを知ったので、どれくらい高速なのか、有名なページランクの計算を題材に他のライブラリと速度を比較してみました。 目次は以下です。 概要 グラフとは Python によるグラフデータの分析 cuGraphとは ページランクとは ページランク値の定義 ページランクとグラフ 検証 実行環境 cuGraph ライブラリのインストール ライブラリのインポート データセット 検証内容・結果 1. NetworkX のグラフ、NetworkX のアルゴリズムを用いてページランクを計算 2. NetworkX のグラフ、cuGr

                                                                            cuGraph でページランクを計算したら爆速だった - Taste of Tech Topics
                                                                          • [入門] Javaを10倍高速化する実践テクニック集 - Qiita

                                                                            パフォーマンスの10倍改善は、インフラコストの大幅な削減を意味します。 クラウド時代において、CPU時間は直接的な経費です。月額100万円のAWSインフラコストが10万円になれば、年間1,080万円の利益改善。これは中小企業なら社員を1名雇用できる金額であり、大企業ならコスト削減となります。 しかし、本当の価値はコスト削減だけではありません。 レスポンスタイムの改善。ユーザー体験が向上し、コンバージョン率が上昇 スケーラビリティの向上。同じリソースでより多くのユーザーに対応可能 競争優位性の確立。競合より高速なサービスは、それだけで差別化要因 計算量が同じでも実行時間は10倍違う 多くのエンジニアは「高速化=アルゴリズムの改良」と考えがちです。確かに、O(n²)をO(n log n)に改善することは重要です。しかし、同じO(n)のアルゴリズムでも、実装次第で10倍以上の性能差が生まれること

                                                                              [入門] Javaを10倍高速化する実践テクニック集 - Qiita
                                                                            • macOS 13 VenturaではOpenSSH 9.0が同梱され、SHA-1ハッシュを使用したRSA署名がデフォルトで無効となっているので注意を。

                                                                              macOS 13 VenturaではOpenSSH 9.0が同梱され、SHA-1ハッシュアルゴリズムを使用したRSA署名がデフォルトで無効となっています。詳細は以下から。 Appleが2022年10月にリリースした「macOS 13 Ventura」では、phpに続きPythonランタイムの同梱が終了されていますが、同じくVenturaではSSHコマンドで利用されているOpenSSHがmacOS 12 Montereyの「OpenSSH 8.6」から「OpenSSH 9.0」へアップデートされています。 このOpenSSH 9.0がデフォルトとなったmacOS 13 Venturaでは、Montereyからのアップグレード後に一部のサーバーへssh接続しようとすると以下のようなエラーが出て接続できなくなっています。 hoge@hoge.com: Permission denied (pub

                                                                                macOS 13 VenturaではOpenSSH 9.0が同梱され、SHA-1ハッシュを使用したRSA署名がデフォルトで無効となっているので注意を。
                                                                              • 「食べログ」に賠償命令 アルゴリズム変更は独禁法違反 地裁判決 | 毎日新聞

                                                                                グルメサイト「食べログ」でチェーン店であることを理由にコンピューター上の算式「アルゴリズム」を不当に変更されて評価点を下げられたとして、焼き肉チェーン店運営会社「韓流村」(東京)が、食べログ運営会社「カカクコム」(同)に約6億3900万円の損害賠償などを求めた訴訟の判決で、東京地裁は16日、3840万円の賠償を命じた。一方で、原告が求めた変更後のアルゴリズムの使用差し止めは認めなかった。 判決は賠償を命じる理由として、アルゴリズムを一方的に変更することは「優越的地位の乱用」を禁じた独占禁止法に違反すると指摘した。

                                                                                  「食べログ」に賠償命令 アルゴリズム変更は独禁法違反 地裁判決 | 毎日新聞
                                                                                • Rustで有名アルゴリズムに挑戦(26) Rustで会話型AIのルーツ「人工無能」を実装しよう

                                                                                  昨今、ChatGPTをはじめとする会話型AI(人工知能)が人気ですが、1990年代後半にも簡単な会話ができる「人工無能」と呼ばれる会話ボットが流行したことがありました。現代のAIに比べればほとんど役に立たないものですが、簡単に作成できて言葉遊びを楽しめて面白いものです。Rustの学習題材としてぴったりなので作成してみましょう。 人工無能を実行したところ 会話型ボットのルーツ「人工無能」 SF小説や物語では、感情を持ったロボットが登場し、あたかも人間のように会話する場面が描かれます。日本のアニメでは、鉄腕アトムやドラえもんなど、とても親近感を覚えるロボットが登場します。昨今の会話型AIには感情はないものの、人間とまともな会話ができるという点では、理想のロボットに近づいていると言えるでしょう。 今回作成する人工無能は、インターネットが普及した1990年代後半から2000年代において、流行したも

                                                                                    Rustで有名アルゴリズムに挑戦(26) Rustで会話型AIのルーツ「人工無能」を実装しよう

                                                                                  新着記事