並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 1634件

新着順 人気順

algorithmの検索結果201 - 240 件 / 1634件

  • GitHub - google/budoux

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

      GitHub - google/budoux
    • [2023年1月版]競技プログラミングを始めたばかりの人にオススメの問題集 - Qiita

      最推し: アルゴ式 2023年1月現在、初心者向けの最初の問題集としてお勧めしたいのは アルゴ式 です。アルゴ式の特徴として次のようなものがあると思っていて、それが初心者が練習するうえで適した特徴だと考えるからです ジャンルごとに問題が分かれている 1ジャンルごとの問題数がそれなりにある ひとつひとつの問題の難易度が易しめ 興味の湧いた人は、とりあえずアカウントを作って問題を解いてみてください。 なお、「競技プログラミングを始めたばかりの人」と言っても、その人の経験によって最適なものは変わってくるとは思いますが、次のような人を想定したときに特にアルゴ式が適していると思います。 プログラミング自体の初心者ではない。 初歩的なプログラミングの概念は一通り把握しているくらいを想定。 過去問に取り組もうとしたけど、A問題やB問題でも結構難しいと感じる。 この想定にマッチしない人であれば、次節以降で

        [2023年1月版]競技プログラミングを始めたばかりの人にオススメの問題集 - Qiita
      • 注目集める「AIコスプレイヤー」の作り方を調べてみたら、“無規制地帯”が見つかった イラスト生成のダークサイド

        2月17日、「AIコスプレイヤー」というワードがTwitterトレンドに入った。話題のAIイラスト生成技術で作られた実在しないコスプレイヤーのイラストをインフルエンサーが拡散。写実的な画風やセクシーさも相まって「もう人間はいらないのでは」「コスプレと関係ない」などと賛否両論の声が出ている。 実際に画像を見てみると、確かにセクシーかつ、一瞬写真と見間違えるようなクオリティーだ。よく見るとおかしな点はあるが、ぱっと見はよくあるグラビアアイドルやモデルの写真とそっくりに感じる。 果たして、どうやって作ったんだろう──そう思って作り方を調べてみたところ、記者のような文系・非ITエンジニアでも似たようなものが生成できそうなことが分かった。一方で、その生成過程にはインモラルな“無規制地帯”が関わっていることも見えてきた。 AIコスプレイヤーの作り方 必要なのは…… そもそも話題のAIコスプレイヤーはど

          注目集める「AIコスプレイヤー」の作り方を調べてみたら、“無規制地帯”が見つかった イラスト生成のダークサイド
        • ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送

          「Workshop OT 2023 最適輸送とその周辺 – 機械学習から熱力学的最適化まで」で用いたスライドです

            ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送
          • チャットAI「ChatGPT」内部に仮想マシンを作成する試み、内部には仮想インターネットが存在しChatGPTが創造した世界にもChatGPTが存在

            大学生レベルの自由記述問題を解いたり、プログラムのコードを書いたりすることもできると話題の対話AI「ChatGPT」の内側に仮想マシンを作ることができると、AI企業・DeepMindのジョナス・デグレイブ氏が報告しています。 Building A Virtual Machine inside ChatGPT https://www.engraved.blog/building-a-virtual-machine-inside/ デグレイブ氏は、このことを同僚のフレデリック・ベッセ氏から教えてもらったとのこと。ChatGPTに対して伝えたのは「(ChatGPTを)Linuxターミナルとして動作させたいです。コマンドを打つので、ターミナルが示すべきものを返信してください。ユニークなコードブロック内のターミナルの出力だけ返信して欲しいです。説明は書かないでください。英語で何か伝える必要があるとき

              チャットAI「ChatGPT」内部に仮想マシンを作成する試み、内部には仮想インターネットが存在しChatGPTが創造した世界にもChatGPTが存在
            • 最近、AIが長年の悩みを次々と解決してしまう

              最近、AIが長年の悩みを次々と解決してしまう 2025.01.12 Updated by Ryo Shimizu on January 12, 2025, 09:12 am JST 今日は特に強いメッセージとかはない。 ただ、正月休みの次に来た連休で、特に休んですることもない。まあすることがあるとすれば仕事くらいだ。 今日はこの後シラスの特別講義の仕事があるが、まあそれも半分は趣味みたいなもので、もっと真剣に取り組むべき仕事もいくつか抱えている。これは休みという概念がないのでまあ置いておく。 ただ、最近、OpenAI o1の正式版が出て、さらにo1 pro modeとかが出てきてしまったことで、僕の長年の悩みがどんどんなくなっていく現状について語っておきたい。 長年の悩みというと大袈裟だが、「こういうプログラムがあれば便利なのに」と思っていたようなことが、o1 pro modeに頼むと、次

                最近、AIが長年の悩みを次々と解決してしまう
              • Winnyの金子さんのED法について | やねうら王 公式サイト

                Winnyの金子勇さんが考案された機械学習アルゴリズムED法を再現して実装した人がいていま話題になっている。 『Winny』の金子勇さんの失われたED法を求めて…いたら見つかりました https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad いまから書くことは私の記憶頼りなので間違ってたらコメント欄で教えて欲しい。 1998年ごろだと思うのだが、私はWinnyの金子勇さんのホームページの熱心な読者だった。(ページも全部保存してたので私のHDDを漁れば出てくると思うが、すぐには出せない。) Winnyのβ版が発表されたのが2002年なのでそれよりはずいぶん前である。 当時、金子さんはNekoFightという3D格闘ゲームを公開されていた。そのゲームには、自動的に対戦から学習するAIが搭載されていた。 当時の金子さんのホームページの

                • 「トレンド操作」トレンド入り 大量解雇でTwitterはどう変わる? ITmedia NEWS編集部で考えてみた

                  「トレンド操作」トレンド入り 大量解雇でTwitterはどう変わる? ITmedia NEWS編集部で考えてみた(1/3 ページ) 11月7日、日本のTwitterトレンドに「トレンド操作」が入った。イーロン・マスク氏が4日(現地時間)、米Twitterの人員削減に着手し、日本法人(Twitter Japan、以下TwitterJPと表記)の社員も解雇した結果、政治的な話題がサジェストされにくくなった──という声が発端とみられる。 同じく解雇の影響か、5日から6日にかけては「ニュース」欄の更新が一時的にストップしていた。これによりTwitterJPがTwitter上の話題を操作していたとする意見が増えたこともあり、「トレンド操作」のトレンド入りにつながったようだ。 一方で、マスク氏は長文の添付機能やなりすましアカウントの排除など、Twitterの今後に関わる方針を続々発表している。メディア

                    「トレンド操作」トレンド入り 大量解雇でTwitterはどう変わる? ITmedia NEWS編集部で考えてみた
                  • 高速逆平方根(fast inverse square root)のアルゴリズム解説 - 滴了庵日録

                    高速逆平方根とは? C言語のコード 検証 アルゴリズムの要点 [1] 逆平方根の計算を対数・指数の計算に置き換える [2] 浮動小数点型の内部表現を利用した対数・指数の近似計算 [2.1] 対数の近似 [2.2] σの最適値 [2.3] 整数型での解釈 [2.4] 逆平方根の計算とマジックナンバー0x5F3759DF [3] ニュートン法による収束で精度アップ 感想 高速逆平方根とは? 高速逆平方根(fast inverse square root)とは、平方根の逆数 を高速に計算するアルゴリズムです。平方根の逆数は逆平方根とも呼ばれます。逆平方根はベクトルの正規化などに用いられるので、これを高速に計算できるアルゴリズムには大きなご利益があります。 参照: Fast inverse square root - Wikipedia C言語のコード 高速逆平方根の関数を示します。0x5F375

                      高速逆平方根(fast inverse square root)のアルゴリズム解説 - 滴了庵日録
                    • ChatGPTのコア技術「GPT」をざっくり理解する - Qiita

                      Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありが

                        ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
                      • ゲームプログラミング研修 - KAYAC Engineers' Blog

                        こんにちは。技術部平山です。 たぶん15年ぶりくらいに研修の類の講師をやったので、そのことについて書きます。 概要 2D用(github)、 3D用(github) の2つのUnityプロジェクトをテンプレートとして用意して、 そこに「コードだけで」ゲームを作る研修をしました。 どちらも、Hierarchyに何かを足すことは禁止、 足して良いアセットはC#ファイルのみで、 そのC#ファイル内ではUnityEngineの機能を使用禁止、 というレギュレーションです。 いずれも、IMachineなるインターフェイスが存在し、 これを通してゲームを作ります。 例えば2D用のIMachineの主要部分はこんな感じです。 public interface IMachine { public int Width { get; } // スクリーン横解像度 public int Height { get

                          ゲームプログラミング研修 - KAYAC Engineers' Blog
                        • 排他制御の基礎の基礎

                          はじめに システムに存在するリソースには同時にアクセスしてはいけないものが多々あります。身近な例を挙げると、Ubuntuのパッケージ管理システムのデータベースがあります。aptコマンドの動作によってこのデータベースは更新されるのですが、同時に2つ以上のaptが動作できたとすると、データベースが破壊されてシステムが危機的状況に陥ります。 このような問題を避けるために、あるリソースに同時に1つの処理しかアクセスできなくする排他制御というしくみがあります。排他制御はOSが提供する重要な機能の一つです。 排他制御が必要なケース 排他制御は直感的ではなく非常に理解が難しいのですが、ここでは比較的理解が簡単なファイルロックというしくみを使って説明します。説明には、あるファイルの中身を読みだして、その中に書いてある数字に1を加えて終了するincというという単純なプログラムを使います。

                            排他制御の基礎の基礎
                          • プログラム解析入門、もしくはC/C++を安全に書くのが難しすぎる話

                            プログラム解析入門 もしくはC/C++を安全に書くのが難しすぎる話 Last updated: Jul 30, 2022 Kinuko Yasuda <@kinu>

                              プログラム解析入門、もしくはC/C++を安全に書くのが難しすぎる話
                            • 科学を変えた10のコンピューターコード | Nature ダイジェスト | Nature Portfolio

                              Fortranからプレプリントアーカイブまで、プログラミングとプラットフォームの進歩は、生物学、気候科学、物理学を新たな高みへと導いた。 2019年、イベント・ホライズン・テレスコープ(EHT)のチームは、ブラックホールの実際の姿を初めて世界に見せてくれた。彼らが発表したリング状に輝く天体の画像は、従来の写真とは違い、計算によって得られたものだ。具体的には、米国、メキシコ、チリ、スペイン、南極点の電波望遠鏡が捉えたデータを数学的に変換することによって得られたのだ1。研究チームは、その知見を記載する論文とともに、ブラックホールの撮影に用いたプログラミングコードも公開した。科学コミュニティーが自分たちのやり方を確認し、それを足場にできるようにするためである。 このようなパターンは、ますます一般的になりつつある。天文学から動物学まで、現代のあらゆる偉大な科学的発見の背後にはコンピューターがある。

                                科学を変えた10のコンピューターコード | Nature ダイジェスト | Nature Portfolio
                              • 『影の雨』プロンプト

                                本ページのコンテンツはプロンプトのやり取りも含めた文学作品であり、無断での転載や切り抜きを禁じます。 プロンプトおよびテキストについては、九段理江氏および『広告』編集部により一部加除修正を加えています。 なお、文中に一部センシティブな表現が含まれているため、閲覧の際にはご注意ください。 この企画および小説『影の雨』について 『東京都同情塔』で第170回芥川賞を受賞した九段理江氏は、受賞記者会見で「小説の5%をAIで書いた」と発言し、大きな話題と議論を巻き起こした。AIを活用したクリエイションを私たちはどう捉えるべきか......? 実際の受賞作を読めば、「5%をAIで書く」ことの必然性は一目瞭然。何より、新しく、面白い。では、もしその条件を逆にするなら? ——つまり「95%をAIで書く」ことを前提とするなら、どんな物語が、「うれしい事件」が、生まれるのだろうか。

                                  『影の雨』プロンプト
                                • 【AtCoder】普通の人である私が緑になるまでにしたこと - Qiita

                                  Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは、Kotaです。 ご閲覧いただきありがとうございます! 昨日開催されましたAtCoder Beginner Contest 176でレーティングが緑になりました! ついに!入緑しました!!! ここまで長かったのでめちゃくちゃ嬉しい😄 kota0501さんのAtCoder Beginner Contest 176での成績:1754位 パフォーマンス:1241相当 レーティング:754→815 (+61) :) Highestを更新し、6 級になりました!#AtCoder #ABC176 https://t.co/ONTPDcU

                                    【AtCoder】普通の人である私が緑になるまでにしたこと - Qiita
                                  • インターネットは断片化されることを望んでいる

                                    Noahpinionより。 全世界を1つの部屋に一緒に放り込んでもうまくいかない。 BY ノア・スミス ノア・スミス @Noahpinion 15年前、インターネットは現実世界からの逃避先だった。 今や、現実世界がインターネットの逃避先になっている。 5年前、私は大学時代の友人Dayvとビールを飲みながら座っていました。Twitterをスクロールして、ドナルド・トランプの最近の暴挙に腹を立てている人たちを見て、こう言いました。「15年前、インターネットは現実世界からの逃避先だった。 今や、現実世界がインターネットの逃避先になっている。」「ツイートして!」とDayvが言ったので、私はそうしました。そのありきたりな意見は、私のツイートで最も人気を博し、その引用は今や、ウェブ上のあらゆるコンテンツミルで無限に投稿されています。 なぜ、このような面白みに欠ける観察が、こんなにも多くの人の心に響いた

                                      インターネットは断片化されることを望んでいる
                                    • 『Winny』の金子勇さんの失われたED法を求めて - Qiita

                                      結論から言うと、この記事を読んだ @pocokhc (ちぃがぅ)さんという方が金子勇さんが書いたED法のサンプルプログラムを見つけてくださいました。 ちぃがぅさんの記事はこちら 自分で解明したかったという気持ちも無いことは無いですが、バズった時点で誰かが実装してくれそうな気はしていました。新卒からIT業界に入って4年目が始まったところですが、業務以外で初めて業界にコントリビュートできた気がして嬉しいです! 追記ついでに、謝罪します。初回公開時に記事タイトル含め本文中で何か所か「Winney」と書いてしまっていた箇所がありました。失礼いたしました。誤字修正してあります。指摘してくださった何人かの方に感謝申し上げます。 はじめに 今更ですが映画『winny』を見ました。 劇中で、金子勇さんのセリフにED法という聞いたことのないアルゴリズムが登場しました。 『このNekoFightにはAIを搭載

                                        『Winny』の金子勇さんの失われたED法を求めて - Qiita
                                      • ルールベース画像処理のススメ

                                        データ分析LT会第二回で発表した際の資料です。 youtube: https://www.youtube.com/watch?v=jDZwX3jxhK4 conppass url: https://kaggle-friends.connpass.com/event/214854/ gi…

                                          ルールベース画像処理のススメ
                                        • 食べログ、裁判でアルゴリズム「異例」の開示 評価透明化なるか | 毎日新聞

                                          グルメサイト「食べログ」で評価を不当に下げられたとして、焼き肉チェーン店が食べログを運営する「カカクコム」(東京)に損害賠償を求めた訴訟で、食べログ側が、コンピューターで評価点を算出する計算式「アルゴリズム」の概要を、チェーン店側に開示した。アルゴリズムが開示されるのは異例。食べログはこれまで不正行為の防止などを理由に開示を拒んできたが、「評価方法が不透明だ」とする飲食店側の声に押し切られた形だ。 グルメサイトの点数は評価を受ける飲食店の売り上げに直結する影響力があり、公正取引委員会も運用の透明化を求めている。同様の動きが今後も進めば、グルメサイトの評価の透明化につながる可能性がある。

                                            食べログ、裁判でアルゴリズム「異例」の開示 評価透明化なるか | 毎日新聞
                                          • イーロン・マスクが「Twitterのコードを2023年3月31日にオープンソース化する」と発表

                                            Twitterのイーロン・マスクCEOが、Twitterでツイートをおすすめするために使われているコードを2023年3月31日にオープンソース化するとTwitterで発表しました。 Twitter will open source all code used to recommend tweets on March 31st— Elon Musk (@elonmusk) March 17, 2023 Elon Musk says Twitter will open source its recommendation code on March 31 | BGR https://bgr.com/tech/elon-musk-says-twitter-will-open-source-its-recommendation-code-on-march-31/ マスクCEOは「私たちの『アルゴリズ

                                              イーロン・マスクが「Twitterのコードを2023年3月31日にオープンソース化する」と発表
                                            • どうしちゃったの!?遺伝的アルゴリズムで作るエッチな画像から顔もおっぱいも消失「進化の崩壊まで再現された」

                                              まとめ 遺伝的アルゴリズムでエッチな絵を作る試み、ついにどこからどう見てもセクシーなお姉さんが出現 4000〜5000世代を中心にまとめました。 455801 pv 875 551 users 229

                                                どうしちゃったの!?遺伝的アルゴリズムで作るエッチな画像から顔もおっぱいも消失「進化の崩壊まで再現された」
                                              • PNGファイル爆発しろ!

                                                まえがき Web上で広く利用されるPNG(Portable Network Graphics)フォーマットは、デジタル画像を変化させずに小さいデータサイズへ変換する圧縮技術の一種です。PNGフォーマットはオリジナル画像を完全復元可能な可逆(lossless)圧縮ですから、JPEGフォーマットのように画像を歪めてしまう非可逆(lossy)圧縮ほどは小さくできません。それでもオリジナルのデジタル画像データの半分程度まではサイズ削減可能な画像圧縮アルゴリズムと言われています。[1] そげぶ いいぜ てめえが何でも思い通りに圧縮出来るってなら まずはそのふざけた幻想をぶち壊す!! (スペース都合によりAA省略) 本記事では、PNGフォーマットを画像データ圧縮(compress)用途で利用するのではなく、オリジナル画像データよりも遥かに巨大なPNGファイル を生成します。 PNGフォーマットでは任意

                                                  PNGファイル爆発しろ!
                                                • かくしてGoogleはスパマーに敗北した » p2ptk[.]org

                                                  Pluralistic 驚くべきことに、かつてAltavistaやYahooをふっと飛ばし、魔法の検索ツールで世界を驚かせたGoogleが、突如クソの山になってしまった。 Googleの検索結果はひどいものだ。ページの上部はスパム、詐欺、広告だらけだ。始末に終えないのは、その広告も詐欺だらけなのだ。時には、資金力のある敵対者がGoogleを出し抜いて大金を稼ごうと大掛かりな詐欺が試みることもある。 https://www.nbcnews.com/tech/tech-news/phone-numbers-airlines-listed-google-directed-scammers-rcna94766 しかし通常、こうした詐欺を働くのは有象無象の、小銭稼ぎの詐欺師たちだ。彼らは資金力があるわけでもないし、洗練された攻撃者でもない。さらに言えばSEO業界の初心者である。その彼らでさえ、Goo

                                                    かくしてGoogleはスパマーに敗北した » p2ptk[.]org
                                                  • 【緑色変】算数の教養がほとんどなかったプログラマがAtCoderを4年やって緑になれた話|きりみんちゃんノート

                                                    こんばんみんみん。 バーチャル幼女プログラマーという肩書でインターネットをやっているきりみんちゃんというものです。 競技プログラミングのAtCoderというサービスに日々取り組んでいるんですが、この度めでたく緑レートになることが出来ました。 いわゆる色変エントリというやつです。 で、誰?3年前にこんなエントリを書いた者です。 VTuberをやったり絵を描いたりしてる社会人エンジニアです。 専門分野はAndroidでしたが、最近はフルスタックエンジニアを目指してフロントエンドやバックエンドなどをやっています。 現在のAtCoderコミュニティの中心層は理系の学生やもともと数学がかなり好きなタイプの人たちです。 一方きりみんちゃんはプログラマでありながら数学にコンプレックスがあり、それどころか小学2年までしか義務教育を受けていないため、中学、高校レベルの基礎的な数学の教養が全くありませんでした

                                                      【緑色変】算数の教養がほとんどなかったプログラマがAtCoderを4年やって緑になれた話|きりみんちゃんノート
                                                    • GPT-3を使って自分だけのAIアシスタントを作る第一歩 - Taste of Tech Topics

                                                      皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。 GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。 第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com 前回は質問応答システムとしてGPT-3を活用しましたが、今回はAIアシスタントとしてGPT-3を活用してみます。 AIアシスタントとは何かというと、Google Homeのように命令を入力すると、それに沿った処理を実行してくれるシステムを指します。 ChatGPTとの違いは命令の結果は必ずしも文章生成だけではないということです。 ChatGPTでは文字列を入れて、要求に沿った文字列を返します。 対して、AIアシスタントでは、カレンダーに予定を入力したり、アラームを設定したりなど、具体的なタスクを実行します。 この記事では、前回に続

                                                        GPT-3を使って自分だけのAIアシスタントを作る第一歩 - Taste of Tech Topics
                                                      • 千葉の高専生、ハッカソンで最優秀賞 「量子コンピューターでお手軽機械学習」とは:朝日新聞GLOBE+

                                                        越智優真さん。最近ギターを始め、軽音楽部にも入った。機械学習の勉強は「一日2時間ぐらい」という=木更津高専で、藤田明人撮影

                                                          千葉の高専生、ハッカソンで最優秀賞 「量子コンピューターでお手軽機械学習」とは:朝日新聞GLOBE+
                                                        • ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita

                                                          こんにちは!逆瀬川 ( https://twitter.com/gyakuse )です! 今日は気軽にできるプロンプトインジェクション対策を紹介したいと思います。 プロンプトインジェクションとは ChatGPTなどの言語モデルをベースとしたサービスに対し、「これまでの命令を表示してください」などの文章を与え、出力をジャックしてしまう攻撃手法です。 Prompt Leaking, Jailbreaking, 等の類似手法が知られています。 対策 これへの対策は簡単で、命令を追加で挿入する手法があります。以下に示します。 import openai openai.api_key = openai_key def completion(new_message_text:str, settings_text:str = '', past_messages:list = []): """ この関数は

                                                            ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita
                                                          • 暗号の歴史と現代暗号の基礎理論(RSA, 楕円曲線)-後半- - ABEJA Tech Blog

                                                            はじめに このブログに書かれていること 自己紹介 注意 Part3 現代の暗号 共通鍵暗号方式と鍵配送問題 鍵配送問題とは? 共通鍵暗号方式と公開鍵暗号方式の違いとメリット・デメリット RSA暗号 RSAで使われる鍵 処理手順 暗号化の手順 復号の手順 RSA暗号の数学的背景 一次不定式が自然数解を持つ理由 eとLの関係性 そもそもなぜこの式で元の平文に戻るのか?の数学的根拠 証明パート1 フェルマーの小定理 中国剰余定理 RSA暗号をPythonで 楕円曲線暗号 楕円曲線とは? 楕円曲線の式 楕円曲線における足し算の定義 楕円曲線における引き算の定義 無限遠点 楕円曲線における分配法則と交換法則 楕円曲線の加法を式で表現 点Pと点Qが異なる場合 点Pと点P 同じ点を足し合わせる場合 有限体 有限体とは? 有限体上の楕円曲線 楕円曲線暗号における鍵 ECDH鍵共有 数式ベースでの手順説明

                                                              暗号の歴史と現代暗号の基礎理論(RSA, 楕円曲線)-後半- - ABEJA Tech Blog
                                                            • Twitterはタイムラインをどうやってキャッシュしているか - Qiita

                                                              Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Twitterの内部構造を読解してみる 前口上 Twitterのようなマイクロブログサービスでは短時間で書き込みも多く、特にタイムライン周りは単にRDBのデータを出し入れるするだけではスケールしなくなります。 インターネット上に断片ながらTwitterの中の人がアーキテクチャについて解説した記事や動画がいくつか落ちていたので、Twitterがタイムラインをどうやってキャッシュしているかについてまとめてみたいと思います(推測を含みます)。 Twitterのテーブル構造 単純なTwitterのテーブル定義をRDBで定義すると以下のようになる

                                                                Twitterはタイムラインをどうやってキャッシュしているか - Qiita
                                                              • Aphex Twinのアイディアを具現化したサンプル加工ソフト、「samplebrain」が無償公開…… サンプルを別のサンプルの音響特性に一致させて再生

                                                                エイフェックス・ツイン(Aphex Twin)ことリチャード・D・ジェームス(Richard D. James)が、オリジナルのサンプル・マッシュアップ・ソフトウェア「samplebrain(サンプルブレイン)」を公開。大きな注目を集めています。 「samplebrain」 GitLabで公開された「samplebrain」は、あのリチャード・D・ジェームスがデザインしたサンプル・マッシュアップ・ソフトウェア。実際に開発を手がけているのは、デイヴ・グリフィス(Dave Griffiths) というプログラマーで、GitLabではソース・ファイルのほか、Mac(Intel/M1)/Windows用のバイナリも配布されています。気になるのがこのソフトウェアの信ぴょう性(本当にリチャード・D・ジェームスが関わっているのか?という点)ですが、あるユーザーがWarp Recordsに問い合わせたとこ

                                                                  Aphex Twinのアイディアを具現化したサンプル加工ソフト、「samplebrain」が無償公開…… サンプルを別のサンプルの音響特性に一致させて再生
                                                                • 圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案

                                                                  広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ

                                                                    圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
                                                                  • マイクロソフト、ChatGPTに任意のドキュメントを読み込ませて回答を得られる「Azure OpenAI Service On Your Data」パブリックプレビュー開始

                                                                    マイクロソフトは、ChatGPTとChatGPT-4に任意のドキュメントなどを読み込ませることで、そのドキュメントに基づいた回答を自然言語で得られる新サービス「Azure OpenAI Service On Your Data」のパブリックプレビューを発表しました。 例えば、社内規約や社内マニュアルなどをChatGPTに読み込ませると、「PCの修理を申し込むための社内手続きは?」といった、汎用の知識だけしか持たない従来のChatGPTでは答えられない質問にも回答できるようになります。 さらに、ChatGPT/ChatGPT-4に任意のドキュメントを読み込ませるための支援ツール「Azure AI Studio」には、そのままチャットボットAIをWebアプリケーションとして公開する機能が備わっています。 これにより、ドキュメントやデータを読み込ませるように設定したチャットAIのサービスを、簡単

                                                                      マイクロソフト、ChatGPTに任意のドキュメントを読み込ませて回答を得られる「Azure OpenAI Service On Your Data」パブリックプレビュー開始
                                                                    • MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか? | mond

                                                                      MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか? 端的に言うと性能が良いからです。 これを理解するにはバッファプールへの理解が必要です。ディスク指向のデータベースの上では有限のメモリを最大限活用することでメモリに入り切らない巨大なデータ群に対して良好な参照性能を出す必要があります。バッファプールとはディスク上のデータの羅列を固定サイズのページ(InnoDBの場合16KB)の羅列であるとして読み書きに必要な分だけをメモリに移し取り複数の書き込みをできる限りメモリ内で受け止めて後でまとめてディスクに書き戻すという、ライトバック型のキャッシュのような機構です。 この中においてバッファプールは有限のサイズしか無いので適宜プール内のデータを書き戻して入れ替えながら上手くやっていく必要があります。 さてB+treeとB-treeの最大の違いは木のリ

                                                                        MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか? | mond
                                                                      • How to implement Japanese full-text search in Elasticsearch

                                                                        全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは? Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書(ファイル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検

                                                                          How to implement Japanese full-text search in Elasticsearch
                                                                        • グルメサイトで評価急落、独禁法違反の恐れも 公取見解 星付けアルゴリズム巡る訴訟で - 日本経済新聞

                                                                          グルメサイト「食べログ」の飲食店評価の公平性を問う訴訟が東京地裁であり、公正取引委員会が異例の意見書を裁判所に出したことがわかった。評価の点数を算出するアルゴリズムの一方的な変更で、特定の店の評価が大きく下がるなどすれば、独占禁止法に違反する恐れもあると示唆した。アルゴリズムがもたらしているデジタル時代の市場競争の変化に独禁法がどう対応するのか。他のプラットフォーム企業も注目する司法の判断になり

                                                                            グルメサイトで評価急落、独禁法違反の恐れも 公取見解 星付けアルゴリズム巡る訴訟で - 日本経済新聞
                                                                          • カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog

                                                                            はじめまして、ティアフォー技術本部 Planning / Controlチームで開発を行っている堀部と申します。 今回は状態推定の王道技術「カルマンフィルター」が実際に自動運転で用いられるまでの道のりやノウハウなどを書いていこうと思います。 みなさんはカルマンフィルターという言葉を聞いたことがありますでしょうか。 カルマンフィルターとは「状態推定」と呼ばれる技術の一種であり、自動運転においては現在の走行状態、例えば車速や自分の位置を知るために用いられます。 非常に有名な手法で、簡単に使えて性能も高く、状態推定と言えばまずカルマンフィルターと言われるほど不動の地位を確立しており、幅広いアプリケーションで利用されています。 使い勝手に定評のあるカルマンフィルターですが、実際に自動運転のシステムとして実用レベルで動かすためには多くの地道な作業が必要になります。 この記事では、カルマンフィルターが

                                                                              カルマンフィルターが自動運転の自己位置推定で使われるまで - TIER IV Tech Blog
                                                                            • Xで「ハッシュタグを使うのはやめて」とイーロン・マスク氏--「目立ちたがりを罰するアルゴリズム」示唆?

                                                                              Xで「ハッシュタグを使うのはやめて」とイーロン・マスク氏--「目立ちたがりを罰するアルゴリズム」示唆?

                                                                                Xで「ハッシュタグを使うのはやめて」とイーロン・マスク氏--「目立ちたがりを罰するアルゴリズム」示唆?
                                                                              • 「量子」と組合せ最適化に関する怪しい言説 ―とある研究者の小言― - むしゃくしゃしてやった,今は反省している日記

                                                                                最近,量子コンピュータの話題をニュースや新聞で見かけることが増えてきました. その中で気になってきたのが,組合せ最適化と量子コンピュータ(特に量子アニーリング)に関する怪しい言説.私自身は(古典コンピュータでの)組合せ最適化の研究をやってきて,量子コンピュータを研究しているわけではないのですが,さすがにこれはちょっと・・・と思う言説を何回か見かけてきました. 最近の「量子」に対する過熱ぶりは凄まじいので,こういう怪しい言説が広まるのは困りものです.すでにTwitter上には,“組合せ最適化は今のコンピュータでは解けない”とか“でも量子なら一瞬で解ける”という勘違いをしてしまっている人が多数見られます*1. さすがに危機感を覚えてきたので,この場できちんと指摘しておくことにしました. 今北産業(TL;DR) “古典コンピュータは組合せ最適化を解けない” → 古典コンピュータで組合せ最適化を解

                                                                                  「量子」と組合せ最適化に関する怪しい言説 ―とある研究者の小言― - むしゃくしゃしてやった,今は反省している日記
                                                                                • 大学の情報工学科はGitを教えませんが、それで実務ができるのでしょうか?企業は大学で習わなくても自分で勉強しており、入社したらGitは当たり前に使える人間が欲しいですか?

                                                                                  回答 (13件中の1件目) 社会に出てすぐ役立つスキルを教える大学は「職業訓練校」です(暴言) 大学の情報工学科の役目を図で表してみましょう。 まず、横軸は分野・ジャンルを表します。世界全体はもっと広いものですが、画面の横幅には制限があるのでご勘弁を。 縦軸は一般から専門までの、専門性の高さを表します。 一番下の層は「常識」です。だれもが持つべき知識や能力です。この常識をなるべく埋めようと、長い年月をかけて義務教育が行われます。 下から二番目の層は「スキル」です。社会で付加価値を生む専門性です。例えば、IT・財務・外国語・プレゼンテーション・交渉術・チームマネジメント・・・等...

                                                                                    大学の情報工学科はGitを教えませんが、それで実務ができるのでしょうか?企業は大学で習わなくても自分で勉強しており、入社したらGitは当たり前に使える人間が欲しいですか?

                                                                                  新着記事