OpenSSHがSHA-1を使用したRSA署名を廃止、BacklogのGitで発生した問題と解決にいたるまでの道のり | 株式会社ヌーラボ(Nulab inc.)
サービス開発部SRE課の@vvatanabeです。 2021年9月26日、OpenSSH 8.8がリリースされました。大きな変更として挙げられるのは、SHA-1ハッシュアルゴリズムを使用したRSA署名の廃止です。 本記事では、この変更がBacklogに与えた影響、その時現場で起こっていたこと、問題解決のプロセス、なにを教訓にしたのか等、順を追って解説します。 ※ 本記事はNuCon 2021で発表した内容をブログ化したものです。 問題の発覚 BacklogのGitへSSHでアクセスできない TypetalkのBacklog開発者のトピックで、以下のフィードバックが投稿されました。 「OpenSSH 8.8へアップデートすると、BacklogのGitへSSHアクセスできない」という内容でした。 問題の調査 Inside SSH protocol v2 深堀りしていく前に、SSHプロトコルの接
テキストエディタで使われがちなデータ構造 Piece Table の概要と実装 - A Memorandum
テキストエディタのデータ構造 Gap method Piece Table method Piece Table の構造 Piece Table の実装 Piece Table のメソッド まとめ テキストエディタのデータ構造 テキストエディタで採用されているデータ構造にはいろいろあります。 こちらの論文 Data Structures for Text Sequences では各種データ構造について比較検討されています。 多くは、Gap method や Piece table method をベースにしたものが多いのではないでしょうか(図で言う最下部の中心の丸印に当たります)。最近では Rope なども有名ですね。 Gap method Gap method では、現在のカーソル位置で、テキストバッファを2つに分割し Gap を間に挟み、カーソル位置に対する編集(テキスト追加/削除)を
Swisstable Hash に使われているビット演算の魔術 - methaneのブログ
Googleが開発したSwisstableと呼ばれるハッシュテーブル実装がAbseilとして公開されて、Rustの標準のHashMap実装にもその移植であるhashbrownが採用されました。 Swisstable の面白いところは、8または16要素をグループ化して、グループ内の各要素のハッシュ値のうち7bitをそれぞれ1byteに格納した8または16バイトの配列を作り、その配列に対して一気に並列でマッチングを行うことです。 この並列マッチングにはSSE2もしくはビット演算が使われます。この記事ではこの並列マッチング部分について解説します。 SSE2を使う場合 SSE2を使う場合は、グループのサイズは16になります。ハッシュ値を格納する配列のことを control と呼ぶことにすると、 control は char control[16] になります。control の各バイトの状態は次の
Go1.19に採用されたPattern-defeating Quicksortの紹介 - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 最近、Go1.19でsortパッケージのアルゴリズムが一部変更されました。 Pattern-defeating Quicksortが入った時のdiff 1.19リリースノートではPattern-defeating Quicksortが採用されたと紹介があります。実際にsort/zsortfunc.go、sort/zsortinterface.goにそれぞれpdqsort_func、pdqsortという関数があります。 // pdqsort sorts data[a:b]. // The algorithm based on pattern-defeating quicksort(pdqsort), but without the optimizati
Google、「人による人のための」結果と「まともなレビュー」を優先する検索改善
米Googleは8月18日（現地時間）、英語でのグローバルな検索で実施する「helpful content update」（役立つコンテンツ更新）の概要を説明した。いわゆる「クリックベイト」を排除し、検索結果に「人間が人間のために書いた、より独創的で役立つコンテンツが表示されるようにする」ための取り組みの一環だ。向こう数週間中に展開する。 まず、「読者に情報を提供するのではなく、クリックを獲得することを目的としたように見えるコンテンツ」や「オリジナルではない低品質のコンテンツ」が上位に表示されないようにする。特に、オンライン教育資料、エンターテインメント、ショッピング、テクノロジー関連のコンテンツで効果が見られるようになるとしている。 例えば、新作映画について検索した場合、従来は「他のサイトに掲載されたレビューを寄せ集めた記事が表示されたかもしれない」が、この更新により「独自の信頼できる情
当社に対する訴訟の判決に関するお知らせ / 2022年6月16日 株式会社カカクコム
当社は、2020年5月22日付で提起されました訴訟について、本日、第一審判決の言渡し及び判決文の送達を受けましたので、下記のとおりお知らせいたします。 記 1．判決のあった裁判所及び年月日 （1）裁判所 東京地方裁判所（事件番号：令和2年（ワ）第12735号） （2）判決日 2022年6月16日 2．訴訟を提起した者 名称 株式会社韓流村 所在地 東京都港区三田一丁目4番28号 3．訴訟の原因及び判決に至った経緯 本件訴訟は、当社の運営するレストラン検索・予約サイト「食べログ」において当社が2019年5月21日に行った点数アルゴリズムの変更により、原告の運営するチェーン店の点数が下落し、これに伴い同チェーン店の来店者数が減少し損害を被ったとして、当社が原告から損害の賠償（訴訟物の価額6億3,900万円）を求められたものです。 当社はこの請求及び請求の前提となる事実に関して、係争中でござい
【訃報】画像ファイルフォーマット「GIF」生みの親スティーブ・ウィルハイト氏死去
特定の色を透明にする背景の透過表示や、複数の画像を1つのファイルに収めてのアニメーション表示、ファイルの読み込みが進むにつれて画像を表示する「インターレース表示」といった機能を備えた画像ファイルフォーマットとして知られる「GIF」の設計に携わったコンピューター科学者のスティーブ・ウィルハイト氏が、2022年3月14日、新型コロナウイルス感染症(COVID-19)のため亡くなりました。74歳でした。 Stephen E. Wilhite Obituary - Visitation & Funeral Information https://www.megiefuneralhome.com/obituaries/Stephen-E.-Wilhite?obId=24311617 Stephen Wilhite, creator of the GIF, has died - The Verge h
Stephen Wilhite, creator of the GIF, has died
If you buy something from a Verge link, Vox Media may earn a commission. See our ethics statement. Wilhite after winning a Webby Lifetime Achievement award. Photo by Stephen Lovekin/Getty Images for The Webby Awards Stephen Wilhite, one of the lead inventors of the GIF, died last week from COVID at the age of 74, according to his wife, Kathaleen, who spoke to The Verge. He was surrounded by family
How to recognize the compression algorithms with your eyes - ZenHAX
online casino malaysia online casino singapore[phpBB Debug] PHP Warning: in file [ROOT]/phpbb/session.php on line 1065: Cannot modify header information - headers already sent by (output started at [ROOT]/vendor/autoload.php:3) [phpBB Debug] PHP Warning: in file [ROOT]/phpbb/session.php on line 1065: Cannot modify header information - headers already sent by (output started at [ROOT]/vendor/autolo
Python 3.11 からデフォルトの文字列ハッシュアルゴリズムが SipHash13 になります - methaneのブログ
Pythonの文字列やバイト列に対するハッシュアルゴリズムは、HashDoS対策としてPython 3.4から SipHash24が使われていました。 その後、ラウンド数を減らしたSipHash13でも十分に安全だとして2015年にRustが、2016年にRubyが、SipHash24からSipHash13への切り替えを行いました。 https://github.com/rust-lang/rust/issues/29754 https://bugs.ruby-lang.org/issues/13017 Python でもSipHash13に切り替えようという提案を2017年に行っていたのですが、実装した人がなかなかプルリクエストを作ってくれず、またPythonは文字列がimmutableでハッシュ値をキャッシュしているためにそこまで大きなインパクトがなかったこともあり、ずっと放置されてい
最高にエッチな画像をNFTアートにしよう！！
このページは、「最高にエッチな画像」をNFTアートとしてオークションに出品したことを告知するためのものです。 オークション会場はこちらです。 ◆ ◆ ◆ こんにちは。 群青ちきんと申します。 早速ですがこちらは何の関係もないあざらしさんです。 タッチして可愛がってあげてください。 さて本題に入りますが、みなさんはNFTというものをご存じでしょうか？ 私は最近まで新しい電話回線会社かと思っていました。 NFTとは、簡単に言うと「デジタルデータを唯一無二のものとして証明したやつ」のことです。 これまでのデジタルデータは、コピー＆ペーストによって容易に複製が可能でした。 それをブロックチェーンとかの技術を使って、「こいつが正真正銘のオリジナルだぜ！！！」と客観的に証明したものがNFTです。 今これを読んでいらっしゃる方はみなさん賢めのゴリラだと思われますが、ご安心ください。 ゴリ
コメント一覧ページの人気コメント算出アルゴリズムが変わります - はてなブックマーク開発ブログ
はてなブックマークでは、近日中に、人気コメント算出のアルゴリズム改善を予定しています。 従来は、コメントに対しつけられたはてなスターの数をもとに人気コメントを算出しておりましたが、今後は、スター数に加えて複数の要素を基準として算出するよう改善します。 リリースの際には、あらためて本開発ブログにて告知いたします。 はてなブックマークでは「より豊かで多様な価値観が集まるプラットフォーム」を目指し、直近では、はてなスターの表示方法を変更するテスト施策を行うなど、継続的な改善施策を行っています。 【追記あり】ブラウザ版の「世の中」カテゴリーで、はてなスターの表示方法を変更するテスト施策を始めました - はてなブックマーク開発ブログ 本改善も、コメント表示改善の一環となるものです。今後もアルゴリズム改善をすすめ、多様なコメントが表示されるよう取り組みます。 はてなスターをつけ、コメントページに誘導す
How to implement Japanese full-text search in Elasticsearch
全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検
手動SHA-256、紙とペンでBitcoinのマイニング作業をやるとこうなる……という動画
仮想通貨Bitcoinを手に入れるためには、Bitcoinネットワークにコンピューターを接続し、マイニングという膨大な計算を行わなければなりません。もしこの計算を手作業でやると、いったいどのような感じなのでしょうか？ 「マイニング」はある数値をSHA-256というアルゴリズムで変換した際に「複数のゼロから始まる特殊な数値（ハッシュ値）」になるかどうかを調べる作業です。このハッシュ値を総当りで計算し「当たり」を引いた人はBitcoinを得ることができます。 SHA-256というアルゴリズムの中身自体は公開されているのだから、ハッシュ値から元の数値を逆算できるのでは……と思うのですが、実はその方法は未だ見つかっていません。このため、今の所総当りで変換していくしかハッシュ値を見つける方法はありません。そして計算自体は非常に単純なものなので、こうして手作業で行うことも可能です。 動画はこちらから。
sha256の逆変換ツールのお仕事(その他（システム開発）)【クラウドワークス】
【 概要 】 任意のHash（64桁）の入力値に対し、sha256の逆変換を10秒以内で求めるプログラムを作成して下さい。 例１： b924ed427f4540e17a6c669982bf2373f2974f6733b7a737a08a6c49b0f70b81 ＜＝＝入力値 （逆変換）↓ ↑ (Sha256) eb6019e16fc6169662a87df672554ea74365bca49bae3f76200e33622c3f0335 ＜＝＝求めてほしいもの 例２： a591ad4729bbc33bfbe6744e14f8b3cc22b6355017e1c6de78da485f4746558b ＜＝＝入力値 （逆変換）↓ ↑ (Sha256) d65d227bc16c51187dac65517675b13d8feb9467cd7b993543ad4509b6e7d454 ＜＝
Slack、1月の大規模障害の原因を説明。「AWS Transit Gateway」がトラフィックの急上昇に対応できず、AWSはアルゴリズムを見直すと
Slack、1月の大規模障害の原因を説明。「AWS Transit Gateway」がトラフィックの急上昇に対応できず、AWSはアルゴリズムを見直すと AWSのネットワーク基盤の一部が飽和していた 1月4日、サービス内部のエラー率上昇によって始まったSlackの障害は、太平洋標準時の午前6時ごろからはSlackのWeb層の負荷が高まり、パケットロスを発生しはじめるなど徐々に深刻化。7時頃にはついにサービス停止にまで発展してしまいます。 負荷の解消のためにWeb層をスケールアウトさせるなどの対処を行い、なんとかサービスが復旧し始めたころに、AWSから障害の引き金となった現象についての報告が次のようになされたとのこと。 「Slack’s Outage on January 4th 2021」から引用します。 By the time Slack had recovered, engineers
検索エンジンの数値インデックスを支える Bkd-Tree - 好奇心に殺される。
Computer Science / Algorithm 検索エンジンの数値インデックスを支える Bkd-Tree Elasticsearchの数値データインデックスに使われるBkd-Treeというアルゴリズムを論文を読みながらまとめました。 Overview こんにちは pon です。Elasticsearch & Lucene 輪読会を弊社で毎週開催しているのですが、そこでBkd-Treeというアルゴリズムに行き着きました。そこでBkd-Treeの論文を読んでみたので、まとめたものを共有しようと思います。 論文はこちら Bkd-Tree: A Dynamic Scalable kd-Tree LuceneでのBkd-Tree Bkd-TreeはLucene6から導入されたようで下記のようにスペース効率、パフォーマンスが大幅に改善されたようです。 以下こちらのElasticsearch公
OpenSSH、将来のリリースでssh-rsa公開鍵の署名アルゴリズムをデフォルトで無効に
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます リモートからサーバーの接続および管理を行うユーティリティーとして人気の高い「OpenSSH」が「OpenSSH 8.3」をリリースしている。SHA-1認証スキームを将来的に非推奨とする計画のようだ。 OpenSSHチームは、SHA-1のハッシュアルゴリズムのセキュリティー上の懸念を、その理由として挙げている。 このアルゴリズムは2017年2月に、実際的な現実の攻撃で破られた。Googleの専門家らが、「SHAttered」という手法を使い、同じSHA-1のハッシュ値を持つ2つのファイルを生成することに成功したのだ。 当時、SHA-1の衝突を生成するには、膨大な計算コストが必要だと考えられていた。このためGoogleの専門家らは、コストが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インタラクティブなメディアの地図投影法: WebメルカトルからAdaptive Projectionsへ / MIERUNE 社内勉強会 #033
https://twitter.com/mootastic/status/1451892761142063112
