麻雀アプリのストアでの評価を見ると「牌操作がひどい」というように牌操作という言葉を聞くことがあります。ここでいう牌操作とは、 配牌が何らかの意図で偏らされている*1 局開始後にツモが意図的に変更される*2 という意味で使われているようです。 では、実際のところどうなのでしょうか？ このような疑惑が出る背景は、30年以上前に麻雀ゲームが出始めたころ*3、まともな手役作りのプログラムが難しかったので、コンピュータ側を配牌時にあらかじめテンパイさせておき、適当なタイミングで和了するというインチキな実装があったという黒歴史にあるようです。しかし、天鳳などの対CPU戦のないアプリではそもそも手役作りのアルゴリズムは不要ですし、今や麻雀AIも開発されている時代です。今もこんなことが継続されているのでしょうか？ 正しいプログラムとは何か 牌山生成 配牌とツモ 正しくプログラムされていることをどのように保
PySparkデータ操作 - Qiita
本記事は、PySparkの特徴とデータ操作をまとめた記事です。 PySparkについて PySpark(Spark)の特徴 ファイルの入出力 入力：単一ファイルでも可 出力：出力ファイル名は付与が不可（フォルダ名のみ指定可能）。指定したフォルダの直下に複数ファイルで出力。 遅延評価 ファイル出力時 or 結果出力時に処理が実行 通常は実行計画のみが計算 Partitioning と Bucketing PySparkの操作において重要なApache Hiveの概念について。 Partitioning: ファイルの出力先をフォルダごとに分けること。読み込むファイルの範囲を制限できる。 Bucketing: ファイル内にて、ハッシュ関数によりデータを再分割すること。効率的に読み込むことができる。 PartitioningとBucketingの詳細についてはこちら(英語)をご覧ください。 計算リ
Consistent Hashingとは Consistent Hashingはハッシュテーブルアルゴリズムの１つです。 ハッシュテーブルのサイズの変更をしても柔軟にマッピングできるため、ノードの追加・削除が発生する分散データベースやキャッシュの保存先を決定するといった用途に使われます。 アルゴリズムの説明 ハッシュ化 例えば入力値を0~99の値に変換するハッシュ関数を用意します。 ノードのIDをそのハッシュ関数で変換すると以下のように配置されたとします。 次にデータも同じようにハッシュ関数で変換し、以下のように配置されたとします。 マッピング データのハッシュ値と同じorより大きな値の中で最も近いノードにマッピングします。 自分よりも大きなハッシュ値を持つノードが存在しない場合は、最小のハッシュ値のノードにマッピングします。 これがConsistent Hashingです。 ノードの追加
ブロックチェーンの基礎の基礎
twitterでたくさんの反応をいただきました。ありがとうございます。 シンガポールから帰ってきました。 体調悪いな、、と思っていたら、コロナになってしまいました。 さて、下記を読んでから、私はブロックチェーンを学び直しています。 -プログラミングというより物事が出来るようになる思考法 クリプトを学ぶ上でブロックチェーンの基礎は欠かせない要素であり、また繰り返しインプットしないとなかなか覚えられない情報量だったりするので、最近は頻繁に学び直す習慣をつけています。 今回はそのアウトプットも兼ねて、ブロックチェーンの基礎の基礎についてマルっとまとめてみました。 なお、専門用語はWikipedia（英語）の解説リンクを中心に張っています。わからない単語は日本語訳しながら読み進めて頂ければ幸いです。 ブロックチェーンの歴史2005年、ギリシャは政府と救済債権団との協議が決裂寸前となり、銀行の破綻を
インターネット上で安全にデータを保管・通信するために開発された技術のひとつとして知られる、ハッシュ化と暗号化。しかし、その違いを正確に理解することに難しさを感じる人も少なくないのではないだろうか。この記事では、ハッシュ化と暗号化の違いを明らかにした上で、その安全性について解説する。 ハッシュ化と暗号化の違いは「不可逆性」 ハッシュ化とは特定の計算手法に基づいて、元のデータを不規則な文字列に置換する処理を指す。代表的な使用方法としては、パスワードをハッシュ化して保存・管理することが挙げられる。第三者が不正にパスワードへアクセスしたとしても、ランダムな文字列に変換されていることで、悪用されるのを防げるためだ。 ハッシュ化を施すアルゴリズムはハッシュ関数と呼ばれ、ハッシュ関数によって生成されるランダムな文字列はハッシュ値と呼ばれる。ハッシュ関数は入力する元データによって異なるハッシュ値を返す。同
ChatGPTによる「量子暗号」をテーマとした物語 エミリーは、量子暗号の研究者であり、その革新的な技術を用いて、安全な通信手段を模索していた。彼女は、量子ビットと量子エンタングルメントの原理を理解し、古典的な暗号技術よりもはるかに安全な暗号化手法を開発することに情熱を傾けていた。 ある日、エミリーは新しいプロトタイプの量子暗号通信装置をテストしていた。この装置は、量子ビットを用いて情報を暗号化し、量子エンタングルメントを利用して受信者との間で情報を安全に共有することができるものだった。彼女は、装置を使って簡単なメッセージを暗号化し、それを彼女の友人であるアダムに送信することに決めた。 アダムはエミリーの研究に興味を持っており、彼女からの暗号化されたメッセージを受け取るのを楽しみにしていた。彼は、受信したメッセージをデコードするために彼女が提供した量子暗号通信装置を使い、メッセージを解読す
これ ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓ commit 3a8461e04c04ed94a64df5d2cd7adbe764a2b8d8 Author: bigwheel <hogehoge@gmail.com> Date: Tue May 2 02:50:19 2017 +0900 Fix Process output method 同僚に「ちょっとそのコミットのこれ、slack DMで送ってー」なんて言うとき、あると思います。 これをなんと呼ぶか。 自分はコミットハッシュないしコミットIDと呼んできましたがどうやら正しい呼称ではなさそう。 先に結論 Git manual的には コミットのSHA-1 ないし コミット(オブジェクト)?の(オブジェクト名|SHA-1)が正しい。 もしくはPro Git - Bookには以下の表現もある。 コミッ
Go 1.14 リリースノート 日本語訳 - Qiita
この記事は https://golang.org/doc/go1.14 を日本語訳したものです. 前のバージョンはこちら: Go 1.13 リリースノート 日本語訳. 次のバージョンはこちら: Go 1.15 リリースノート 日本語訳. Go 1.14 の紹介 最新の Go リリース、バージョン 1.14 は、Go 1.13 から6か月後に届きます. その変更点のほとんどは、ツールチェーン、ランタイム、およびライブラリの実装になります. いつものように、このリリースは Go 1 の互換性の約束を守っています. 私たちは、ほとんどすべての Go プログラムが以前と同じようにコンパイルし実行し続けれると予想しています. go コマンドのモジュールサポートを本番で使用する準備ができましたので、すべてのユーザが依存性管理のために Go モジュールに移行することをおすすめします. もし Go のツー
DynamoDB のキャパシティユニット、テーブル構造、パーティション分割について図解でおさらい | DevelopersIO
DynamoDB のキャパシティユニット、テーブルの構造、パーティショニングの仕組みについて図解します。開発環境ではうまくいっていたのに本番環境で大量のデータを処理しないといけなくなった場合に DynamoDB の性能が落ちるのは、パーティショニングによる内部的な処理の分散が原因の一端となる場合があります。 コーヒーが好きな emi です。 DynamoDB の調査をする機会があったのですが、DynamoDB の仕組みについてすっかり忘れてしまっていたため、絵を描きながらおさらいしました。 ドキュメントはこちらのチートシートがよくまとまっていて便利です。 キャパシティユニット (Capacity Unit、CU) DynamoDB テーブルでは書き込みと読み込みの性能を「キャパシティユニット (Capacity Unit、CU) 」という単位で換算します。 RCU と WCU 読み込みキャ
Ethereumでのスマートコントラクト開発
Web3.0が各所から聞こえるようになってきて、以前に軽く触った程度の知識でしたが、もう一度掘り起こしてみようと思い、その備忘録として残します。 当時読んでいた本の知識を実際にコードに起こしながらやっているので、書いている内容が古い場合があります。 作ったもの Etereumに関して 暗号通貨の用途として作られたビットコインに対して、汎用的なアプリケーションを動かすために作られたプラットフォーム。「ワールドコンピューター」とも呼ばれます。ブロックチェーンの構成要素としてはビットコインのものをいくつか踏襲しているが、残高に関するデータ構造が違ったりします。今はビットコインと同じく PoW のコンセンサスアルゴリズムを採用しているが、PoS へ移行中です。 イーサリアムの中で発行されている通貨がEtherで、この通貨自体が他の暗号通貨と同じように価値を持っており、これから説明するスマートコント
※本記事は【10回記念】高校生主催の新年LT大会の登壇資料です ちょっと前に人生初ラズパイを買ったので、とりあえずOpenVPNサーバを立ててみました。 ついにラズパイを買ってしまった pic.twitter.com/bYrsdYe6tZ — しんぶんぶん (@shinbunbun_) January 10, 2021 用意するもの Raspberry Pi 4 Model B もう一台何かしらのマシン 実装方法 この記事通りにやればすべて実装できます。神記事。 Ubuntu 20.04でOpenVPNサーバーをセットアップ・設定する方法 システム構成 かなり雑な図ですがこんな感じです。 OVPNサーバ（ラズパイ）とは別に認証局（CA）となるサーバを一台用意し、証明書認証を実装しました。 実装フロー解説 ここでは接続までの流れを解説します。 実装方法は実装方法に掲載している記事をご覧くださ
「AIは人間より高性能だが一部のテストでは人間の方が優秀」「高性能AIの学習コストは数百億円」などをまとめたスタンフォード大学のレポート「AI Index Report 2024」が公開される
AIの研究開発は急速に進んでおり、「日常会話もコーディングも可能なAI」「高品質な画像を生成できるAI」「ロボットを高精度に動かせるAI」など高性能AIが続々と登場しています。そんなAIの現状をまとめた「AI Index Report 2024」をスタンフォード大学が公開しました。 AI Index Report 2024 – Artificial Intelligence Index https://aiindex.stanford.edu/report/ スタンフォード大学はAIの能力や研究状況などをまとめたAI Index Reportを2017年から毎年公開しています。2024年4月15日に公開されたAI Index Report 2024には、2023年までのAIに関する膨大なデータを分析した結果が掲載されており、ページ数は502ページに及びます。レポートの要点は以下の通り。 ◆
freee の二要素認証（ワンタイムパスワード）を仕組みから解説 - freee Developers Hub
はじめに こんにちは、freee で認証認可基盤の開発をしている okarin です。 freee のプロダクトでは二要素認証を有効にすると、メールアドレスとパスワードを入力した後、ワンタイムパスワードを求められるようになります。この二要素認証を利用することで、より安全に freee をご利用いただけるようになっています。本記事では二要素認証の仕組みを解説していきたいと思います。 ワンタイムパスワード入力画面 そもそも二要素認証とは？ 「記憶情報」、「所持情報」、「生体情報」のうち、2つを組み合わせる認証方式を二要素認証と呼んでいます。これらの2つ以上を組み合わせた認証方式を多要素認証と呼ぶこともあります。 freee では、「記憶情報」であるパスワードと、「所持情報」であるワンタイムパスワード（OTP）を利用して二要素認証を実現しています。 OTP の仕組み では、どうやって OTP を
OpenID ConnectのRPを実装していた際、Authentication Requestでのパラメーターにstateとnonceの2つがあることに混乱してしまったので自分用まとめです。防ぎたい攻撃はそれぞれ別のようですがnonceだけで良くないか？と。 OpenID ConnectはOAuthの拡張 OpenID ConnectはOAuth 2.0でAPIを保護しつつ、クライアント上でのユーザー認証もできるようにした仕様です。そしてstateはOAuth 2.0由来のパラメーターで、nonceはOpenID Connect由来のパラメーターです。あくまでOpenID ConnectはOAuth 2.0の上に乗っかっている存在のため、たとえnonceでカバーできようとも互換性のためstateには手を出さなかったと考えることで似たようなパラメーターがある意味に納得することにしました。
1987年、当時26歳の青年が自費出版した本が大きな評判を呼んだ。著者は大学院を中退したばかりの物理学徒で、「100部も売れれば奇跡」と出した本が、一部の大手書店では一般文芸書を抜いてベストセラーになるほど売れた。この『物理数学の直観的方法』はその後、講談社ブルーバックスに収められ、現在も版を重ねている。 著者の手法は、難解な概念の核心部分を、大胆なイメージ化によって直観的に理解させるというものだ。ベクトル解析やフーリエ変換といった数学の「難所」につまずいた学生たちから「目からウロコが落ちた」「初めて腑に落ちた」と絶賛の声が相次いだというのもうなずける。その手法を経済学に応用した本が書かれたと聞けば、これはもう読まないわけにはいかない。 一読して驚嘆！ そして興奮！ これは経済学を学ぶ人々に向けて書かれた本の中でも最良の一冊ではないか。『物理数学の直観的方法』同様、経済学でつまずいていた所
類似ベクトル検索のSoTA！！GCP: Vertex Matching Engineにも使用されている手法ScaNNを紹介！
3つの要点 ✔️ GCPの新プロダクト「Vertex Matching Engine」の元論文 ✔️ MIPSスコアを考慮した新しい量子化損失関数を提案 ✔️ ANNBenchmarksでSoTA性能を記録 Accelerating Large-Scale Inference with Anisotropic Vector Quantization written by Ruiqi Guo, Philip Sun, Erik Lindgren, Quan Geng, David Simcha, Felix Chern, Sanjiv Kumar (Submitted on 27 Aug 2019 (v1), last revised 4 Dec 2020 (this version, v5)) Comments: Published as a conference paper at ICM
bcryptをやめてshaでハッシュ化すべきですか？
OWASP セキュリティ要件定義書3.0 (https://github.com/ueno1000/secreq) によれば ハッシュ関数、暗号アルゴリズムは『電子政府における調達のために参照すべき暗号のリスト（CRYPTREC暗号リスト）』に記載のものを使用すること 広く使われているハッシュ関数、疑似乱数生成系、暗号アルゴリズムの中には安全でないものもあります。安全なものを使用するためには、『電子政府における調達のために参照すべき暗号のリスト（CRYPTREC暗号リスト）』に記載されたものを使用する必要があります。 と、あります。 電子政府における調達のために参照すべき暗号のリスト（CRYPTREC暗号リスト）※CRYPTRECホームページ https://www.cryptrec.go.jp/list/cryptrec-ls-0001-2012r4.pdf リストでは、ハッシュ関数とし
はじめに こんにちは。Sugawara Yuutaです。前回"Go言語で最速のJSONデコーダーを作った話"という記事を投稿したものです。もし前回の記事をまだご覧になっていない方は経緯を説明しやすくなると思いますのでしたから一緒に読んでいただけると幸いです。 その後 その後go-jsonの著者であるgoccyさんからissueをいただきました。内容は自分でベンチマークを行ったところREADMEで紹介してあったほどのパフォーマンスが出なかったというものでした。goccyさんは比較的小さいJSONでベンチマークを取ったようでしたので、自分でも行ってみると予想していたよりもはるかに遅い結果が出てしまいました。おそらく大きめのJSONファイルのデコードしかベンチマークしていなかったことが裏目に出たものだと思いますが、それでも差は大きいものでした。 ということで今回は、反省を踏まえて改良を重ねてきた
TwitterとFediverseの現在と未来
TL;DR 日本以外の国はどんどんTwitterを辞めていって、とりあえずFediverseを始めることになるよ。 日本のTwitterユーザーもそこそこ減るけど、結構な人が残るので無理して辞める必要はないよ。 Twitterはどんどん制限が厳しくなっていくけど、Fediverseには自由があるよ。良くも悪くも。 Fediverseで最も広く使われているプロトコル、ActivityPubは銀の弾丸ではないよ。 MastodonはTwitterの代替だけど、FediverseはTwitterの代替ではないよ。 SNSは使う時代から作る時代になるよ。作れば問題は全て解決するよ。 Intro 黒ヰ樹です。 2017年4月13日頃Mastodonを知りmstdn.jpに登録した後、一度mstdn.jpのDBを爆破することになったため様子見していたのですが、数日後にfriends.nicoがサービス
プロジェクトの中で、Mastering Bitcoin の読書会を進めていまして、ぼくはこの本を読むのは 3 周目になります。 ただ、読み直す度に新しい発見があるのがこの本であり Bitcoin の技術でして、その中で Bloom Filter についての話題がありました。 Bloom Filter というのは一般的な確率的データ構造であり、アルゴリズムの一つですが、Bitcoin ではそのアルゴリズムの欠点をプライバシー問題を緩和するための一つとして使用していて、そのあたりの話をしたい。でも、そのためには Bloom Filter 自体に言及する必要があるかなと思いまして、このエントリは Bloom Filter とはどういうものか、そしてその数理はどうなるのかを記述したいと思います。 Bloom Filter の特徴 Bloom Filter の欠点 Bloom Filter の仕組み
2017年12月の年末のこと。渋谷の喫茶室ルノアールで静かにPCに向かい仕事をしていたら、「あの人はビットコインで◯◯◯万円を儲かったらしい」「お前も早く買わないと出遅れるぞ」という会話が立て続けに聞こえてきました。 さらには、年始の休暇で沖縄を訪れたときのこと。隣りのテーブルから「2018年はディズニーの仮想通貨がアツい」みたいな会話が聞こえてくるではありませんか！ まさか沖縄でドラゴンチェーンの話を聞けるとは…。 この数か月で「仮想通貨」をめぐる話題がブレイクし、一気にホットなテーマとなりました。知らない人がいないぐらいの大ブームです。これはKOMUGIとしても「言語化」して考察を深めないわけにはいきません。今回のテーマは「ビットコインの本質」です。 ブロックチェーンとは何か？ ビットコイン、ブロックチェーン、ICO、DAO、マイナー、PoW、ハッシュ関数、暗号、フォーク、トークン、ス
Django(ジャンゴ)とは？Pythonのフレームワークを活用し、Web開発に役立てよう｜Udemy メディア
システム開発 2024/09/04 Django(ジャンゴ)とは？Pythonのフレームワークを活用し、Web開発に役立てよう 『Django』とは、Webアプリケーションフレームワークの一つです。様々な機能を搭載していて、簡単なWebアプリケーションであれば、ものの数分で完成できることもあります。 今回は、Djangoの概要やメリット、インストール方法、チュートリアルの実施方法についてお伝えします。 公開日： 2020年4月24日 Djangoは『ジャンゴ』と読み、Pythonで実装されたWebアプリケーションフレームワークです。無料のオープンソースとして公開されています。 フレームワークとは、アプリケーションを開発する際によく使われる機能がまとまったソフトウェアのことです。フレームワークを導入することで、幅広くWebアプリケーションの開発に対応でき、効率よく開発を進めていけます。 Dj
はじめに If you’re not paying for the product, you are the product itself. (製品にお金を払っていないということは、あなたが製品そのものということだ) これまで、しっくりくるメール受信環境がなかなかみつからず、いろいろな変遷をたどってきた。 Gmailを愛用していた時期もあったけど、あるとき、ふと開眼し、広告モデルのウェブメールをやめたいと思うようになった。 そこからは苦難の道だった。Mac標準のメールアプリは検索がときどきバグったり、フィルターがいまいちだったりした。 OSSを使って快適なCLIメール環境の構築を試みもした けど、ときどきバグってメンテが大変だったりした。 けっきょくのところ、いまどきローカルにメールボックスを持つのは特定のマシンに縛られて不便だし、自前で環境が壊れないようにメンテするのもしんどい。 かとい
[レポート] “今だからこそ知りたい、AWSデータベース 2020 基礎”で9種類DB紹介されてましたが、みなさん全部知ってました？ #AWSSummit | DevelopersIO
みなさんどうも、新卒エンジニアのたいがーです? AWS Summit Online始まりましたね！今年のサミットはオンラインでの開催となり、2020/09/08~9/9に行われるライブセッションと9/30まで視聴可能なオンラインセッションで構成されています。 今日の朝会で"祭りが始まるぞ〜！！わっしょーい！！"と宣言したということで、早速ライブセッションのレポートを書いていきたいと思います！ 実際のセッション動画はこちらからご覧ください！ 現在、9種類(1つプレビューを含む)あるAWSのDBサービスですが、私はこのセッションを聞いて初めて出会ったDBもありました。それぞれの特性を知ることで、適材適所なDBを選べるようになっていきましょう！ スピーカー / このセッションの概要 アマゾン ウェブ サービス ジャパン株式会社 パートナー技術本部 ソリューションアーキテクト 髙橋 敏行さん AW
![[レポート] “今だからこそ知りたい、AWSデータベース 2020 基礎”で9種類DB紹介されてましたが、みなさん全部知ってました？ #AWSSummit | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b9d1a6a2d565849a5ad7871ce299e53b49bd2426/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F09%2Feyecatch_awssummitonline_aws-summit-online-session-report.png)
Introduction 最近は暗号資産（仮想通貨）やNFTに関連する情報をよく耳にするようになりました。 こういったものについては特にセキュリティ（データの破壊や改変）が重要になってきます。 これらを支える技術として使用されているのが、ブロックチェーン(Blockchain)です。 最近仕事でも、これらの情報にふれる機会があったので、 調査した内容についてまとめました。 本稿ではブロックチェーン(+関連技術)の概要と基本的な仕組みについて解説します。 BlockChain？ BlockChainって何？ データベース技術の1つ。 ブロックという単位でデータを管理し、 それを鎖（チェーン）のように連結してデータを保管する技術です。 データを記録・保存するという点においては従来のデータベース(RDBMSやKVS)と同じですが、 その用途やアーキテクチャがまったく違います。 wikipedia
昨今のWeb開発ではさまざまなライブラリを利用してアプリが開発されます。その際、汎用的なライブラリであれば、敢えて自分のサーバーに配置せず、CDNを活用することも多いものです。今回は無料のCDNを利用して自作のJavaScriptライブラリを配布する方法を紹介します。また、無料CDNを使う場合に大切な改ざんチェックの方法なども紹介します。 CDNとは何か 多くの便利なJavaScriptライブラリがCDNを利用して配信されています。自前のサーバーにそのライブラリをコピーして配信するよりも、CDNを使った方が高速にライブラリを配信できます。なぜでしょうか。最初にCDNについて紹介します。 CDNとはコンテンツ配信ネットワークのことです。英語のContent Delivery Networkの頭文字です。CDNを使うと、複数の地域に配置されたサーバーを利用して、各ユーザーに最も近いサーバーから
ハッシュとｎ進数 - 叡智の三猿
前回のブログではブロックチェーンの要となるハッシュ関数について書きました。今回は少しその補足をしたいと思います。 www.three-wise-monkeys.com ｎ進法について ハッシュ関数により求められたハッシュ値（メッセージダイジェストともいいます）は、１６進数で表記されます。 コンピュータの世界は、わたし達が日常で使っている数字（１０進数）だけでなく、２進数や１６進数が登場します。 実際にはコンピュータの仕事をするにあたって、２進数や１６進数を深く理解していなくとも、大きな支障は無いと思います。ただ、ＩＰＡが行なっている「基本情報処理技術者試験」では、ｎ進法の理解が必須です。特に数学を余り学んで来なかった文科系出身のＩＴエンジニアは、ｎ進法の理解が試験に合格するためのネックになっているとよく聞きます。 ですので、エンジニアであれば１０進数を基準として、１６進数、２進数への変換、
ツイッターで人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは気軽にフォローしてください！ この記事では近年グラフ構造をうまくベクトル化(埋め込み)できるニューラルネットワークとして、急速に注目されているGCNとGCNを簡単に使用できるライブラリPyTorch Geometricについて説明する。応用分野は生物学から、渋滞予測、レコメンダーシステムまで幅広い。 本記事はGCN生みの親のブログ記事とPyTorch Geometricの公式チュートリアルをかなり参考にしております。 読んで少しでも何か学べたと思えたら 「いいね」 や 「コメント」 をもらえるとこれからの励みになります！よろしくお願いします！ 1. Graph Convolutional Networksとは？ 1.1 そもそもグラフとは？ ノードとエッジで定義される。折れ線
この投稿は、 Go4 Advent Calendar 2019の 15日目のものになります。 こんばんわ!! だんだん寒くなってきましたね。 さて、私たちは普段GCPも多く利用しています。 しばらくすると得体の知れない使用されていないリソースが大量に出来上がっていて、コストを圧迫する問題があったりします。 コストコントロール/棚卸し作業で、「Lifecycle設定が出来ていないもの/諸事情で設定しづらいもの且つ、使用されていないdiskを探す」といったことがしたく、 aws cliにはそれを探すコマンドがありますが、goolgle-cloud-sdkのgcloudコマンドにはありません。 そこで、それを作ることにしました。 https://github.com/k-oguma/gce-available-disks その際に option として、 誰が作成したものかわかるように Stac
PyPI で公開されているパッケージの半数近くが何らかのセキュリティ上の問題を含むとの調査結果 | スラド セキュリティ
Python パッケージの公式リポジトリ PyPI で公開されているパッケージの半数近くに何らかのセキュリティ上の問題が含まれるとの調査結果が発表された(The Register の記事、 論文)。 対象は PyPI に保存されている全パッケージ 19 万 7 千件以上のスナップショットで、静的コード解析ツール Bandit を用いて調査している。セキュリティ上の問題は exec 関数の使用やパスワードのハードコードといったものから、セキュアでない例外処理やハッシュ関数の使用、SQL インジェクションや XSS が可能といったものまで幅広い。調査の結果、約 75 万件の問題が見つかり、46 % のパッケージが少なくとも 1 つの問題を含んでいたとのこと。 ただし、見つかった問題の半数以上を占める約 44 万件は深刻度の低いものであり、約 23 万件が深刻度中、約 8 万件が深刻度高に分類さ
はじめに こんにちは、D2Cデータサイエンティストの小林です。 本記事では、Pythonによるハッシュの扱い方とハッシュを用いることで使用するメモリの削減ができるのかを検証します。 ハッシュについては簡単な紹介のみとなりますので、ハッシュについて深く知りたい方は他の記事を参考していただければと思います。 開発環境 検証において以下の環境を使用しました。 AWS EC2 (インスタンスタイプ: r5.2xlarge) Python 3.10系（3.10.9） pandas 1.5.1 memory_profiler 0.61.0 hashlib 3.10系で提供されているモジュール random 3.10系で提供されているモジュール string 3.10系で提供されているモジュール ハッシュとは ハッシュとは、あるデータから特定のアルゴリズムに基づいて不規則な文字列(値)を求めることです。
Last Commit Date of Markdown Sources: Tue Oct 25 10:20:24 2022 +0000 i The Rust Programming Language 日本語版 著：Steve Klabnik、Carol Nichols、貢献：Rust コミュニティ このテキストのこの版では Rust 1.58（2022 年 1 月 13 日リリース）かそれ以降が使われているこ とを前提にしています。Rust をインストールしたりアップデートしたりするには第 1 章の「インス トール」節を読んでください。 HTML 版は https://doc.rust-lang.org/stable/book/で公開されています。オフラインのときは、 rustup でインストールした Rust を使って rustup docs --book で開けます。 訳注：日本語の
※この投稿は米国時間 2020 年 3 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 Twitter の広告プラットフォームでは、日常業務の一環として数十億もの広告エンゲージメント イベントが日々発生しています。そしてこれらのイベントのひとつひとつが、ダウンストリームの数百もの集約指標に影響を及ぼす可能性があります。広告主がユーザー エンゲージメントを測定し、広告キャンペーンを効率よく追跡できるように、Twitter はさまざまな分析ツール、API、ダッシュボードを提供しています。これらは 1 秒あたりに数百万もの指標をほぼリアルタイムで集約することが可能です。 本投稿では、Steve Niemitz がリードを務めるTwitter の収益データプラットフォームエンジニアチームが、Twitter の広告分析プラットフォームの収益正確性と信頼性を向上させる
NIST（米国国立標準技術研究所）は2023年2月7日（米国時間）、IoT（モノのインターネット）などの小型デバイスで作成、送信されるデータを保護するための標準暗号に採用する軽量暗号アルゴリズムとして、「Ascon」と呼ばれる暗号アルゴリズム群を選定したと発表した。 Asconファミリーのアルゴリズムは7種類あり、その一部または全てがNISTの軽量暗号規格として、2023年中に公開される見通しだ。 関連記事 NISTが「SHA-1」の使用を2030年末までに停止すると発表 企業が今やるべきことは？ NISTは、ハッシュ関数「SHA-1」の使用を2030年12月31日までに完全に停止する。 IoTデバイス100億台突破の“光と影” 次に伸びる分野と課題は 比較サイトのComparitech.comは、IoTの普及拡大が幅広い分野で進んでいることを示す60以上の統計データを紹介した。デバイスの
RSAは、非常に大きな数の素因数分解が困難である性質を利用した公開鍵による暗号化方式です。 公開鍵暗号方式の暗号アルゴリズムはどれか。 ア AES イ KCipher-2 ウ RSA エ SHA-256 ～「基本情報技術者・平成29年春期」より 答えを表示 答え：ウRSAは、非常に大きな数の素因数分解が困難である性質を利用した公開鍵による暗号化方式です。AES、KCipher-2：共通鍵暗号化方式です。SHA-256：256ビットの出力値を出すハッシュ関数です。 ランキング参加中知識ランキング参加中雑談ランキング参加中テクノロジー
それって，ブロックチェーン使わなくてもいいんじゃないですか？ 第2回：サトシとアイテムDUPE ライター：しおにく こんにちは！ しおにくです。ブロックチェーンゲームの未来を見据える連載の，第2回です。前回の最後で「サトシ」という名前を出しました。ポケモンのサトシでないとしたら，一体誰のことなのか。 ブロックチェーンのサトシって誰だ？ ブロックチェーンの歴史……といっても，2008年10月31日に最初の論文が発表された比較的新しい技術なので，まだ15年ほどしか経っておりません。そしてその15年を語る上で避けて通れない人物が，「サトシ・ナカモト」なのです。 そしてこのサトシさん，2023年現在でもいまだ正体不明です。この名前さえも偽名ではないかと言われています。 彼は「Bitcoin：A Peer-to-Peer Electronic Cash System」（ビットコイン：ピアツーピア電子
詳解 ビットコイン
TOPICS Database 発行年月日 2020年03月 PRINT LENGTH 504 ISBN 978-4-87311-908-3 原書 Grokking Bitcoin FORMAT Print PDF EPUB 本書は、ビットコインとブロックチェーンをゼロから概念的に組み立てていきながら、その仕組みを深く理解するための解説書です。架空の会社内におけるトークンシステム構築に携わるストーリーを通じ、ゼロから徐々に追加する形で機能を積み上げることで、それぞれの機能の意味を深くはっきりと理解することができます。 技術者ではない人や、自分でゼロから作ってみる余裕のない人でも、ビットコインのようなデジタル通貨システムの設計の過程を追体験することができます。ある程度のコンピューターネットワークの知識があれば、プログラミング経験や数学の知識は不要です。 ●「監訳者あとがき」より 本書『詳解
iOS ネイティブでも Web3 Wallet アプリが作りたい！【前編】 - coincheck tech blog
こんにちは！Mobile グループで Coincheck iOS アプリを作っています高橋です。 今回は前々から興味を持って個人で勉強していた Web3 Wallet の作り方についてテックブログで出してみてはどうかとご提案をいただけたので稚拙ながら解説していこうと思います。 オープンソースのライブラリを利用しながら最低限の機能を持った Web3 Wallet を作成しようと思います！ 実装前の注意！ 今回の記事で利用している実装はあくまでも Web3 Wallet の仕組みや作り方を理解するための実装であり、製品として耐えうるようには設計されていません。 あくまでも参考としてご覧いただき、サンプルコードを製品としてそのまま組み込むことはご遠慮いただけますようお願いいたします。 Web3 Wallet? Web3 Wallet とは主に Ethereum 等のスマートコントラクトの利用でき
電子署名と公開鍵暗号方式
電子署名で重要な役割を果たす公開鍵暗号は、暗号化と復号とで異なる2つの鍵（秘密鍵と公開鍵）を使用する方式です。秘密鍵は、その所有者（署名者）によって秘密を保って管理される鍵であり、秘密鍵と対になる公開鍵は基本的に公開することが可能で、他の人（署名検証者）に利用してもらうための鍵です。電子署名は、秘密鍵鍵で署名を作成し、秘密鍵と対になる公開鍵で検証することになります。 電子署名法で、使用が認められている「公開鍵暗号」としては、RSA暗号方式、DSA署名方式、およびECDSA署名方式の3種類です。このうち、DSA署名方式とECDSA署名方式は、公開鍵暗号に分類されますが、署名しかできない公開鍵暗号方式です。 １．RSA暗号方式 RSA暗号方式は、現在最も一般的に使われている公開鍵暗号方式です。RSA暗号方式では、2つの大きな素数 p と q を生成し、 p と q の積 n （ n = p ×
SQLのJOINには3種類のアルゴリズムあるということを最近知ったのでまとめてみる。 JOINのアルゴリズム Nested Loop Sort/Merge Hash 基本知識 DBMSごとの実装状況 Oracle 3種類全部 MySQL Nested Loopのみ PostgreSQL 3種類全部 外部表(駆動表)と内部表 外部表(駆動表) JOINするときのベースになる表。以下のSQLでいえば、table1 内部表 外部表にくっつける表。以下のSQLでいえば、table2 特徴 Nested Loop Join 外部表にある全行に対して、内部表から結合キー列の値がマッチするものを探して結合する 上記に関連して、外部表にあるレコードが少ないほうがループ数を少なくできるため高速にできる 内部表の結合キー列にインデックスがある場合、インデックスを用いて検索できるため高速に処理できる Sort
![[SQL]JOINの3種類のアルゴリズムについて](https://cdn-ak-scissors.b.st-hatena.com/image/square/584c3d5d6610b3cf7bb2d1c5109eb598fde56373/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--lpDahPPq--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BSQL%25255DJOIN%2525E3%252581%2525AE3%2525E7%2525A8%2525AE%2525E9%2525A1%25259E%2525E3%252581%2525AE%2525E3%252582%2525A2%2525E3%252583%2525AB%2525E3%252582%2525B4%2525E3%252583%2525AA%2525E3%252582%2525BA%2525E3%252583%2525A0%2525E3%252581%2525AB%2525E3%252581%2525A4%2525E3%252581%252584%2525E3%252581%2525A6%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%2525B6%2525E3%252582%25258B%2525E3%252583%2525BC%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2ExYjQxNmE0NzYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
麻雀アプリに「牌操作」はあるのか？ - koba::blog
Consistent Hashing （コンシステントハッシュ法） - Carpe Diem
「ハッシュ化」と「暗号化」、その違いと安全性は？
エミリーの情熱と量子暗号の開発 - 叡智の三猿
gitで特定のcommitバージョン/リビジョンを指すコレをなんと呼ぶか問題 - Qiita
ラズパイでOpenVPNサーバたててみた - Qiita
OpenID Connectのstateとnonceの違いがわからなかった - Qiita
『現代経済学の直観的方法』アフターコロナすら見通せる、現代経済学の最良のテキスト - HONZ
それでも僕はGoで最速のJSONデコーダーを作りたかった
Bloom Filterの数理 - 理系学生日記
10分でわかるビットコインの本質
Proton Mail 〜おれが本物のプライバシーファーストなウェブメールを見せてやりますよ〜
ブロックチェーン基礎の基礎 | DevelopersIO
ゼロからはじめるJavaScript(15) CDNを利用して爆速Webアプリ - 無料CDNを使ってみよう その1
PyTorchで学ぶGraph Convolutional Networks - Qiita
Go の Cache package のベンチマークを測ってみた話 - Qiita
Pythonにおけるハッシュの扱いとメモリの削減について
The Rust Programming Language: 2018 Edition
Twitter の広告エンゲージメント分析プラットフォームをモダナイズ | Google Cloud 公式ブログ
NISTが選定、IoT向け軽量暗号アルゴリズム「Ascon」とは
ＲＳＡ：気になる情報セキュリティ用語 - 叡智の三猿
それって，ブロックチェーン使わなくてもいいんじゃないですか？ 第2回：サトシとアイテムDUPE
[SQL]JOINの3種類のアルゴリズムについて