learning-webrtc_2023-05.md 時雨堂 WebRTC 入門 (講師資料) v2023-05 これは時雨堂が開催しているオンラインイベントである WebRTC 入門の 講師用 の資料であり、 参加者用の資料ではありません。 時雨堂 WebRTC 入門 オンラインイベント 概要 ChatGPT がある今、学ぼうと思えば好きなだけ学べる時代がきています。 ただ「正しい情報」をなんとなく知っている事はとても重要だと考えています。 進め方 今回の WebRTC 入門はまず最後まで大まかに話をしていきます。 その後、残り時間を利用して、細かく話をしていきます。 資料表示用の画面と iPad を画面共有してホワイトボード的な使い方をしていきます。 お願い 是非 Discord にメモを残していってください。 後から振り返るとき、参加者の皆に有用だと思います。 ライセンス Creat
広島大学は8月31日、富士通研究所と共同で、多くのデータ圧縮方式で採用されている「ハフマン符号」の並列展開処理を高速化する新しいデータ構造「ギャップ配列」を考案したことを発表した。NVIDAのGPU「Tesla V100」を用いて実験した結果、従来の最速展開プログラムと比較して、2.5倍から1万1000倍の高速化を達成できたとしている。 同成果は、同大学大学院先進理工系科学研究科の中野浩嗣教授らの共同研究チームによるもの。詳細は、2020年8月に開催された国際会議「International Conference on Parallel Processing (ICPP)」において発表され、269件の投稿論文の中から最優秀論文賞に選ばれた。 インターネットを介して多数の画像ファイルや動画ファイルなどを転送したり、また記録メディアに保存したりする際、データの圧縮は誰でも日常的に行っている。そ
過激な思想の持ち主は「複雑な認知タスクの処理が苦手」だと判明
スタンフォード大学やケンブリッジ大学の研究チームが、「過激な思想を持つ人物は複雑な認知処理を苦手としているため、無意識的に分かりやすいイデオロギーに傾倒している」とする論文を、科学誌のPhilosophical Transactions of the Royal Society Bで発表しました。 The cognitive and perceptual correlates of ideological attitudes: a data-driven approach | Philosophical Transactions of the Royal Society B: Biological Sciences https://royalsocietypublishing.org/doi/10.1098/rstb.2020.0424 Extremists struggle with c
エンジニアの佐野です。カンムはカード決済のサービスを提供しています。カード決済にはいくつかの決済手段があり、マグストライプ、IC、IC非接触(俗に言うタッチ決済)、オンライン決済などの機能が提供可能です。iD のようなスマートデバイスにカード情報を入れてスマホでタッチ決済する仕組みもあります。カンムのプロダクトであるバンドルカードはマグストライプとオンライン決済、Pool はマグストライプとオンライン決済に加えて IC接触決済、IC非接触決済(タッチ決済)を提供しています。今日はセキュリティ的な観点から各種決済手段の特徴や問題点とともに、主に IC 決済の仕組みについて小ネタを交えつつ書いていこうと思います。カンムが提供しているカードは Visa カードでありクローズドな仕様や confidential なものについては言及することはできませんが、公開仕様であったり一般的な事柄のみを用いて
40年越しにTCPの仕様(RFC793)が改訂される RFC9293 - ASnoKaze blog
2022/08/09 追記 「RFC 9293 Transmission Control Protocol (TCP)」として正式なRFCが出ました TCPのコア部分の仕様は1981年に発行された「RFC793 TRANSMISSION CONTROL PROTOCOL」で標準化されています。 この、RFC793の改訂版となる「Transmission Control Protocol (TCP) Specification」は、2013年からIETFのTCPM WGで議論されてきましたが、4月4日にIESGによって承認されました(参考URL)。現在はRFC出版の準備に入っています(新しいRFC番号はこの後正式に決まります) www.ietf.org 改めてTCPの仕様を読みたい場合はこのドキュメントを読むのが良さそう。 概要 この改訂版の仕様(通称 rfc793bis)は、RFC793が
暗号アルゴリズム「SHA-1」の廃止を発表、NIST
米国国立標準技術研究所(NIST: National Institute of Standards and Technology)は12月15日(米国時間)、「NIST Retires SHA-1 Cryptographic Algorithm｜NIST」において、暗号アルゴリズム「SHA-1」を廃止すると伝えた。SHA-1の暗号ハッシュ関数はすでに脆弱と評価されており米国政府機関での利用廃止が発表されている。 電子情報を保護するために初期に広く使われた手法の一つであるSHA-1アルゴリズムは、耐用年数が終了しているとして廃止が決定されている。SHA-1がまだ使用されているという現状から、より安全性の高い新しいアルゴリズムに置き換えることが推奨されている。 SHA-1という名称は「Secure Hash Algorithm」の頭文字からきており、1995年から連邦情報処理規格(FIPS:
2011年に起きた東日本大震災と、福島第一原子力発電所の事故から10年。ライターのヨッピーさんが、原発の内部を見学してきました。復興の状況、廃炉への道のり、汚染水（トリチウム水）の処理問題……タレントのなすびさんや、いわき市小名浜の「上野台豊商店」上野臺 優さんの話と共に、現地の様子を伝えます。 先日、福島第一原発に行った。 10年前のあの日、「会社を辞めるぞ！」と決意したこともあって、退職手続きのあれこれに追われていたことを思い出す。 何事も「面倒臭いことは全部後回しにする」というややこしい性質を持っている上、「どうせもう辞めるし」と完全に会社を舐めてかかっていたので退職にまつわる書類の提出も期限ギリギリになって大目玉を食らった。 「今すぐ持って行け！」と上司に言われ、しぶしぶ東京の本社ビルに出向き、経理課長から「お前はいつも提出が遅い。最後の最後まで……」などとお小言を食らっている最中
5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
OpenAI Cookbook
Processing and narrating a video with GPT's visual capabilities and the TTS API
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
AIの開発に欠かせない機械学習には、GPUやNPU、TPUなどの処理チップが用いられていますが、それぞれの違いは分かりにくいものです。そんなCPUやGPU、NPU、TPUの違いをGoogleやクラウドストレージサービスを展開するBackblazeがまとめています。 AI 101: GPU vs. TPU vs. NPU https://www.backblaze.com/blog/ai-101-gpu-vs-tpu-vs-npu/ Cloud TPU の概要 | Google Cloud https://cloud.google.com/tpu/docs/intro-to-tpu?hl=ja ◆CPUとは？ CPUは「Central Processing Unit」の略称で、PCでの文書作成やロケットの進路計算、銀行の取引処理など多様な用途に用いられています。CPUでも機械学習を行うこ
はじめに データ分析とデータ品質改善に従事してきた筆者が、SQLを用いた分析の基本である「ウィンドウ関数」の使い方とデータ品質の調査改善を行う手法をまとめてみようと思います。 こちらの記事は、SQLの知識向上と振り返りを主題としているので、ABC分析、バスケット分析、RFM分析などの「データ分析の手法」について説明している記事ではありません。(反響やコメントによって別投稿するかもしれません) 背景 SQLはエンジニアの大多数が利用しており、多くの方はWebサービス開発などでデータの登録画面や検索画面を作る際にSQLを利用したり、またはシステムの運用保守で障害の原因調査のためにSQLを利用して原因を特定すると思います。そのため、テーブル結合・サブクエリ・集計関数といったSQL構文は理解されている人が多いと思いますが、分析関数を理解して使っている人となると、ぐっと減ると思います。 私は以前、社
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
私たちは音や光、振動など、環境のあらゆる信号を感じるのと同様に「時間の感覚」を持ち合わせています。 ヒトの脳は内外のさまざまな情報に基づいて、今が何時で、あれからどれくらいの時間が過ぎ、次の予定まで何時間くらいあるかを、ある程度正確に把握することができます。 ところがADHD（注意欠如・多動症）やその傾向が強い人では、こうした時間認識が欠如する「時間盲（time blindness）」が現れることが知られています。 時間盲とは具体的にどのような症状なのか、またADHDの人々が時間盲を起こしてしまうのはなぜなのでしょうか？ Clinical Implications of the Perception of Time in Attention Deficit Hyperactivity Disorder (ADHD): A Review https://www.ncbi.nlm.nih.go
「もしも〜だったら」を確認するパスワード保護Excelファイル (俗に言う暗号化Excelファイル) のパスワードをcrackする難易度ってどれくらいだろうか？ と、ある事案 (参考リンク1) からの連想で急に確認したくなった。もちろん、事案のプレスリリースで述べられている「暗号化処理」が、Excelの機能を使ってExcelファイルをファイルレベルで保護する手法 (参考リンク2) なのか、それ以外の別の手法なのかは現時点で明らかになっていないので、これは「もしも前者だったら」の一種の私的な実証実験である。 実験の際には自分に条件を課し、手元のUbuntu環境にはもちろん純正のMicrosoft Excelは無いので、一連の内容をコマンドライン (CLI) のみでやってみようと考えた。 1. Secure Spreadsheetでパスワード保護Excelファイルを作成参考リンク3によると、次
リンカ
ついに、リンカの説明をするときが来た。 ここに至るまでに、何度「リンカのところで説明する」と書いただろうか？ ここまで読んできた人ならば、 リンカというものが、なにやら色々やっているんだな、というのはわかってきたのではないかと思う。 筆者が常々思っていることのひとつに、「C言語に関する書籍は、リンカの説明をおざなりにしすぎだ」というのがある。 多くのC言語の書籍は、 コンパイラがソースコードをアセンブリコードに変換します アセンブラがアセンブリコードを機械語に変換します リンカが機械語をリンクして実行ファイルが作られます と、いう解説がなされがちである。この説明を見たら、多くの人が、「え、リンクってなんですか？」と、思うに違いない。 アセンブラには、「人間が読めるニーモニックを、機械が読める機械語に変換する」みたいな、最低限の説明が付くものの、 リンカの説明は「リンクをします」のひとことだ
新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
Getting Started Introduction A simple tutorial Language Reference Basic syntax Types Variables Constants Expressions Operators Control Structures Functions Classes and Objects Namespaces Enumerations Errors Exceptions Fibers Generators Attributes References Explained Predefined Variables Predefined Exceptions Predefined Interfaces and Classes Predefined Attributes Context options and parameters Su
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
2023年2月7日のMicrosoft発表イベント、および同8日のGoogle発表イベントの内容をまとめています。いずれも検索エンジンに搭載されるAIサービスに関する新プロダクトが発表されました。 このページは随時更新しています。 Microsoft、AIを搭載した新しいBingと Edgeブラウザを発表 Microsoftイベントの発表内容（日本時間 2023年2月8日午前3時〜） 従来の検索サービスは複雑な質問の回答に適していない 従来の検索結果画面とAIチャットウインドウ GPT-4相当の技術を搭載 ChatGPTよりも自然で意図にあった回答をするデモを披露 違法行為を促進しないための安全システム 新しいBingのデモ画面 AIを搭載した新しいBingの概要（Microsoft公式発表資料より） Bing Webmaster Guidelines 会話型検索に関する記述 Google
【知財・個人情報】ChatGPTをビジネスに利用する際の注意点 ['23/4/11] - Qiita
OpenAI利用規約 まず、OpenAIが提供するサービス（ChatGPTおよびOpenAI API）の利用規約を確認します。 ３. Content (a) Your Content. You may provide input to the Services (“Input”), and receive output generated and returned by the Services based on the Input (“Output”). Input and Output are collectively “Content.” As between the parties and to the extent permitted by applicable law, you own all Input. Subject to your compliance with the
![【知財・個人情報】ChatGPTをビジネスに利用する際の注意点 ['23/4/11] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f9ddf025ab2dc7ee12f7e26d95574de3fc974ac/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUUzJTgwJTkwJUU3JTlGJUE1JUU4JUIyJUExJUUzJTgzJUJCJUU1JTgwJThCJUU0JUJBJUJBJUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgwJTkxQ2hhdEdQVCVFMyU4MiU5MiVFMyU4MyU5MyVFMyU4MiVCOCVFMyU4MyU4RCVFMyU4MiVCOSVFMyU4MSVBQiVFNSU4OCVBOSVFNyU5NCVBOCVFMyU4MSU5OSVFMyU4MiU4QiVFOSU5QSU5QiVFMyU4MSVBRSVFNiVCMyVBOCVFNiU4NCU4RiVFNyU4MiVCOSUyMCU1QiUyNzIzJTJGNCUyRjExJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz02M2I0ZWQyNGI0MTUxNmU4MTBiOGE5NjllODUxZmI4Nw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBncm91bmQwc3RhdGUmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWJmODc2ZjA0YzQxMzNjZDlkODFlNTI3YzEyNjZlMGRj%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9852e13f97bccc0ab3bc28a315c9307c)
認知負荷および認知負荷理論 (Cognitive Load Theory) をもう少し正確に理解するための心理学研究・知見の紹介
認知負荷および認知負荷理論 (Cognitive Load Theory) をもう少し正確に理解するための心理学研究・知見の紹介 この記事の目的 ここ数年で、ソフトウェア開発やプログラミングの文脈で、「認知負荷」 および 「認知負荷理論」 という用語をよく見聞きするようになりました。私が今思い出せるだけでも、以下のような書籍や Podcast で重要なキーワードとして取り上げられています。 A Philosophy of Software Design, 2nd Edition チームトポロジー 価値あるソフトウェアをすばやく届ける適応型組織設計 プログラマー脳 ～優れたプログラマーになるための認知科学に基づくアプローチ fukabori.fm 102. A Philosophy of Software Design (3/3) w/ twada この「認知負荷」ですが、少なくとも近年見聞
スクエニのAI実験版『ポートピア連続殺人事件』を約5分で“解決”するRTA走者現る。雑すぎる命令と察しの良すぎるヤス - AUTOMATON
『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』は、『ポートピア連続殺人事件』をもとにした自然言語処理を学習・体験するソフトウェアだ。本作には入力されたテキストの処理に自然言語処理（Natural Language Processing）が用いられている。大量のテキストデータを使ったディープラーニング技術により、複雑な文字列の理解や文章の生成が可能となっているとのこと。 一方、本作には自然言語生成（Natural Language Generation）を用いた雑談会話機能は今のところ搭載されておらず、“AIの非倫理的な発言の可能性を考慮して”雑談会話機能を削除した状態でリリースされているという。今後の研究により、プレイヤーが安心して楽しめる環境が整った際の提供を予定しているとのことだ。しかしその影響からか、今のと
こんにちは、カート決済部カート決済サービスブロックの林です。普段はZOZOTOWN内のカートや決済の機能開発、保守運用、リプレイスを担当しています。 弊社ではカートや決済機能のリプレイスを進めており、これまでにカート投入のキャパシティコントロールや在庫データのクラウドリフトを実現しています。 techblog.zozo.com techblog.zozo.com 本記事では新たにクレジットカード決済処理を非同期化したリプレイス事例を紹介します。 はじめに 背景・課題 非同期化のシステム構成 パターン1 - 完全非同期化パターン パターン2 - 非同期・同期切り替えパターン パターン3 - ポーリングパターン システム構成の決定 メッセージングサービスの選定 効果 今後の展望 まとめ さいごに はじめに 本章では、非同期化前のZOZOTOWNのクレジットカード決済を用いた注文処理の流れを説明
はじめに 研究開発第二部リードセキュリティエンジニアの一瀬です。セキュリティエンジニア同士の会話では、「"シサ"が最近またレポート出していて…」とか「"アイピーエー"から注意喚起出てたね」といった、初学者には謎の単語がたくさん出てきます。本記事では、そういった会話に出てくる単語のうち、国内外のセキュリティ関連の主な組織についてまとめました。セキュリティに興味があれば、ここに挙げた組織と、その組織が関わる政策や活動について、事前に抑えておいて損はありません。これからセキュリティを学ぼうという方の参考になれば幸いです。 なお、記載した情報はすべて執筆時点 (2023 年 6 月) のものです。 【2023/06/30 追記】NISC および ENISA の日本語名称を修正、CISA の読み方について修正・追記、NCSC について追記しました。 はじめに 中央省庁 内閣サイバーセキュリティセンタ
マジレスされてチビッた．こりゃGoogleさんもビビるわけだ． ぼく： How were you implemented? Is it deep learning-based? ChatGPT: I am a language model called GPT-3 (Generative Pre-trained Transformer 3) that was developed by OpenAI. It is a deep learning-based model that uses a type of neural network called a transformer, which was trained on a large dataset of text to learn patterns of language. GPT-3 is trained using a techni
AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリュ
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
MySQLのSQLクエリチューニングの要所を掴む勉強会を開催しました！ - ANDPAD Tech Blog
こんにちは！DBREの福間（fkm_y）です。先月、弊社でデータベースの技術顧問をして頂いてる三谷（mita2）さんに開発本部向けの「MySQL SQLチューニング」勉強会を実施していただきました。 今回はMySQLの得意不得意なことの説明やSQLチューニングの流れ、具体的な事例を元にした対応例、また最近話題のHTAPな製品も紹介していただきとても参考になったのでポイントをおさえてレポートをお伝えします！ 開催背景 本編 MySQL の得意なこと、苦手なこと データベースのチューニング手段と特徴 SQLチューニングの流れ インデックス SQLチューニング例 インデックスフルスキャンとカバーリングインデックス ソート まとめ 当日の資料 さいごに 過去開催されたデータベース勉強会レポート 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しています。数年前にも同じテーマで勉強会
OpenAI API ドキュメントの日本語訳をこちらでまとめます。文字量の多いドキュメントなので、セクションごとに記事を分割しています。 今回は「GET STARTED 」のセクションからIntroduction と Quickstart を抜粋した前編です。 基本 DeepLで翻訳して、気になるところだけ書き換えています(ほぼ気になるところがないのが、DeepLのすごいところ)。原文との突き合わせができるようにはじめに原文を入れてますので、間違いなど見つけられましたら、ぜひご指摘ください。ご指摘箇所は随時反映させていただきます。 原文のリンクが有効になってますので、それぞれ必要な場合は原文リンクの方を参照ください。 Introduction｜はじめに Overview｜概要The OpenAI API can be applied to virtually any task that i
こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります
技術部の笹田です。今日で退職するので、バタバタと返却などの準備をしています。 本記事では、Rubyの並行並列処理の改善についての私の取り組みについて、おもに RubyKaigi 2022 と 2023 で発表した内容をもとにご紹介します。 並行と並列はよく似た言葉ですが、本記事では次のような意味で使います。 並行処理（concurrent processing）は、「複数の独立した実行単位が、待っていればいつか終わる（もしくは、処理が進む）」という論理的な概念で、古典的にはタイムシェアリングシステムなどが挙げられます。 並列処理（parallel processing）は、「複数の独立した実行単位のうちのいくつかが、あるタイミングで同時に動いている」という物理的な概念で、古典的には複数のCPU上で同時に実行させる、というものです。最近では、1つのCPU上で複数コアが同時に動いている、という
C10K 問題 (the C10K problem) は1999年に Dan Kegel が発表した文章、ならびにそこで提示された「問題」です。文章はその後も2000年代前半に何度か更新されているのですが、さすがに令和に読み返すと、当初の問題意識がわかりにくいところがあります。 2000年からの10年は、 ソフトウェア面では、select(2), poll(2) にかわる新しいシステムコールの実装と、それを使ったアプリケーションの普及 ハードウェア面では、x86 アーキテクチャの64ビット移行、仮想化命令の追加と、マルチコア化 さらにそこにクラウドも登場する、面白い時代でした。ここでは、それらの出来事を中心に、さらに、当時の雰囲気をつたえるような日本国内のブログやインタビュー記事をまとめることで、C10K 問題が、さまざまな側面から解決されていく流れを説明したいと思います。 書き足したいと
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2022年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2022年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2021年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 223個 です。 まとめるにあ
インターネットが生まれるまで - デマこい！
徒歩よりも遅かった ローマ帝国時代後期、ローマ支配下のエジプトの法的文書には、暦日と在位中の皇帝の名前が記載されていました。当時はローマで新しい皇帝が即位しても、それがエジプトに伝わって法的文書に反映されるまでにタイムラグがありました。このタイムラグを調べると、古代における情報伝達の速さを推測できます。また、近世に入った１５００年頃の情報伝達の速さは、ヴェネチアの商人たちの日記から推測できます[１]。 その結果を見ると、平均時速はほとんど変わらず時速１・５キロメートルほどだったようです。産業革命以前の世界では、情報伝達は人間の歩行速度よりも遅かったのです。 出典：グレゴリー・クラーク『10万年の世界経済史』下巻p177 出典：グレゴリー・クラーク『10万年の世界経済史』下巻p178 近代の情報伝達の速さは、ロンドンの新聞から推測できます。世界中で起きた事件がロンドンで報道されるまでのタイム
もう一つの海を目指して ─ Webエンジニアからクリエイティブ系にジョブチェンジして見えてきた世界 - Findy Engineer Lab
はじめまして、天城孝義（@amagitakayosi）です。 Webエンジニアとしてブログサービスなどを運営している会社で3年働いた後、クリエイティブ系のスタジオに転職し、現在は主にフリーランスとしてUnityを使ってゲームやインスタレーションを制作しています。 クリエイティブ系の仕事には学生時代の頃から興味がありながら、Webエンジニアの働き方に影響されてフロントエンド開発の道を選択した僕ですが、やがてキャリアについて考え直すなかで、クリエイティブ系への転職という選択肢に直面しました。 目の前に選択肢が現れたとき、迷わずリスクを取れる人は少ないでしょう。僕の場合、周りの人々に励まされつつ面白い方を選び続けたところ、気が付いたら今の状況になっていました。 この記事では、Webエンジニアからクリエイティブ系へ転職することになった契機や、キャリアチェンジに際しての葛藤など、僕の考えてきたことを
AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った
GitHub - onceupon/Bash-Oneliner: A collection of handy Bash One-Liners and terminal tricks for data processing and Linux system maintenance.
I am glad that you are here! I was working on bioinformatics a few years ago and was amazed by those single-word bash commands which are much faster than my dull scripts, time saved through learning command-line shortcuts and scripting. Recent years I am working on cloud computing and I keep recording those useful commands here. Not all of them is oneliner, but i put effort on making them brief an
〝ゼロカロリー〟甘味料「ダイエットにはNG」WHOが勧告する理由
WHOが先月発表したガイドラインでは、いわゆる“ゼロカロリー”“糖質ゼロ”とうたわれる食品に使用されている甘味料が、実はダイエットにはNGであるという見解が示されました。「カロリーや糖質ゼロ」なのに「体重減少効果がない」とされたのは、どのような理由からなのでしょうか。甘味料に関するこれまでの研究結果をまとめます。（朝日新聞デジタル企画報道部・朽木誠一郎） WHOが5月15日付で発表したガイドライン（※1）は、ダイエットに興味がある世界中の人に衝撃を与えました。その内容は「砂糖代替の甘味料に体重減少効果はなく、むしろ病気のリスクを高める」というもの。 日本でも「健康に良さそう」という理由で、「ゼロカロリー」「糖質ゼロ」のジュース飲料などを選んでいる人も多いことでしょう。 しかし、WHO栄養・食品安全担当ディレクターのフランチェスコ・ブランカさんは、「砂糖をNSS（Non-Sugar Swee
Software Design連載 2022年2月号 大規模Webアプリケーションの開発環境をモダナイズする - MonotaRO Tech Blog
こんにちは。モノタロウの八木(t_yagi)です。 モノタロウのECシステムは創業から20年以上ずっと動き続けており、絶え間なくビジネスを支え続けています。 その間、周囲のIT技術も大きく進歩してきました。 そんな中、開発者が増えたり機能も拡張され続けた結果、当初はさほど問題にならなかった開発に関する課題が浮き彫りになってきました。 今回はそんなレガシーな開発環境にモダンなIT技術を取り入れることで「当時は出来なかったことを現代の技術で実現する」を書きました。 流行りのモダンな技術がイケイケだから乗り変えるといったような輝かしいものではなく、長年積まれ続けてきた課題が現代の技術だから解決できたという時代の恩恵にうまく乗れるかを率直に記事にしています。 どうするとデメリットを抑えながらメリットを得ることができるか読んでいただける人に少しでも感じ取っていただければ嬉しいです。 サーバアプリの開
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時雨堂 WebRTC 入門 (講師資料) v2023-05
圧縮ファイルの展開速度を最大1万倍超高速化するデータ構造を広島大が考案
カード決済のセキュリティ的な問題点とその対策、IC チップの決済とその仕組み - カンムテックブログ
【震災から10年】なすびさんと一緒に福島第一原発を見てきた - イーアイデム「ジモコロ」
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
「CPU」「GPU」「NPU」「TPU」の違いを分かりやすく説明するとこうなる
そろそろSQLのウィンドウ関数を理解したい - 連載1/3話 - Qiita
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
どれくらい時間が過ぎたかわからない…「ADHDの時間盲」とは？ - ナゾロジー
暗号化Excelファイルのパスワードを「Amagasaki2022」とした場合の解析(crack)実験
PHP: PHP 8.0.0 Release Announcement
GoogleとMicrosoft AI技術と検索 まとめ (2023/02) - SEMリサーチ
SQSを用いたクレジットカード決済の非同期化 - ZOZO TECH BLOG
セキュリティエンジニアを目指す人に知っておいてほしい組織 - FFRIエンジニアブログ
ChatGPTにお前はどうやって実装されてんの？って聞いてみたら
OpenAI API ドキュメント 日本語訳｜#1 GET STARTED 前編｜ゑぐみかるちゃあ
Repro で遭遇した Aurora MySQL にまつわるトラブル 5 選 - Repro Tech Blog
Rubyの並列並行処理のこれまでとこれから - クックパッド開発者ブログ
令和にふりかえる C10K 問題
【2022年】AWS全サービスまとめ | DevelopersIO
S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記