初めに 昨日のアップデートでAWS Lambdaは実行結果の返却値を一括の応答ではなくストリーミングな徐々に応答するようなことが可能となりました。 いざ日本語に直そうとすると微妙に難しいタイトルで実際の公式の翻訳がどうなるか次第では少しタイトルを調整するかもしれません。 これまでの方式ではLambdaの機能としては処理完了まで返却値を返すことができず、そういった機能が必要な場合はWebSocket等別の手段をユーザ側で実装する必要がありました。 今回のアップデートではTransfer-Encoding: chunked形式による返却に対応しHTTP/1.1の仕様の範囲内で徐々に値を返却できるようになりました。 またこの方式は応答サイズの上限が従来の6MBではなく20MBまでの対応となるためより大きなレスポンスを返すことができるようです。 Configuring a Lambda funct
![[アップデート]AWS Lambdaでストリーミングな応答が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4ea229c5864909168e5ad0a78416f2ea552c21f1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-lambda.png)
Denoを使って巨大なCSVファイルを開く機会があったので、その方法の覚え書きです。 DenoでCSVを読み書きする方法（通常ver.） 通常、DenoでCSVを読むには、標準ライブラリのparse関数を使います。 import * as CSV from "https://deno.land/std@0.170.0/encoding/csv.ts"; // ↓直接pathに文字列を指定するとカレントディレクトリからの相対パス。import.meta.resolveを使用するとこのファイルからの相対パス。 const path = new URL(import.meta.resolve("./path/to/file")); const text = await Deno.readTextFile(path); // ファイルを文字列として読み取り const data = CSV.par
メールやメッセージアプリを使えば他人へのファイル送信を気軽に実行できますが、メールやメッセージアプリでは数MBまでのファイルしか送信できず、大容量ファイルを他人に送信する場合はクラウドストレージやファイル転送サービスなどを利用する必要があります。無料で使えるファイル転送サービス「Wormhole」では、登録不要で最大10GBまでの大容量ファイルをサクッと送信可能であることに加え、エンドツーエンドの暗号化によって送信者と受信者以外にはファイルの中身を閲覧不可能にできるとのこと。めちゃくちゃ便利そうなので、実際にWormholeを使ってみました。 Wormhole - 簡単でプライベートなファイル共有 https://wormhole.app/ Wormholeにアクセスすると、以下のような画面が表示されます。 使い方は非常にシンプル。まず、送信したいファイルを画面内にドラッグ＆ドロップします
Getting Started Introduction A simple tutorial Language Reference Basic syntax Types Variables Constants Expressions Operators Control Structures Functions Classes and Objects Namespaces Enumerations Errors Exceptions Fibers Generators Attributes References Explained Predefined Variables Predefined Exceptions Predefined Interfaces and Classes Predefined Attributes Context options and parameters Su
JavaScriptランタイム「Bun v0.5」登場。MySQLやPostgreSQLのデータベース接続対応、新機能「Workspaces」、Bun.dnsなど搭載
JavaScriptランタイム「Bun v0.5」登場。MySQLやPostgreSQLのデータベース接続対応、新機能「Workspaces」、Bun.dnsなど搭載 サーバサイドで実行可能なJavaScriptランタイム「Bun」の最新バージョン「Bun v0.5」がリリースされました。 Introducing Bun v0.5 - bun install workspaces && bun install bugfixes - postgres, mysql, redis & more DB-related npm pkgs work in bun now - Bun.dns && some of node:dns, node:net, & node:tls - new WebSocket supports headers - HTTP client proxy supporthttp
厚生労働省が公開した接触確認アプリ「COCOA」のベースであるCovid19Radarは、処理番号登録時にDeviceCheckのTokenを送信しています。DeviceCheckでは端末を直接識別することはできませんが、端末に対して永続的なフラグを設定することができるため、端末と「陽性者である」という情報を紐づけできる可能性が存在します。 DeviceCheckについて DeviceCheckはiOSに組み込まれた、端末の整合性を検証するためのフレームワークです。このフレームワークでは端末を検証したり、端末ごとに2bitの値を設定することができます。 https://developer.apple.com/documentation/devicecheck クライアント側とサーバー側の処理で構成されます。 クライアント側ではTokenを取得してサーバーに送信します サーバー側ではToke
「繋がらない」を解決するステップ - Link and Motivation Developers' Blog
はじめに こんにちは。 リンクアンドモチベーション SREの篠原です。 普段アプリケーションの開発をしていると、何かしらに繋がらなくて困るといった場面は少なくないと思います。 立ち上げたはずのwebアプリにアクセスできない アプリとDBが疎通できない 〇〇のサーバにSSHできない 現在SREとして、そして過去インフラエンジニア/システム管理者としての経験もある筆者がこのような時にどうやって調査し解決しているかを紹介します。 特に若手の開発者やインフラエンジニアの方々に参考になれば幸いです。 (あくまで個人の考えのため、もしより良い方法などありましたらぜひコメントで教えてください!) L4レベルで疎通できるか確認 役に立つコマンド nc telnet curl OSI参照モデルにおけるL4、トランスポート層での通信ができるかどうかをまず確認します。 誤解を恐れずにいうと具体的にはIPアドレス
最近追加された AWS MediaServices トレーニングが 2時間で動画配信に関する基礎知識からサービス選定の考え方まで学べてお得だった | DevelopersIO
こんにちは、大前です。 2021/2/24 頃に追加されていた、AWS MediaServise に関する 2つのオンデマンドデジタルコースを受講したので、所感などをお伝え出来ればと思います。 メディアサービス向けの 2 つの新しいオンデマンドデジタルコースの提供を開始 TL;DR 2つ受講しても 2時間なので、めっちゃお手軽 動画配信に関する基礎知識から AWS MediaServices のユースケースまで学べてお得 ユースケースに対してどのようにサービスを選定するべきか学ぶ事が出来るのでプリセとかにすごく使えそう 実際に受講してみて 以下の 2コースが追加された形となります。 それぞれのコースの概要と、実際に受講してみた所感をまとめたいと思います。 Media Supply Chain: Video Processing and Delivery Introduction to AW
A better zip bomb
Compression bombs that use the zip format must cope with the fact that DEFLATE, the compression algorithm most commonly supported by zip parsers, cannot achieve a compression ratio greater than 1032. For this reason, zip bombs typically rely on recursive decompression, nesting zip files within zip files to get an extra factor of 1032 with each layer. But the trick only works on implementations tha
Ruby on Lambdaを使ってRubyKaigi用のデモアプリを作った話 - ZOZO TECH BLOG
こんにちは、開発部の塩崎です。 最近はCloudFormation・Embulk・Digdagを使った仕事をすることが多く、一番使う言語がYAMLになりました。 今年福岡で開催されたRubyKaigi 2019ではZOZOテクノロジーズはRubyスポンサーとして協賛させていただきました。 カンファレンス中のスポンサーブースの出し物として、DroidKaigi 2019と同様にファッションチェックアプリの展示を行いました。 DroidKaigiの展示と全く同じでは芸がないと考え、今回のRubyKaigiのためにRuby on Lambdaでランキング機能を作成しました。 本記事では、そのランキング機能の説明をしたいと思います。 ファッションチェックアプリのランキング機能とは まず、ファッションチェックアプリの説明をします。 このアプリはDroidKaigi 2019のために作成されたデモアプ
Windows と Unicode とボク
「今まで Shift-JIS しか使えなかった Windows で UTF8 が使えるようになりました！」 素人だけでなく、Windows についてろくに知らないLinuxかぶれのプログラマまでに知ったふうなことを言っています。 別に Unicode の委員会とも縁があるわけではなく、単に UNIX と Windows 、ちょっとずつだけかじっただけの、たまたま独自シェル用に ReadLine を作ってみただけに過ぎない１プログラマのワタクシが世間の Unicode の認識にグチります。 そんな怪文書、はーじまーるよー
Cloud Buildによる内部向けGoバイナリのリリース自動化 - Mirrativ Tech Blog
インフラ・ストリーミングチームの近藤 (id:udzura) です。 ミラティブのインフラ運用では、監視・自動化などさまざまなツールにGo言語を利用しています。ツールはコマンドラインツールとして提供して、バージョンごとにリリースを作成して各環境にデプロイしています。リリースの作成にはGitHubのRelease機能を利用しています。 今回は、GitHub Releaseの作成をGoogle Cloud Build（以下、単にCloud Build）で自動化したことについて、実装内容と効果を書いていきます。 なぜ Cloud Build を採用したか ミラティブの開発はGitHub Enterprise Cloudを利用しています。対応するCI/CDのサービスとしてはGitHub ActionsやCircleCIなど*1数多くありますが、ミラティブにおいてはGCPの利用箇所が多く、既存GCP
https://twitter.com/LHSummers/status/1164490326549118976 "ここジャクソン・ホールにやってきて、経済学者は重要な問題に取り組んでいます。中央銀行は、これからの10年も、これまで私たちが考えてきたように、産業社会のマクロ経済の安定化ツールであり続けることができるでしょうか？アンナ・スタンズブリーと執筆中の論文で、私たちはそれは疑わしいと論証しています。" "今や利下げの余地はほとんど残されていません。1970年代以来、アメリカ合衆国でリセッションが発生するとFedは常に500ベーシスポイント以上の利下げを実行してきました。そして多くの場合、実質金利は中立金利よりも400ベーシスポイント以上低かったのです。今や最大限可能な利下げ幅は200から300ベーシスポイント、実質金利は中立金利より150から250ベーシス下でしかありません。" "わ
はてなインターン2019で優勝した - 私が歌川です
はてなという会社で1ヶ月インターンに参加していました。 はてなのサービスは普段使っているものが多く、じぶんが使っているものを便利にしたいなと思っていたことや、今年のインターンどうしようかなと思っていたところまだ応募できると聞いたことなどが応募・参加するきっかけでした。 要約すると、めちゃくちゃ充実した4週間が送れて最高でした。 やったこと 応募 インターンに参加するには応募をしないといけません。 応募するために、ポートフォリオを書いてROT13を実装しました。 よく手になじんでるPythonで実装したのですが、そういえばPythonの標準ライブラリにはROT13があります。 import codecs codecs.encode('hoge', encoding='rot13') # => 'ubtr' これでも確かに要件は満たしていたと思いますが、拡張性に乏しいのでこれは没にしました。
SREチーム(新卒)の市川恭佑です。これはKAYAC Advent Calendar 2022の9日目の記事です。 今年の弊社アドベントカレンダーは、筋肉やランニング、さらにはサウナなど、多様性に富んだ面白いエントリが出揃っています。 自分も好きなファッションについて書きたくなってしまったのですが、ここはグッと気持ちを抑えて、仕事で触った技術について書きます。 ※ この記事のタイトルは、酒とゲームとインフラとGCPというイベントのオマージュです。 仕事の近況報告 まず、最近どんな仕事をしているのかについて報告させてください。恐らく誰も興味がないと思いますが、年末のアドベントカレンダー企画ということもあるので...... Amazon Web Services(AWS)を用いた自社サービス 今年の4月に新卒入社してから、技術ブログを2本執筆しました。下記がそのリンクです。 techblog.
The long-running BBC sci-fi show Doctor Who has a recurring plot device where the Doctor manages to get out of trouble by showing an identity card which is actually completely blank. Of course, this being Doctor Who, the card is really made out of a special “psychic paper“, which causes the person looking at it to see whatever the Doctor wants them to see: a security pass, a warrant, or whatever.
Figma でアイコンを更新したら GitLab に勝手に MR が作られるやつ - pixiv inside
こんにちは、@f_subal です。普段はおもに pixivFACTORY のフロントエンドを見ています。最近は社内のデザインシステム整備の仕事もやっており、今回はそちらで作っているアイコンライブラリの話をします。 SVG アイコンを社内 npm で配る みなさん、プロダクト内で利用するアイコンをどのように管理していますか？ 大抵の場合は元になる .svg ファイルが存在し、それを最終的に React コンポーネントで読んだり、あるいは昔ながらのアイコンフォントを生成したりして使っているでしょう。 ピクシブではこれまで各プロダクトがそれぞれの方法でアイコンを生成していました。あるプロジェクトは svg スプライトを生成して <use> タグで読み、またあるプロジェクトは svgr を使い、これまたあるプロジェクトでは woff を生成する npm スクリプトを持ったりしています。 実装方法
LaTeX と Python で作る 1 ポイントたりとも表示崩れしない最強の帳票印刷ソリューション - Qiita
元ネタ 元ネタはこちらです（以下「Figma と PHP」で略します）。 読んでなるほどと思いました。このように、誰かが苦労したおかげで後続が楽になるので感謝です。何が問題点として生じるのか、どんな解決方法が考えられるのか、が予め判明しているだけでもだいぶ楽になります。 反面、$\LaTeX$ の方が実装は簡易ではないかと思ったので、それを実践してみました。 条件と問題点 Figma と PHP の 44 ページに以下のような条件があります 改めて、満たしたい条件 ミリ単位で細かく帳票をデザインしたい。 帳票デザインの保守性を維持するためにはビジュアルデザイン必須 印刷時に見た目が一切崩れない さらに、次のような障害を次々とクリアしていってます。 文字参照の問題 枠からのはみ出しの問題 右寄せの問題 自動折り返しの問題 連票の問題（簡易な解説のみ） これらを $\LaTeX$ と Pyth
Webサイトで公開されている長編小説などを電子書籍リーダーでじっくり読みたい場面がある。その場合、WebページをPDFにしてしまうと良いのだが、ブラウザの機能を使って変換すると、非常に文字が小さくなり、KindleやKoboなど電子書籍リーダーで読むには適さないことが多い。そこで、単にPDFに変換するだけでなく、読書端末で快適に読書できるように、文字サイズなどをカスタマイズするプログラムを作ってみよう。 HTMLファイルから電子書籍リーダー用のPDFを生成しよう じっくり読書するためのPDF造り 多くの電子書籍リーダーは、ディスプレイに電子ペーパー(E Ink)を搭載している。この電子ペーパーは、太陽光の下でもくっきりと画面を確認できるため、目に優しいと言われており、長時間の読書に適している。筆者も電子書籍リーダーを愛用しており、日々の読書の友としている。 一般的な電子書籍リーダーでは、独
A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
Amazon S3のコンテンツを配信したい場合、S3の静的ウェブサイトホスティングを使用したり、S3の前段にCloudFront(CDN)を配置して配信することが多いかと思います。今回は、3つ目の選択肢として、S3をALBから配信する構成について紹介します。 S3バケットをプライベートにしたまま、ALBレイヤーでHTPS通信化や認証やセキュリティグループのアクセス制限を行うことができます。アプリケーションで利用するALBにS3配信を集約させることも可能です。また、外部･内部どちらのALBでも採用できます。 オンプレミスからプライベート通信によるS3アクセス 認証付きURL/CookieでS3コンテンツを配信する代替案として、ALB認証でS3配信 などで有用です。 構成ポイント 本構成の肝はALBのターゲットにS3のインターフェース型VPCエンドポイントのIPを指定すること(昔からあるゲート
Black Hat USA 2019: 今注目すべき Web セキュリティ関連トピックの解説 - Flatt Security Blog
はじめに BlackHat USA 2019 株式会社 Flatt Security でセキュリティエンジニアをしている米内(@lmt_swallow)です。私は 2019/8/3 から 2019/8/8 で開催された Black Hat USA 2019 と、続いて開催された DEFCON 27 に参加してきました。本記事では、特に Black Hat USA 2019 で印象的だった以下の 4 つの発表について、簡単な紹介と解説をしたいと思います。 HTTP Desync Attacks: Smashing into the Cell Next Door API-Induced SSRF: How Apple Pay Scattered Vulnerabilities Across the Web Denial of Service with a Fistful of Packets:
Web Scraping with Python: Everything you need to know (2022)
Introduction: In this post, which can be read as a follow-up to our guide about web scraping without getting blocked, we will cover almost all of the tools to do web scraping in Python. We will go from the basic to advanced ones, covering the pros and cons of each. Of course, we won't be able to cover every aspect of every tool we discuss, but this post should give you a good idea of what each too
お詫びと訂正 タイトルにて「ワンセグチューナー」と表記しておりますが、正しくは「ワンセグチューナーの技術を応用したSDR受信機」となります。お詫びして訂正いたします。 本題 さて、茶番はこのあたりにして(今回は使わなかったと言うだけで、本物の「ワンセグチューナー」でもフルセグを受信できるはずなので、あながちタイトが誤っているというわけではないのですが、茶番をやりたいための茶番でした)。 今回はデジタル変調の復調を学習することを目的としているので、それ以外の部分(例えば受信機のハードウェアや、リードソロモン誤り訂正のような情報理論的分野)には触れません。また、限定受信を目的としたスクランブルの解除や映像の復号にも一切触れません。一方で、海外の人が作ったGNU Radioのソースコードをコピペして「受信したよ！」と言っても学習という意味では全く意味がありませんから、ISDB-Tの復調に関しては
Amazon SESとAmazon Bedrockで問い合わせメールの一次対応を自動化する | DevelopersIO
「メールでのやり取りなんてレガシーだよね」？ いえいえ、生成AIを使えばまだまだ可能性が見えてきます。 みなさん、こんにちは！ 福岡オフィスの青柳です。 みなさん、生成AIを使って業務改善してますか？ (挨拶) 今回は、「改善したい業務」の上位にランクインしているであろう (俺調べ) 「問い合わせメール対応」を、生成AIを使って自動化・効率化してみたいと思います。 やりたいこと 「問い合わせメール」の対応窓口が抱える課題 利用者から問い合わせを受けた際、なるべく早く「あなたの問い合わせを認識していますよ」という点を利用者に知らせてあげると、利用者は安心しますし、問い合わせ窓口に対する信頼感も向上すると思います。 そのため、問い合わせ窓口では「できるだけ早く一次応答を返す」ことを目標にしている場合も多いかと思います。 しかし、多忙なサポート担当者にとっては様々な対応に追われて、どうしても一次
はじめに 有価証券報告書ってイマイチ何が書いてあるか分からないし、知りたい1社の特定の年度の内容を読んでも他社/他の年度と比較しないとよく分からないですよね そこでCOTOHAを使って大量の有価証券報告書を読む方法を探ってみようと思います ※COTOHAの基本的な使い方は@gossy5454さんの記事が詳しいです この記事の執筆モチベーション COTOHAを使ってお手軽に自然言語処理を行いたい あまり知られていない？CoARiJを使ってみたい 有価証券報告書を効率よくで読んで投資に活かしたい ソースコード 今回検証に使用したコードは下記にあります https://github.com/ice-github/CoARiJAndCOTOHA ※main.pyを参照 COTOHAについて NTTグループの自然言語処理プラットフォームです https://api.ce-cotoha.com/con
バイナリを眺めてわかる gob encoding の仕様と性質、適切な使い方 / understanding gob encoding
Kaggleで開催されていたRiiid! Answer Correctness Predictionに参加しました．結果を簡単にまとめると以下の通りです． 順位：139位（3406チーム中） メダル：銀メダル（上位5%以内） 解法：LightGBMとSAKTのアンサンブル チーム：1人で参加 自身初となるデータ解析コンペでしたが，なんとか銀メダルを獲得することができました．今回はその振り返りを時系列で書いていきたいと思います． 先に感想を述べると，Kaggleは本や論文ではなかなか得られない学びに溢れている上に，世界中の人々と順位を競い合うゲームのような感じでとにかく楽しいので最高すぎました． この記事がこれからKaggleを始める方々の参考になれば嬉しいです． 目次 Kaggleとの出会い コンペ参戦準備 コンペに登録 初Submit 特徴量エンジニアリング モデルの構築 アンサンブル学
イントロダクション 「テストを走らせて型情報を収集すればいいんじゃない？」そのアイデア自体は話題に上がることが多かったかと思われますが、観測範囲では前例がないように見えます。そこで、実際に作ってこそ見える世界があると思い動くものを実装してみました。 Orthoses::Trace github.com orthosesはRBSを生成するための機能を作るフレームワークで、この機能の一つとしてOrthoses::Traceというミドルウェアを実装しました。 例 例題として、rack-testというgemのRBSを生成したいとします。 その場合の生成コードをOrthoses::Traceを使って以下のように準備します。 https://github.com/ksss/orthoses/blob/db80d506c5fb02dadaa0ae303e0761ba0a543f6f/examples/r
Imagen unprecedented photorealism × deep level of language understanding unprecedented photorealism deep level of language understanding We present Imagen, a text-to-image diffusion model with an unprecedented degree of photorealism and a deep level of language understanding. Imagen builds on the power of large transformer language models in understanding text and hinges on the strength of diffusi
ZOZOTOWN Androidチームにおけるコードメトリクスとビルド時間計測の取り組み - ZOZO TECH BLOG
はじめに ZOZOTOWN開発本部 ZOZOTOWNアプリ部 Android2ブロックの高橋です。 ZOZOTOWN Androidチームでは、リファクタリングやビルド速度改善の取り組みを継続的に行なっています。本記事では、それらの取り組みの効果を可視化するために導入した、コードメトリクスやビルド時間計測の方法について紹介します。 はじめに ZOZOTOWN Androidチームにおけるリファクタリングやビルド速度改善の取り組み コードメトリクスの計測 メトリクス Cyclomatic Complexity（循環的複雑度） LOC（ファイルのコード行数） Author数 計測方法 Cyclomatic Complexityの計測方法 Java Kotlin LOCの計測方法 Author数の計測方法 ビルド時間の計測 計測方法 計測結果の可視化 コードメトリクスの計測結果 計測結果のパース
Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 | Amazon Web Services
AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. When you store data in Amazon Simple Storage Service (Amazon S3), you can easily share it for use by multiple applications. However, each application has its own requirements and
はい、Copilot なめてました。すみません。 この記事は PowerShell を書くのがめんどくさい、もしくは普段書かない方のために、Copilot を利用して 一文字も書かず 望みの PowerShell が生成されて感動したというだけの大したことない記事です🤣 1. はじまり 「Intune で管理されてるデバイスに最後にサインインしたユーザーが知りたい」 そんなことを時々言われるのです。 15 年くらい前に Configuration Manager のサポートエンジニアをやってた時代にもよく聞かれてた話で、WMI や監査ログでゴリゴリ頑張ってもいいんだけど、確か資産インテリジェンス(今は非推奨) を追加するとひっそりレポート増えたよなーとか、もはやどうでも良い思い出。 しかし、この SIEM だ UEBA だ XDR と言われる分析・自動化の世の中でもサインインログってまだ
Webpack 4 was released in February 2018. Since then we shipped a lot of features without breaking changes. We know that people dislike major changes with breaking changes. Especially with webpack, which people usually only touch twice a year, and the remaining time it "just works". But shipping features without breaking changes also has a cost: We can't do major API or architectural improvements.
【Windows】黒魔術で Python が CP932 関係で UnicodeDecodeError を出さないように強制する
Windows 上の Python (Python3) で open() 関数を使ったときに出る UnicodeDecodeError (ex: UnicodeDecodeError: 'cp932' codec can't decode byte 0x** in position **: illegal multibyte sequence) といえば、Python が標準でファイルの文字エンコーディングをかの悪名高い Shift-JIS (CP932) として読み込んでしまうことが原因であることはそれなりに知られているかと思います。 このエラー、自分で書いたコードなら全ての open() 関数の引数に encoding='utf-8' を追加してあげれば回避できますが、使おうとしたライブラリからそのエラーが出る場合はこちら側から制御できないので絶望するしかありません。 この記事 いわく
Cloud Run 上のページが一部の Chrome 環境で文字化けする謎を探るべく我々は Google Cloud の奥地へと向かった
この記事は 2024 年 2 月 28 日に執筆されました．今後この問題が Cloud Run 側で修正された場合，再現しない可能性がありますのでご留意ください． TL; DR Cloud Run は執筆時現在 zstd による圧縮に対応していない ヘッダの Content-Encoding: zstd のみが削除され，ボディは圧縮されたまま応答される ブラウザはこの応答を正しく解釈できないため文字化けのような表示となる zstd による圧縮は，執筆時現在 Chrome に実装されているもののデフォルトでは無効だが近い将来に有効化される 悲劇は突然訪れる 弊社では，コーポレートエンジニアリングチーム [1] [2] において，社内向けにいくつかのサービスを提供しています． これらのサービスはもともと AWS でホストされていましたが，アクセス制限に Identity-Aware Proxy
JavaScript is the world's most popular scripting language. So why is it hard to run shell scripts in JavaScript? import { spawnSync } from "child_process"; // this is a lot more work than it could be const { status, stdout, stderr } = spawnSync("ls", ["-l", "*.js"], { encoding: "utf8", });
先日、メインの開発環境を MacOS から Windows 10 Professional へと移しました。理由としては主に2点で、現在仕事を自宅の固定席で行っており PC を持ち運びする必要がなくなったため Mac より高速で安価な Windows デスクトップ機を使いたいこと(Ryzen 9使いたい!)、WSL2 が正式版となり使ってみた感じ問題なく WSL2 で仕事の開発ができそうだったことが挙げられます。 WSL2 はふつうに Linux なので問題なく開発環境の構築が行なえ、Windows からも VSCode Remote のおかげでで違和感なくWSL2上のコードを編集、実行ができ快適な開発が行えています。(なお、WSL2 についての記事は山程溢れているので、ここでは殆ど触れません。) しかしながら、WSL2 ではないふつうの Windows 上で開発する機会が出てきたので、M
非同期処理は、データ解析、APIリクエスト、ベクター化など多様なタスクにおいてパフォーマンスを向上させる鍵となる技術です。特に、待ち時間が発生しやすい多数のリクエストや処理を一度に効率よく処理したい場合、この技術は不可欠です。 非同期処理と並列処理の違い非同期処理と並列処理は、よく一緒に取り上げられることが多いですが、実はそれぞれ異なる目的と特性を持っています。 非同期処理非同期処理は、I/O待ち（ディスクへの読み書きやネットワーク通信など）といった待機時間を有効に使いながら、他のタスクを進める技術です。この方法で、全体のプログラムがスムーズに動作します。 並列処理一方で、並列処理は複数の処理を物理的に同時に行う技術です。簡単な例でいえば動画です。動画の再生と音声の再生を遅延が無いよう同時に行っています。 並列処理により、大量のデータ処理や高度な計算を高速に行えます。 まとめ簡単に言えば、
Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[アップデート]AWS Lambdaでストリーミングな応答が可能になりました | DevelopersIO
DenoでクソデカCSVを読む - Qiita
無料で最大10GBの大容量ファイルを暗号化して安全に送信できるウェブサービス「Wormhole」を使ってみたよレビュー
PHP: PHP 8.2.0 Release Announcement
接触確認アプリ「COCOA」が端末と陽性者情報を紐づけできる可能性 | Qrunch（クランチ）
金融政策はこれからもマクロ経済の安定化ツールであり続けることができるのか サマーズとクルーグマンのツイートより
GoとテストとSDKとGCP - KAYAC engineers' blog
CVE-2022-21449: Psychic Signatures in Java
ゼロからはじめるPython(86) 電子書籍リーダーで快適に読めるPDFをHTMLから生成しよう
Writing a C compiler in 500 lines of Python
ALBからS3コンテンツを配信してみた | DevelopersIO
デジタル復調の学習を目的として、ワンセグチューナーで地デジのフルセグTSを抜く - Qiita
COTOHAを使って大量の有価証券報告書を読む - Qiita
自作HTTPルーターから新しいServeMuxへ
Kaggle初コンペの振り返り〜Riiidコンペで銀メダル獲得〜 - Fire Engine
テストを実行してRubyの型情報を集めるやつを作った - スペクトラム
Imagen: Text-to-Image Diffusion Models
Copilot に Intune の PowerShell を書かせたらマジでビビった話
Webpack 5 release (2020-10-10) | webpack
The Bun Shell | Bun Blog
MacOS ユーザが WSL では無い Windows のコンソール環境を整える - A Day in the Life
【Python】ChatGPT効率化の為に非同期処理を実装｜Clirea