はじめに Webシステムの開発に携わりたくて転職して9か月，知らない事ばかりで日々勉強しております。 自分の勉強用メモとして知っておくべき技術をまとめようと思いました。 (こちらの記事にインスパイアされたものです) 技術用語について，なるべく2～3行で概要を説明できる事を目指しています。 情報が多過ぎるので，主流な技術は見出しを赤字にしています。(主観強め) また，今後需要が増えそうな技術は青字にしています。(かなり主観強め) とはいえ，新しい技術が登場すれば，数年でトレンドが変わってしまう事も多々あると思います。 ほとんどはあくまでも初心者がネットで情報をかき集めた程度のものです。 誤りがあればご指摘，ご意見など頂きたいです。 ※2023/2/6追記 不正確・不十分だと思った記載はひっそりと随時修正しています。 また，「そういえばこんなんあったな」という項目も追記しています。 あと，自分
先日こんな記事を書いたのでした。はてブも400近くに達しており、良くも悪くもバズったようです。 で、この記事の中で言いたかったことは幾つかあるのですが、その一つに「文書・テキスト要約など『そもそもLLMというかLM自体が得意な仕事』をさせると便利なはず」というのがありました。そして実際に現職の日常業務の中でも時々使っているのですが、確かに便利だなぁと思うことが多いです（もっとも時々凄まじいhallucinationを炸裂させてくることもありますが）。 そこでちょっと考えたのが「データ分析の諸作業のうち何をLLMにやらせると効率的か」というお題です。これはちょっと調べれば既に試している人が結構いて、例えば以下のような事例があったりします。 ただ、例えば "Titanic" のような有名過ぎるデータセットだとそこらじゅうにこれを対象として分析してみましたという記事やドキュメントが沢山転がってお
この記事は、Fujitsu Advent Calendar 2022の25日目の記事です。 「え、まだこのネタで書くの？」と思う方もいらっしゃるかもしれませんが、ええ、今年もこのネタで書きます。 1. NVDIMMの終焉とCXLの台頭 1.1 Intel Optane Persistent Memory これを読む皆さんはおそらくご承知のことでしょう。NVDIMMの最有力製品であったIntel Optane Persisntent Memoryのビジネスは、残念ながら終焉に向かうことが以下のように発表されました。 In Q2 2022, we initiated the winding down of our Intel Optane memory business. 実は発表と同時にすぐに製品出荷を終了してしまったわけではありません。以下の記事から少し引用します。 既存のOptane永続
はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから
yt-dlp オプション一覧及びそのメモ - †MASAYOSHI†のオンラインメモ帳
youtube-dlの開発が止まっておりfork版のyt-dlpに移る事にした。yt-dlpはyoutube-dlのforkであるyoutube-dlcのそのまたforkになる。オリジナルであるyoutube-dlのオプション解説はyoutube-dl オプション一覧及びそのメモ。 2022/06/19更新 2022/09/06更新 OPTIONS -h, --helpヘルプを表示する。 --versionプログラムのVerを表示する。 -U, --update --no-update (default)プログラムのupdateを実行するかどうか。 -i, --ignore-errorsダウンロードエラーを無視する。プレイリストごとダウンロードするような時に使う。エラーで失敗してもダウンロードは成功したとみなされる。 --no-abort-on-error (default) --abor
Structured Field Values による Header Field の構造化 | blog.jxck.io
Token が文字列とは別に定義されているため、実装する言語によっては設計に悩む(JS 実装では Symbol を使っている)。 Parameter Parameter は Item に付与できるメタデータだ。 例えば以下は String の "abc" に対してパラメータを 2 つ付与している。 // "abc";a=1;b=2 { "value": "abc", "params": { "a": 1, "b": 2 } } データ表現には基本的に Key/Value/Metadata の 3 つがあることが望ましい。 例えば XML/HTML のようなフォーマットは Attribute がメタデータを担うが、これを再現可能になる。 <p id="foo" class="bar">hello</p> // p="hello world";id="foo";class="bar" { "p
2020年のオープンソース活動の振り返り記事です。 今までの振り返り。 今年のOSS活動振り返り @ 2019 | Web Scratch 今年のOSS活動振り返り @ 2018 | Web Scratch 今年のOSS活動振り返り @ 2017 | Web Scratch 今年のOSS活動振り返り @ 2016 | Web Scratch 今年のOSS活動振り返り @ 2015 | Web Scratch 今年のOSS活動振り返り @ 2014 | Web Scratch 2020年のGitHubのPublicなContributionsは7000~9000ぐらいを推移していました。 最近はPrivateリポジトリをメモやブックマーク管理などでも使うようになったので、Private比率は増えてPrivateなContributionsは13400でした。 GitHub Issuesを個人
「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています.*1 このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試したときの感想とその知見 のお話を残していきたいと思います. なお, 分散処理そのものの知見・ノウハウではなく, する前にPySparkに
こんにちは。メルペイのMachine Learningチームの@hiroです。Merpay Advent Calendar 2021 の18日目の記事をお届けします。 機械学習の社会的重要性の高まり 近年、機械学習という技術領域が人口に膾炙し、多くの産業やプロダクトに用いられるようになってきています。機械学習は、アルゴリズムによって、蓄積されたデータのパターンを学習し、従来ひとの判断やルールベースで行ってきた意思決定を自動化、高精度化することで、様々な産業の生産性向上に寄与し、私達の生活を豊かにしてきました。私達の社会にとってなくてはならない技術領域のひとつになっています。 一方、そうした機械学習の自動判断において、結果的に差別的な振る舞いをしてしまったり、お客さまに不愉快な体験をさせてしまったりといった、社会にネガティブな影響を与えてしまう事案も発生しています。この記事で具体的な事例をと
北原です。 今回は、Windows OSを守るセキュリティ機能の中でも重要な役割を担う、アクセス制御に関する話題を解説します。 UnixやLinuxでは「Everything is a file」と言われていますが、Windows OSではファイルやプロセスをはじめとする全てのものがオブジェクトとして管理されており、それぞれが ACL（Access Control List：アクセス制御リスト） によりアクセス制御されています。 ACLは、アカウントに与えているアクセス権限を個別に定義した ACE（Access Control Entry：アクセス制御エントリ） と呼ばれる情報のリストです。 例えば、Windows OSでファイルのプロパティを開くと、以下の図のようにACLが視覚的に確認できます。 DACLの確認例 ファイルやディレクトリなどでは、Windows OS標準の機能でこのように
動画エフェクト負荷を大きく軽減した HEVCPlayerView 詳解 | BLOG - DeNA Engineering
ソフトウェアエンジニアの坊野です。 この blog では、先日 GitHub で公開された HEVCPlayerView について説明させていただきます。 背景 Pococha は DeNA が提供しているライブコミュニケーションアプリです。 Pococha は動画配信時に様々な動画エフェクトを表示しています。 この動画エフェクトは配信画像の上にエフェクト画像を合成することによって実装されています。 しかし、この "動画エフェクトが重い" というご意見を多くのユーザからいただいたため、私たちはこの動画エフェクト表示部分の負荷について詳しく調査しました。 その結果、以下の処理の負荷が高くなっていました。 動画ファイル1 のデコード 動画ファイル1 の読み込み 当時 Pococha の動画エフェクトは 2 個の動画ファイル1 で構成されていました。 Pococha は動画エフェクト表示時にこれ
はじめまして、今年の 9 月に入社した井手です。 NIKKEI Advent Calendar 2021 17 日目を担当します。 今日は Web Bluetooth の仕様を Bluetooth の説明を交えながら解説し、Web Bluetooth を日経でどう使えそうかを考えてみます。 紙の新聞について 皆さんは紙の新聞を読みますか？私は読みます。日本経済新聞社の福利厚生の１つには日本経済新聞の購読費補助があり、私は日経 W プランを購読しています。 最近は紙の新聞に触れる度に、新聞が紙である意義を考えるようになりました。新聞には国民の知る権利を支える大切な役割がありますが、紙媒体にしか寄与できない側面があると思います。例えば紙媒体の新聞は朝刊・夕刊単体で購入でき、欲しい情報を安価に購入できます。また、スーパー銭湯や喫茶店といった場所に置いてある新聞を回し読むことで、購入せずとも情報に
2023年1月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 1月は49本のピックアップになりました。最近はデフォルトのパラメーターが変わるアップデートがチラホラあって、よりAWS利用者が安全に利用できるようになっている感じがしますね。 ちなみにAWSの最新情報をキャッチアップする
AWS Outpostsで実現するオンプレデータレイク - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターの鈴ヶ嶺です。普段はクラウドサービスをオンプレ環境でも同様のUI/UXで使用を可能とするハイブリッドクラウド製品の技術検証をしています。 NTT Comでは以下の過去の記事のように、AWSのハイブリッドクラウドソリューションAWS Outposts ラックの導入や技術検証を進めています。 engineers.ntt.com engineers.ntt.com engineers.ntt.com 本記事では、AWS Outpostsで実現するオンプレ環境におけるデータレイクのユースケースについて紹介します。 データレイクとは構造化データ、非構造化データに関わらず全てのデータを一元的に保存可能なストレージを意味しています。 このユースケースにより、低遅延性が求められる、もしくは秘匿性の高い大規模なデータをオンプレ環境で一元的に取り扱うことが可能となり
Intro Referrer-Policy は、送信される Referer の値を制御することが可能だ。 このヘッダの副次的な効果をよく理解していないと、「no-referrer にして送らないのが最も安全だ」という誤解を生むことになる。 では、複数あるポリシーの中でどのような観点で、どのディレクティブを採用するのが良いのだろうか? 前提として前回の記事の「リクエストの出自をチェックすることは現代の実装のベースプラクティスである」という点を踏まえて考えてみる。 令和時代の API 実装のベースプラクティスと CSRF 対策 | blog.jxck.io https://blog.jxck.io/entries/2024-04-26/csrf.html Referer とアナリティクス Referer は、リクエストに対してその前のページの URL を送るところから始まった。 GET / H
isucon9q_bench.md
isucon9q_bench.md ISUCONのベンチマーカーとGo catatsuy メルカリSRE mercari.go #11 - connpass https://mercari.connpass.com/event/148913/ ISUCONとは http://isucon.net お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトル 競技者は与えられたWebアプリケーションを高速化する 複数の言語による実装（ISUCON9予選ではGo/Perl/PHP/Ruby/Node.js/Python）を運営側が用意する ベンチマークを実行するとアプリケーションに対して仕様確認・負荷走行をしてスコアが出力される 私とISUCON ISUCON4：2位（初出場） ISUCON5：8位 ISUCON6：運営（本選） ISUCON7：予選敗退 I
SRv6について2021年までに取集した情報を整理して入門書を作りました。 とりあえずSRv6に触れたい方向けの内容になっています。 1. SRv6 概要 1.1. SRv6 とは 1.1.1. セグメントルーティング 1.1.2. IPv6 1.2. どういうところで使われているのか？ 1.3. 今どういう状況？ 2. SRv6 詳細 2.1. SRv6の仕組み 2.2. SRv6 Function 2.3. SRv6 Control Plane 2.4. Flex-Algo (Flexible Algorithm) 2.5. TI-LFA 2.6. SRv6 OAM (Operation, Administration, and Maintenance) 2.6. 今後のSRv6 3. SRv6を実際に使う 3.1. iproute2 【ハンズオンツール】 3.2. VPP 3.3.
Quarkslabのブログより。 新しいFuchsiaオペレーティング・システムの概要 はじめに Fuchsiaは、Googleが開発した新しいオペレーティング・システムで、AArch64とx86_64アーキテクチャをターゲットにしています。このOSの目的と使用場所についてはほとんど分かっていませんが、スマートフォンのAndroidとノートパソコンのChrome OSを置き換えることを目的としているように思われます。 将来的には、何百万ものデバイスで動作する可能性のあるOSに関する知識を得るために、Fuchsiaをざっと見て、内部設計、セキュリティ特性、長所と短所について学び、攻撃する方法を見つけることにしました。 モノリシック・カーネルとマイクロカーネル 今日のカーネル設計の最も一般的な形式は、モノリシック・カーネルです。例えば、LinuxやBSDカーネルはすべてモノリシックで、Linu
dbt (data build tool) を使ってデータをテストする - CUBE SUGAR CONTAINER
ソフトウェアエンジニアリングの世界では、自動化されたテストを使ってコードの振る舞いを検証するのが当たり前になっている。 同じように、データエンジニアリングの世界でも、自動化されたテストを使ってデータの振る舞いを検証するのが望ましい。 データをテストするのに使える OSS のフレームワークも、いくつか存在する。 今回は、その中でも dbt (data build tool) を使ってデータをテストする方法について見ていく。 dbt 自体はデータのテストを主目的としたツールではないものの、テストに関する機能も備えている。 また、dbt には WebUI を備えたマネージドサービスとしての dbt Cloud と、CLI で操作するスタンドアロン版の dbt Core がある。 今回扱うのは後者の dbt Core になる。 使った環境は次のとおり。 $ sw_vers ProductName:
はじめに こんにちは、ECプラットフォーム基盤SREブロックの織田と、カート決済SREブロックの遠藤です。 本記事では、Istio Rate Limitの概要とZOZOTOWNでの導入事例を2つご紹介します。 目次 はじめに 目次 現在のZOZOTOWN Istio Rate Limitの概要 Istio Rate Limitとは？ 仕組み どのような制限ができるのか？ Circuit Breakerとの違い 導入事例 事例1. マイクロサービスから外部APIへのリクエスト制限 構成 設定と計測のポイント 1. レイテンシの計測 2. 1つのAPIに対して2重の制限を設定 事例2. オンプレミス環境のリクエスト制限 構成 設定と計測のポイント 1. 商品別の注文リクエスト数制限 2. 閾値決定のための負荷試験 今後の展望 感想 最後に 現在のZOZOTOWN ZOZOTOWNではオンプレミ
天気の子の作中で、東京のどの範囲が浸水していたのか。そしてそのときその他の地域、世界はどうなっていたのか。標高データを用いて浸水範囲を考えてみました。 2022年8月31日以降、Tellus OSでのデータの閲覧方法など使い方が一部変更になっております。新しいTellus OSの基本操作は以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/tellus_os/start_tellus_os.html 1. はじめに 2019年7月19日に公開された新海誠監督の最新作映画「天気の子」のBlu-ray&DVDが2020年5月27日に満を持して販売開始！ 劇中では、東京の大部分が大雨によって浸水してしまった描写がありました。 もしも、天気の子の舞台であった東京と同程度世界的に海水面が上昇したらどうなったのか……。そんな疑問を持った宙畑編集部
Document Layout Analysisに物体検出を利用したDocument Object Detectionのすゝめ - LayerX エンジニアブログ
はじめに こんにちは。バクラク事業部 機械学習チームの機械学習エンジニアの上川(@kamikawa)です。 バクラクではAI-OCRという機能を用いて、請求書や領収書をはじめとする書類にOCRを実行し、書類日付や支払い金額などの項目内容をサジェストすることで、お客様が手入力する手間を省いています。 書類から特定の項目を抽出する方法は、自然言語処理や画像認識、近年はマルチモーダルな手法などたくさんあるのですが、今回は項目抽出のための物体検出モデルを構築するまでの手順について紹介します。 Document Layout Analysisとは Document Layout Analysisとは、文書のレイアウトを解析するタスク(直訳)のことを指します。具体的には、文書内のさまざまな要素(例えば、テキスト、画像、表、見出し、段落など)を抽出し、それぞれの位置や意味などを明らかにすることを目的とし
QUICスタックとTLSライブラリの関係とOpenSSLの状況
図1: TLS over TCP と QUIC のスタック構造の比較はじめにQUICはTLSv1.3に相当するセキュリティを標準装備すると説明されます。図1はよく参照されるスタック構成ですが、TLSがQUICスタックの内部に埋め込まれています。縦に積み上げられた “スタック” になっていません。TLSの埋め込みは何を意味しているのでしょうか？本稿の前半ではTLSとQUICの関係と、TLSライブラリの使われ方をTLS over TCPと比較しながら解説します。後半ではOpenSSLのQUIC対応の状況についてふれます。 なお本稿で処理の流れを追う際は送信を中心に取り上げます。受信についても逆順で同様の処理が必要ですが解説は省略しています。 QUICとTLSv1.3の関係TLSには大きく分けて、ハンドシェイクプロトコルとレコードプロトコルがあります。前者は暗号スイートの調停や鍵交換、各種パラメ
生TensorFlow七転八倒記(11)：TensorFlow周りの最近のアップデートについて - 渋谷駅前で働くデータサイエンティストのブログ
2年ぐらい前に必要があって生TensorFlowとTensorFlow-Hubによる様々なモデルやフレームワーク並びに事前学習済みモデルの実装を試していたのですが、TF2の浸透に伴いそれらの多くの仕様が変更になっており、中には回らなくなっていたコードもあったので、それらを調べるついでに最近のTF-Hubのアップデートも覗いてきました。ということで、自分向けの備忘録として簡単にまとめておきます。 TensorFlow-Hubの事前学習モデル Estimatorクラス 余談 TensorFlow-Hubの事前学習モデル まず試したのがUniversal Sentence Encoderの多言語版。リンク先を見れば分かるように、16言語（アラビア語・簡体字中国語・繁体字中国語・英語・フランス語・ドイツ語・イタリア語・日本語・韓国語・オランダ語・ポーランド語・ポルトガル語・スペイン語・タイ語・トル
Ubuntuを含むLinux/Unix系のサーバーには、「ログインした時にメッセージを表示する」仕組みである「MOTD（Message Of The Day）」が存在します。本来はメンテナンスの予定日など、システム管理者からログインしたユーザーに伝えるべき情報を伝えるための仕組みです。 しかしながら常に何か伝えたいことがあるわけではなく、普段どのような情報を表示するかは、システムの設定に依存します。たとえばUbuntuの場合、何も設定しなければシステム情報を表示します。今回はUbuntuのやたらと情報過多なMOTDを整理する方法を紹介しましょう。 MOTDとISSUE 冒頭で述べたように、MOTDはユーザーがログインしたときにメッセージを表示する仕組みです。そこで何を表示するかはシステム管理者のセンスが問われます。一番シンプルなのは「急ぎで伝えることがないなら、何も表示しない」ことです。
IETF の OAuth Working Groupは、アイデンティティ分野における標準の作成と改良に熱心に取り組んでいます。この記事では JSON Web Token (JWT) の最新ベスト プラクティスについて書かれた直近のドラフトについて取り上げます。対象のドラフトでは、JWT の使用に際して陥りがちな落とし穴や、よく見られる攻撃方法に加えて、そうした問題に対する軽減策の実施方法を紹介していますので、ぜひご一読ください。 "JWT を標的とする特に一般的な攻撃方法と、具体的な保護対策が紹介されています" はじめにJSON Web Token (JWT) 仕様は、2 者間でのクレーム (属性情報) の伝送を目的とした、JSON ベースの形式について規定したオープン標準 (RFC 7519)です。 JWT を補完する標準として、JSON Web Key (RFC 7517), JSON
Responsible AI （責任あるAI...
本文書の後半では、この表の中にある「解釈可能性」をサポートするライブラリ、InterpretMLのサンプルを動かしてみます。 それでは技術トピックを紹介してゆきます。 解釈可能性 多くの機械学習器は指定されたフォーマットの入力に対して結果を返すブラックボックスのように動作します。しかし適用するドメインによってはなぜ機械学習モデルがその結果を出力したのかが問われることがあります。 AIや機械学習の研究開発では精度が重要です。精度を向上するために古典的な機械学習器であれば、あらゆる有効そうな特徴量やその組み合わせを元にモデルを作成します。近年、大きな発展を遂げた深層学習では多数の中間層をもつモデルで入力の各要素がどのように結果に影響をあたえるかを判断するのはさらに難しくなります。 解釈可能性をサポートする機械学習モデルは出力がどのような情報をどのような重みをつかってなされたのかについての根拠を
生成AI と Wikipedia記事 で 子供向けお仕事提案bot を作ってみよう(Azure OpenAI + RAG) - ENGINEERING BLOG ドコモ開発者ブログ
NTT コノキューに出向中の澤山です。 今年の7月にドコモから、コノキューにやってきました。 この記事は、NTTドコモ アドベントカレンダー2023 21日目の記事です。 この記事では、Wikipedia記事 と Azure OpenAI API、既存のモデルの3つを用い、RAG(Retrieval-Augmented Generation)のためのデータ作成と、RAGを活用した子ども向けお仕事提案botを作ります。 (記事の情報は2023/11月のものです。) 生成AI / ChatGPT の大流行 子供のための、生成AI活用方法、ってある？ 子供向けお仕事提案チャットボットを作ってみる 全体像 ステップ1 Wikipedia + Azure OpenAI service でお仕事情報をまとめよう Wikipedia 記事からのお仕事情報・概要の抽出 お仕事情報・概要に基づく、情報の整理
【禁忌解放】WordPressのコンテナイメージをLambda上で動かしてみた #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。 この記事はServerless Advent Calendar 2020の13日目 です。 先日ブログでご紹介したように、Lambdaのパッケージフォーマットとしてコンテナイメージがサポートされるようになりました。 というわけで、WordPressのコンテナイメージを作成してLambda実行環境上で動かしてみます。 注意事項 このブログはネタです。アンチパターンをバリバリ利用しています。このブログを参考にWordPressの本番環境をLambda上に構築するのは一切オススメしませんので、ネタとして割り切って読んで頂ければと思います。 Lambda上でWordPressを動かす際の課題 普通にApacheやNginxなどのWebサーバーを立ててWordpressを動かす場合と比べて、Lambda上でWordpressを動かすためにはいくつかクリアすべき課題があ
モダンな技術と開発戦略で挑むABEMA Androidアプリのリニューアル | CyberAgent Developers Blog
ABEMAのNativeチームでAndroidアプリの開発を担当している木永(@fuji_kinaga)と國師(@ronnnnn_jp)と高鼻(@go_takahana)です。 CyberAgent Developers Advent Calendar 2021 24日目のクリスマスイブは、ABEMAで行われたリニューアルプロジェクトについて、Androidアプリ開発の内容に特化してお話します。 目次 リニューアルプロジェクトの概要 リニューアルプロジェクトの開発項目 開発トピック1: ホーム画面のUI実装 開発トピック2: オンボーディングのアクセシビリティ対応 開発トピック3: リリースに至る開発戦略と開発Tipsのまとめ おわりに リニューアルプロジェクトの概要 始めに、2021年、ABEMAで行われた大規模なUI/UX刷新のリニューアルプロジェクト(通称: Phoenix) につい
はじめに 昨日今日と JSConf JP 2019 に参加してきたので、聴講したセッションの内容を紹介します。 本記事は Recruit Engineers Advent Calendar 2019 1日目の記事です。 JSConf JP 2019 とは JSConf JP は世界的な JavaScript Conference である JSConf の日本開催です。昨年まで日本Node.jsアソシエーションがNode学園祭として開催していた大規模JavaScript イベントが、Node.js に限らず JavaScript に関する内容のお祭りとして変化を遂げ、今年からJSConf JP となった形です。今年は、2019年11月30日、12月1日の二日間で開催されました。リクルートテクノロジーズは、イベントのプラチナスポンサーの１つです。 以下、公式ページからの引用です。 jsconf
はじめに こんにちは、開発本部所属エンジニアの id:kiryuanzu です。 現在、Classi ではサービスのセキュリティリスクをできる限りなくすために Content Security Policy を導入して脆弱性を検知する仕組みの導入を進めています。 本記事ではこの仕組みを導入する上でどのような手順が必要であり、どのような箇所で苦戦するポイントがあったかについて紹介していきます。 筆者は今まで CSP対応に携わったことがなかったのですが、導入段階の時点で想定していたよりも様々な知識が必要なことがわかり、記事にしたいと思いました。 もし数ヶ月前の自分と同じように初めてCSP対応に関わる人の一助となれば幸いです。 Content Security Policy (通称: CSP) って何? Content Security Policy とは、HTTPヘッダの種類の1つであり、クロ
Google、検索結果のスニペットを制御するための新しいrobots metaタグとHTML属性を導入
[レベル: 上級] 検索結果に表示されるスニペットをより細かく制御する仕組みを提供することを Google は発表しました。 専用の robots meta タグおよび HTML 属性の 2 とおりの方法を利用できます。 スニペット制御用の robots meta タグ robots meta タグでスニペットをページレベルで制御できます。 以下の 3 種類のコンテンツに利用できます。 テキスト 画像 動画 nosnippet nosnippet タグは、テキストのスニペットを検索結果に表示させません。 なおこの robots meta タグは新しくありません。 以前から利用できます。 <meta name="robots" content="nosnippet"> max-snippet:[number] max-snippet タグは、テキストスニペットの文字数を指定します。 [num
追跡しやすいログ出力を実現する - Qiita
サービス運用をしていくうえで、ログはとても重要です。 どういった操作がされているのか、どういったことが起こっているのか。運用しているサービスを調べる方法として、「実際のデータを確認すること」と「ログを確認すること」しかできません。 「データを確認する」ことは、問題があった時に原因が分からず、どうにかして確認するための最終手段となります（個人情報を含むようなサービスであれば、そう簡単には見ることができないでしょう…）。 ということは、サービス運用の視点も踏まえたログ出力を心掛ける必要があります。 では、実際にログを取得しないといけない状態になったと仮定しましょう。どういったことができると 楽ができる(早く見つけられる) でしょうか。 追跡しやすいログ出力にする意味 ログを確認する時、多くの場合は下記の流れになると思います。 「何かが発生した時間」で絞り込み その出力内容と同じ処理であるログ出
前回はテキストマイニングの手法と OSS を用いた実践について紹介しました。今回は、Google の T5(Text-to-Text Transfer Transformer) によるテキスト生成について、学習や推論のコード例と実験結果を交えてご紹介します。 1. はじめに 本記事では Google の T5(Text-to-Text Transfer Transformer) 1によるテキスト生成について、学習や推論のコード例と実験結果を交えてご紹介します。実験としては livedoor ニュースコーパス2での文章分類、やさしい日本語コーパス3及びやさしい日本語拡張コーパス4を用いたやさしい日本語変換を行いました。今回も Google Colaboratory で動かすことを想定したコードスニペットを入れていきますので、実際に動かしたり対象を変えてみたりして試して頂けると良いかと思います
ロックダウンした国を含む上位20カ国+日本の感染者数の推移をPythonで可視化してみた。※チュートリアル付き｜まにゃpy
ロックダウンした国を含む上位20カ国+日本の感染者数の推移をPythonで可視化してみた。※チュートリアル付き こんにちはまにゃpyです。 3月ごろからヨーロッパやアメリカなどを中心に政府強制介入のロックダウンが行われていましたね。 「そういえば、各国のロックダウンの影響はどうなっているだろうか？」 今回作ったのは感染者数が多い上位20カ国のグラフです。Python初学者向けにチュートリアル型式にまとめました。 具体的に作ったのは下記3つ ・20カ国をひとまとめにしたグラフ ・20カ国それぞれの国の日ごとの感染者数の棒グラフ ・20カ国それぞれの国の累積の感染者数のグラフ 元となるデータは厚生労働省のホームページを使いました。 ちなみにデータ取得、整形、グラフ描画まで、使った言語はPythonのみです。 こちらは20カ国の感染者数の伸びをひとまとめにしたグラフです。 各国の感染者数の比較が
【更新履歴】 2020年12月10日 情報更新：１２月１０日にソリトンシステムズ（株）から脆弱性に係る情報が詳細の公開されため追記。 2021年3月2日 情報更新：「【重要】FileZen脆弱性に関するお知らせ」として2月18日に開発元のソリトンシステムズから新たな脆弱性に係る情報の発出がなされました。本件については脆弱性に係るパッチが存在しない「ゼロデイ」の情報であることが公開されています。 https://www.soliton.co.jp/support/2021/004334.html 2021年4月27日 情報更新： 内閣府職員等が利用する「ファイル共有ストレージ」に対する不正アクセスについて https://www.cao.go.jp/others/csi/security/20210422notice.html また、情報がでてきたため、追加調査（パッチはいつ適用したのかを調
![[OSINT]Shodanを使ってFileZenを探せ その1｜__aloha__](https://cdn-ak-scissors.b.st-hatena.com/image/square/4b5144d6d7dfe94349769dbdc4c146fe846efae2/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F40425274%2Fpicture_pc_fb297569192625412286ad66b9673712.png)
エッジコンピューティングでアクセス集中、パーソナライズ、プライバシー保護の課題を解決 - エニグモ開発者ブログ
エンジニアの木村です。最近は負荷対策のためのリファクタリングやリアーキテクティングのリードや、データ基盤・ML・検索基盤を担当するチームのマネージャーとしてデータ関連の案件に携わっております。 先週、webinar 形式で行われた Akamai TechWeek 2021 Japan にて、6/16 に「EdgeWorkersの導入について」というテーマで、昨年末にバイマに導入したEdgeWorkersというAkamaiのサービスについて講演しました。本ブログでもその内容を共有したいと思います。 スライドはこちらになります。 EdgeWorkers の導入について - Akamai TechWeek 2021 Japan Customer Session エッジコンピューティング導入の背景 導入背景としては、アクセス集中下でもサービス自身のドメインを通じて自らユーザーを追跡し、ファーストパ
IPアドレスには、2つの種類があることをご存知でしょうか？ 一般的には『IPv4』が広く利用されていますが、IPv4に比べて通信速度が速く、大容量ダウンロードに最適な『IPv6』が注目され始めてきています。 この記事では、現役のエンジニアがIPv6の概要やメリット・デメリット、IPv6に対応したプロバイダをご紹介しています。 プロバイダだけでなくおすすめのIPv6対応ルーター機器も紹介していますので、ぜひこの機会にIPv6について理解し、導入を検討してみてはいかがでしょうか。 IPv6とは？ IPv6とは、「Internet Protocol Version 6」の略称で、インターネットプロトコルの最新バージョンです。IPv4のアドレス枯渇問題の対策としてインターネット技術特別調査委員会（IETF）が開発したもので、アドレスの長さは「128bit（ビット）」あり、この世の中の全ての端末にI
CTOが聞く Vol.5 fluct 笹本 & 尾池「顧客から圧倒的に信頼されるプロダクトをつくるために取り組んでいるfluctのエンジニアに話を聞いてみた」 - CARTA TECH BLOG
CARTA HOLDINGSで働くエンジニアたちにCTOが「最近なにやってるの？」をざっくばらんに聞いていくシリーズです。今回はCARTA HOLDINGS CTOのすずけんが、事業子会社の一つであるfluctのCREチームの話を聞きました。「fluct」についてはこちら インタビュアー：鈴木健太 Twitter ID @suzu_v（写真右） 株式会社CARTA HOLDINGS 執行役員CTO / 株式会社fluct取締役CTO。社内では「すずけん」と呼ばれる。「みんなのGo言語」「データ分析基盤入門」共著者。ウェブ技術全般に明るい。ポッドキャスト「ajitofm」をやっています。 インタビュイー：笹本将平（写真中央） 株式会社CARTA HOLDINGS / 株式会社fluctCREチームリーダー社内だと「さっさー(saxsir)」とか「さっさーさん」と呼ばれている。2016年に新卒
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webシステム開発で関わる技術のまとめ(2022年に知った物) - Qiita
LLMにデータ分析をさせてみる：テーブルデータの概要解釈 - 渋谷駅前で働くデータサイエンティストのブログ
2022年の不揮発メモリとLinux対応動向について - Qiita
GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog
今年のオープンソース活動振り返り @ 2020
PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ
公平性に配慮した機械学習 | メルカリエンジニアリング
SDDLで学ぶWindowsのアクセス制御 - ラック・セキュリティごった煮ブログ
喫茶店でも日経電子版を読みたい — HACK The Nikkei
Referrer-Policy の制限を強めると安全になるという誤解 | blog.jxck.io
2021年 SRv6 入門 - hiroportation
Fuchsiaオペレーティング・システムで遊ぶ
Istio Rate Limitを活用した流量制限の取り組み - ZOZO TECH BLOG
天気の子、その影響は10メートルの水没⁉︎ その時日本はどうなっていたのか | 宙畑
第755回 UbuntuにおけるMOTDの仕組みのすべて | gihyo.jp
JWT の最新ベスト プラクティスに関するドラフトを読み解く
JSConf JP 2019 参加報告 - とろろこんぶろぐ
Content Security Policy のレポートを収集するためにやったこと - Classi開発者ブログ
はじめての自然言語処理 T5 によるテキスト生成の検証 | オブジェクトの広場
[OSINT]Shodanを使ってFileZenを探せ その1｜__aloha__
IPv6とは？IPv4の違い！IPv6確認方法や設定・接続方法 | VPNサービス