並び順

ブックマーク数

期間指定

  • から
  • まで

121 - 160 件 / 12063件

新着順 人気順

Scanの検索結果121 - 160 件 / 12063件

  • 食べログEDA

    食べログEDA.md 食べログEDA 3.6点の壁は本当にあるのか Link スクレイピングのコード import os import sys import bs4 import requests import time import json from hashlib import sha256 from pathlib import Path import random u = 'https://tabelog.com/tokyo/A1301/' def scan(u, page, chi): hs = sha256(bytes(u, 'utf8')).hexdigest()[:16] print('try', u) if Path(f'comps/{hs}').exists(): return headers = {'User-agent': 'Mozilla/5.0 (Macint

      食べログEDA
    • Slack絵文字による川柳を効率化するためのスラッシュコマンドを開発しました | DevelopersIO

      通常のリアクションと川柳によるリアクションを比較すると、川柳によるリアクションの完了には通常のリアクションの約3倍~10倍程度の時間が必要になります。 +:絵文字コード: を活用してもかなりのタイプ数になるので、こういった反応が出てくるのはもっともです。 Tip : 一番最後に受け取ったメッセージにリアクションするには、メッセージボックスで +:絵文字コード: と入力して送信します Slack の使い方 Slack職人たちが暇か?と言われないように、またSlack職人たちの業務負荷軽減のために、効率よく川柳を詠むためのスラッシュコマンドを作ることを心に誓いました。 構成 今回作成する環境です。 各AWSリソースはざっくり以下のように利用します スラッシュコマンドインストール時 ユーザーのブラウザがAPI Gatewayのエンドポイントにアクセス API GatewayからLambdaを起動

        Slack絵文字による川柳を効率化するためのスラッシュコマンドを開発しました | DevelopersIO
      • Amazon EC2 におけるセキュリティ(脆弱性)事例 - blog of morioka12

        1. 始めに こんにちは、morioka12 です。 本稿では、Amazon EC2 上で動く Web アプリケーションの脆弱性によって脆弱性攻撃が可能だった実際の事例について紹介します。 1. 始めに 2. Amazon EC2 におけるセキュリティリスク Amazon EBS 被害があった公開事例 3. Amazon EC2 で起こりうる脆弱性攻撃 SSRF が可能な脆弱性 SSRF における回避方法 4. Amazon EC2 の脆弱な報告事例 画像読み込み機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 SAML アプリケーションに潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデ

          Amazon EC2 におけるセキュリティ(脆弱性)事例 - blog of morioka12
        • How NAT traversal works

          * can theoretically exist, but don't show up in the wild Once broken down like this, we can see that cone-ness isn’t terribly useful to us. The major distinction we care about is Symmetric versus anything else — in other words, we care about whether a NAT device is EIM or EDM. While it’s neat to know exactly how your firewall behaves, we don’t care from the point of view of writing NAT traversal c

            How NAT traversal works
          • マルチテナントにおけるRow Level Securityの具体的な実装と注意点 - そーだいなるらくがき帳

            文脈、背景や問題点の説明 マルチテナントを実装するうえで企業情報(以下company)単位で最小限の情報を扱うようにしたいがcompany単位にTableを作ったりDatabaseを作るのはALTERなどの運用が大変。 そこでRLSを採用するために実際の技術検証をした上での注意点と実際の運用について必要な情報をまとめる。 PostgreSQL 14を前提としている 公式ドキュメント CREATE POLICY 必ず一読はすること。 困ったとき、わからないときはまずは公式ドキュメントを都度見ること。 このドキュメントのゴール RLSの概要をつかめる RLSの最低限の注意点を理解し、実装時に罠を踏まない 自分たちでRLSのポリシー自体をメンテナンスすることができ、デバッグできる テーブル構成 create table if not exists company ( id uuid defaul

              マルチテナントにおけるRow Level Securityの具体的な実装と注意点 - そーだいなるらくがき帳
            • あなたの端末は大丈夫?無料で出来る Nessus Essentials でセキュリティパッチスキャンをかけてみた! - ラック・セキュリティごった煮ブログ

              デジタルペンテスト部の吉原です。 4 月から「セキュリティ診断」の部署が「ペネトレーションテスト(ペンテスト)」の部署に吸収合併され、ごった煮ブログに執筆する機会を頂き、いいネタを思いついたので、記事を書かせていただきました! 私事ですが、4 月から今まで担当してきた「Web アプリケーション診断担当」から「プラットフォーム診断担当」(現 DiaForcePSR グループ)に異動させて頂き、プラットフォーム診断を楽しみながら、お仕事させていただいております、、! そんな私ですが、先日「クライアント端末設定診断」の案件を担当させていただき、お客様の診断対象端末に対してセキュリティパッチスキャンをかける機会がありました。 そこで診断作業中にふと、「自分の私用デバイスは普段から WindowsUpdate を適用するように心がけてはいるけど、大丈夫かな、、?」と思い、診断作業の練習を兼ねて無償利

                あなたの端末は大丈夫?無料で出来る Nessus Essentials でセキュリティパッチスキャンをかけてみた! - ラック・セキュリティごった煮ブログ
              • PostgreSQL のインデックス肥大化と実行計画のコストへの影響 - ぱと隊長日誌

                お知らせ 本記事をベースに新しい記事を公開しました。 PostgreSQL インデックス肥大化とインデックスコストへの影響(再モデル化) - ぱと隊長日誌 新しい記事ではインデックスコストモデルの正確性を向上させました。 新しい記事を参照いただけますと幸いです。 概要 PostgreSQL のインデックスサイズは一度大きくなると、その後小さくなるタイミングが限られています。 「[改訂新版]内部構造から学ぶPostgreSQL-設計・運用計画の鉄則」でインデックスファイルサイズが小さくなるのは以下のタイミングとしています。 DROP INDEX でインデックス自体を削除した場合 TRUNCATE TABLE でテーブル全体を空にした場合 REINDEX でインデックスを再構成した場合 [改訂新版]内部構造から学ぶPostgreSQL 設計・運用計画の鉄則 (Software Design p

                  PostgreSQL のインデックス肥大化と実行計画のコストへの影響 - ぱと隊長日誌
                • キヤノンが集団訴訟に直面、「プリンターがインク切れするとスキャン機能まで使えなくなるのは詐欺」との訴え

                  キヤノンのアメリカ法人であるCanon USAが2021年10月12日に、キヤノン製プリンターの所有者から訴えを起こされていたことが分かりました。原告は、「キヤノン製の多機能型プリンターがインク切れを起こすとスキャナー機能やファックスも使えなくなるのは不当」と訴えています。 New York man sues Canon for $5M, claims printers don’t scan when ink is low https://www.fox6now.com/news/new-york-man-sues-canon-for-5m-claims-printers-dont-scan-when-ink-is-low Canon sued for disabling scanner when printers run out of ink https://www.bleepingco

                    キヤノンが集団訴訟に直面、「プリンターがインク切れするとスキャン機能まで使えなくなるのは詐欺」との訴え
                  • How Discord Stores Trillions of Messages

                    In 2017, we wrote a blog post on how we store billions of messages. We shared our journey of how we started out using MongoDB but migrated our data to Cassandra because we were looking for a database that was scalable, fault-tolerant, and relatively low maintenance. We knew we’d be growing, and we did! We wanted a database that grew alongside us, but hopefully, its maintenance needs wouldn’t grow

                      How Discord Stores Trillions of Messages
                    • 理工系俗語辞典 - Qiita

                      本記事の概要 理学・工学で主に用いられている俗語を網羅しようと試みられた企画です。詳細は以下のツイッターを参照してください。 サチる:値が頭打ちになる タウい:平均自由行程が短い ログる:両辺にlogを施す ネグる:無視する アグる:タンパク質を凝集する アセチる:化合物をアセチル化する キャビる:キャビテーション現象 まだまだ理学・工学の俗語を募集中じゃ。 — 中の人はダンブルドア (@tweet_nakasho) October 19, 2019 スペシャルサンクス このツイートを元に情報をくださった皆様 & リツイートで拡散してくださった皆様。 こんな俗語もあるよ、という方 おりましたらいつでもコメントください。折を見て、追記させていただきます。 あ行 上がる: 観測機が軌道に乗る アグる: タンパク質を凝集する アセチる: 化合物をアセチル化する アセニト: アセトニトリル あぶる

                        理工系俗語辞典 - Qiita
                      • GitHub Actions: Manual triggers with workflow_dispatch

                        July 6, 2020 You can now create workflows that are manually triggered with the new workflow_dispatch event. You will then see a ‘Run workflow’ button on the Actions tab, enabling you to easily trigger a run. You can choose which branch the workflow is run on. In addition, you can optionally specify inputs, which GitHub will present as form elements in the UI. Workflow dispatch inputs are specified

                          GitHub Actions: Manual triggers with workflow_dispatch
                        • 「宿泊者がサイコパスかどうか」を予約前にチェックする仕組みを民泊サイトのAirbnbが開発

                          現地の人の部屋を借りることができる旅行予約サイトのAirbnbでは、「宿泊したゲストがパーティーを開いて家を破壊した」という報告や「泊まった部屋に無断でカメラが設置されていた」という報告があり、借りる側・貸す側の双方にリスクが存在します。このようなトラブルを防ぐべく、Airbnbがユーザーの「信頼性と適合性」「行動と性格特性」をインターネットの活動から予測するソフトウェアを構築していたことが特許資料から明らかになりました。 Determining trustworthiness and compatibility of a person https://worldwide.espacenet.com/patent/search/family/053441797/publication/US9070088B1 Booker beware: Airbnb can scan your onlin

                            「宿泊者がサイコパスかどうか」を予約前にチェックする仕組みを民泊サイトのAirbnbが開発
                          • サプライチェーンセキュリティにおける脅威と対策の再評価 | メルカリエンジニアリング

                            本ブログの主旨 サプライチェーンセキュリティにおいて既存のフレームワークよりも具象化されたモデルを用いて脅威及び対策を精査することで、実際のプロダクトへのより実際的な適用可能性及び課題を検討した。 具象化されたモデルにおいては「脅威の混入箇所と発生箇所が必ずしも一致しない」という前提に立ち、各対策のサプライチェーンセキュリティにおける位置付け及び効力を検討した。とりわけ、ともすれば無思考的に採用しかねないSBOM等の「流行の」対策に対して、その課題や効果の限定性を明らかにした。 これらの脅威分析に基づき、「サプライチェーンの構成要素に存在する多数の開発者それぞれに対して責任を分散して負わせる」形態のパイプラインを置き換えるものとして、「各構成要素に存在する開発者に対して一定の制約を強制する代わりに、サプライチェーンセキュリティに関するオペレーションを一点に担う中央化されたCIパイプライン」

                              サプライチェーンセキュリティにおける脅威と対策の再評価 | メルカリエンジニアリング
                            • ChatOpsによる運用作業の自動化 - ZOZO TECH BLOG

                              はじめに こんにちは、技術本部SRE部カート決済SREブロックの遠藤・金田です。 普段はSREとしてZOZOTOWNのカート決済機能のリプレイスや運用を担当しています。本記事では自作のコマンドラインツールをSlack + AWS Chatbot + AWS Lambdaを使用してChatOps化した事例をご紹介します。「日々の運用業務をコマンドラインツールを実装して効率化したものの今ひとつ広まらない」「非エンジニアにも使えるようにしたい」と考えている方の参考になれば幸いです。 目次 はじめに 目次 背景・課題 ChatOpsとは AWS ChatBotとは 構成 AWS ChatBot チャットツール側の設定 Slack Workflow Lambda 実装のポイント ChatBotのアクセス制御 User Roleの運用方法 ガードレールポリシー コマンドラインツールのLambda関数化

                                ChatOpsによる運用作業の自動化 - ZOZO TECH BLOG
                              • 『メガドライブへ「ファンタジーゾーン」移植の記録』

                                「メガドライブ版ファンタジーゾーン」やっと完成しました。約4年間かかりました。プログラミングは50歳超えてもやってみれば少しずつですができるようになるんですね。 まずはプレイ動画です。メガドライブ2実機のRGB出力をOSSC(Open Source Scan Converter)でHDMIに変換して録画しました。 *写真はAmazonの「ダライアス エクストラバージョン MD」商品紹介より ところで、MD/MD互換機用「ダライアス エクストラバージョン」無事発売されました!メガドライブミニだけでなく「カートリッジ版の発売」まで、たくさんの方々に応援していただき、関係者の方々に暖かく支えられながら、世に出してもらう事ができました。本当に奇跡のような出来事です。 皆さん有り難うございました。 今回のWING☆さんによるダライアスサウンドは最高でした! サウンド面はサウンドドライバを含めWING

                                  『メガドライブへ「ファンタジーゾーン」移植の記録』
                                • GitHub を狙った Reverse Proxy 型フィッシングサイトの探索と報告 - ぶるーたるごぶりん

                                  GitHub の Reverse Proxy 型フィッシングサイトの発見と報告 こんにちは、でじこだにょ 今回は GitHub を狙った Reverse Proxy 型のフィッシングサイトを探していこうと思います。 (長いので、Reverse Proxy 型のことをプロキシ型と略しちゃいます) 結論から書くと、24件のフィッシングサイトを新規に発見して報告しました。 今回はそれらのフィッシングサイトの探し方のほか、フィッシングサイトの検出方法や、 セーフブラウジングなどの話をしつつ、 今回見つけたフィッシングドメインに対して、簡単ではありますが、調査と考察を行ってみたいと思います。 探そうとしたきっかけ 数日前、 Twitter を見ていたところ、こちらのツイートが流れてきました。 あっぶね GitHubだと思ったら全然違ったわ pic.twitter.com/SRtHUu3XDM— ./

                                    GitHub を狙った Reverse Proxy 型フィッシングサイトの探索と報告 - ぶるーたるごぶりん
                                  • EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub

                                    はじめまして。freee の SRE チームに所属している nkgw (Twitter) です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳

                                      EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
                                    • 無料で自分のウェブサイトの脆弱性をスキャンしてくれる「Probely」レビュー、有料プランはレポート出力なども可能

                                      自分でウェブサイトを運営している人にとっては、ウイルス侵入の原因となりうるCMSの脆弱性など、ウェブサイトのセキュリティは気がかりなものです。「Probely」を使うと、自分のウェブサイトの脆弱性やセキュリティの問題をスキャンし、修正の方針まで指示してくれます。 Web Vulnerability Scanner | Web Application Security Testing — Probely https://probely.com/web-vulnerability-scanner/ Probelyには「Free」「Starter」「Pro」「Premium」の4つのプランがあります。無料版でどこまで使えるか確かめたいので、ひとまず「Free」を選択することに。 氏名やメールアドレスなどを入力して「SUBMIT」をクリック。 入力したメールアドレスにパスワードの設定を求めるメール

                                        無料で自分のウェブサイトの脆弱性をスキャンしてくれる「Probely」レビュー、有料プランはレポート出力なども可能
                                      • 【超待望アップデート】ECRに対する脆弱性スキャン機能が提供されました | DevelopersIO

                                        待望と言って良いアップデートです。ECRのイメージに対する脆弱性スキャン機能がマネージドで提供されました。まずは、皆さんのコンテナワークロードにおけるイメージの脆弱性スキャン実施してみて足元を振り返ってみてはいかがでしょうか? 「俺はこの日を待ち望んでいた…ほんまやで…」 本日、非常に重大なアップデートがECRに舞い降りてきました。なんと、ECRに対するイメージスキャンが実装されたとのことです! Announcing Image Scanning for Amazon ECR コンテナセキュリティを考えるにあたり、一番最初に気をつけておきたい点がそのコンテナイメージで導入したパッケージに対する脆弱性の混入。今まででも、aquasecurity/trivyや、goodwithtech/dockleなど、フリーで利用できる優秀なツールは存在していましたが、それぞれCI/CDパイプラインへの組み

                                          【超待望アップデート】ECRに対する脆弱性スキャン機能が提供されました | DevelopersIO
                                        • 仕事納めだったのでワインのラベルを解読した - ただのにっき(2019-12-27)

                                          ■ 仕事納めだったのでワインのラベルを解読した あれは11月の9日だったか、相模大野の酒屋をウロウロしていたら「HACKER」なる見慣れないワインが入荷しているのをかみさんが発見。買って会社に持っていけという。そりゃまぁ、いちおううちの職場はハッカーの巣窟ではあるが。 それにしてもこのワイン、名前といいわざとらしい0と1の羅列といい、ぜったいに何か隠れてるに違いないじゃん。それにしても、ググっても日本語の情報ほとんどないし、なんでこんなの仕入れたんだろう。 というわけで購入して、納会の日にでも持っていこうかということになった。 で、本日仕事納めにつき、簡単な掃除のあとで納会会場(会議室)に持ち込んでみました。なお、味は素直で癖がなく、飲みやすい普通のワインでした。 1. まずはラベルを撮影、OCRにかける 丸いラベルを正面から撮ると周辺の歪みがひどいので、中央から左右に半分ずつ使うつもりで

                                            仕事納めだったのでワインのラベルを解読した - ただのにっき(2019-12-27)
                                          • Saving Passwords In Your Browser? You Shouldn't: Here's Why

                                            Has Chrome, Edge, or another browser given you the option to "save password"? Here's why you shouldn't, and what to do instead. Everyone should already know how important it is to use strong passwords. Ideally, you'd have a different password for each account, and all of them would be long, complex, and contain numbers and special characters. Few abide by these rules, which is understandable. Afte

                                              Saving Passwords In Your Browser? You Shouldn't: Here's Why
                                            • 7 Default Windows Files and Folders You Should Never Touch

                                              Windows contains countless default files and folders, many of which the average user shouldn't touch. Here are folders you should leave alone to avoid damaging your system. In addition to your personal files and folders, the Windows OS itself takes up a lot of space on your computer. With a bit of searching, you can find hidden Windows caches that are safe to clear if you need to reclaim space. Ho

                                                7 Default Windows Files and Folders You Should Never Touch
                                              • [レポート]DynamoDBデータモデリング (CMY304) #reinvent | DevelopersIO

                                                DynamoDBのデータモデリングって、よくわからなくないですか?正規化してはいけないとか、一つのテーブルで全データを扱うんだとか聞きますが、具体的にどうしたらよいのか… という疑問に正面から答えてくれるセッションにre:Invent中に遭遇しました!具体的なアプリケーション例を挙げて、そこでのデータモデリング方法を詳細に解説してくれます。DynamoDBデータモデリング初心者の方は是非ご一読ください! ※「DynamoDBとは」といった前段の説明が不要な方はここからどうぞ セッションタイトル CMY304 - Data modeling with Amazon DynamoDB セッション概要 DynamoDBであなたのデータをモデリングするには伝統的なRDSでモデリングする場合と異なるアプローチが必要です。 Alex DeBrieはDynamoDBを使ったアプリケーションをいくつか実装

                                                  [レポート]DynamoDBデータモデリング (CMY304) #reinvent | DevelopersIO
                                                • SQL Server / SQL Database パフォーマンスチューニングのための基礎知識 - Qiita

                                                  本投稿について 本投稿は、Microsoft Learn で公開されている、「SQL Server でクエリのパフォーマンスを最適化する 」を確認していた際に、いくつかの情報を補足しながら日本語化したものとなります。 SQL Server / Azure SQL Database のパフォーマンスチューニングには様々な方法があり、「このケースであればこの方法」ということを断定することは難しいのではないでしょうか。 そのため、様々なケースで利用することが可能な、チューニング方法の基礎知識 (一般論) はとても重要です。 本投稿で、確認を行った「SQL Server でクエリのパフォーマンスを最適化する 」は、チューニングに対しての体系的な考え方を無償で学ぶのには適しているコンテンツではないかと思いました。 チューニング系の講義は様々なノウハウが絡みますので有償が多く、ノウハウがない状態で体系

                                                    SQL Server / SQL Database パフォーマンスチューニングのための基礎知識 - Qiita
                                                  • ZOZOTOWN「おすすめアイテム」を支える推薦システム基盤 - ZOZO TECH BLOG

                                                    はじめに こんにちは。SRE部MLOpsチームの田島(@tap1ma)です。 現在、ZOZOTOWNの「おすすめアイテム」に使われていたアイテム推薦ロジックを刷新するプロジェクトを進めています。既に一部のユーザに向けて新しいアイテム推薦ロジックを使った「おすすめアイテム」の配信を開始しています。その刷新に伴い推薦システムのインフラ基盤から新しく構築したので、本記事ではその基盤について解説したいと思います。 目次 はじめに 目次 「おすすめアイテム」とは 新しい推薦ロジック Recommendations AIを用いた推薦ロジック ZOZO研究所によって独自で開発された推薦ロジック 新しい推薦システム 推薦システムの処理の流れ システム構成 新しい推薦システムで工夫したポイント Bigtableのパフォーマンス改善 アイテム推薦APIのPodの安全停止 ZOZO研究所APIのキャッシュ戦略

                                                      ZOZOTOWN「おすすめアイテム」を支える推薦システム基盤 - ZOZO TECH BLOG
                                                    • sqlcとdockertestでデータベースを使ったテストを書こう | gihyo.jp

                                                      Goにおけるデータベース操作とテスト Goでデータベースを操作する際には、標準パッケージであるdatabase/sql、GORM、entなどの様々な選択肢が存在します。多くのライブラリではGoのコードを定義してSQLを生成しますが、sqlcはSQLをコンパイルしてGoのコードを生成するのが特徴のライブラリです。 このアプローチには、最終的に実行されるSQLが明らかであることやデータベースとやりとりするためのデータ構造を自分で定義する必要がないことといったメリットがあります。また、コンパイル時にSQLを解析し型や引数名の間違いを検出できます。そしてなにより、非常にシンプルです。 本記事では、sqlcの一歩進んだ使い方としてdockertestと組み合わせたテストの書き方について紹介します。dockertestとは、Dockerコンテナを立ち上げてテストを実行するための使いやすいコマンドを提供

                                                        sqlcとdockertestでデータベースを使ったテストを書こう | gihyo.jp
                                                      • Yahoo! JAPAN's password-free authentication reduced inquiries by 25%, sped up sign-in time by 2.6x  |  web.dev

                                                        Yahoo! JAPAN's password-free authentication reduced inquiries by 25%, sped up sign-in time by 2.6x Stay organized with collections Save and categorize content based on your preferences. Yahoo! JAPAN is one of the largest media companies in Japan, providing services such as search, news, e-commerce, and e-mail. Over 50 million users log in to Yahoo! JAPAN services every month. Over the years, there

                                                          Yahoo! JAPAN's password-free authentication reduced inquiries by 25%, sped up sign-in time by 2.6x  |  web.dev
                                                        • GoのGCを10分で学ぼう  - Qiita

                                                          はじめに GoのGC(Garbage Collection)を調べる中で学んだことをなるべく分かりやすく簡潔にまとめたものです。 GCのアルゴリズムやメモリ割り当てについてまとめています。 記事内で使われている「オブジェクト」という用語はGoにおいては適切でないかもしれませんが、説明のしやすさから使用しています。 概要を把握しやすいように単純化しているため細部は正確でない部分があります。 GC基本 用語集 前提となる用語です。 ルート ルートとは、オブジェクトが到達可能か(生存しているか)を判定するための始点です。 プログラミング言語にもよりますが、基本的にメモリのスタック領域がルートになります。 フラグメンテーション フラグメンテーションとは、使用可能なメモリが断片化し途切れ途切れになっている状態です。 フラグメンテーションになってしまうと、総量的にはメモリが空いていてもアプリケーション

                                                            GoのGCを10分で学ぼう  - Qiita
                                                          • dbtを触ってみた感想 - yasuhisa's blog

                                                            データエンジニア系の勉強会で最近dbtがぱらぱらと話題に出てくるようになった & 4連休ということで、夏休みの自由研究がてらdbtを触ってみました。書いてる人のバックグラウンドは以下の通り。 DWHやデータマートの構築のためのETLツールを模索中(特にTの部分) プライベートではDataformを使っている 前職でも仕事の一部で使っていた 開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog 定期バッチ処理はArgo Workflows on GKEでやっている 触ってみないと肌感とか自分で運用できるかのイメージが湧かないのでね。 Dataformとの比較 細かいノウハウ 手元や本番環境での動作 Argo Workflowとの連携 環境によってDWHの提供するバージョンを差し替える DWHやデータマートの外の情報をデータリネージに加える 既存

                                                              dbtを触ってみた感想 - yasuhisa's blog
                                                            • Kubernetes入門|yamlとコマンドの基本的な使い方と運用効率化術 - FLEXY(フレキシー)

                                                              ※本記事は2020年6月に公開された内容です。 青山真也(@amsy810)と申します。サイバーエージェントで社内のプライベートクラウド構築に携わるほか、Kubernetesのマネージドサービスもオンプレミス上で実装して提供しています。外部でもKubernetesの仕事を複数行っているほか、コミュニティ活動、DockerやKubernetesに関する本を2冊執筆するなど積極的に布教活動を行っています。 本記事ではDockerとKubernetesの基本からさらに次のステップに進めるような内容をお伝えします。 Kubernetes関連の求人検索はこちらから ユーザーの追加・表示をするGo製アプリケーションを作ってみる 今回題材にするのは、簡易的なGoのアプリケーションです。中身はシンプルなもので、メイン関数で8080番ポートにリクエストが来たときのハンドラを用意しています。それぞれのパスに関

                                                                Kubernetes入門|yamlとコマンドの基本的な使い方と運用効率化術 - FLEXY(フレキシー)
                                                              • 「血中の鉄分濃度」が人間の寿命に影響を与えているという研究結果

                                                                人々の寿命を左右する要因に関する研究は非常に多く、「性格による睡眠時間の違い」「人生の目的を持っているかどうか」といった事柄が、人々の寿命に影響を与えていることがわかっています。イギリスのエディンバラ大学などの研究チームが行った新たな研究から、「血中の鉄分濃度」が人間の寿命に影響を与えている可能性があると判明しました。 Multivariate genomic scan implicates novel loci and haem metabolism in human ageing | Nature Communications https://www.nature.com/articles/s41467-020-17312-3 Blood iron levels could be key to slowing ageing | The University of Edinburgh h

                                                                  「血中の鉄分濃度」が人間の寿命に影響を与えているという研究結果
                                                                • MySQLでredis storage engineを作った - tom__bo’s Blog

                                                                  MySQLのストレージエンジンはplugableになっていて、APIを実装すれば自作のストレージエンジンを組み込むことができる。 ということで、試しにRedisをストレージエンジンとして使うRedis Storage Engineを作りました。 github.com 途中で飽きてしまった ちまちま実装するよりC++の勉強とInnoDB読んだほうが良さそうと思ったので、お蔵入りするつもりでしたが、Yahoo! Japanでストレージエンジンを研究開発しているという話で個人的に盛り上がったので、改めて作ったところまでを見直して、整理しておこうという趣旨です。 実装したものはCREATE TABLEとDMLがある程度カバーされたおもちゃですが、自作ストレージエンジン開発のためのドキュメントはなくなっていく一方なので(MySQL internal documentを含む既存のドキュメント・ブログ・

                                                                    MySQLでredis storage engineを作った - tom__bo’s Blog
                                                                  • Web NFCを試してみました 〜 動作確認とアプリケーション作成 〜 - 虎の穴開発室ブログ

                                                                    皆さんいかがお過ごしですか?ラボのおっくんです。 気温が高い時期になってきました。室内にいても気が付くと脱水から熱中症になることもあるそうですので、お気を付けください。 今回は、Web NFC を試してみましたので、そちらをレポートします。 最終的には、次のものができました。 以下順を追って説明します。 実行環境 開発環境 OS:macOS Catalina 10.15.4 Chrome 84.0.4147.89 確認用デバイス OS:Android バージョン 10 Chrome 83.0.4103.106 NFC を備えたスマートフォンでないといけませんので、ご注意ください。 WebNFC とは WebNFCは、「Google Chrome 81」のベータ版から追加された実験的な機能です。 NFC(Near Field Communication : 近距離無線通信)タグをブラウザから

                                                                      Web NFCを試してみました 〜 動作確認とアプリケーション作成 〜 - 虎の穴開発室ブログ
                                                                    • S3 バケットを AWS Lambda を使って、ウィルススキャンしてみた | DevelopersIO

                                                                      S3 バケットに保存されているファイルのウィルススキャンを AWS Lambda を使ってやってみたした。 こんにちは、コンサルティング部の望月です。 1月がはじまったと思ったら、もう終わりそうで、この調子だと『シン・エヴァンゲリオン劇場版』の公開ももうすぐですね!! さて、今回は S3 バケットに保存されているファイルのウィルススキャンを AWS Lambda を使ってやってみたのでブログにまとめました。 現在、S3 にはウィルススキャンという機能はなく、S3 へファイルをアップロードする前か、アップロード後にダウンロードし、ウィルススキャンする方法が多いかと思います。 今回の方法は、下記ソフトウェアを使って Lambda を利用するため、ウィルススキャン用に EC2 など別途用意することなく、手軽に行うことができるため、簡単に試してみることができます。 upsidetravel/buc

                                                                        S3 バケットを AWS Lambda を使って、ウィルススキャンしてみた | DevelopersIO
                                                                      • Rancher Desktop by SUSE

                                                                        Simple InstallationSimple installation for macOS, Windows, and Linux macOS and Windows users can simply download and run the respective installer. Linux users can install via popular package managers. Optional auto upgrade feature to automatically download and install new versions. Configuration optionsUse with the default configuration or customize to fit your needs. Ability to choose container e

                                                                        • Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG

                                                                          はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは日々複数のGoogle Cloudプロジェクトを管理しています。これらのプロジェクトでは、データサイエンティストやプロジェクトマネージャーなど別チームのメンバーが作業することもあり、必要に応じてメンバーのGoogleアカウントへ権限を付与しています。 権限の付与はプロジェクトの管理者であるMLOpsブロックメンバーが行いますが、これは頻繁に発生する作業でありトイルとなっていました。 また権限付与後はこれらを継続的に管理し、定期的に棚卸しすることで不要になった権限を削除する必要があります。しかし当初の運用だと権限の棚卸しの対応コストが大きく、これが実施されずに不要な権限が残り続けるという課題もありました。 本記事ではMLOpsブロックで抱えていたGoogle Cloudプロジェクト内での権限管理における

                                                                            Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG
                                                                          • Terraform でAWS 環境にDockle + git-secrets を組み込んだCIを構築する - Qiita

                                                                            はじめに コンテナセキュリティのガイドライン NIST SP800-190(アプリケーションコンテナセキュリティガイド) では、イメージのリスクの1つとして 「イメージの設定の不備」 について言及されています。 さらに、NIST SP800-190 では、このリスクへの対策として、 「セキュアな設定のベストプラクティスへの準拠を検証および実施するためのツールとプロセスを採用すること」 を推奨しています。 本記事では、この 「イメージの設定の不備」 へのリスク対策ツールとして、Dockle とgit-secrets を採用し、このツール群を組み込んだCI パイプライン(ビルドのプロセス)をTerraform でAWS 環境に構築する方法を記載しています。 コンテナイメージのセキュリティ対策の一例として参考になれば幸いです。 Terraform で構築する全体構成図 構成の概要 Dockerf

                                                                              Terraform でAWS 環境にDockle + git-secrets を組み込んだCIを構築する - Qiita
                                                                            • How I Hacked my Car

                                                                              Note: As of 2022/10/25 the information in this series is slightly outdated. See Part 5 for more up to date information. The Car⌗ Last summer I bought a 2021 Hyundai Ioniq SEL. It is a nice fuel-efficient hybrid with a decent amount of features like wireless Android Auto/Apple CarPlay, wireless phone charging, heated seats, & a sunroof. One thing I particularly liked about this vehicle was the In-V

                                                                              • Goではどんなライブラリがデータベースにアクセスするときにベストか考える - ぷらすのブログ

                                                                                この記事はGo5 Advent Calendar 2019の 1 日目の記事です。 はじめに Go のメジャーバージョンはいつの間にか 5 まで到達していたようですね、@p1assです。 Go でデータベースにアクセスするときに使うライブラリはdatabase/sqlや それをラップしたsqlx, gorm, gorpなど様々なライブラリがありますが、皆さんはどのライブラリを使っていますか? おそらく様々な理由があってどれか(ここに挙げられていないものかもしれない)を使っているでしょう。 しかし、それは本当にベストな選択だったのでしょうか? この記事では、Go でデータベースをアクセスする際に、どんな機能が必要かを考えつつ、上に挙げたのライブラリを比較していきます。 あくまでこの記事で述べるのは僕個人の意見ですが、この記事を通して皆さんが改めてライブラリ選定を考えるきっかけになれば幸いです

                                                                                  Goではどんなライブラリがデータベースにアクセスするときにベストか考える - ぷらすのブログ
                                                                                • emruby: ブラウザで動くMRI - クックパッド開発者ブログ

                                                                                  こんにちは、フルタイムRubyコミッタの遠藤です。 Ruby 3.0が出てもう4ヶ月経ってしまいました。最近のTypeProfの開発ですが、vscode拡張として使えるようにするために、一生懸命Language Server Protocolをいじって遊んでるところです。 今日の成果です。 RBS が .rb と別ファイルなのが面倒という問題、vscode 拡張をちゃんと作れば解決できそう(まだ実現可能性を調べただけで中身はありません)。 pic.twitter.com/tv6xB0Tm59— Yusuke Endoh (@mametter) 2021年4月2日 こっちのほうはまだ実験段階なので、まとまったころに説明するとして、今回は、Ruby 3.0リリース後にほそぼそとやっていたemrubyをご紹介してみます。 emrubyとは ブラウザの上で動くMRI(Matz Ruby Inter

                                                                                    emruby: ブラウザで動くMRI - クックパッド開発者ブログ