A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
Amazon S3のコンテンツを配信したい場合、S3の静的ウェブサイトホスティングを使用したり、S3の前段にCloudFront(CDN)を配置して配信することが多いかと思います。今回は、3つ目の選択肢として、S3をALBから配信する構成について紹介します。 S3バケットをプライベートにしたまま、ALBレイヤーでHTPS通信化や認証やセキュリティグループのアクセス制限を行うことができます。アプリケーションで利用するALBにS3配信を集約させることも可能です。また、外部･内部どちらのALBでも採用できます。 オンプレミスからプライベート通信によるS3アクセス 認証付きURL/CookieでS3コンテンツを配信する代替案として、ALB認証でS3配信 などで有用です。 構成ポイント 本構成の肝はALBのターゲットにS3のインターフェース型VPCエンドポイントのIPを指定すること(昔からあるゲート
Next.jsのISRを独自に構築する ~ Cloudflare Workers編（Cache APIの注意点） ~
Next.jsにはIncremental Static Regeneration（以降: ISR）というレンダリングの仕組みが存在します。ところがこれを利用するにはVercel上でNext.jsを使用しないと完璧な動作をしないことは知られています。ですが、このISRの仕組みは従来のSSRよりサーバの処理コストはもちろん、キャッシュという仕組み上レスポンスにも非常に効果のあるものです。 今回はこのISRを独自に構築するための技術を記事として起こしていきます。 本記事の続きとなるものはこちらに記載しておりますので、合わせて御覧ください。 【前提条件】 ISRが何という説明は本記事では行いません。 システム構成上、1記事ですべてを説明するにはボリュームが大きいので複数記事に分けさせて頂きます。 本記事で詳細するシステム構成には一部成約が存在します。 使用するNext.jsもしくはそれに準ずるもの
Flutterアプリの定期リリースを支える自動化 - Fast DOCTOR Technologies TECH BLOG
本稿では、ファストドクターのモバイルアプリのリリースフローを整備した取り組みについてご紹介します。 モチベーション ファストドクターのモバイルアプリは、2022年夏にFlutterでのフルリプレースを実施し、それ以降は機能の開発が完了次第随時リリースをするという戦略を取っていました。 この戦略はシンプルであり、開発に関わっているステークホルダーが少ない状況下でうまく機能していました。しかし、組織の拡大に伴い以下のような問題が発生するようになりました。 複数機能の開発スケジュールの調整をしたり、バックエンドのリリース・QAとの整合性を取ったりという必要性が増し、調整コストが肥大化 リリースが不定期なため、いつPull Requestをマージすれば良いか分からずopenされたままのPull Requestが多数 この状況を改善するために、以下の要件を念頭に定期的なリリースとそれを支える仕組みを
Stable Diffusionの最新モデル「SDXL 1.0」と過去モデルの生成画像をひたすら比較して進化を実感してみた - Qiita
Stable Diffusionの最新モデル「SDXL 1.0」と過去モデルの生成画像をひたすら比較して進化を実感してみたPythonPython3StableDiffusion Supershipの名畑です。週刊少年ジャンプ34号に掲載された小園江ナツキ先生の読切漫画「殺陣ロール」好きです。 はじめに 7月27日についにStable Diffusionの新モデルSDXLの1.0がリリースされました。当初の予定よりは遅れたものの、0.9がリリースされた6月23日から1月程度での高速リリースです。 SDXL 0.9の際に「Stable Diffusionの最新モデルSDXL 0.9と過去モデルで生成画像を比較してみた」という記事でStable Diffusionにおける生成画像の変遷をまとめましたが、今回もSDXL 1.0でどのように変わったのかを記録に残します。 画像の生成はPythonで
Web Scraping with Python: Everything you need to know (2022)
Introduction: In this post, which can be read as a follow-up to our guide about web scraping without getting blocked, we will cover almost all of the tools to do web scraping in Python. We will go from the basic to advanced ones, covering the pros and cons of each. Of course, we won't be able to cover every aspect of every tool we discuss, but this post should give you a good idea of what each too
こんにちは。takutaka と申します。最近良かったことはMOTHER3をクリアしたことです。 最近、画像配信を WebP に動的変換するという施策を担当したので、その話をします。 ペパボにおける画像配信 GMO ペパボでは、クリエイターさんがアップロードした画像でTシャツなどのステキなアイテムが販売できる SUZURI というサービスや、EC支援サービスであるカラーミーショップやハンドメイドマーケット minne など、様々なサービスを運営しており、それぞれに画像の扱いは特徴があります。 SUZURI では、クリエイターさんに提供いただいた画像をペパボで独自で合成し画像を作成していますが、対してカラーミーショップや minne では、ショップオーナーさんや作家さんがペパボのシステムアップロードした画像をエンドユーザーさんに配信しています。 施策を実施したサービス 今回はEC支援サービス
ISUCON 予選突破のために Elastic Stack と GCP で分析環境を整えた （:old_noto_innocent: Team） - Unyablog.
ISUCON 12 予選にいつもの id:utgwkk, id:wass80 と :old_noto_innocent: チームで参戦した*1。 結果は 50696 点で本選出場！ ここ数回と同様、自分はインフラと分析・観測を担当していた。ただ、毎年似たようなことをやっていてあまり貢献できていないなあという課題感があったので、今回はログやメトリクスの分析環境をしっかり作ることにした。目標は毎回ベンチ終了のたびにコマンドを叩くのをやめること！ App 周りについてはチームメイトの記事を参照。 blog.utgw.net memo.wass80.xyz Elastic Stack でアクセスログ・スローログ可視化 ダッシュボード 最高便利 Google Cloud でトレーシング & プロファイリング Trace Profiler やってよかった 構築編 Elasticsaerch + Kib
野球AIチャットが作りたくなったのでひとまず, バックエンドから作ってみた - FastAPIからOpenAIをいい感じに使う何か - Lean Baseball
※このエントリーは「OpenAIをいい感じに使うバックエンドをFastAPIで実装したぜ！」というエントリーです（サンプルコードはこちら）, 「OpenAIで何かを作った・人工知能を産んだ」訳では無いのでそっち方面を期待している方はそっ閉じしたほうが良いかもしれません（Web API開発に興味ある人はそのまま読んで）. 趣味は野球観戦と見せかけて, 「休日にダラダラ野球見ながら趣味のコードを書く」のが最も好きな人です. 100敗待ったなしの贔屓チームがいきなり7連勝したり*1, 昨年まで扇風機状態だった贔屓チームのフィジカルモンスターが突然覚醒して4番ライトに定着*2したりと理解が追いつかない野球を見るのはこれぐらい（コード書きながらみる）ぐらいがちょうどいいと思ってます, だってプレーオフ行けるか怪しいですもの*3. 時は遡り2020年, 私はセイバーメトリクスといくつかの機械学習の知見
GitHub - googleapis/gaxios: An HTTP request client that provides an axios like interface over top of node-fetch. Super lightweight. Supports proxies and all sorts of other stuff.
interface GaxiosOptions = { // The url to which the request should be sent. Required. url: string, // The HTTP method to use for the request. Defaults to `GET`. method: 'GET', // The base Url to use for the request. Prepended to the `url` property above. baseURL: 'https://example.com'; // The HTTP methods to be sent with the request. headers: { 'some': 'header' }, // The data to send in the body o
Knative Servingを用いて多数の開発環境APIを低コストで構築する - ZOZO TECH BLOG
はじめに こんにちは、技術本部ML・データ部MLOpsブロックの鹿山（@Ash_Kayamin）です。先日、20個の開発環境APIを用意し、各APIをリクエストに応じて動的に起動できる仕組みをKnative Servingを用いて構築しました。 この記事ではKnative Servingを利用した背景と、利用方法、はまりどころ、利用によって得られたコスト削減効果についてご紹介します。なお、今回はKubernetesクラスタのバージョンとの互換性の都合でKnativev1.3.1を利用しました。2022/9現在の最新バージョンはv1.7.1になりますのでご注意ください。 目次 はじめに 目次 課題：20個の異なる開発環境APIを低コストで提供したい 解決策：Knative Servingを用いて、リクエストに応じて動的にAPIサーバーを起動する仕組みを導入する Google Cloud上でA
Go標準でブラウザにイベントストリーミングする
WebSocketのツラミ 中継サービスの対応がないと切れる ルーターによっては長時間アクセスがないと切れる 切れたら繋ぎなおすのはクライアントの実装次第 セキュアにつなぐためにはサーバーもクライアントも新バージョンのサポートが必要 接続数が膨れず、安定して接続を維持するのには結構ノウハウが求められる 単純に切れたら即繋ぐでは中継やサーバーに問題が発生することもある そこでEventSourceですよ メジャーブラウザでサポート・互換性も高い プロトコル仕様がただのHTTPロングポール＋アルファ なのでほとんどの接続経路で中継トラブルが少ない JSのEventSource実装がセッション維持を頑張ってくれる サーバーから切断されたら再接続をしようとする 特にGoなら標準機能でさっくりサーバーが書ける クライアント実装 let es = new EventSource("/sse"); es
はじめに ChatGPT APIの公開後、瞬く間に様々なサービスが誕生していますね。 私も少し触ってみましたが、マルコフ連鎖的に文章を紡ぐ仕組み上、レスポンスがやや遅い点が気になります。 PythonからAPIを叩いている多くの方はOpenAIのライブラリを使用しているかと思いますが、 一般的にHTTPリクエストに使用されるrequestsを使用すれば、ウェブサイト版のChatGPTとお話するときのように、逐次返答を受け取ることができます。 追記 openaiライブラリでも普通にできました。後半で解説します。 方法 requestsのpost()からAPIを叩いて、その際、引数とペイロードのstreamをTrueにすればおｋです。 以下の実装例の後半部分が該当箇所になります。 import requests, json API_URL = "https://api.openai.com/v
概要 食事のカロリー推定は非常に困難なタスクでした。 一般的なアプローチとしては、物体検知modelをfine-tuningし、料理画像から個々の料理の領域を判定することでカロリーを推定してきました。 GPT-4oを利用するとそのへんを飛ばして、いきなりカロリーが推定できます。精度の面では劣ると考えられますが、実装の容易さと未知のクラス (学習データセット内に含まれない料理) への対応を考えると、十分に利用価値があると思われます。 今回の記事では、実際のデモも紹介しているのですぐ利用することができます。 早速結果を見てみよう デモ 実装 カロリー推定 json-mode で処理をさせます。step-by-stepに推論を処理させるために、最初に雑な推論を記述させてから、各食品のカロリー量を推定させています。 # GPT-4にカロリーを推定させる (JSON-MODE) response =
「Amazon S3 インターフェースエンドポイント（PrivateLink）ではプライベート DNS をサポートしていません」 の意味を絵をかいて腹落ちさせてみた | DevelopersIO
「Amazon S3 インターフェースエンドポイント（PrivateLink）ではプライベート DNS をサポートしていません」 の意味を絵をかいて腹落ちさせてみた 2023/3/15追記 「サポートしていません」の時代に本エントリを書いたのですが、アップデートによりサポートされるようになりました。その内容を以下エントリに書きました。 以降の記述は当時の内容としてお楽しみください。上記のエントリとあわせて読むとより理解が捗ると思います。 コンバンハ、千葉（幸）です。 先日、Amazon S3 向けの PrivateLink（インターフェースエンドポイント）がサポートされました。 これによりオンプレミスから S3 へのプライベートアクセスが、簡単に構成できるようになりました。 注意点として、S3 インターフェースエンドポイントではプライベート DNS 名が使用できないというものがあります。
「いつもの」が結構ありそうなので書いておく。 app.rb ペラ 1 でツラくなったときの対策はだいたい sonots パイセンの ちっちゃくはじめておっきく育てる sinatra アプリの作り方 に書いてあって、これは今でも有効なので読んでおくと良いです。 ディレクトリ構成 REPO ├── app.rb ├── bin/ ├── config/ │ ├── database.yml │ ├── initializers/ │ └── locales/ ├── config.ru ├── Gemfile ├── Gemfile.lock ├── helpers/ ├── models/ ├── public/ └── views/ sinatra らしさをなるべく残してある 例えば config/boot.rb を用意するかは非常に悩んだのだけれど、起点は app.rb であって欲しい
忙しい人のための自然言語処理 - Qiita
import requests import json import sys BASE_URL = "https://api.ce-cotoha.com/api/dev/" CLIENT_ID = "COTOHA APIで取得したIDを入力" CLIENT_SECRET = "COTOHA APIで取得したパスワードを入力" def auth(client_id, client_secret): token_url = "https://api.ce-cotoha.com/v1/oauth/accesstokens" headers = { "Content-Type": "application/json", "charset": "UTF-8" } data = { "grantType": "client_credentials", "clientId": client_id, "c
GnuTLSの脆弱性でTLS1.3の再接続を理解する(Challenge CVE-2020-13777) - ぼちぼち日記
(TLDR; めちゃくちゃ長くなったので、長文読むのが苦手な方は読まないようお願いします。) 1. はじめに 前回の「求む！TLS1.3の再接続を完全に理解した方(Challenge CVE-2020-13777)」 の記事にて、GnuTLSの脆弱性(CVE-2020-13777)のPoCを募集しました。 短い期間にも関わらず2名の方から応募を頂き、本当にありがとうございます。 また、応募しなかったけど課題に取り組んで頂いた方もいらしゃったようです。この課題を通じて、いろいろな方がTLS1.3仕様(RFC8446)に触れる機会を持っていただいたことを非常に嬉しく思います。 全くの初心者ではやはり課題が難しいとの意見もいただきました。今後はもう少し幅広い人に手をつけやすいよう工夫が必要であると感じていますが、はてさてどうしたらいいか、なかなか難しい。なんにせよ初めての試みでしたが、やってみて
Server-Sent Events (SSE) 目新しい技術というわけではありませんが、最近 Server-Sent Events (SSE) について言及する記事をよく見かけます。 何番煎じかはわかりませんが、個人的に興味があることと、正直触ってみたことがなかったので、コードを書きつつ調べてみました。 ※本記事で登場するサンプルコードは次のリポジトリで公開しています。 SSE とは SSE 自体を解説する記事は無数に存在するため詳細な説明は割愛しますが、簡単に言うと、サーバーからクライアントへ一方向の Push 通信を行うための仕組みです。 MDN にもページが存在するため、参考になります。 独自プロトコルを必要とせず、HTTP/1.1 でも動作するのも特徴です。 SSE の歴史 wikipedia に SSE に関するページが存在し、次のような記述があります。 SSE メカニズムは、
Real World HTTP 第3版
本書はHTTPに関する技術的な内容を一冊にまとめることを目的とした書籍です。HTTPが進化する道筋をたどりながら、ブラウザが内部で行っていること、サーバーとのやりとりの内容などについて、プロトコルの実例や実際の使用例などを交えながら紹介しています。さまざまな仕様や実例、またGoやJavaScriptによるコード例を紹介しながら、シンプルなHTTPアクセスやフォームの送信、キャッシュやクッキーのコントロール、SSL/TLS、Server-Sent Eventsなどの動作、また認証やメタデータ、CDNやセキュリティといったウェブ技術に関連する話題を幅広く紹介し、いま使われているHTTPという技術のリアルな姿を学びます。 第3版では、より初学者を意識した導入や、スーパーアプリなどプラットフォーム化するウェブに関する新章を追加。幅広く複雑なHTTPとウェブ技術に関する知識を整理するのに役立ち、また
イントロダクション 「テストを走らせて型情報を収集すればいいんじゃない？」そのアイデア自体は話題に上がることが多かったかと思われますが、観測範囲では前例がないように見えます。そこで、実際に作ってこそ見える世界があると思い動くものを実装してみました。 Orthoses::Trace github.com orthosesはRBSを生成するための機能を作るフレームワークで、この機能の一つとしてOrthoses::Traceというミドルウェアを実装しました。 例 例題として、rack-testというgemのRBSを生成したいとします。 その場合の生成コードをOrthoses::Traceを使って以下のように準備します。 https://github.com/ksss/orthoses/blob/db80d506c5fb02dadaa0ae303e0761ba0a543f6f/examples/r
会計フリー周りのエンジニアをしているよーだ（@rtryoda）です。この記事は freee Developers Advent Calendar 2019 の11日目です。最近各ベンダーやOSSのOCRエンジンをgoで触る機会があったので、実行方法と結果をまとめました。 OCRとは OCRとは光学的文字認識（Optical Character Recognition）のことで、画像などに記されている文字を読み取りテキストデータに変換することです。例えば以下のような画像に対してOCRを実行すると"あいうえお 12345"と認識されることを期待します。 ※各OCRの実行にはこちらの画像を使用します。 今回試すOCRエンジン一覧 OCRエンジン 日本語対応 クライアントライブラリ(go) Google Cloud Vision API ○ googleapis/google-cloud-go A
LighthouseをFirebase Functionsから毎日叩いて本番環境のパフォーマンスを計測してみた - SMARTCAMP Engineer Blog
スマートキャンプの笹原です。 みなさんはWebサイトの、特にフロントのパフォーマンス改善を日頃から行っていますか？ 常に意識しているという方もいれば、気が向いたときにたまに見てみるなんてこともあるんじゃないかと思います。 今回はそんなパフォーマンスに常に意識を配れるように、毎日Lighthouseを叩いてみたのでその構成を紹介したいと思います。 Lighthouseとは 要件 処理の流れと制約 実際の構成 1. 定期的にCloud Tasksに各ページごとのTaskをEnqueueする TaskをEnqueueされるCloud Tasksのキュー作成 TaskをEnqueueするFunctionの作成 2. 各ページにLighthouseを実行しBiqQueryに結果を格納する 終わりに Lighthouseとは まずはLighthouseについて簡単な説明です。 Lighthouseとは
グラフ作成ツールであるGraphvizを社内でHTTPサービス化し、どこからでも使えるようにした話です。 こういう感じで使えます。 $ curl -X POST http://graphviz.ほげほげ.example.com/ -d 'digraph { foo -> bar -> buzz; }' https://ほげほげふがふが.amazonaws.com/958508bb186ef076c2cbb92c1e0c34ea0e51316e2d9bfe46620d2d6278db0f94.png URLを開くとこういう画像になっています。ヤバイ！！ Graphviz便利だけどやや不便 困り HTTP化することで得られるめでたさ アーキテクチャ ファイル構成 Dockerfile server.py conv.sh CD用ファイル task-definition.json .github/
はじめに 構成 作ってみた Amazon Route53によるドメイン登録 SESのドメイン認証 CloudFormationで作成するリソース Route53によるMXレコードの公開 SES受信ルール作成 メール保存用のS3バケット作成 S3に保存されたメールの内容を取得し、Slackに通知するLambda 転送設定 動作確認 困ったこと どの権限を与えればよいか分からない CloudFormationの構築手順を意識する おわりに はじめに はじめまして、入社1年目の藤本です。8月にクラウド事業推進部に配属され、AWSを用いた業務に日々奮闘しています。 私は、AWSの学習の一環として社内の勉強会に参加しています。この勉強会の内容はメールで送信されるのですが、案内のメールに気付いた人が自主的にSlackのAWSに関するチャンネルに投稿して周知する仕組みとなっています。しかし、この作業は手
iOSアプリのweeklyリリースを支える技術 - SmartNews Engineering Blog
タイミング 各フェーズで起点となるタイミングについて説明します。 プランニング確認 上の表の「プランニング」の週に行います。 リリースの3週間前にプランニング確認のミーティングを行います。開発の進捗や、一週間でQAが行える分量なのかなどを確認して、そのバージョンに含める機能を最終調整して確定します。そのタイミングまでは、PdMやエンジニアがNotionに機能を追記していきます。 QA準備 上の表の「開発」の週に行います。 リリースの2週間前にQA準備のミーティングを行い、そのバージョンのテストシナリオやQAリソースが足りているかどうかを確認します。休日などの都合に応じて工程調整を行ったりもします。 QA開始 上の表の「QA」の週です。 QA開始前までに全てのpull requestをマージしておく必要があります。このタイミングに間に合わなかった場合は次のバージョンに延期されます。 QA開始
The Future (and the Past) of the Web is Server Side Rendering When servers were in Swiss basements, all they had to serve was static HTML. Maybe, if you were lucky, you got an image. Now, a webpage can be a full-blown app, pulling in data from multiple sources, doing on the fly manipulations, and allowing an end-user full interactivity. This has greatly improved the utility of the web, but at the
ラズパイ4にFirecrackerの環境を構築してMicroVMを動かそう！！ | DevelopersIO
CX事業本部@大阪の岩田です。 Firecrackerのロードマップとして掲げられているARMサポートですが、現在Preview段階まで開発が進んでいます。また、1ヶ月前にリリースされたFirecracker v0.20.0でGICv2のサポートが追加されたことで、ラズパイ4上でFirecrackerを試すことが可能になりました。このブログではラズパイ4上でFirecrackerのMicroVMを起動させるまでの手順をご紹介します。 環境 今回利用した環境です Raspberry Pi 4 Model B Ubuntu Server 19.10.1 カーネル 5.3.0-1015-raspi2 Firecracker v0.20.0 やってみる ここからは実際に環境構築~MicroVM起動までの手順をご紹介します。 OSのインストール ラズパイのOSといえばRaspbian...なのですが
Firefox の通信キャプチャ シナリオ 1-1 の通信を確認します。 まずは最初の Web Browser → DoH リクエストです。 Host: TEST_SERVER Accept: application/dns-message Accept-Encoding: Content-Type: application/dns-message Content-Length: 128 Cache-Control: no-store, no-cache Connection: keep-alive Pragma: no-cache 0x00 0x00 0x01 0x00 0x00 0x01 0x00 0x00 | ....... 0x00 0x00 0x00 0x01 0x03 0x77 0x77 0x77 | ......ww 0x06 0x67 0x6f 0x6f 0x67 0x6c
Introduction Momentoは、クラウドネイティブな 高速のサーバーレスキャッシュサービスです。 キャッシュサーバの設定や準備は短時間（数分）で完了し、 キャッシュ最適化・スケール・管理も自動。 セキュリティもデフォルトでしっかりしています。（E2E暗号化や監査ログサポートなど） 公式サイトでは「世界最速」を謳っていますが、実際はどんな感じでしょうか。 今回はRustを使ってMomentoにアクセスしてみます。 Environment OS : MacOS 12.4 rust : 1.61.0 M1 Macで動かしました。 AWSアカウントはセットアップ済みとします。 Setup Momentoのセットアップは公式Githubや以前の記事などを参考におこなってください。 ここにあるように、 momento account signupで指定したメールアドレス宛にトークンが送付さ
![[Rust] 高速キャッシュサービス Momentoを使ってみる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1c6886c3f1d3f6b38e1dbc8f7148048237969de4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F07%2Fmomento_eyecatch_1200x630.png)
IPv6 only 環境で Docker / Alpine Linux を動かす - 竹迫の近況報告
2022年5月、IPv4アドレスが枯渇してきていることもあって、IPv6 onlyな環境がVPSの一般サービスとして出てきました。 OSレベルではIPv4/IPv6のデュアルスタックで両方のネットワーク環境にサーバもクライアントも対応しつつあるのですが、 世の中にはまだAAAAレコードを持たないHTTP/HTTPSサーバも結構あって、DockerをIPv6 only環境で動かすのに一苦労しました。 今回、私自身が Rocky Linux 8.5 の IPv6 only 環境で Docker / Alpine Linux を動かした記録をメモで残しておきます。 Dockerのインストール まず最初にdnfコマンドを使ってDockerをインストールします。 sudo dnf update -y sudo dnf install -y dnf-utils device-mapper-persis
2020年のオープンソース活動の振り返り記事です。 今までの振り返り。 今年のOSS活動振り返り @ 2019 | Web Scratch 今年のOSS活動振り返り @ 2018 | Web Scratch 今年のOSS活動振り返り @ 2017 | Web Scratch 今年のOSS活動振り返り @ 2016 | Web Scratch 今年のOSS活動振り返り @ 2015 | Web Scratch 今年のOSS活動振り返り @ 2014 | Web Scratch 2020年のGitHubのPublicなContributionsは7000~9000ぐらいを推移していました。 最近はPrivateリポジトリをメモやブックマーク管理などでも使うようになったので、Private比率は増えてPrivateなContributionsは13400でした。 GitHub Issuesを個人
SlackでChatOps！CodeDeployのBlue/Greenデプロイを操作する方法 - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 昨年末から弊社BOXILでは、EC2からECS/Fargateへのインフラ移行作業を実施しています。 EC2運用からコンテナベースのECS運用への移行は、インフラの思想として異なる部分も多く、一筋縄ではいかないということを日々痛感しています。特に運用面に関する仕組みやノウハウは大きく異なっているため、今までと同等の運用を異なる方法で実現する必要があり、頭を悩ませることが多いです。 例えば、今まではEC2にSSHしてコマンドを投入していたが、ECS/Fargate上で同じことをどうやってやるのか…など。SSHしなくても良い運用にすることも必要ですが、今まで当たり前に出来ていたことが万が一の時にどうやっても出来なくなるのはやはり辛い問題ではないでしょうか。 また、とりあえず移行はできたけど、今までよりも運用に時間や手間が掛かるようになった…といったこと
こんにちは。プロダクトグループの坂井です。 Pythonのフレームワークの一つであるFlaskを使う機会がありましたので、まずはローカル開発環境をDockerで構築してみました。 作業環境 macOS Mojave 10.14.6 Docker 19.03.1 Docker Compose 1.24.1 Dockerのインストールについては割愛します。 構築するローカル開発環境 Python 3.7.4 Flask 1.1.1 さっそく構築 Pythonの公式イメージがDocker Hubにありますので、公式イメージを利用してコンテナを作成します。 Dockerfile FROM python:3.7.4 ARG project_directory WORKDIR $project_directory RUN pip install flask 6行目で最新バージョン1のFlaskをインス
こんにちは。LINEヤフー株式会社で自然言語処理の開発を担当している牧野です。 今回は、Yahoo!デベロッパーネットワークから公開しているテキスト解析 Web API の「日本語形態素解析」で使えるようになった追加機能のユーザ辞書を紹介します。このユーザ辞書を使うと、自分だけのオリジナルの辞書で独自の解析が可能です。 また今回は、ユーザ辞書機能を工夫して使った簡易感情判定についても紹介します。 日本語形態素解析 Web API でできること 最初に、日本語形態素解析 Web API について簡単に紹介します。 日本語形態素解析 Web API 日本語形態素解析 Web API は、日本語文を形態素に分割し、品詞の推定や活用処理、読みを付与することができます。形態素とは、日本語として意味を持つ最小単位のことです。「辞書に載っている単語」程度のイメージで捉えていただけると良いでしょう。 たと
DIALというネットワークプロトコル
家庭のネットワークの監視システムからDIALなるプロトコルが暴れていてアラートが飛んできたので調査しました。 目次 Open 目次 日頃の監視と増えた謎のリクエスト オープンDIALプロトコル DIALを喋る相手を突き止める DIALでNetflixを操作する DIALでNetflixの状態を確認する DIALでNetflixを起動してみる DIALでNetflixを非表示にする DIALでNetflixを終了する 他のアプリも操作してみる DIAL対応アプリと挙動 ChromeのDIALによる起動API DIALによる起動後の操作連携 まとめ 日頃の監視と増えた謎のリクエスト 自宅のシステムを管理する上で、ネットワーク監視は重要なものと言えます。 そんな監視システムが異常を検知したと言うのでパケットを見てみると、ある日を境に自宅ネットワークに何やら見慣れないものが大量に流れ始めていました
先に作ったものの紹介 任天堂Switchのお気に入りのフレンドが、ゲームを始めた/やめた場合にLINE Notifyに通知する仕組みを作りました。 ↓ LINE画面のスクショ 作ってから少し経ちますが、ゲーム生活がより良いものになった気がしますし、友達にも便利と言ってもらえましたので満足してます。 前置き Switchでスマブラをよくやります。1人ではやらないけど、友達がやってるなら俺もやりたいなという温度感の時もあって、そういうときはNintendo Switch Onlineというアプリからフレンドのオンライン状態を確認しています。（2022年3月7日のバージョン2.0.0からフレンドのオンライン状態を見れるようになりました。） Switchそのものには、フレンドがオンラインになったら通知する機能があるので、自分がSwitchをプレイしている時に限っては気付けるのですが、アプリにはオン
本連載では第一線のPerlハッカーが回替わりで執筆していきます。今回のハッカーは白方健太郎さんで、テーマは「実践Fediverse」です。 本稿のサンプルコードは、WEB+DB PRESS Vol.114のサポートサイトから入手できます。 Fediverse──非中央集権型ソーシャルネットワーク 2017年春に日本でブームとなったMastodonが構成するような非中央集権型ソーシャルネットワークは、Fediverseと呼ばれます。Fediverseは、中央に全体を制御するサーバがおらず、各サーバが連合と呼ばれるゆるいネットワークを構成することが特徴です。 本稿では、Fediverseに参加するために最小限実装する必要がある機能と、Perlにおける実装方法を説明します。 Fediverseを構成する仕様群 Fediverseは複数の仕様を組み合わせることで実現されています。本節では、それぞ
Sign in with Apple を本番でやらかしをしないために考えてみた - Reckless Engineering
認証認可を趣味でやっている@nerocruxです。この記事は 認証認可技術 Advent Calendar 2019 第11日目の記事です。 本番でやらかした人のAdvent Calendarではありませんのでご注意ください。 ...しかしこんなのやったら本番でもやらかしちゃうぞとの指摘があるかもしれませんので予めお詫びをしときます （´；ω；｀）ｳｯ そろそろ Sign In With Apple （以降、SIWA） を実装する時期がやってきました。本番で SIWA を実装したサービスも増えてきました。最近 pocket 以外に、vivinoも実装しており、さらにadobe creative cloudも実装しています（なぜかweb版のみだが）。 またAppleのCEOであるTime Cookさんもわざわざ日本に来てSIWAを実装したTimeTree社をtwitterで褒めたりしていて、
１．緒言 低い画質の画像を高画質に変える技術である”超解像”技術のライブラリである"Real-ESRGAN"ライブラリを紹介します。 公式より、Real-ESRGANの使用方法は下記３つがあり、とにかく簡単に試したいならOnline inferenceが便利であり「https://arc.tencent.com/en/ai-demos/imgRestore」からWebアプリベースで実施できます。 【Real-ESRGANの使用方法】 Online inference：Webアプリで簡単に実行できる Portable executable files (NCNN)：ー Python script：今回の記事で作成した通りPythonで実行 ２．環境構築 基本的な実装方法はGitHubの"Installation"を参照しました。 私のPC環境ではCUDAのメモリに乗らないためGoogle C
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Writing a C compiler in 500 lines of Python
ALBからS3コンテンツを配信してみた | DevelopersIO
画像配信を WebP にした際にやったことと困ったこと - Pepabo Tech Portal
【Python】ChatGPT APIでウェブサイト版のように返答を逐次受け取る方法 - Qiita
GPT-4o の画像認識能力がすごい！カロリー推定アプリを作ってみる - Qiita
久々に sinatra app を作った - id:onk のはてなブログ
Server-Sent Events を複数パターンで実装して理解を試みる
テストを実行してRubyの型情報を集めるやつを作った - スペクトラム
goによるOCRエンジン実行のまとめ - freee Developers Hub
GraphVizをECSでHTTPサービス化して社内どこからでも使えるようにした話 - Lambdaカクテル
Amazon SESのメール受信機能を使って、定型業務を自動化してみた - NRIネットコムBlog
The Future (and the Past) of the Web is Server Side Rendering
DNS over HTTPS（DoH）の気になる Web Browser 実装を確認
[Rust] 高速キャッシュサービス Momentoを使ってみる | DevelopersIO
今年のオープンソース活動振り返り @ 2020
Flaskのローカル開発環境を構築してみた | DevelopersIO
日本語形態素解析 Web API のユーザ辞書機能で解析結果をカスタマイズ
任天堂Switchのフレンドのオンライン状態が変わったらLINE通知する
第59回 Fediverse入門―非中央集権型SNSサーバを作ろう！（1） | gihyo.jp
Pythonライブラリ 画質向上(超解像)：Real-ESRGAN｜KIYO