はてなブックマーク

Read this article in English. はじめに 見つけやすく、インストールしやすいソフトウェアパッケージは、開発者にとって使いやすいです。React、Ruby on Rails、Airflow のような有名な OSS は良い事例です。しかし、社内の非公開のコードは、企業秘密として世間から隠されることが多いです。権限を持っている人のみ見ることができて、オープンソースのように npm gem や pip で簡単にインストールすることもできません。 その結果、社内のコードがうまく再利用されなくなる（あるいはできなくなる）ことがあります。各チームはそれぞれ独立したコードベースを持ち、他のチームにコードを共有したくても、満足がいく解決策を導き出すことが難しかったりします。戦略を立てないままでは、それぞれの独立したコードベースを充実させ続け「社内共通のライブラリー」が遠い夢のよう

{ "id": "bbc16639-c082-47e8-b9c0-2d59579c7336", "first_name": "taro", "last_name": "momo", "lastLoggedIn": "2022-07-31T06:03:37+00:00", "email": "taro@example.com", "skills": [ {"name": "python"}, {"name": "golang"}, {"name": "英語"} ], "work_history": [ { "company": "ENECHANGE", "position": "Software Developer", "start_date": "2018-03-26", "end_date": null }, { "company": "Company Inc.", "position"

はじめに Strategyパターンは、オブジェクト指向プログラマーが全員が知っておくべき、強力なツールです。 うまく活用すると、プログラムはより柔軟になり、新しい機能を追加するために既存のコードを変更する必要がなくなるので、より変化に強くなります。 この記事では、Strategyパターンとは何か、どのような構造なのか、そして今すぐあなたのコードで使う方法を紹介します。 Strategyパターン 概要 Strategyパターンでは、同じインターフェイスを実装する交換可能な「アルゴリズム」をいくつか定義して、プログラム実行時に適切なアルゴリズムを選択します。 ここでいう「アルゴリズム」は「複数あるやり方の中の一つのやり方」という意味です。例えば、ファイルをアップロードする機能に例えると、S3 にアップロードするか、Google Cloud Storage にアップロードするか、あるいはローカル

はじめに HTTP API の開発における POST と PUT の使い分けは、言うまでもなくこんがらがりやすいところです。PUT メソッドをそもそも使っていない開発者も多いでしょう。しかし、使い分けをある程度理解することで、より表現力のある API 設計ができるようになります。 ここで POST と PUT の使い分けについて紹介します。 POST と PUT の違い POST と PUT の根本的な違いは、リクエストに同封されているデータの 意図 です。POST は、リソースの新規作成、バッチ処理開始、データの削除など幅広く使うことができます。それに対して PUT は、使い方がもっと限定的で、主に既存リソースを「置き換える」ために使われます。 POST POST リクエストを受付したサーバーは、送られたデータで 基本的になんでもしていい です。リソースを作成することも 201 (Cre

はじめに ワークフローを作成、実行、監視するためのプラットフォーム「Airflow」が、近年人気を集めていて、多くの企業に利用されています。Airflow Summit 2022 のようなグローバルイベントも開催されるようになり、世界中から2000人以上のコントリビュータ（私もその1人）が貢献しているアツいプロジェクトです。 この記事で Airflow を使う意味と主要コンセプトを説明します。最後に、100行未満で実装できる本格的なデータパイプラインの実例をお見せしたいと思います。 Airflowとは 概要 Airflowは ワークフロー を作成、実行、監視するためのプラットフォームです。ここで言う「ワークフロー」は、依存関係にある複数の タスク を、下図のように繋いだ形で、パイプラインとして実行していくものと思ってください。 Airflowを使うと、より早く、よりロバストなワークフローが

はじめに Airflow Summit は、Apache Airflow のユーザーと開発者のグローバルコミュニティのための年次イベントです。2022年は2回目の開催で、東京では実際に集まって講演を聴講する local event が行われました。 ここ数年、コロナ禍でイベントが一斉にオンライン化され、他の開発者とリアルで会う機会が少なかったので、いい気分転換でしたし、オフラインイベントに参加する重要さ を感じさせられました。開催は Tokyo Apache Airflow Meetup が行い、今後も Airflow に関するイベントを開催していくそうなので、少しでも Airflow に興味があればご参加ください！（僕が会いたい！） 当日の流れ エリア/施設 開催地は品川区にある大崎ブライトコアホールでした。朝から気温と日差しが厳しく、マラソンでもしてきたような汗を掻いた状態で入り口にた

【実例】time.sleep 不要 | Python の ThreadPoolExecutor で同時実行可能なタスク数を制御する方法Pythonスクレイピングscrapingセマフォconcurrent.futures たくさんのI/Oバウンドワークロードを実行するために concurrent.futures.ThreadPoolExecutor を使う方が多いかと思いますが、同時に実行できるタスク数を制限するパラメータはありません。システム要件として「最大 N タスクまで同時に実行可能」という風に実装する必要があった場合、セマフォという選択肢をおすすめしたいです。 セマフォは、限られた容量のリソースへのアクセスを制御するためによく使われるもので、Pythonの標準 threading モジュールに Semaphore と BoundedSemaphore の2つの実装があります。 挙動