# Event https://www.meetup.com/tokyo-dbt-meetup/events/287833176/ Tokyo dbt Meetupについて データを扱うすべての人が参加できるネットワーキングイベントです。トークは主にコミュニティメンバーのdbtの経験に焦点を当てていますが、アナリティクスエンジニアリング、データスタック、データマネージメント、モデリング、テスト、チーム構造など、より幅広いトピックに関するプレゼンテーションを聞くことができます。
HA構成(高可用性構成)とは、可用性が高められたシステム構成 のことを指します。HAは High Availability の略で、エッチエーと発音します。 この「可用性が高められたシステム構成」というのは、利用者に対して、システムの機能が、利用できる状態を維持するための対策が施されたシステム構成のことです。 単に障害が起こらない様にする技術ではなく、障害が発生した場合にもシステム停止を最小限にし、安定した稼働を継続するための構成のことです。 なお、構成には、Active-Activeや Active-Standby(Active/Passive)、Cold Standby などがあります。 可用性を高める要素と技術
HA構成(高可用性構成)とは、可用性が高められたシステム構成 のことを指します。HAは High Availability の略で、エッチエーと発音します。 この「可用性が高められたシステム構成」というのは、利用者に対して、システムの機能が、利用できる状態を維持するための対策が施されたシステム構成のことです。 単に障害が起こらない様にする技術ではなく、障害が発生した場合にもシステム停止を最小限にし、安定した稼働を継続するための構成のことです。 なお、構成には、Active-Activeや Active-Standby(Active/Passive)、Cold Standby などがあります。 可用性を高める要素と技術
こんにちは。 自分でECSとか触って開発することになったので、そのやり方とかまとめておこうと思います。 ECSとは AWSのコンテナ管理のマネージドサービス。ぐだぐだ私が説明するよりも、ぶっちゃけ世の中に良き記事が出すぎて、改めて書く必要もなし。 AWS Black Belt Online Seminar 2016 Amazon EC2 Container Service from Amazon Web Services Japan www.slideshare.net 最初は、言葉が多くて、面食らうんで、忘れやすい私のためにメモ。 用語 意味 Cluster Container Instanceの集合体。複数のサービスを管理する ECS Instance ECSが稼働するEC2インスタンス Service 複数のタスク定義と紐づけて、管理するもの Task Definition タスクに
どーもsutoです。 最近データ分析や機械学習のワークフローやバッチジョブのためにAirflowを勉強しています。また検証環境の構築に、AWSのマネージドサービスとしてリリースされたAmazon Managed Workflow for Apache Airflow(MWAA)を触っています。 MWAAの特徴や料金の概要については以下のブログがわかりやすいです。 しかし、構築した環境は時間で課金され、Webサーバ用インスタンスも一時停止できる機能はありません。(本来の運用では24時間稼働しておくものだから当然ですけどね) 料金体系も最小構成で「$0.49/hour」なので、環境を作っただけで放置しておくと決して安くはない費用が発生します。 毎日の業務で使用するわけではないので、検証で使用する時のみ環境を立ち上げ/削除を行っているのですが、手動でやるのはさすがに手間になるので、必要なリソース
AWSのマネージドAirflow、Amazon Managed Workflow for Apache Airflow(MWAA)が登場! こんにちは。サービスグループの武田です。ETL処理などのワークフローを実行するツールとして人気のあるApache AirflowがAWSのマネージドサービスとして登場しました! こんにちは。サービスグループの武田です。 本日朝イチで飛び込んできたニュースをお届けします。ETL処理などのワークフローを実行するツールとして人気のあるApache AirflowがAWSのマネージドサービスとして登場しました!GCPにはCloud Composerというマネージドサービスがあったのですが、AWSには存在しませんでした。re:Invent 2019で発表されないかな、と昨年も期待していたのですが、なんと今年のre:Invent 2020を目前にしてリリースされま
はじめに リプレイスの背景 旧ETL基盤の構成 課題感 転送時間 コスト 汎用性 新ETL基盤 構成 Step Function AWS Glue Job AWS Lambda 成果 転送時間 コスト 汎用性 まとめ はじめに こんにちは!スマートキャンプエンジニアの中田です。 直近で、BOXIL SaaSのDBのデータをBig Queryへロードするために利用していたETL基盤をリプレイスし、運用コスト・転送時間を改善しました。 旧基盤 新基盤 運用コスト(料金) 約 $750/月 約 $70/月 転送時間 約 1時間 約 10分 本記事では、そのリプレイスの背景や内容についてお話できればと思います。 リプレイスの背景 旧ETL基盤の構成 弊社のデータ分析基盤はもともと以下の画像のような構成になっていました。 データ分析基盤の構成 今回リプレイスしたETL基盤は、画像真ん中あたりに位置す
はじめに 初めまして。エンジニアの有山と申します。普段は主にデータ分析基盤の開発、運用、およびウェルスナビのサービス基盤全般に関わる業務を担当しています。 今回の記事では、主にデータ分析基盤の設計や主要な技術に興味関心のある方を対象に、ウェルスナビで構築しているデータ分析基盤のご紹介と、Digdagを使用して構築したデータパイプラインの性能改善について解説していきます。 ウェルスナビのデータ分析基盤 ウェルスナビでは、データドリブンなサービス改善を行うため、社内にデータ分析基盤を構築しています。この基盤はマーケティング施策などに利用され、社員は必要なデータにアクセスしてPDCAを効率的に回せるような環境*1が整っています。技術スタックとしては以下のような技術を使用しています。 役割 サービス インフラ Amazon EC2, ECR, ECS DWH Bigquery ワークフロー Dig
概要 Pythonのワークフロー管理ツールであるAirflowをローカルPCで立ち上げまで行う。 Airflowとは はじめにAirflow とは何かを説明する。 正式名称: Apache Airflow Airflowとは、Airbnbではじめ開発がスタートされた一連のタスクフローを管理できるOSSのPythonフレームワークである。 もとは、FaceBook社内で使われていたDataswarm(コード非公開)と呼ばれるワークフロー管理ツールの開発者、Maxime BeaucheminがAirbnbに移った後、開発を始めたソフトウェアであるためその時の名残が大きいようである。 各Taskは、Digというファイル内で記述され、一連のワークフローの依存関係もファイル内にPythonコードとして定義する。 OSS自体もPure Pythonで書かれている。 GUIツール上からワークフローの設定
問題:Airflowのwebserverコンテナーが起動できない 上述の操作を行うと、一見動いているように見えますが、 http://localhost:8080 にアクセスしても反応が返ってきません。 docker ps を数秒おきに実行してみると、webserverコンテナーが終了と再起動を繰り返していることが確認できます。 docker run puckel/docker-airflow:latest webserverで直接webserverコンテナーを立ち上げてみましょう。 以下のエラーによって起動が失敗していることがわかります。 DB: sqlite:////usr/local/airflow/airflow.db [2021-02-07 13:58:14,562] {{db.py:368}} INFO - Creating tables INFO [alembic.runti
概要 Airflowとは、ワークフローエンジンの1種。 実行するタスクの依存関係をDAGを定義し、スケジュールや監視を設定したりしてタスクを実行させる。 Airflow Guides ( https://github.com/astronomer/airflow-guides ) 公式ドキュメント( https://airflow.apache.org/docs/stable/ ) GCPではAirflowのマネージドサービスであるCloud Composerというサービスが存在する。 Cloud Composerを手軽に利用するには、コストがかかるので、Docker(docker-airflow)を開発では利用する。 ※この記事では、Airflowの起動までを記載しています。 アーキテクチャ 引用: https://github.com/astronomer/airflow-guides
今、airflowが熱いらしいです。 そこら編の解説は他の有用や記事に任せて、とりあえずチュートリアル動かしてみた備忘録を残しておきます。 AWS環境 Amazon Linux 2 セキュリティグループは sshの22番 ウェブコンソールの8080番 を開けておきます 大体チュートリアル見てやればうまくいきますが、ちょっとつまづきました。 何をどう見てこうなったかはもはや忘れましたが、ググりまくれば行けるはずです。 これがいいのかはわかりませんが、とりあえず動きます。 Quick Start — Airflow Documentation Dockerとかもあるみたいなので、環境構築面倒くさいなってなったらそっちをやってみてもいいかもしれません。 以下、ターミナルから $ sudo su - # とりあえず諸々インストール yum install -y sudo python3 gcc g
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon MWAA ネットワークアーキテクチャ 次のセクションでは、Amazon MWAA 環境を構成する主要なコンポーネント及び、各環境がそのリソースを管理し、データの安全性の確保、ワークフローに対する監視と可視性を提供するために統合される AWS のサービスセットについて説明します。 スケジューラー — すべての DAG を解析及び監視し、DAG の依存関係が満たされた場合に実行するタスクをキューに入れます。Amazon MWAA は、スケジューラーを少なくとも 2 つのスケジューラーを持つ AWS Fargate クラスターとしてデプロイします。ワークロードに応じて、スケジューラーの数を最大 5 つまで増やすことができます。Amazon MWAA 環境クラ
ライフワーク(&将来の仕事)としている野球データ分析の基盤をAirflow + Docker他で作りました. このハナシはkawasaki.rb #051 5年目突入LT大会で披露したLTの続きであり, PyConJP 2017のトークネタ「野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築」のメインテーマ「分析基盤構築」の主軸となるハナシでもあります. 要約すると データ集め→前処理→データベース化の流れはAirflowを使うといい感じに実現できる. Airflowは高機能だが導入と運用に一手間かかる→困った→そうだ!Docker Imageにしちゃえ!→楽になったぞ! そんなAirflowのDocker Imageとコードを公開したので気になる方はぜひ使ってほしい&PRとかいただけるとうれしいです. このエントリーの対象読者 データを集めて分析するお仕事・趣味をし
個人的な勉強でAirflowを実装したので、その時に気づいたことを書きます1。 同じような問題ではまった人が減れば幸いです。 前提 LocalExecutorを使う MySQLコンテナーとAirflowコンテナー AirflowからRedshiftにアクセス Dockerイメージ python:3.7.7ベースでairflow==1.10.10をインストール Dockerfileを自分で書いてみるため ついでにentrypoint.shも 学習目的なので、puckel/docker-airflowは遠慮したい めちゃくちゃ参考にはする 公式Dockerイメージのmasterやlatestはバージョンが2.0で開発版2 AIRFLOW_EXTRAS airflowを拡張するためのプラグインで、MySQLなどのDB系からGCPへのアクセスなどがある。 公式のDockerfileでは以下の通り、
こんにちは,NTTドコモ入社4年目の石井です. 業務では機械学習を用いたレコメンデーション機能の開発に取り組んでいます. 4日の記事では本業務とは直接的には関係ないですが,最近ではDevOpsと並んで盛り上がりを見せているMLOpsの領域から実行サイクルを円滑化してくれるワークフローエンジンである Airflow を用いたパイプライン実行について紹介します. はじめに 最近ではCI/CDと行った技術はソフトウェア開発の現場では当たり前のように活用されていると思いますが,機械学習における継続的デプロイは明確なベストプラクティスがまだ定義されておらず,各々の置かれている状況や環境に応じて様々な形をとっていると思われます.特に研究開発の部署では議論の中心はモデリングになってくるため学習モデルの管理や継続的デプロイについては優先度が下がってしまうのが現状です. 一方でGoogle社が2015年に投
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で、ローカル上に Airflowの環境を構築したが、 いつの間にか環境がぶっつぶれた。 どうせなら、Dockerでやってみようと思ったので、メモ。 目次 【1】前提条件 【2】構築環境例 【3】構築手順 1)docker-compose.yml のダウンロード 2)インストール前の下準備 3)airflow-initを実行 4)airflowを起動 5)確認 6)後片付け 【1】前提条件 * Docker がインストールされていること * 以下の関連記事を参照のこと。 Docker Desktop / WSL2 ~ Windows / 環境構築編 ~ https://dk521123.hatenablog.com/entry/2020/12/08/165505 Do
データアナリティクス事業本部のnkhrです。タイトルの通りApache AirflowのQuickStartをやってみたブログです。 Quick Startでは、以下の2つの実行方法を試すことができます。 Running Airflow locally Running Airflow in Docker 本ブログでは、1のQuickStartを手順に従ってEC2上で実行するCloudformationコードを作成し、動作を確認します。 1のQuick Startの構成では、DBとしてサーバ上のSqliteを利用し、タスク実行はSequential Executor(ユーザが1度に実行できるタスクが1つのみ)を利用しているため、Test利用を想定しています。Production環境で利用する場合は、Databaseを別に構成し(RDSなど)、ExecuterはLocal Executor(シ
Apache Airflowはワークフローのスケジューリングやパイプラインの可視化などを行うOSS。 スケーラブルで豊富な機能を持ち、 リポジトリに含まれている AWS や Slack といったサードパーティの Providers packages に加えて、 自前の Operator を実装して拡張できるようになっている。 Airflow の起動 docker-compose.yaml をダウンロードしてくる。 $ curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.4.3/docker-compose.yaml' $ cat docker-compose.yaml ... x-airflow-common: &airflow-common image: ${AIRFLOW_IMAGE_NAME:-apache/airf
目的 Djangoでデータベースとやり取りする際に、ORMを使うことが多いかと思います。 ORMは非常に強力ですが、場合によってはレスポンスタイムの悪化を引き起こすことがあります。 今回はその原因となる「N+1」問題についてと、その解決方法を示します。 N+1問題とは データベース上のデータを取得する際に発生する性能の問題です。 一般的に、1つの主データに対して、それに紐づく複数のデータを取得する場合、1回のクエリで主データと全ての紐づくデータを取得することが望ましいとされます。 しかし、ORMを使用した際に、1つの主データに対して、それに紐づく複数のデータを取得する際、1つの主データに対して1回のクエリを発行し、その紐づくデータを1つずつ取得することがあります。 結果 「主データ(1) + 紐づくデータ数(N)」 の数だけクエリが発行され、性能劣化を引き起こします。 N+1問題とは 主デ
はじめに 多くの業務に関するドキュメントは、オンライン上で管理して、許容される範囲内で誰でも閲覧できるようにしたほうがいいと思っています。 一方で、Slackで編集中の文章をうっかり投稿してしまうのを防ぎたい。思考整理のためにとりあえずばばーっと書きたい。 そんなとき、ローカルでさくっと動かせるテキストエディタもよく利用します。 特に業務中はサクラエディタを愛用しています。 そのサクラエディタ、デフォルト状態からいくつか自分好みにカスタマイズしていますが、PCのリプレースなどのときに毎回やり方を忘れてしまい地味に時間がかかるので、自分への備忘を兼ねてまとめておきます。 最初にやること6つとは? ファイル名を指定して実行からサクラエディタを開けるようにする 複数ファイルをタブ表示する ファイルをCtrl+Wで閉じられるようにする 各種自動アクションを仕込む ファイル新規作成時の自動即時保存
はじめに 昨今の採用現場においてはソフトウェアエンジニアは売り手市場と言われ数年が経過していますが、2023年現在においても、デジタルトランスフォーメーションの加速により、これまでのIT企業の募集だけではなく、様々な企業がソフトウェアエンジニアを募集している状況にあると思います。 知り合いのリクルーターに話を聞くと、ここ最近米国のBigTech企業や、日本初のベンチャー企業のレイオフが目立ちますが、それはごく一部であり、多くの企業では引き続きソフトウェアエンジニアの需要は最も高く、この先10年以上はこの高い需要は続くだろうと言っていました。 引用元: 【2023年最新】厳選!エンジニア採用に強い15の採用媒体比較~最新市場動向や採用戦略も徹底解説 - type 私自身が就職した10年数年前は望んでソフトウェアエンジニアに就く人は理系出身のプログラミング趣向が強い人ばかりという印象でしたが、
最初に 皆さんはドキュメントとどのように付き合っていますか? 前職はベンチャー企業ではあったのですが、割とウォーターフォールに近く、決められた仕様を満たしていればOKというふうな感じだったので、 仕様書を書いて、エンジニア数人で仕様書レビューをして、OKが出たら実装して、テスト前にテスト仕様書書いてテスト仕様書のレビューして。。。というふうに開発を行っていました。 今はスクラムマスターがいる環境でアジャイルで開発を行っています。 ドキュメントに関しては特に決まりはなく、開発者が書いたほうがいいなと思ったタイミングで書かれています。 ドキュメントは必要だという話は良く聞くし、ただ毎回しっかりドキュメント書くのも結構大変だよな。。。 というふうに思っていて自分の中でいい落とし所があればいいなと思っていたのですが、 最近一旦その落とし所を見つけた気がしたのでこの記事を書いています! (アジャイル
はじめに エンジニアにとってエラーをどう解消するか、についての問題は永遠の課題と言えるでしょう。 普段は「なんとなく流れで」やっている方も多いかもしれませんが、その「なんとなく」を言語化した上で、フローチャート形式で見ていくことで そのフローチャートに沿ってやるだけで「自然とエラーを解決できる」方法を体系化したいという思いでこの記事を作成しました。 駆け出しエンジニアによくある「エラーばかりでよく分からない…」状態を、「なぜエラーが起きているのか」「原因はなんなのか」「どう解決していくのか」を言語化して説明していきます。 これを実践していくことでエラーが発生しても、自力でエラーを解決できる「自走できるエンジニア」になりましょう。 考え方の基本 では方法論を説明する前に、大前提となる考え方の基本をおさえていきましょう。 1.まずは冷静になる 動くと思って書いたコードを実行したら急にエラーが出
はじめに 今回は外部キーを張るときに最低限意識したいことについて書きました。 何か間違えがあったり、もっとこういうところも意識してますという人がいたらコメントお願いします。 この記事で伝えたいこと ①リレーションシップ先のデータを消したときに同時にリレーションシップ元のデータが消えても自然な状態を作る ON DELETE CASCADEをうまく利用できる状態を作る つまり親子関係を正確に表現する。 リレーションシップ先は親テーブル、リレーションシップ元は子テーブルを意味しています。 ②データを作成するときのことを考えてデータの生成順序がおかしくならないように外部キーを張る ③関連を表現するときに中間テーブルを利用したほうが良い場面がある 注意 下記【例を交えながら説明】の説明に出てくるテーブル設計に関しては、上記の【この記事で伝えたいこと】の①と②と③の項目に対して想像しやすいように、理解
「データ活用」をキーワードにネットで検索すると、導入したツールの成功事例の記事を よく見かけますが、「これからデータ活用を進めようとしている方」にとっては、 「どうやって導入するまでに至ったのか?」も気になるのではないでしょうか? そんな「これからデータ活用を進めようとしている方」に向けて 弊社におけるデータ活用を進めるまでの道のりを * 目的設定編 * 稟議決裁編 * 導入編 * 運用体制構築編 の全4回に分けてご紹介します。 「上手くいったこと」もあれば、「上手くいかなかったこと」もあるので、 ざっくばらんに書きたいと思います。 全4回のうち、本記事は「導入編」として、システム導入を進める上で困ったことと その対策についてご紹介したいと思います。 前提 「目的設定編」および「稟議決裁編」で記載した通り、弊社におけるお客様に関する 情報の活用は、Salesforceにデータを蓄積して、T
最近ちょうぜつソフトウェア設計入門――PHPで理解するオブジェクト指向の活用という本でデザインパターンの章があって、流石に最低限は覚えておかないと思ったのでメモ。 デザインパターンって何? デザインパターンは名前だけ知ってる状態な人のために軽く説明。 ソフトウェア設計でよく起きる問題に対する典型的な解決方法のこと。以下の特徴があります。 実装方法が決まっているアルゴリズムと違い、パターンの指針に従い自分で実装する必要がある。 実証・テスト済み 〇〇パターン使っているよ!と他人に伝えるだけで意思疎通しやすくなる 今回紹介するデザインパターンについて refactoring.guruで上げられているパターンのうち、星が3かつ簡単なものを中心とした TypeScriptではあまり使われないもの/アンチパターンとされているものについては外している 10個も紹介したところで一気に覚えられないというこ
前振り 全国の暗号を使うエンジニアの皆さんこんにちは。今日は暗号移行とRSA暗号の話をしたいと思います。まず暗号を利用している皆さんであればCRYPTRECの「電子政府推奨暗号リスト」のことはご存じですよね!(言い切るw) CRYPTRECから2022年7月(昨年夏)に暗号強度要件(アルゴリズム及び鍵長選択)に関する設定基準(PDF直リンク)が公開されました。この中では暗号のセキュリティ強度で各種暗号と鍵長が整理されています。セキュリティ強度はビットセキュリティと呼ばれるビットサイズ(共通鍵暗号の場合のビット長)で区分されます。暗号アルゴリズムが違ってもセキュリティ強度で比較ができるということですね。例えば現在一般的に良く使われているセキュリティ強度は112ビットセキュリティが多く、これにはデジタル署名であればRSA暗号の2048ビットやECDSAのP-224等が含まれます。今日は公開鍵暗
はじめに Apple Developer Enterprise Programの更新がほぼほぼの企業でできなくなり 一般企業でのin houseなどの配信が難しくなりました。 ただ、テスト端末へのアプリ配信はアプリのデバッグ用に必要のため アプリ配信などで現状使用している配信手段を整理してみます ※Apple Developer Program については加入前提としています Test Flight Apple公式の配信手段で、AppStoreConnectにアプリを作成しArchiveしたビルドデータをストアに送ることで使用可能 公式だけあり、クラッシュを含む機能が便利 また審査も入るため、ストアリリース前にリジェクト内容があった場合の確認が可能 メリット Apple公式の配信手段 Storeにデータをアップロードすることで使用が可能 ストア未公開状態でも使用可能 ストアリリース前にリジ
エイチ・アイ・エスは、「宇宙の入り口」(高度約30kmの成層圏)までの旅を1月18日から販売する。宇宙ベンチャー企業の米Space Perspectiveが運用する高高度気球「Spaceship Neptune」(スペースシップ・ネプチューン)を利用した旅行プラン。料金は1人当たり12万5000ドル(1ドル=129円換算で、約1607万円)の他、手配料金として55万円などが必要。
長時間座りっぱなしで作業をすると、一日中体を動かしている人よりも、糖尿病や心臓病、認知症などを発症する健康リスクが増加することが従来の研究で報告されています。最新の研究では、長時間座っていることによる健康への悪影響を軽減するために、30分ごとに5分間の軽いウォーキングをすることが推奨されています。 Breaking Up Prolonged Sitting to Improve Cardiometabolic Ris... : Medicine & Science in Sports & Exercise https://journals.lww.com/acsm-msse/Abstract/9900/Breaking_Up_Prolonged_Sitting_to_Improve.200.aspx Sitting all day is terrible for your health –
Amazonが同社が提供する電子書籍サービス「Kindle Unlimited」を通じて購入した電子書籍に対していくつかの変更を加えたことを発表し、Kindle Unlimitedの電子書籍をUSB経由でダウンロードすることができなくなっています。 Amazon is no longer allowing downloading Kindle Unlimited titles via USB - Good e-Reader https://goodereader.com/blog/kindle/amazon-is-no-longer-allowing-downloading-kindle-unlimited-titles-via-usb これまで、Kindle Unlimitedの電子書籍はAmazonのメニュー内に存在する「コンテンツと端末の管理」からUSB経由でダウンロードすることが可
去年、公開された映画の中からその年を代表する作品を表彰する「キネマ旬報ベスト・テン」が1日発表され、日本映画の1位に三宅唱監督の「ケイコ 目を澄ませて」が選ばれました。 「キネマ旬報ベスト・テン」は映画専門誌の「キネマ旬報」が主催する日本で最も歴史がある映画賞で、映画評論家などがその年を代表する映画を投票で選びます。 96回目となる今回は、3年ぶりに観客を入れて1日、受賞の発表と表彰式が行われ、去年公開された映画のうち、日本映画や外国映画など部門ごとの1位の作品と個人賞が発表されました。 このうち日本映画では、聴覚障害と向き合いながら女子ボクシングのプロボクサーとしてリングに立ち続ける女性を描いた三宅唱監督の「ケイコ 目を澄ませて」が1位になりました。 「読者選出日本映画監督賞」にも選ばれた三宅監督は表彰式で「シナリオを書いていた時期はまだ映画館を開けられないような状況で、多くのスポーツ選
みなさん、引っ越されてから最初に苦労されることって何ですか? それは信頼できる病院探しだったりしませんか? 今回は特に、歯医者についてフォーカスしていこうかと思います。 ふだん当院の「産後の骨盤矯正コース」にいらっしゃるクライアントさんたちからも、頻繁に聞かれます。 「先生、このあたりで評判の良い歯医者さんってご存知ないですか?」 妊娠、出産を機に引っ越されてしまう方って本当に多いんですね。 そもそも産前産後って、虫歯になりやすいもの 妊娠中から産後にかけての時期は、非常に虫歯が出来やすいタイミング。 ホルモンバランスと食習慣の変化、またはストレスの影響を受けることで口腔衛生が著しく悪化してしまうのです。 もし、ご興味があれば、こちらのブログで詳しく説明しています。 noda-ogikubo.jp いきおい育児休暇中の方々は、職場復帰前に歯のメンテナンスをすることになるのです。 何をしても
みっかかん @ramenzuki_ カフェで勉強してたらマーカー引いて勉強してるのって馬鹿そう!後で見返さないのに🤣って大学生っぽい二人組に聞こえるように言われた。私は馬鹿だけど馬鹿なりに勉強してるし、向こうのほうが勉強できるかもしれないけど、目の前で人を馬鹿にできるぐらい心に余裕なくて可愛そうだと思った。 pic.twitter.com/FH08ebWiX3
はじめに 2023年2月3日、Apple が新型の MacBook Pro / Mac mini を発売しました。 おもわず財布の紐が緩んでポチってしまった方も多いと思います。 そこで、Mac を買ったらやっておきたい初期設定を記事にまとめました😀 参考:おれのおれによるおれのためのMacおすすめ設定 Chrome のインストール まず最初に Chrome をインストールし、アカウントにログインします。 初期設定の過程でいろいろと調べものをしたり、Google ドライブに保存しておいた設定ファイルなどを取り出したりしたいからです。 システム設定関連 1. 入力周りをカスタマイズする これから設定を進める上で、入力でモタつくとイライラするので、まずは入力周りをカスタマイズします。 トラックパッドを最適化 システム設定 > トラックパッド > 軌跡の速さを最速にします。 同時にタップでクリッ
はじめに 2023年になって日が経ってしまいましたが、今年も深層学習の個人的ハイライトをまとめたいと思います。今回は研究論文5本と応用事例4つを紹介します。他におもしろいトピックがあれば、ぜひコメントなどで教えて下さい。 AIの研究動向に関心のある方には、ステート・オブ・AIガイドの素晴らしい年間レビューもおすすめします。また、私が過去に書いた記事(2021年、2020年、2019年)もよろしければご覧ください。 * 本記事は、私のブログにて英語で書いた記事を翻訳し、適宜加筆修正したものです。元記事の方も拡散いただけると励みになります。 ** 記事中の画像は、ことわりのない限り対象論文からの引用です。 研究論文 Block-NeRF: Scalable Large Scene Neural View Synthesis 著者: Matthew Tancik, Vincent Casser,
こう話始めるのは変な感じだけど、つい最近まで歯医者に行けなかった。 特に学生の頃は、自分の意思で歯医者に通えなかった。今でもある程度そうだけど、あの頃は生活の細かい問題を先延ばしにする癖があった。 当時は電話をするのも怖かったし、前もって予定を決めて予約をするのもできなかったから、本当に歯が痛くて困ったときなどは予約なしで行ける歯医者に行っていた。ホームページもなく、寡黙な男性歯科医が自宅を兼ねた歯科医院でワンオペで治療をしているようなところだった。 耐えられない問題はなんとか治療してもらい、ギリギリ耐えられる問題は無視して先送りにした。 先延ばしにする癖だけでなくて、歯科治療に恐怖心があったことも歯医者に行けない理由だった。意識的なレベルでも無意識的なレベルでも歯医者への恐怖の存在が大きかった。 もっと子供の頃 もっと子供の頃、親に車で連れていかれた歯医者で、あまり麻酔が効かず、前歯から
今日、35歳になった。 予定より5年も長生きしている。 27ぐらいになったらニートになって、そのあと創作活動に打ち込み、失敗したらそこで死ぬ予定だった。 27にニートになる所までは予定通りだったが、創作活動は3ヶ月ぐらいで行き詰まって気付いたらずっとゲームをしていた。 どうせならゲームやりまくって死ぬかと思っていたが、更に3ヶ月ぐらいでゲーム三昧にも飽きた。 年齢的にまだまだ準第二新卒ぐらいの立ち位置で就活が出来たので就活をし、結局ニート半年・就活生半年で社会人に戻っていた。 そこからダラダラ生きながらどこかで「でも予定だと死んでたし、また金溜まったらニートに戻って死ぬか」と思って暮らしていた。 そこから7年働いて、まあ2年ぐらいならまたニート出来るぐらいの金は溜まっている。 この年齢で2年ニートしたら日本での再就職は厳しいだろうな。 そもそも創作意欲がもう何も残ってない。 どうでもいい。
北朝鮮を実際に旅してみたら、意外と「普通の国」だった。 北朝鮮のごく平凡な風景と、ごく平凡な日常を見てきたときの話。 北朝鮮を「普通に」旅行したい 私はtwitterで鉄道マニア33人を集めて北朝鮮を旅行したことがある。2016年3月、大学の卒業旅行のことだった。 あれから3年が過ぎ、時は2019年になった。私は再び北朝鮮に行きたいと思っていた。だが、私はもう仕事を始めており、さすがにもう一度33人も集めるような体力も気力もなかった。 なので、今回は見知った友人6名だけを連れて行くことにした。前回33人も連れて行ったのは旅行代金を割安にするためだったが、実のところ33人でも6人でもさほど代金は変わらなかった。最初からこの人数でもよかったな、と思わなくもなかった。 旅行の申し込み先は前回と同じ中国の代理店にした。あれから3年以上経っていたが、担当者も社長も私のことを覚えていてくれた。というか
「一発、裏ドラ、赤は麻雀を運ゲーにしたのか?」......の話の前に、まず「運ゲー」とか「競技性」とかって何やねんって話 皆さん、麻雀打ってますか? 「Yes」と答えてくれた方々の大部分は、おそらく赤有りルールで麻雀を打っていることでしょう。 巷の雀荘のフリールールで赤の入ってない店とか今どき皆無に等しいでしょうし、人気ネット麻雀の雀魂、天鳳でも段位戦は赤有りオンリーです。天鳳も昔は赤無し卓があったように記憶していますが、いつの間にか無くなってますね。 今どき赤無しルールで麻雀が打たれているのは仲間内のセットかプロ団体による競技麻雀か、客層がご年配に偏ってる健康麻雀ぐらいでしょう。 で、なんですけど、麻雀やってると定期的に議論になるお話として「赤有り麻雀とか運ゲーじゃん」ってのがありますよね。皆さんも一度は触れたことがあるのでは無いでしょうか? 実際に人と議論したことは無くっても、麻雀打ち
はじめに おはようございます、もきゅりんです。 ローカル環境などで docker-compose.yml で実行させていたアプリを Amazon ECS (以下、ECS) で動かしたくなることもあると思います。 ということで、docker-compose.yml で実行させていた uWSGI, Nginx, Flask アプリを ECS(Fargate) に移行しようと思いました。 下記ブログのように docker compose コマンドを使って、docker-compose.yml を使って直接 ECSを構築するのではなく、これまで通りのECSクラスターを構築するやり方です。 Docker ComposeによるAmazon ECS対応がGAに!コンテナをローカル環境と同じノリでECS環境で起動できるぞ!! | DevelopersIO 本稿では、基本的にコンソールを使って構築していきま
ECS CLIというECS専用のCLIツールが先日、発表されました(AWS CLIのECS対応という話ではなく、ElasticBeanstalk用のebコマンドがあるようなイメージと似ていると思います) このツールの最大の利点としてはDockerComposeで作成したdocker-compose.ymlがECSでも使えるよ!という所だと思います。 自分はDockerComposeを使った事がなかったので、初めにDockerComposeの公式チュートリアルをローカルで試しつつ、その後、ECS-CLIを使ってローカルで作成したものをAWSのECSにデプロイしてみたのでメモ。 結論 ECS-CLIを使う事をで簡単にDockerComposeで作った環境をAWSにデプロイできる コマンドはdocker-composeに似ているので覚えやすい ECS-CLIでbuildディレクティブは現在使えな
この記事はdbtアドベントカレンダーの23日目です。(すみません!遅刻しました!) はじめに dbtのプロジェクトやモデルをジョブスケジューリングして実行するには、いくつかの選択肢がありますが、特にdbt Coreを使われている場合はApache Airflowを利用されていることが多いように思います。 AirflowはOSSのワークフロー管理ツールで、Pythonによる容易なワークフロー(DAG)の定義とGUIによる管理のしやすさにより、データエンジニアリング界隈で大変人気があります。実行環境としてもDockerコンテナによる分散実行が可能であり、そのスケーラビリティが魅力的です。 ただ、OSSであるため、スケーラブルな環境を自力で構築するのは多少手間がかかってしまいます。そのため、ちょっとした操作でAirflow環境をシュッと立ちあげてくれるマネージドサービスが重宝されます。GCPの「
注:本記事は(2021年9月9日)に公開された(Migrating Airflow from Amazon EC2 to Kubernetes)を翻訳して公開したものです。 Snowflakeのデータエンジニア、データサイエンティスト、およびデータアナリストは、情報に基づくより効果的な意思決定を下すため、また会社の戦略を推進するアナリティカルインサイトを提供するため、さまざまに設定されたスケジュールで実行される多様なETLおよびELTデータパイプラインを構築し、情報を集めています。これらのパイプラインをうまく稼働させ、設定されたスケジュールどおりにデータを提供するには、信頼性が高く、効率的で、確実なワークフロー管理システムが不可欠です。 当社のデータチームは非常に部門横断的で、財務、セールス、マーケティングIT、プロダクトといったさまざまな分野に属する開発者が、パイプラインに関して単一のモ
Apache Airflow 2.2.3 Airflowとは Apache AirflowはAirbnbのMaxime Beauchemin氏によって開始されたPython実装によるJob管理ツールで、ワークフローをプログラムで作成/スケジューリング/監視するためのプラットフォーム。 AirflowではJobの実行順だったり、依存関係のワークフローはDAG(Directed Acyclic Graph)へ定義する。 アーキテクチャ Airflowは下記のコンポーネントで構成される。 スケジュールされたワークフローのトリガーと、実行タスクをExecuterの送信するためのScheduler。 実行中のタスクを処理するExecuter。デフォルトではスケジューラ内ですべてを実行するが、本番環境に適したExecuterはタスクの実行をWorkersにプッシュする。 DAGおよびタスクの動作を検査
ローカル環境に Airflow をインストールします。 Installation from PyPI 環境 Ubuntu 20.04.4 LTS (WSL2) pyenv 2.3.1-20-g572a8bcf Python 3.7.13 Apache Airflow 2.3.2 Poetry で管理できれば、と思いましたが、未サポートとのことです。だとしても利用できないことないだろ、と思って少し試してみたのですが、すごく面倒そうだったので、素直に pip 経由でインストールしています。 While there are some successes with using other tools like poetry or pip-tools, they do not share the same workflow as pip - especially when it comes to c
概要 Windows11において Windows Subsystem for Linux 2(以下WSL2)Docker Desktop for Windows(以下Docker)Visual Studio Code(以下VSCode)GitHub を導入する手順を解説します。 導入手順 WSL2の導入 BIOSのCPUの仮想化設定の有効化 WSL2を導入する前にBIOSからCPUの仮想化設定を有効にする必要があります。 BIOSから設定変更する手順はCPUとマザーボードによって異なりますが、 筆者が使用しているASUSのマザーボードでは、 Advanced Mode > Advanced > CPU Configuration > Intel Virtualization Technology から設定することができました。 仮想化が有効になっているかどうかは、タスクマネージャーの パフ
やったこと Gitで試したいことがあったので、Dockerコンテナ内にGitHubとの接続ができるGit環境を構築した。 また、コンテナを再作成しても、GitHubとの接続設定を引き継げるよう工夫したdockerfileを作成した。 作業内容 sshキー作成用コンテナの準備 Git環境を構築するコンテナの作成前に、GitHubとの接続用sshキーを作成します。 ちょっといい方法ではないかもしれませんが、コンテナを作成しなおすたびに、GitHubへsshキーを登録しなおさなくて済むよう、sshキーを先に作成し、コンテナ作成時に追加することでキーを使いまわします。 まず、ホストOSにてsshキー作成用コンテナを作成し、中に入ります。
はじめに Dockerが世に登場してはや5年が経ちました。 で、環境構築するたびに、はてDockerどうやってインストールするんだったかなとググるわけです。 すると、だいたい docker をインストールする方法と docker-ce をインストールする方法が出てきてしまい、どっちだよ!ってなるわけです。 ってことで、調べてみました。 Dockerの誕生 Dockerは2013年に爆誕したようです。 Dockerの歴史から紐解く、コンテナ型仮想化の「今まで」と「これから」 で、この時は普通にdockerと呼んでいて、例えばCentOS7にインストールする時は、 ってやってたわけですね。 Docker-CEの登場 ところが、2017年DockerはCE(コミュニティエディション)とEE(エンタープライズエディション)2つのソリューションの提供を開始しました。 Docker v17.03がリリ
ポートフォワーディングとは ポートフォワーディング: インターネットから特定のポート番号宛にパケットが届いたときに、あらかじめ 設定しておいたLAN側の機器にパケットを転送する機能です。 ※引用元:https://www.itbook.info/study/nat6.html ポートの紐付けというイメージ 仮想環境で開発をする場合、このポートフォワーディングが必須となると思いますが、今回はDockerを例に少し解説します。 ※今回はポートフォワーディングについてDockerをもとに話すため、Dockerについては解説しません。 Dockerイメージ 概要 スクリプト Go言語で作成 Dockerfile golangのベースイメージを使用 挙動 コンテナを実行したら「start server」と出力 HTTPリクエストに対し、リクエスト側に「Hello Docker!!」と出力、リクエスト
Docker Desktopは普段使いのマシンでコンテナーでアプリケーションを実行することができるソフトウェアで、Dockerのサイトからダウンロードして使うことができます。 開発中のアプリケーションのテストとか、手元の環境でソフトウェアを動かしてみたい時に便利です。VSCodeとの連携もバッチリで、VSCodeコードでコーディングしたアプリケーションをDockerコンテナーで実行するDevContainerにも対応しています。最近のバージョンでLinux Desktop版も提供されるようになったので、もちろんパソコンは必要ですが、Linux DesktopにDocker Desktopをインストールすれば、ほぼ無料でコンテナーベースのアプリケーション開発が可能になります。 良い世の中になりました。 そんな便利なDocker Desktopですが、Dockerの方針変更で次の条件に当てはま
こんにちは、freee Developers Advent Calendar 2022 6日目の記事です! 本日はサービス基盤の yoko がお送りします。 まえがき:Mac と Docker コンテナ型の仮想環境を高速に作成・起動できる技術として有名な Docker ですが、コンテナという隔離された環境を作るために Linux カーネルの機能を利用しています。つまり、Docker は Linux という技術によって支えられており、そのままでは MacOS や Windows 上で実行することができないはずです。 しかし、僕たちは当たり前のように Mac や Windows で Docker を動かしています。Mac では Docker Desktop for Mac がよく使われていますね。 Docker Desktop for Mac は Linux VM を立ち上げ、VM上のコンテナ
はじめにこんにちは!DAAE 部の白木です。 AWS からリリースされたコンテナ環境構築・管理ツールの Finch を試してみました。 この記事では Finch を使って以下の内容を紹介します。 インストール Hello world (finch run) 複数コンテナの起動とコンテナ間通信の確認 (finch compose) 設定確認と変更 (finch info) アンインストール Finch とは?ローカルマシン上でかんたんにコンテナ環境を構築でき、開発に利用できるツールです。 OSS のツール(Lima, nerdctl, containerd, BuildKit)を使い Docker Desktop(と Docker コマンド)と同様にコンテナを使った開発環境の構築・管理ができます。 ちょうど 2022 年 10 月にDocker Desktop の Team プラン値上げ発表
はじめに 従来無料で使用できていたDocker Desktop(Docker Desktop for Windows、Docker Desktop for Mac)ですが、2021年9月1日に有料化され、2022年1月31日で有料化の猶予期間が終了しました。2022年2月1日からは一定規模以上の企業における利用は有料化され、Pro、Team、Businessといった有料プランを契約する必要があります。 このニュースが発表されて以来、Docker Desktopの利用者は、有料プランを契約してDocker Desktopを継続利用するか、別の代替手段を探すかを迫られ、多くの代替手段が検討・記事化されてきました。(Docker Desktopには特に不満が無かったので、有料プランが契約できるのであれば契約したいところですが) 私は普段Macを使用していますが、いくつかの代替手段を渡り歩いて使用
Docker Desktop の代わりになるかも。AWS が OSS として公開した「Finch」を使ってみた。AWSDockercontainerfinch 概要 2022/11/23 に唐突に公開された Finch なるOSSがAWSより公開されました。 どうやら、Docker Desktopの代わりとなりそうな、ローカルマシン上に仮想環境とコンテナランタイム、ビルドツールなど一式を楽〜に導入できるツールっぽいので試してみたという内容です。 Finchとは つい先日(2022/10/27)に、Docker社が、Docker の Team プラン、Business プランを値上げするニュースが発表された。期限も短く、急いで対応に追われた企業も多いのではないでしょうか・・・ まさかこのタイミングでという感じですが、AWS よりローカルマシン上に仮想環境とコンテナランタイム、ビルドツールなど
前提 はじめに virtiofsさっそく試す もうちょっとちゃんと計測してみる Named Volumeを試してみる まとめ 追記(超重要) 追記2 前提 特にVSCodeのRemote Containers使ってる人には耳寄りです。別に使ってなくてもMacでDocker Desktop使ってる人ならあてはまります。 あと、このポストはMacといってもM1 MaxなMacBook Proで確認したものです。なので同じMacでもIntel Macとかだと違う結果になるかもしれません。 また、ここで紹介しているものはまだExperimental(試験的)な機能なので不具合や問題を引き起こす可能性があります。なので試す方はその辺は承知の上で試してみてください。 はじめに さて、MacでDocker Desktopというと「遅い」というのがこれまでの常識。自分のように普段VSCodeのRemote
この記事は何か イメージやコンテナなどの基本からdocker-compose、docker-machine, docker swarmなどのDocker周りの様々な概念の全体像を整理して、Dockerの仕組みを理解するための記事 前編では「コンテナ、イメージ、DockerHubでのイメージ共有」について書いて行きます。 対象読者 ・Dockerって何? ・Dockerちょっと勉強したけどDocker compose? Docker machine? Docker Swarm? 色々ありすぎて意味不明 という方 Dockerとは何か Docker社が提供する「コンテナ型仮想化技術」 を実現するプロダクト 仮想化? PCやサーバといったマシンにインストールされているOS(ホストOS)の上に、別のマシンを仮想的に立ち上げる事 簡単に言うと「パソコンの中に仮想パソコンを起動する」のが仮想化です。
概要 - 自分でオレオレ hello-world イメージをビルド このチュートリアルは、hello-world イメージを自分でビルドする例を取り上げます。手を動かしながら、Docker イメージの仕組みや性質の理解を深めます。また、効率的な Docker イメージの作成や Dockerfile の活用を目指すための基礎のほか、(主に開発者向けには)マルチステージ・ビルドも学びます。 ポイントは、Docker イメージ(image)とは、Docker コンテナの実行に必要な概念としてのパッケージ(ファイルやメタ情報の集合体)であることです。仮想マシンイメージのように、実体としての1ファイルではありません。 そして、Docker イメージを構成するのは、抽象的なイメージ・レイヤ(image layer)の集まりです。レイヤとは「層」の意味で、Docker は複数のレイヤ上のファイルシステム
概要 この記事では、Mac で Docker Desktop から Rancher Desktop への移行について調査した内容をまとめます。 背景知識 なぜ Mac で Docker Desktop (or Rancher Desktop) が必要なのか? 語弊を覚悟で書くと、現状では Docker は基本的には Linux 上で動かすツールです。なので、Linux 以外の OS で Docker を利用するためにはなにかしらの方法で Linux を OS 上で動作させる必要があります。 Windows の場合は WSL という Linux カーネルを動作させる仕組みがありますが、Mac にはありません。 このため、Mac では Linux VM を立ち上げ、ホスト側で VM 上の /var/run/docker.sock をマウントし、このソケット経由で Docker デーモンに命令す
この記事は新野淳一氏のブログ「Publickey」に掲載された「Docker Desktop 4.16登場。AWSをローカルエミュレーションするLocalStackなど拡張機能が正式版。AppleシリコンMacでx86/amd64版Linuxバイナリの実行がβ版に」(2023年1月16日掲載)を、ITmedia NEWS編集部で一部編集し、転載したものです。 WindowsやMac、Linuxなどのマシンに対して手軽にDockerコンテナ環境を導入し、GUIで統合管理できるDocker Desktopの最新版「Docker Desktop 4.16」が正式リリースされました。 拡張機能が登場、AWSをローカルエミュレーションするLocalStackなど Docker Desktop 4.16では、サードパーティーがDocker Desktopの機能拡張を行える「Docker Extensi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く