TSKaigi 2024 ref: https://tskaigi.org/talks/tockn

毎朝、デザイン系の英語記事を10件ほどおすすめしてくれるSlackボットです。このボットは現在も問題なく稼働し続けていますが、毎朝のニュースは文字で読むよりも音声として聞いたほうが負担が少なく続けられそうです。 そこで、このSlackボットを拡張して、毎朝デザインニュースのポッドキャストを自動生成する仕組みを作ることにしました。 成果物はじめに成果物について。完成したポッドキャストは毎朝SpotifyとApple Podcastで配信しています。 おおまかな処理の流れ開発前に想定した処理の流れは以下の通りです。 毎朝ポッドキャストが自動で配信される理想的なフロー自分はコンテンツ制作者ではなく、あくまでリスナーというスタンスを取りたいため、ワークフローに自分が介在しない完全自動化が理想です。 ところが、Sound Cloud APIの利用に必要なアプリケーション登録の受付が現在停止しているこ

この記事はNuco Advent Calendar 2023の9日目の記事です。 はじめに この記事ではDockerで開発環境を行うために理解してほしい概念と実際の開発環境の構築手順について解説を行います。大きく分けて、 ・Dockerの概念理解 ・開発環境の構築 これらの章により構成されています。この記事を読むことで、Dockerファイル、イメージ、コンテナ、Docker compose、compose.ymlを理解できるようになることを目指しています。Dockerに触れてみたい、Dockerの理解があやふやという方は参考にしてみてください！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 Dockerとは まず、Do

設計者は分割が発生したとき一貫性と可用性のどちらかを選ぶ必要がありますが、分割の扱い方と分割の復旧には柔軟な対処方法があります。現在のCAPの目的は特定のアプリケーションが必要とする一貫性と可用性を最適化することでしょう。このような方法には分割発生中の計画や分割の復旧計画が組み込まれています。したがって、設計者はこのような方法を採用することで、従来受け取られてきたCAPの限界を超えてCAPについて考えることができます。 なぜ"3つのうち2つ"がミスリーディングなのか CAPを理解する最も簡単な方法は分割の両側にひとつずつノードがある場合を考えることです。片方のノードだけ状態を更新できるようにすると、2つのノードに一貫性がなくなります。つまり、Cが失われます。一貫性を維持しようとすれば、一方のノードは利用できない状態であるかのように動作しなければなりません。この場合、Aが失われます。一貫性と

なので Step Functions を使いましょうと言うお話です。 ある ECS で動いているバッチジョブの定期実行に EventBridge Rules を使って実装していたのですが、ある時ジョブがほぼ一定の頻度で失敗している事に気づきました。 AWS サポートに問い合わせると、今回のケースでは EventBridge Rules ではリトライできないので、 Step Functions を間に噛ませて下さいとご提案頂いたので、今回はその様にしました。 それでは以下経緯を交えながら実際のアーキテクチャをご紹介していきます。 構成 ECS クラスタは Fargate ではなく EC2 駆動Capacity providers を使って ASG (Spot Fleet は使っていない) をコントロールしているECS Task は普通のバッチジョブで、ワークロードが終わったら落ちるジョブの定

勉強前イメージ VPCの設定でエンドポイント設定できるって感じがする ただ、エンドポイントってなんだろう・・・ 調査 VPCエンドポイント とは VPCと他のサービス間の通信を可能にするVPCコンポーネント(仮想デバイス)です。 VPCエンドポイントを作成することで、VPC内のインスタンスとVPC外のサービスをプライベート接続で通信できるようになります。 セキュリティの問題でインターネットに接続せずにサービスと繋がりたいときに使用するものです。 VPCエンドポイントの種類 VPCエンドポイントは以下の2つの種類があります。 インターフェイスエンドポイント ゲートウェイエンドポイント 以下詳細に見ていきます インターフェイスエンドポイント こちらは PrivateLink と呼ばれるサービスを使って、各サービスを接続させることが出来ます PrivateLink の実体はVPC内のENI(El

AWS CloudFormation の参照周り(主に Ref や ImportValue ) で意識すべきポイントやTipsを主観で並べてみました。 目次 Ref を使う場面を把握する ImportValue を使う場面を把握する Ref と ImportValue の使う場面の違いを把握する Ref で何の値を返すか調査する GetAtt で何の値を返せるか調査する Outputsセクション で何の値を渡すのかを意識する 擬似パラメータの活用を検討する Mappingsセクション を使った参照を検討する Parameter Store/Secrets Manager を使った参照を検討する おわりに Ref を使う場面を把握する 組み込み関数 Ref は以下の用途で使用します。 Parameters セクション で指定したパラメータの参照 Resources セクション で指定したリソ

先日某所で「最近プログラミングを始めた入門者（だったかな？）に勧められるオブジェクト指向の本を教えてほしい」みたいな質問をいただいたのですが（うろ覚えなのでちょっと違っているかも）、その場で即答できず考え込んでしまいました。ですが、遅ればせながら選書してみたので、その内容をここに書いておきます。 とはいえ、改めて考えてみても、2023年に入門者向けのオブジェクト指向の本を探すのはなかなか難しいですよね…。もちろんオブジェクト指向じゃなければ簡単かと言われるとそういう訳でもないですが。とりわけオブジェクト指向に関する書籍の場合、海外のよく知られている書籍は少し前に翻訳されたものが多くて、最近はこれというのがなかなか思いつきません。また日本でも良書がばんばん出てるわけでもなさそうです。 この辺りは、オブジェクト指向に関する技術はもはや当たり前のものとなってしまっていて、今さら旬のトピックでもな

備忘録として。適宜追加修正していく予定。 よかった例　質問編 「私たちは開発者で、サービスをなるべく良くしたいと思っています！今日は”使いづらい”などの意見もとても貴重なので、忖度なしでご意見を聞かせて貰えると嬉しいです」 人によってこのような意図的な方向づけはよくないと思うかもしれない。 が、個人的には、初対面で否定的な意見を話すのに抵抗を覚えるユーザーが多い傾向にあると考えているため、これくらいの導入がちょうどいいのではないか、と思う。 「最後に⚪︎⚪︎をした時のことについて教えてください。」 〇〇には評価したい機能が入る。Instagramであれば投稿。 この後にもう少し細かい質問が入る。 「なぜ投稿しようと思ったのですか？」 「どのような流れで投稿しましたか？」 「どれくらいの時間をかけて投稿しましたか？」 「その時不便に思ったことはありますか？」 「投稿した後はどうしましたか？」

みなさま、認可の設計に苦しんでいるでしょうか？私は苦しんでいます。苦しまなかった瞬間などありません。昔「アプリケーションにおける権限設計の課題」を執筆しましたが、あれから3年以上が経ちます。 当時は認可の設計に関する情報がうまくまとまっている記事などほとんど無く、調べに調べて得たナレッジを書き記したのが上記の記事です。3年以上経ちますが、苦悩が今も特に変わっていないことが驚きです。 ただし、世の中的には認可のライブラリであったりサービスというのは少しずつ増えてきている印象があります(Auth0の OpenFGA であったりOsoの Oso Cloud 、Asertoの Topaz )。 認可の設計に関する記事も少しずつ増えている印象があり、その中でも本記事で紹介したいのがAuthorization Academyです。 これは認可サービスである Oso Cloud やOSSのライブラリ o

2023年度リクルート エンジニアコース新人研修の講義資料です

この記事に記載されている内容を、実際に試して発生した損害に対していかなる責任も負いません（補償しません）。 すべて自己責任のもとで行ってください。 リリースされているアプリやゲーム、ソフトウェア利用許諾契約（EULA）やアプリケーション利用規約などでリバースエンジニアリングは禁止されています。 実際に試す場合は、自分で開発しているアプリやゲームや脆弱性確認用でリリースされているアプリやゲームを使いましょう。 はじめに ハック（攻撃）と対策（防御）は表裏一体です。どのようなハックが行われるのかを知らないと対策は行えません。 ハックする側の方が、時間や対応者の人数など基本有利です。 日々新たな問題が発生しています。最新の情報を常に確認する必要があります。 リンクは、すべて目は通していますが、すべてを試しているわけではありません。 上手くいかない、よくわからないなどはキーワードをピックアップして

EC2 Instance Connect エンドポイント登場！踏み台サーバー不要でパブリックIPのないEC2にSSH・RDPできるようになりました EC2インスタンスにシェル・RDPアクセスしたい場合、オンプレ発想で踏み台サーバーを用意する以外にも、AWS Systems Manager Session Manager(以下SSM Session Manager)というマネージド・サービスでアクセスすることもできます。 このSSM Session Managerによく似たサービスとして、EC2 Instance Connect(以下 EIC)というサービスがあり、エフェメラルな公開鍵を活用してSSH可能です。 VPCエンドポイントを活用して、どのIPアドレスからもパブリックIPのないインスタンスに対して接続できるSSM Session Managerと異なり、従来のEICは接続性が必要でし

<span class=\"biz-smb-block\"><b>ビジネスに役立つ情報をメールでお届けします（無料）&nbsp;<br>\r\n </b><span class=\"biz-smb-fs-m2\">企業もしくは官公庁など、組織団体に所属している方を対象としています。</span></span></p>\r\n"}}" id="text-f8eb21eec0" class="cmp-text"> ビジネスに役立つ情報をメールでお届けします（無料） 企業もしくは官公庁など、組織団体に所属している方を対象としています。

dbtを活用したデータ基盤の 論理・物理設計の現在地と振り返り / data warehouse logic design by using dbt

Embulk(エンバルク) (2016/10/05からロゴが変わりました。変更理由) Embulkのまとめ2ndを作ってます。 Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。 更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。 2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています 種類 バージョン ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう 2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。 この記事は、Embulkってなに？、どんなプラグインがあるの？、どうやって独

はじめまして、sonesuke(https://twitter.com/sonesuke)です。 LLMにどっぷりハマっています。 TL; DR 16のプロンプトパターンを日本語の例をつけて、まとめてみた。 読んだ論文はこれ。 https://arxiv.org/pdf/2302.11382.pdf より高度なプロンプトエンジニアリングの話題はこちら プロンプトパターン 1. メタ言語パターン: The Meta Language Creation いつ使うか？ 自然言語ではない方が、より簡潔で明確に表現できるとき プロンプトコンセプト 例 原文プロンプト “From now on, whenever I type two identifiers separated by a “→”, I am describing a graph. For example, “a → b” is des

AWS Step Functions+Amazon ECS(Fargate)をイベントトリガーで実行するときにハマるポイントAWSECSAmazonECSstepfunctions AWS Step FunctionsでAmazon S3のイベントをトリガーにしたときにいろいろとハマったのでメモ。 ハマる構成 下記を参考にAmazon S3(S3)イベントをトリガーにAWS Step Functions(Step Functions)のステートマシンが実行される構成を作ってみました。 Amazon S3​ イベント発生時にステートマシンの実行を開始する - AWS Step Functions https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/tutorial-cloudwatch-events-s3.html 構成はこん