はてなブックマーク

はじめに 本記事はGeekのためのマルチツールであるFlipper Zeroについて、記載しています。 以下は2023年9月18日、XでFlipper Zeroの公式アカウントによって投稿されたポストです。 ポストの通りですがついに日本でもJoom経由でFlipper Zeroが購入可能になりました。 このポストが投稿される前までは、日本からだと正規のルートでは購入できなかったため、このポストを知った時は心躍りました。 Flipper Zero Flipper Zeroは無線プロトコル、アクセス制御システム、ハードウェアなどのデジタル要素をハッキングできるマルチツールです。 たまごっちのように育成ゲームのような側面もあります。 信号を読み込んだりエミュレートすることで、ペットのイルカが成長します。 イルカは色々なアニメーションが用意されています。 本を読んでいるかと思えば... SENPA

はじめに 本記事は認知科学に基づくアプローチを踏まえて、ロバストなPythonコードを書くための基本的なテクニックについてまとめています。 「ロバストPython―クリーンで保守しやすいコードを書く」を読み終えて、ロバストの重要性に感銘を受けるとともに「プログラマー脳 ～優れたプログラマーになるための認知科学に基づくアプローチ」との関連性を感じました。それぞれ今年に出版された書籍です。 認知科学に基づくアプローチとロバストを組み合わせることで、Pythonコードのロバストを向上させるための方法を探求します。 認知科学 認知科学の分野では、記憶に関する研究が現在も盛んに行われています。 コーディングなどの知的生産な活動は、脳のワーキングメモリの働きや記憶の仕組みが大きく関係しています。 従って脳のワーキングメモリを強化し、効率よく記憶することで、知的生産性を向上することができるのではないでし

はじめに 本記事はAWSのコスト削減の一環として、EBSのボリュームタイプについて記載しています。 EBSのボリュームタイプを見直すことで、20%1のコスト削減が実現できます。 数字だけ見ると低いように感じるかもしれませんが、年間で見た場合は、何十万円以上に相当するコストを削減できる場合もあります。 真新しい話ではありませんが、そもそも情報を知らない人もたくさんいると思うため、AWSのコスト削減を考えている方のご参考になれば幸いです。 EBSのボリュームタイプを見直す理由 EBSのボリュームタイプを見直す理由は以下の通りです。 既存のgp2ボリュームよりもGBあたり最大20%のコストを節約 任意のボリュームサイズで3,000IOPSおよび125MB/秒のベースラインパフォーマンスを提供 従って理由がない限りgp2のボリュームタイプを使い続ける理由はありません。 今すぐに変更することができな

はじめに 2023年4月13日、Amazon CodeWhispererが正式にリリースされています。 2022年6月に行われたre:MARS 20221のカンファレンスで発表されたサービスで、当時はプレビュー公開されていました。 今回の正式リリースの内容は、Announcing New Tools for Building with Generative AI on AWSより確認できます。 本記事では検証を行い、実際に使ってみたプロンプトの使い勝手について記載しています。 Amazon CodeWhisperer Amazon CodeWhispererは、アプリケーションをより迅速かつ安全に構築する AI コーディング支援サービスです。 本記事執筆時点では、Python、Java、JavaScript、TypeScript、C#、Go、Kotlin、Rust、PHP、SQLを含む10

はじめに 本記事はLocalStackを使用してAWSサービスをローカル環境にエミュレートする方法について記載しています。 LocalStackは、AWSサービスをローカル環境にエミュレートすることができるサービスです。 Announcing LocalStack 2.0 General Availability!よりLocalStack 2.0がリリースされています。 AWSの主要なサービスとしてAWS Lambda、S3、Dynamodb、Kinesis、SQS、SNSなどのAPIを擬似的に利用することができます。 従ってクラウド環境を使用することなく、ローカル環境で開発及びテストなどを行うことができます。 LocalStackとは ホームページのAbout Usを踏まえて、2016年にGitHubのオープンソースとして始まりました。その後、2021年に法人化されています。 Local

Python tool　ipcheckでNginxのアクセスログからIPアドレスを抽出し、アクセス元のIPアドレスをヒートマップで可視化するPythonLinuxSecuritygceGoogleCloud はじめに 本記事はNginxのアクセスログからIPアドレスを抽出し、アクセス元のIPアドレスをヒートマップで可視化するツールについて紹介します。 クラウドにおけるWebサーバに対する偵察行為や、無料枠の利用を妨げるネットワーク下り（外向き）に関する通信のIPアドレスをファイアウォールに追加するための調査など、インテリジェンスに活用することができます。 必要なのはPython環境のみです。 以下Python toolのipcheckの使用方法について記載しています。 背景 Google Cloud Platform（以下、GCP）でGCEインタンスを2018年頃から4年以上利用し続けてい

はじめに FinOpsという言葉をご存知でしょうか？ CCoEとして2023年のクラウド利用のコスト最適化について調べていたところ、FinOpsというワードに辿り着きました。 参考までにGoogle Trendsで「すべての国」を対象に、2018年から2022年までの期間で検索した結果が以下の通りです。 後述するFinOps Foundationが設立されたのが2019年で、2022年以降に動向の変化が見られました。 対象を日本で絞ると動向の変化はなく、日本ではまだあまり注目されていないように見えますが、FinOpsについて興味を持ったのでまとめました。 組織でクラウド利用を見直したいという方々の参考になれば幸いです。 FinOpsの必要性 Flexera社によって公開されているFLEXERA™ 2022 State of the Cloud Reportより、クラウドのコスト増加や、クラ

はじめに 本記事はAWSのEC2使用時に、DNSに関するログを取得する方法について記載しています。 セキュリティインシデント発生時に、調査を行うために重要になってくるのが証跡です。 例えばインシデント対応で、DNSのクエリが行われたかどうかについて確認したい場合、リアルタイムならEC2インスタンスにログインして、tcpdumpコマンドなどを用いて通信をキャプチャすることは容易です。 しかし、事後検証の場合はOS及びMWでログを取得していない限り、立証が難しくなります。 本記事では、AWSで利用可能なDNSに関するログを取得する方法と、留意点についてまとめています。 VPCフローログ VPCフローログは、VPCのネットワークインターフェイス間のIPトラフィックに関する情報をキャプチャすることができるVPCの機能です。 VPC、サブネット、またはネットワークインターフェイス毎にフローログを作成

はじめに 本記事はPythonZen & PEP 8 検定試験の勘所について記載しています。 Pythonに関する検定及び資格試験は、一般社団法人Pythonエンジニア育成推進協会によって運営されています。 本記事執筆時点では以下に示す4種類があります。 PythonZen & PEP 8 検定試験 Python 3 エンジニア認定基礎試験 Python 3 エンジニア認定実践試験 データ分析試験 PythonZen & PEP 8 検定試験は、2022年3月1日より無償で提供されています。 本試験を受けることで、Pythonのするべきことではないことについて、学ぶことができます。 Pythonの飛躍 国内におけるPythonの動向は、この数年の間に大きく変化しています。 2019年には、基本情報技術者試験の午後試験で出題するプログラム言語に関して、教育機関・産業分野における利用状況等を踏

はじめに 本記事は、Supershipグループ Advent Calendar 2022の23日目の記事です。 CCoEという言葉をご存知でしょうか？ 今話題のChatGPT1に質問すると以下の回答が返ってきました。 少し説明が不足しているので補足すると、先頭のCはCloudのCを指しています。 すなわちCCoEとは、CloudとCenter Of Excellenceを組み合わせた造語です。 IT業界ではCloudの推進組織という意味合いでDXと並びCCoEという言葉が使われています。 CCoEについて以前書いた「Cloud Center of Excellenceとは何か」もご参考にどうぞ。 私は今の会社にJoinして、新しい組織の設立とともにCCoEの立ち上げ及び運営が最初のミッションでした。 CCoEという言葉は事前に調べてはいたもの（前述の記事）、実際にやってみると色々と苦難の連

勤怠処理の自動化は、以下の仕組みによって実現しています。 在宅勤務と出社では勤怠処理が異なるため、基本的にフルリモート前提で在宅勤務の場合に処理を行うよう設定しています。 cronによってシェルスクリプトを起動 シェルスクリプトで在宅勤務の判定を行う 在宅勤務の場合、Pythonのプログラムを起動 Seleniumで勤怠入力 実装 Pythonのプログラムは、仮想環境を作成して実行しています。 仮想環境の作成及びSeleniumの導入 Pythonの仮想環境はvenvを使用して作成します。 仮想環境を作成するためには、以下のコマンドを実行します。 ＜Dir＞には任意のディレクトリ名を指定します。 $ python3 -m venv ＜Dir＞ $ source ＜Dir＞/bin/activate 仮想環境構築後、seleniumをインストールします。 仮想環境が有効な場合はプロンプトの表

はじめに 本記事は無料で使用できるHTTPベースのpub-subサービス、ntfyについて記載しています。 サインアップ（アカウントの作成）も不要で1分もかからずにトピックを作成し、pub-subの仕組みを用いて簡単にWebやモバイルにプッシュ通知ができます。 オープンソースになるので自前でホスティングして、ローカル環境などクローズドな環境でも動かすことができます。 では、早速使っていきましょう。 ntfy Web app はじめにWebアプリから試してみます。 ntfyにアクセスし、画面右上の「Web app」を押します。 「+トピックを購読」を押します。 トピック名を入力します。 注意事項としてサインアップがないため、トピックはパスワードと同等です。 簡単に推測できないものをトピック名に入力してください。 ここではCyberChefで適当に生成したハッシュ値を入力しています。 本記事の

はじめに バイナリファイルの解析はアプリケーションやファームウェアのデバッグ、マルウェアの解析等目的に応じて手段となるツールが異なります。 本記事はバイナリファイルの解析を行うために必要となる基本的な知識や、リバースエンジニアリングツールの概要について記載しています。 リバースエンジニアリングツールはIDA Proなど有料のプロダクトがありますが、本記事ではフリーで利用可能なツールに着目しています。 バイナリファイルとは コンピュータが処理する情報（データ）は基本的にテキストファイルと、バイナリファイルに大別できます。 テキストファイルはテキストエディタなどを使用して何らかの文字コードでエンコードされたテキストファイルのことです。テキストファイルに書かれた内容は人間にしか理解できません。 バイナリファイルは2進数の0と1が並んだビット列で表現されたファイルです。画像、動画、音声、実行形式の

はじめに 本記事はAWS CDKについてキャッチアップすることを目的に、AWS CDKの概念や、ウォークスルーとしてAWSが公開しているWORKSHOPについて記載しています。 AWS Cloud Development Kit (AWS CDK) （以下、CDK）はTypeScript及びPythonなどのプログラミング言語を使用して、AWSリソースを定義し、Terraformの様にInfrastructure as Code（以降、IaC）を実現する手段として、クラウドインフラのリソースをプロビジョニングすることができます。 TerraformはGo言語で書かれた公式のAWS SDKを用いて、Terraform実行時にAWSのAPIを呼び出して、環境を構築しています。 Terraformは1つのプロバイダーに依存することなく、他のプロバイダーのクラウドインフラを扱えることから、汎用性だ

はじめに 本記事はLinuxの監査システムであるAuditについて記載しています。 AuditはLinuxの監査システムとして、監査ルールを定義し、システムで発生したセキュリテイに関するイベントをログファイルに出力します。 ログファイルに出力されたメッセージを監視することで、セキュリテイに関するイベントを検知することができます。 Auditでは以下の監査ルールが設定可能です。 制御ルール システムコールルール ファイルシステムルール Auditの概要 Auditはauditdデーモンとして起動し、カーネルから受け取った監査結果をログファイルに出力します。 全般的な設定は/etc/audit/auditd.confファイルで設定します。 /etc/audit/auditd.conf # # This file controls the configuration of the audit d

はじめに 本記事はAWSクラウド（以降、AWS）でGPUインスタンスの値段を抑えてかつ、最短で構築する方法について記載しています。 例えば、AWSを利用してGPUインスタンスを構築する場合、安易に有料のAMIを利用してGPUインスタンスを構築するのはナンセンスです。 AWSのサービス内容を正しく理解した上で導入することにより、コストを抑えることができます。また、Terraformを活用することで構築時間を短縮してGPUインスタンス環境を用意することができます。 GPUを利用する場合は、前提としてNVIDIAドライバ、CUDA、cuDNN等の知識が必要です。これらについては以前書いたUbuntuでGPUマシーンを構築するを参照。 GPUの導入における検討事項 オンプレミスやクラウドに関わらず、GPUを導入する場合は、色々と考えないといけないことがあります。 AWSにおいてEC2のGPUインス

はじめに Google Apps Script（以降、GAS）はGoogleによって開発されたスクリプト言語になります。 業務でGoogleサービスを利用している場合、GASを用いることで様々な業務効率化を行うことができます。 本記事ではGASについて最速で理解することを目的に、最低限必要な知識についてまとめています。 GAS概要 GASを始めるのに必要なのはGoogleアカウントのみです。 Googleのプラットフォーム上で動作するため、実行環境も不要です。 JavaScriptを基に作られているため、JavaScriptを知っている人なら簡単に使い始めることができます。また、学習コストも低いので非エンジニアの方でも習得して業務に活用することもできます。 GASの活用 要約すると以下の様なことができます。 作成したスクリプトを使用したマクロの実行 スプレッドシートからのメール一括送信 G

はじめに Python Advent Calendar 2020 25日目です。 時代はサーバレースですが、オンプレミスのサーバやクラウド（IaaS）などのインスタンスでバッチを運用しているシステムもまだたくさんあると思います。 本記事ではサーバ上で動かすバッチを前提とし、前半はアンチパターンなどを踏まえながらバッチ設計のポイントについてまとめています。後半はPythonでバッチ開発する際のTipsになります。 ※本記事の内容は、あくまで考え方の一例であり、必ずしも全ての考え方がシステムに適合したり、ここに書いている内容で満たされている訳ではありません。 バッチ処理はひとまとまりのデータに対して、一連の処理を連続で実行する処理方式のことです。語源を辿ると、汎用コンピューターの時代まで遡ります。 データを一括で処理することを目的とし、Unix系OSではcronを利用して指定した日時で運用する

はじめに 本記事はクラウドインフラストラチャを導入する際に、各クラウドベンダーが提供するサービスの基本的な知識についてまとめています。 クラウドベンダーはAWS、Azure、GCP、Oracle Cloudを対象とし、サーバを中心とした内容になります。 クラウドインフラストラチャの選定で重要なのは利用したいサービスに対して、同じ軸で他のサービスを評価することです。 ※本記事で記載している情報については過去に調べたときの情報を基に記載しているため、現在は変わっている場合があります。 サービス体系 各クラウドベンダーが提供するサービス体系の特徴について以下に記載します。 AWS 従量制料金 リザーブドインスタンス（前払いが大きいほど割引も大きくなる。） ボリュームディスカウント（使用量が増えるほど節約できる。） Azure 従量制料金 Azure Reserved VM Instances（コ

はじめに 本記事はLinuxのセキュリティ対策として、Snortの侵入検知について記載しています。 Snortはオープンソースのネットワーク型のIDSです。GPL (GNU General Public License) の元に無償で利用できます。 現在も開発が行われているので最新のルールセットを無料でダウンロードして使用することができます。 Snortの構築 Snortはソースで提供されているため、ソースをダウンロードしてmakeする必要があります。 そのため、環境依存が大きく必要なライブラリがインストールされていない場合は、configureでエラーが発生し、依存関係を自分で調べてインストールする必要があります。 本記事ではCentOS7を例にSnortの構築方法について解説します。Snort等のバージョンは本記事執筆時点のバージョンを使用しています。 本記事の環境：CentOS Li

はじめに 本記事はDocker Swarmで実現するローリングアップデートについて記載しています。 Kubernetesではアプリケーションのローリングアップデートを実行することで、ダウンタイムなしのアップデートができます。 従来のオンプレミスのシステムにおけるメンテナンス時の運用では、sorryサーバを用意してLBから1台ずつ切り離してアップデートを行い、アップデート終了後にまた組み込みを行う運用が一つのデザインパターンでした。 クラウドネィティブ時代ではローリングアップデートの恩恵は大きく、今後もデファクトスタンダードになるでしょう。本記事ではDocker Swarm環境における極力ダウンタイムを減らすための運用方法について解説します。 本記事ではDocker Swarmによるクラスタ環境を構築し、ローカルでDockerレジストリをセットアップしていることを前提としています。 Dock

はじめに 本記事はUbuntuの無人アップグレードについて記載しています。 Ubuntuは無人アップグレードという機能がデフォルトで有効になっていて、自動的にOSのパッケージのアップデート及びアップグレードを行ないます。 システム管理者として注意しないといけないのは、無人アップグレードの機能を理解することです。 例えば、本番環境でシングル構成で運用しているサーバがあるとします。 無人アップグレードがデフォルトの状態でサービスの自動起動を設定していない場合は、サービスに支障が出るリスクがあります。 過去の事例ですが、サービスがダウンしていていたので原因を調査しました。 uptimeコマンドを実行すると起動時間が短いことから、サーバ再起動が行われたと判断し、シスログより以下のログを確認しました。

はじめに 本記事は、Docker Registryを使用して、プライベートレジストリ環境を構築する手順について記載しています。 本記事の環境は以下になります。 手元のMacBook Airがクライアントで、iMacがプライベートレジストリ環境になります。 Docker Registryは、Dockerイメージを一元管理するためのリポジトリサービスです。 公式のDocker Hubでは、CentOSなど各種Linuxディストリビューションの公式イメージや、有志で作成されたイメージなどが配布されています。 公式イメージの「registry」を使用することで、プライベートレジストリ環境を構築することができます。 現在、registryはVersion2.0系が主流で、Go言語で実装されています。 Docker Registryの構築 イメージのダウンロード（registry） はじめに、regi

はじめに 本記事はエッジデバイスで機械学習を行う方法として、Raspberry Pi4とCoral USB Acceleratorの導入手順についてまとめています。 Raspberry Pi4は現行機種の最新世代になります。CPUやメモリ性能が大幅に向上し、USB3.0にも対応しています。 Coral USB AcceleratorはGoogleがエッジデバイスで機械学習を行うために開発したGoogleの専用ASICです。 この専用ASICはEdge TPUと言われ、エッジで推論を行うことに特化したTensorFlow Liteのフレークワークが利用できます。なお、TensorFlow Liteのフレークワーク以外はサポートしていません。また、Coral USB Acceleratorの性能を最大限に発揮するためには、USB3.0の接続が必要です。要約するとCoral USB Accele

サービスメッシュはマイクロサービスアーキテクチャを前提とし、アプリケーション間で通信を制御する仕組みを提供します。この制御された通信はメッシュの様に編みがけになっているため、信頼性を向上します。 例として2台構成のホストの場合、通常のアクセスパスは以下になります。 ブラウザでロードバランサーのDNS名にアクセスすると、HTTPリクエストを受け付けたロードバランサーは、ラウンドロビンでバックエンドであるホストの公開ポートにHTTPリクエストを振り分けます。 例えば、片方のホストで何らかの障害が発生し、コンテナがダウンした場合でも以下の経路により、サービスを継続することができます。 要約すると、単純にホストレベルでアプリケーションを分ける構成の場合は、片方のホストに何らかの障害が発生したときにサービスの提供ができなくなります。よって、コンテナ技術を活用し、サービスメッシュにすることで単一障害点

はじめに 本記事はAWSのEC2とRDSをTerraformをで構築する方法について記載しています。 terraform applyで実行にかかる時間は、約3分程度です。カップラーメンの待ち時間で構築できます。 デプロイするのは以下の環境（※）になります。また、あわせてEC2は最低限のOSセットアップも行います。 Terraformの基本から入りたい方は、以前書いたOracle Cloudで始めるTerraform　自動化の真骨頂を参照ください。 （※）本記事で記載しているtfファイルはGitHubで公開しています。 Terraform構築 AWS環境におけるTerraformによる構築を行うためには、IAMでユーザ作成を行い、必要なクレデンシャル情報を用意します。あとはTerraformをインストールし、Terraform実行に必要なtfファイルを用意します。 AWS環境の前提条件を以下

はじめに 本記事は、Ansibleでデプロイの自動化を行う方法について記載しています。 Ansibleとは何か？という方は、以前書いたAnsibleとは何か　構成管理ツールの目的〜Ansible導入まで最速で理解するを参照 働き方改革が叫ばれている今の世の中ですが、ITの世界でも既に改革は行われています。 この春より、AIスタートアップにJoinし、DeVOpsについて少しずつ取り組んでいます。SIのときに係わっていたレガシーシステムでは、以下の様な運用を多く見てきました。 【レガシーシステムの特徴】 運用で使用するツールは基本、3種の神器（TeraTerm、WinSCP、サクラエディタ） 保守作業時は、手順書を作成する（Excel等のチェックシート） 保守作業時に、負荷分散装置に接続しているWebサーバは1台ずつ手動で切り離して、手動でサービスの起動停止を行う といっても、SIではAns

はじめに 本記事は、WindowsのPowerShellを用いて、アプリケーションが出力するログファイルを監視する方法について記載しています。また、特定のエラーメッセージ検知時にWebhookを使用してチャットアプリに通知します。 監視対象とするログファイルは、Cドライブ配下などに出力するテキストのログファイルを対象とします。 Windoows Serverで監視ソフトウェアを導入することなく、特定のメッセージを検知時に通知したいといった小規模な監視が実現できます。 slackやRocket.Chatなどのチャットアプリは、Webhookとしてcurlを使用する場合がほとんどです。 通知の仕組みを作る考え方として、連携したいチャットアプリがSDK等を公開していて、Pythonなどのライブラリを使用できるのであれば、Pythonで書いた方がスマートな場合もあります。本記事では、Windows