S3互換のオブジェクトストレージminioを試す | DevelopersIO
はじめに AWSを利用するシステムを開発するときに、まだリソースを用意してないけどちょっと動かしてみたいな、ということが稀によくありますよね。 最近S3を使う機能の開発でそういう状況になったので、S3互換オブジェクトストレージのminioを試してみました。 簡単に動かすことができたので今回は導入方法とaws-cliからの操作方法を紹介します。 検証環境 Docker: 18.06.0-ce minio: 2018-08-02T23:11:36Z aws-cli: 1.16.1 minioとは minioはプライベートクラウドでの利用を想定した分散オブジェクトストレージです。Go言語実装で、ソースはGitHubのリポジトリで確認できます。 GitHub - minio/minio: Minio is an open source object storage server compatibl
Apache Airflowの並列性と並行性について理解する | DevelopersIO
こんにちは。サービスグループの武田です。Airflowは同時実行性能についてチューニングできるようになっているのですが、パラメーターの意味がよくわからなかったので調べてまとめてみました。 こんにちは。サービスグループの武田です。 Apache AirflowはDAG（有向非巡回グラフ）でワークフローを表現し、ジョブのスケジューリングや監視などを行ってくれるツールです。Airflowはスタンドアローンでの構成もできますし、クラスターもサポートしています。設定で同時実行性能についてチューニングできるようになっているのですが、パラメーターの意味がよくわからなかったので調べてまとめてみました。 Airflowのバージョン Airflowはバージョンによって設定可能なパラメーターが変わっていることがあります。今回は1.10.12を対象とします。 Executorの理解 Airflowの同時実行性を理
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
cve-2022-22965 Spring4Shell の影響調査 | DevelopersIO
はじめに こむろです。 Spring4Shell についてです。どうせお前ら調査してたんだろ？と思ったあなた、大正解です。 結論 非常に広範な影響がありましたが、現時点で、Spring Framework 本体への修正パッチがすでに適用されています。そのためこれに準じたアップデートを実施することで脆弱性を回避できます。 spring-boot-2-6-6 spring-boot-2-5-12 spring-framework-5.3.18 Tomcat 9.0.62 またこれらのアップデートができない場合、以下の対応を取ることもできます。 不要なパラメータのマッピングを行わないようにコードを追加する （Binding のブラックリストへ class.* 系を追加） Java8 へ一旦ダウングレードする Tomcat 9.0.62 へ Update することで設定値自体の書き換えをできないよ
Linuxでアウトバウンド帯域幅を制限する | DevelopersIO
はじめに オンプレとAWSにまたがるシステムの場合、オンプレ側の帯域を圧迫しないようサーバからの通信に帯域制限をかけたい場合があります。 今回はLinuxの機能を利用しアウトバウンド通信の帯域を制限してみました。 Windows Serverの帯域制限についてはこちらをご覧ください。 帯域制限が無い状態 制限が無い状態でのアウトバウンド速度を計測してみましょう。 5GBのファイルをS3にアップロードしてみます。 [ec2-user@ip-10-0-0-37 ~]$ mkdir files [ec2-user@ip-10-0-0-37 ~]$ dd if=/dev/zero of=files/5GB count=5120 bs=1M > /dev/null [ec2-user@ip-10-0-0-37 ~]$ aws s3 sync files s3://qos.test --region=
Vimで変態テキスト処理！シェルコマンドを使い倒す | DevelopersIO
Vimから外部のシェルコマンドを実行して出力結果を得たり、バッファ内のテキストの変換を行う方法を紹介しています。 はじめに こんにちは、データインテグレーション部の平野です。 私はテキストエディタにVimを使用しています。 Vimは敷居が高いと言われますが、ある程度慣れてくると普通のエディタとは明らかに異なる、Vimらしい編集方法がだんだんと身についてくるものです。 今回はVimから外部のシェルコマンドを実行してテキスト編集する手段についてご紹介します。 なお、Vimには色々なプラグインが公開されておりますが、ここで紹介する方法はあくまでもVimのオリジナル機能ですので、その場ですぐ試すことができます。 （lsコマンド等にはPATHが通っているという前提です） カレントディレクトリのファイル一覧を取得したい Vimでテキストを編集していて、カレントディレクトリのファイル一覧を挿入したい、と
テキストでネットワーク図を作ろう！nwdiag | DevelopersIO
nwdiagって何？ ブロック図生成ツール blockdiagシリーズの1つです。きれいな論理ネットワーク図を作成することができます！ 公式サイト(http://blockdiag.com/ja/nwdiag/introduction.html) 特徴 テキストベース 自動レイアウト SVG出力可能 インストール方法 Pythonで動き、Win・Mac・Linuxすべて対応しています。今回はMacでのインストール方法を紹介します。 Windowsの場合は事前にPythonのインストールを行ってください。2系、3系はお好みでどうぞ！ インストール 一行で簡単にインストール完了です。 pip install nwdiag サンプルコードを使って動作を確認します。 まず以下のファイルを作成してください。 sample001.nwdiag nwdiag { network dmz { addres
[新春]リモートワークのお供にお薦めできない2017年アニメ11選 | DevelopersIO
あけましておめでとうございます 大村です。本年もよろしくお願いします。あ、いま初日の出が昇った時間に公開です。おめでたい！ 今年も我が道を行くスタイルで過ごせればと思います。 弊社では働き方の一環で、リモートワークを行うことができます。もちろん、普段秋葉原のオフィスで勤務している人が、リフレッシュ目的や他の目的に絡めて北海道や大阪でリモートワークすることも可能です。 ですが、弊社で一番多いリモートワークは自宅です。それは、自分の好みの就業環境を維持し続けられる一番の方法だとわかっているからで、時間を有意義に考えるとその答えが導き出されるのも納得です(通勤時間0分ですからね)。 自宅でリモートワークを行う際に、私はよくニュース番組をつけています。これは、自宅という空間にいると不足しがちな情報を得るのと同時に、程よい雑音となりうるからです。音は極力絞って流しています。仕事の邪魔になっては困るか
正規表現をサッと確認するのに重宝した神サイトを紹介してみる | DevelopersIO
はじめに こんぬづは、ゲーム用のPCを東京に置いているため、実家に帰ってくるとゲームができなくてしんどい田中です。こういうときに限って、ゲームの実況動画を見てしまったりして余計に心を痛めています。 さて今回は、今年正規表現をサッと確認するのに重宝した Regexper を紹介します。 Regexper こんなサイトです。とてもシンプル。 以下のような特徴があります。 正規表現を図で表示してくれる 表示した図をダウンロードできる 正規表現を図で表示してくれる 入力欄に正規表現を入力して、Displayボタンを押すと、以下の画像のようにその正規表現のパターンを図示してくれます。 どんな範囲でパターンマッチしてくれるのかがとても見やすくなります。 表示した図をダウンロードできる 入力欄の右下にあるDownloadボタンを押せば、表示した図をダウンロードすることができます。 例えば正規表現の仕様を
OSXのコマンドライン通知ツール「Alerter」のご紹介 | DevelopersIO
メールやチャットなど色々なところに通知が飛びます。 例えば会議が始まる前にチャットに通知したり、CircleCIがビルドを完了したらメールに通知したりしていますが、どちらも私が見に行かないといけません。 チャットを全然気にしていないタイミングで会議が始まったら通知を逃し、会議に行けない（遅れる）、といった結果が想定されます。 OSの機能で通知することで、私が気づく確率が上がるのではないかと思い調べていたところ見つけたのが今回紹介するAlerterです。 Alerter Alerter/Send User Alert Notification on Mac OS X 10.8 from the command-line. alerter is a command-line tool to send Mac OS X User Alerts (Notifications), which are
[macOS] SSHログインしたときだけターミナルの背景色を変えたい (iTerm2) | DevelopersIO
SSH で他所のサーバに接続したとき、ターミナルの背景色を変えたくなりませんか？ ぼくはなります。 正道（よくある方法） iTerm2 にはプロファイルという機能があって、 予め作成しておくと、背景色以外にもいろいろと変更できます。 今回は扱いません。 邪道（趣味の領域） そもそも何故こういうことをしたいと思ったかというと、 自分の手元だと思ってコマンド打ったら SSH でログインしたお客さまの環境だった、という事故を起こしたくないからです。 「お客さまの環境へログインする場合はこう」、と作業手順を変えるのが本来の姿ですが、 結局のところ思い違いによるミスは防げませんし、 結果として両方の環境を整備しなくてはならなくなり、手間が増え、設定のミスマッチによる事故を起こしたり、そもそも（あきっぽい自分の性格的に）きっと整備しなくなる・・・という恐れもありました。 ssh サーバ名と実行したら、
![[macOS] SSHログインしたときだけターミナルの背景色を変えたい (iTerm2) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/016a3950f9fb5be412bbd53926370340688cf817/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2017%2F11%2Feyecatch_iterm2.png)
今日から使える文章校正テクニック | DevelopersIO
渡辺です。 昨日のエントリーが結構反響大きめだったので、第二弾です。 文章校正をしていてよくあるパターンを幾つか抽出してみました。 ただし、前回紹介しているパターンは除外していますので、あわせて確認ください。 重複を減らす 文章校正の基礎は 重複を減らす ことです。 次の文章を見てみましょう。 AWSを使い慣れている人にとっては簡単な作業ですが、使い慣れていないと戸惑う所も多いところです。 この文章がくどく感じる理由は、「使い慣れている」が重複していることです。 前後関係もありますが「ところ」がなにを指しているのかも曖昧ですね。 後半の「使い慣れている」を削除し、バランスを取るために作業を後ろに移動しました。 さらに、前の文章を受けるため、「これは」を追加します。 これは、AWSを使い慣れている人にとっては簡単ですが、そうでないと戸惑う作業です。 スッキリしました。 しかし、「慣れていると
AWSアクセスキーをGitリポジトリに混入させないために git-secrets を導入した | DevelopersIO
先日開催されたAWS Summit Tokyo 2017、わたしもいくつかセッションを聴講してきたのですが、「DevSecOps on AWS - Policy in Code」というセッション1にてgit-secretsというツールが紹介されていました。 awslabs/git-secrets: Prevents you from committing secrets and credentials into git repositories これ以外にも、いくつかのセッションで言及されていたと思います。 git-secretsのことは以前から聞いてはいたのですが、自分自身があまりコードを書く環境にいなかったので、良くないとは思いつつも今まであまり気にしていませんでした。 ただ、AWSアクセスキーの漏洩が原因と思われる話を聞く機会はなかなか減りませんし、考えてみれば自分でも、AWSクレデ
踏み台サーバ経由のSSHセッションを記録する方法 | DevelopersIO
こんにちは。大阪の市田です。 今回は、下記のブログの内容を元に、踏み台サーバ経由のSSHセッションを記録する方法をご紹介します。 How to Record SSH Sessions Established Through a Bastion Host | AWS Security Blog 尚、踏み台サーバはAmazon Linuxを想定しています。 ポイント この記事のポイントは下記です。 OpenSSHの設定の修正 scriptコマンドの利用 踏み台サーバユーザの権限制限 ログファイルのS3保管 S3による踏み台サーバユーザの自動管理 SSHのエージェントフォワード利用 CloudFormationで環境構築 それでは順に説明していきたいと思います。 構成 想定の構成は下記の通りです。 ログファイルのディレクトリ作成 まずは、踏み台サーバにログの保存ディレクトリを作成し、アクセス制限
個人的によく使うrpmコマンド逆引き | DevelopersIO
こんにちは。望月です。 RHEL系Linuxでパッケージ管理に使われるrpmコマンドですが、色々とオプションがあって「あれ、何使えばいいんだっけ？」ってのが多くなったので、自分がよく使う物をまとめてみました。新しく出てきたら追記していきたいと思います。 検証は全てAmazon Linux 2014.03で実施しています。 インストール rpmパッケージをインストールする ローカルにあるrpmファイルをインストールします。-i(--install)オプションを利用します。-v(--verbose)と-h(--hash)は、インストールの進行度を表示してくれます。 $ rpm -ivh package-x.y.z.rpm また、リモートのファイルを指定することも可能です。 $ rpm -ivh http://package.example.com/package-x.y.z.rpm rpmパッ
Web API サーバ負荷試験のすすめ方 – 観点を整理、負荷を試算、対象を選定 | DevelopersIO
負荷試験対策ミーティング ここでは、チームメンバーを集めて、システム要件の再確認と、バックエンドのアーキテクチャを再確認をまず行います。すなわち、「求められているもの=要件」と、「提供できるもの=アーキテクチャ」の確認です。ここの認識が揃っていないと、的はずれな負荷試験を実施してしまうことになりかねません。立場や役割にかかわらず、サービス全体として考えるべきです。 負荷試験の目的 負荷試験を行うことによって、何を示したいのか決めます。今回は、以下の目的を定めます。 サービスリリース後、想定されるピーク時のリクエストを受けた場合でも、問題なく稼働を続けられることを確認する システムのスループット限界値を確認する 負荷試験の観点 たいていのWebシステムの場合、昼夜を問わず稼働し続けるものとなるでしょう。今回例にとったシステムも24時間365日、リクエストを受け付けるものとします。この場合、観
【API Blueprintの使い方】Web APIの仕様書を書く・読む・実行する | DevelopersIO
【API Blueprintの使い方】Web APIの仕様書を書く・読む・実行する できればドキュメント書きたくないなー。はやくAPI実装したい！俺の頭の中に全部仕様入ってるから！俺が仕様だ！ ... その仕様、API Blueprintでドキュメントにおこしませんか？ はじめに デバイスが多様化し、その違いを吸収する統一的なインターフェースが求められる昨今、Web APIはその回答のひとつといえます。弊社でも、モバイルアプリとWeb APIを組み合わせてサービスを構築することがあります。 Web APIが登場する開発では、モバイルアプリ（APIクライアント）メンバーと、APIサーバメンバーのコミュニケーションが不可欠です。開発を円滑に進めるために、APIの仕様書 が必要になります。お互いがAPIの仕様を想像して勝手に開発を進めたのでは、いざ結合したときに悲惨な結果になることが目に見えてい
tmuxを使いこなす / プラグイン開発で機能を拡張 | DevelopersIO
はじめに こんにちは、中山です。 唐突ですがみなさんtmuxは使われていますか。そう、有名なターミナルの機能を拡張するツールですね。 この種のツールを使っていない方の中には、職場の先輩などに「ちょｗターミナル開きすぎｗブラクラかよｗ」などとドヤ顔で言われたことがある方もいらっしゃるのではないでしょうか。かく言う私もドヤ顔でこの種の発言を繰り返していました。 tmuxはデフォルトの機能がかなり豊富なのですが、tpmというプラグインマネージャを使うとさらに機能を拡張することができます。聞いたことがある方も多いのではないでしょうか。ググると検索結果に結構表示されますね。GitHubのtmux-pluginsというorganizationにはさまざまなプラグインがあります。便利なプラグインを紹介しているブログエントリも結構あります。 私はこのプラグインを今まで結構作ってきました。少しシェルスクリプ
第２回 Elasticsearch 入門 データスキーマ設計のいろは | DevelopersIO
第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。 設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。 それではインデックスするためのデータ構造を Elasticsearch でどのように設計するのか解説したいと思います。 設計フローまで変えてしまう画期的なドキュメント指向型検索エンジン Elastic 社のホームページを見てみると Elasticsearch の特徴の１つとして「Document-Oriented」と言う記載があります。直訳すると「ドキュメント指向」です。 簡単に説明すると 現実世界の複雑なデータをJSONドキュメントにしてインデックスするだけで、デフォル
よくわかる認証と認可 | DevelopersIO
よく訓練されたアップル信者、都元です。「認証 認可」でググると保育園の話が山程出て来ます。が、今日は保育園の話ではありません。そちらを期待した方はごめんなさい。こちらからお帰りください。 さて、先日のDevelopers.IO 2016において、マイクロWebアプリケーションというテーマでお話させて頂きました。一言で言うと OAuth 2.0 と OpenID Connect 1.0 のお話だったのですが、これらを理解するにあたっては「認証」と「認可」をはっきりと別のものとしてクッキリと認識する必要があります。 まず、ざっくりとした理解 認証と認可は密接に絡み合っている一方で全く別の概念です。正直、理解は簡単ではないと思います。 まず「認証」は英語では Authentication と言います。長いので略して AuthN と書いたりすることもあります。意味としては 通信の相手が誰（何）であ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
