Goらしいコードを業務でも書くためにDevFest18 session6 roomA+B
分散シェルまとめ - Qiita
昔社内で説明した、分散シェルについてのまとめ。どれも基本的にパスワードなしログインができることが前提。使いドコロが結構違うので、それぞれ使い分けると吉。pdshはクラスタの監視とかgrepでの集計、csshxは緊急のクラスタの設定変更とかレシピ作る前の調査とかに、gxpはクラスタでのタスク分散実行に使うことが多い。 プロダクション構成では、可能な限り直接サーバに入ってこういう作業しなくて済むような環境を構築するのが望ましいけど、クソシステムに分け入って直したり障害対応する仕事は世の中いっぱいあるので、このご時世でも知っていると便利だとは思う。 pdshは複数のサーバに同時にssh接続して同時に同じコマンドを実行するための分散シェル。複数台のサーバのログを'tail -f'したり、ディレクトリの中身をまとめて表示したりするときに便利。 apiサーバのログを全台tail -fして以上が出てない
AWS WAFのフルログをAthenaで分析できるようにしてみた | DevelopersIO
AWS WAFのフルログで取得したログをAthenaで分析できるようにします。ついでにログのフォーマットとよく使いそうなクエリパターンも紹介します。 こんにちは、臼田です。 皆さん、WAFWAFしてますか？(思いつき ついにAWS WAFでフルログを取得することができるようになりました！すっごいわくわくしてます。 AWS WAFのログをFirehoseでS3に出力しブロックログをS3Selectで確認してみた これまでは頑張ってsampleログを取得してゴニョゴニョしていましたが、これからはKinesis Data Firehoseにつっこんでやりたい放題です！ 今回はとりあえずそのままS3に吐き出されたログをAthenaで分析できるようにしてみます。 ログをS3に入れるところまでの方法は上記記事を参考にしてください。 テーブル作成 ログのフォーマットはこちらにあります。 CREATE T
AWS SDK for Python (Boto3) で Amazon Translateを使ってみた | DevelopersIO
AWSの翻訳サービス Amazon Translateが日本語に対応しましたのでPython (Boto3)を使用して使ってみました。サンプルコードをご紹介しますのでpythonを使用している方は試してみてください。 環境 $ pip install -U boto3 $ pip list | grep boto3 boto3 1.7.82 サンプルコード import boto3 # constant REGION = 'us-west-2' SRC_LANG = 'en' TRG_LANG = 'ja' def get_translate_text(text): translate = boto3.client('translate', region_name=REGION) response = translate.translate_text( Text=text, SourceL
Go で Network Programming するためのよもやま話 / Talk for Network Programming with Go - Speaker Deck
Transcript Go Ͱ Network Programming ͢ΔͨΊ ͷΑ· Tomohiro Takezawa ࣗݾհ • ᖒ ༑ത • Github: ttakezawa • Twitter: @takezawa • גࣜձࣾKyashॴଐ • όοΫΤϯυશൠ • ಛʹ VISA QUICPay (Google Pay) ͷϓϩηγϯάγεςϜͳͲ ࣮ͱωοτϫʔΫϓϩάϥϛϯά • ࣮ࡍͷͱ͜ΖɺࣄͰ͏ػձ͋Δʁ • Kyash ͷۀͰඞਢͳͱ͜Ζ͕͋Δ • ΫϨδοτΧʔυͷϓϩηγϯάۀ • ϨΠϠʔͷཧղ͕ਂ·Δͱڧ͍ ͢͜ͱͱɺ͞ͳ͍͜ͱ • ͢͜ͱ • ιέοτϓϩάϥϛϯάશൠ • Go ʹ͓͚Δ I/O ͷΈ • ͞ͳ͍͜ͱ • HTTP • νϟωϧ ࠓͷΞδΣϯμ • ωοτϫʔΫϓϩάϥϛϯάͷجຊతͳΠϯ
Cコンパイラ制作の夏期集中コースが思っていた以上にうまくいった話｜Rui Ueyama
2018年の夏に僕はセキュリティキャンプ（以下「セキュキャン」）というイベントでCコンパイラ作成コースの授業を行いました。授業はとてもうまくいったといってよいと思います。参加者は6人だったのですが、6人全員プログラミング技術がかなり飛躍的に向上したようですし、そのうち3人は期間中にセルフホスト（自分の書いているコンパイラで自分のコンパイラ自身をコンパイルできること）まで漕ぎ着けることができました。 この文章では、その授業をどのように僕が教えたのかということと、生徒にできるだけ多くのことを学んでもらって自信をつけてもらうために僕が何を気をつけていたのかという2つの点について説明します。 セキュキャンとはセキュキャンは5日間の合宿イベントで、学生を対象としてコンピュータセキュリティやプログラミングについて教えるというものです。いくつものコースが用意されているのですが、僕が受け持ったのは「集中コ
MySQL Workbenchで、Spatial Functionの結果を図で表示する - なからなLife
「できるらしい」という話だけで、誰も触ってなかった？ clubmysql.connpass.com に参加して、坂井さんからGISにまつわるお話をたっぷり伺ってきました。 で、坂井さんも、「MySQL WorkbenchがGIS対応してるらしいって聞いたことがあるけど、触ったこと無い」とおっしゃってまして。 で、ツイートしたところ、こうなって、 MySQL Workbenchにそんな機能があるとかないとか！ （試したことはないですが6.3からあった記憶です）— yoku0825 (@yoku0825) August 31, 2018 こうなりました。 ありました！AsTextしないでバイナリのまま返ってくるようにST_関数を実行したら、Resultの表示方法選択に「Spatial Viewer」が出ました！— atsuizo (@atsuizo) September 1, 2018 こんな
ユーザが接続先を意識しないSSHプロキシサーバを作った - Fire Engine
今回は、ユーザが接続先を意識しないSSHプロキシサーバを作った話です。 SSHのユーザ名から動的に接続先ホストを決定し、SSH接続をプロキシします。 github.com 作った背景 比較的規模の大きなサーバ群を管理しており、そこに対して接続してくるユーザに特定のサーバを使ってもらいたい場合を考えます。 すなわち「ユーザtsurubeeには、ssh102サーバを使ってほしい」といったようにユーザとマシン間が紐づいている場合の一番単純な運用方法は、個々のユーザが接続先ホストの情報を知っていることです。 これでも問題ないのですが、何かしらのサーバ管理の理由でユーザに使ってもらいたいサーバが変更した場合、ユーザに通知するなどして意識的に接続先を変更してもらう必要があります。 このようなユーザとそのユーザに使ってもらいたいサーバの紐付け情報をサーバ管理側が一元的に管理して、ユーザに意識させることな
AWS WAFのログをFirehoseでS3に出力しブロックログをS3Selectで確認してみた | DevelopersIO
AWS WAF 包括ログ出力がサポートされたので、WAFのログをFirehose経由でS3に出力、ログの内容についてS3 Selectで確認してみました。 はじめに AWSチームのすずきです。 AWS WAF のアップデートにより、リクエストされたHTTPヘッダーと関連するWAFルール情報が含まれるアクセスログを Amazon Kinesis Data Firehose を利用し S3などに出力する事が可能になりました。 早速、リリースされたAWS WAF の包括的なログ記録機能と、出力されたログをS3 Selectを利用して確認する機会がありましたので、紹介させていただきます。 AWS WAF の包括的なログ記録機能が新たに利用可能に Firehose設定 AWS WAFのログ出力先となる Amazon Kinesis Data Firehoseと、ログ保管場所として利用するS3バケット
ssh経由のtmuxの中で動くvimのウインドウサイズ変更にマウスを使う方法
私はマウスが好きだ。 30行以上、100列以上の文字が表示できる端末を使っている私にとっては、マウスは必須である。画面上に表示される任意の1文字にカーソルを合わせたい場合、キーボードだけでカーソルを移動させるのはとてもつらい作業である。一方、マウスならばその場にカーソルを動かすだけでよい。 端末を分割して複数の画面にする時、それぞれの画面のサイズをその場で微調整するには、キーボードで画面サイズの数値を指定するよりは、やはりマウスで直感的にドラッグしたい。 例えばvimだ。以下のようにすると :set mouse=a Vimはマウスを扱えるようになる。端末の任意の文字にカーソルを合わせるのにマウスを使えるのみならず、マウスでスクロールやマウスで範囲選択もできる。 Vimは画面を複数のWindowに分割できる。 :split :vsplit このとき、マウスを有効にしているとウインドウの枠をド
ちょっと良さげな負荷ツール vegeta をつかって分散負荷試験を実現してみる - Qiita
motivation Scalaのgatlingを使っていたけど、test_caseとして実装する必要があり、ローカル以外から仕組み的に実行するのがちょっと手間だった。（testをjarにするというのが難しい) シンプルにインストールせずに実行できる負荷ツールはないものか 負荷をかける側の限界でパフォーマンスを正しく測定できないこともあるので、クラスタ的に投げれたらなお良い そんなフワーッとした雰囲気で調べてみたら面白そうなものがあった。 その名も Vegeta 。 名前がやばい。そう、みんな知ってるアレ。 github にもこんな画像がデカデカと というわけで早速試してみましょう。 最初に結果を書くと、結構いい感触。おすすめしたい。 インストール方法 インストール方法は複数あります。 公式のドキュメントにあるのは2種類で、 Homebrewでインストールする（mac）
isucon7予選のアプリをRustに移植したから解説するね | κeenのHappy Hacκing Blog
κeenです。こういう流れがあったので移植しました。 keenさんが「2028年、Rust でイケてる web application framework はこれだ！」みたいな記事を書くとと "余力" が生まれるかもしれません…！！ — FUJI Goro (@__gfx__) 2018年8月28日 まずISUCONを知らない方に雑に説明しておくと、意図的に遅く作られたWebアプリケーションが与えられるので7時間くらいでどれくらい高速化できるかを競うコンテストです。 このお題のWebアプリケーションが参加者や流行りに合わせて複数言語で提供されるのですが、今年はRustが来そうだということで参加者の肩慣らしのために過去問を移植しましたというお話。 ひとまずソースコードは こちら 手元でベンチマークをしてみた限り、Pythonの2倍くらいは速いもののGoには劣るようでした。これの考察については
ロードバイクを預けて銭湯へ！ 東京・立川の銭湯「昭島 富士見湯」がサイクリスト向け自転車預かりサービスをスタート News
銭湯サイクリスト！？に朗報だ。これまでロードバイクに乗って銭湯に行こうと思っても駐輪場が無い、外に置いておくだけという場合がほとんど。湯に浸かるとなれば、長時間自分の愛車から目を話すことになってしまう。それでは不安で、おちおち湯船にも浸かっていられない……。 そんな銭湯サイクリストの気持ちを汲んでくれたのが、東京・立川の銭湯「昭島 富士見湯」。「『サイクリストに向けた自転車預かりサービス』を3月1日より開始した」という内容がSNSで公開され銭湯サイクリストの間で話題を呼んだ。 その投稿を見て、いてもたってもいられなくなった筆者。週に一度は銭湯に浸からないと気が済まない身として、これは取材するしかないと早速自転車に乗って、汗をかきかき富士見湯を訪ねた。 多摩川サイクリングロードから自転車で5分ほど、そして昭和記念公園のすぐそばという立地にあるこの「昭島 富士見湯」。1953年に創業し、以来地
SpotinstとECSを組み合わせたら気付けばContainer as a Service with Spot Instanceができてました - ABEJA Tech Blog
こんにちは。ABEJAのインフラを担当している村主です。 昨今インフラ界隈で流行っておりますKubernetesに全振りしたい気持ちで仕事に励んでおりますが、サクッと使うにはKubernetesは重くて、ECSが軽いのでECSも使っています。 まずはじめにSpotinstについてや、ECSの組み合わせのメリットについてはこちらに書いてありますので一読ください。 tech-blog.abeja.asia 事の発端 今回、社内でコンテナを使ったWebインフラを作りたいという要望があり、ほな作るわ。ということでECSをベースにEC2はSpotinstで管理させることにしました。 出来上がった後、使い方の説明してる時に「これ利用者から見たらContainer as a Serviceやん。しかもスポットインスタンス使ってるし激安やん」ということに気付いたよ。ってのが今回の話です。 内容としては E
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tsurubee/sshr: Proxy server for routing SSH connections
Understand Container - Index Page
I Don't Like Notebooks - Joel Grus - #JupyterCon 2018
