こんなん作りました STNS＋AWS API Gataway＋DynamoDBでサーバレスユーザ統合管理 https://github.com/shogomuranushi/stns-apibackend これなんなん？ STNSという簡易LDAP的なユーザ管理のOSSとAPI Gateway、DynamoDBを組み合わせたもの 何が出来るん？ 複数台のLinuxユーザ管理を手軽にサーバレスで出来る 今までのユーザ管理は何があかんかったん？ How Use

Opening Keynote at GopherCon 2016 Is it a constant? A variable? Where is it defined? What is its type? It has no type? It has all the types? Those ar…

The following describes how to performance tune Ubuntu Server virtual machines for use in Azure. Although this article focuses on Ubuntu Server because it’s better established in Azure at this time. It’s worth mentioning that Debian offers better performance and stability overall, albeit at the cost of some of the more recent functionality support available in Ubuntu. Regardless many of the optimi

AppArmor Goとして @netmarkjp, @ishikawa84g, @matsuu で参戦しましたが残念ながら去年に続き予選敗退（推定）となりました。最終スコアは24000ぐらいです。 序盤 デプロイが終わって何も変更していない状態(デフォルトのperl実装)でベンチマーク回す →スコア0 Go言語に切り替えてベンチマーク回す →スコア0 MySQLに適切なインデックス追加、htmlifyの正規表現生成を切り出してentryの追加/削除があるまで正規表現をキャッシュして使いまわす →スコア0 えーこれでもダメかーと思いつつ昼食で気分転換。 中盤 昼食で思いつきました。 初期状態でentryごとにマッチするキーワードを予め抽出してキャッシュし、entryの追加/削除があるごとにentryごとのキーワードキャッシュをいい感じに調整することで正規表現生成のコストを下げようとする →

おっとっと、やらかしてしまった（但し、良い方に）。 PG-Strom + NVMe-Stromでのパフォーマンス計測の際に、SSDからロードしたデータ以外に、例えばテーブル定義情報や定数パラメータといったSQLの実行に必要な情報は一般的なRAM-to-GPU DMAで転送していたのだけども、ココがうっかり同期DMAになっていたために、本来の性能を発揮できないでいた。 そこで、きちんと非同期DMAを実行できるようにコードを修正し、改めてPG-Strom + NVMe-Stromの実行速度を測り直した数字が以下の通り。じゃん。 ワークロードは変わらず、以下の三種類のクエリを64GB/7億件のテーブルに対して実行した。 Q1: 比較的シンプルな検索条件を持つスキャン Q2: 比較的複雑な検索条件を持つスキャン Q3: 文字列マッチ（LIKE句）を持つスキャン 応答時間が概ね42～43secの範囲

ここしばらく、NVMe-SSDからGPUへとPeer-to-Peer DMAを行うためのLinux kernelドライバを書いている。 これは昨年末のPGconf.JPのLTでアイデアを先に発表したもので、従来は、例えばテーブルスキャンに際して90%の行がフィルタリングされる場合であっても、データをストレージからRAMにロードしていた。しかし、どうせフィルタリングするのであれば、バッファのために利用したRAMのうち90%は無駄である。 基本的なアイデアは、ストレージからのデータロードに際して、CPU側のRAMではなく、GPU側のRAMへロードし、そこで数百～数千コアの計算能力を使って行のフィルタリングや、あるいは、テーブル同士のJOINや集約演算を行ってしまう。そして、これらの前処理が終わった段階でCPU側へデータを書き戻してやれば、CPUから見ると『ストレージからデータを読出したら、既に

myLG myLG is an open source software utility which combines the functions of the different network probes in one network diagnostic tool.

引き続きnetdata関連の市田です。 今回は、ミドルウェア固有の情報をリアルタイムにモニタリングしてみます。 netdataのインストール方法については下記のエントリーを参照ください。 リアルタイムなリソースモニタリングツールのnetdataを試してみた ｜ Developers.IO はじめに netdataはデフォルトでApacheやMySQLなどのプロセス別に、CPUやメモリなどのリソース状況をリアルタイムにビジュアライズしてくれます。 例えば、MySQLが入っている場合だと、下記のようにDisk I/Oやメモリ書き込みの状況などについて、netdataが対応ミドルウェアを見つけて、ミドルウェア毎に表示してくれます。 しかし、デフォルトの他に、ApacheやMySQLといったミドルウェア特有のリソース情報も同様に取得、表示することができます。 MySQLの場合、下記のようなMySQ

この記事は 俺のメニューバー Advent Calendar 2015 6日目の記事です。 VagrantをGUIで操作できる「Vagrant Manager」があると、毎回ターミナルから操作しなくていいので楽です。 Manage your vagrant machines in one place with Vagrant Manager Vagrant Manager – Home Fall in love with Vagrant Manager. Never before has managing your Vagrant Machines been so easy. インストール 公式サイトからダウンロードか、Caskでインストールできます。 $ brew cask install vagrant-manager 操作方法 Mac内のVagrantマシンを自動でスキャンして表示し

長らくPerlのオブジェクトをダンプするのにData::Dumperを使っていたけど，フラグの立った文字を見にくかったりして，なにかと困っていた． 日本語見れるDumperないんかな…という話をしていて，Data::Printerなら見れることが分かったので，EmacsでDDってDを2回押すとData::Printerでデバッグできるようにした． (define-key cperl-mode-map (kbd "D") (smartchr '("D" "use DDP { show_unicode => 1, use_prototypes => 0, colored => 0 }; p `!!';"))) smartchr.elを使っていて，大文字のDを2回入力するとカーソル位置にこれが出る． use DDP { show_unicode => 1, use_prototypes => 0

Apache Allura開発チームは8月23日、オープンソースのソフトウェア開発プロジェクト支援ツールの最新版「Apache Allura 1.5.0」を公開した。使い勝手を強化するための細かな改善が中心となる。 Apache Alluraはソフトウェア開発プロジェクトのホスティングプラットフォームを構築できるソフトウェアで、ソースコードリポジトリ、バグ報告、ディスカッション、Wikiページ、ブログなどの機能が提供される。git、Mercurial（hg）、Subversion （svn）形式のリポジトリに対応し、ブラウザベースでのコードブラウジングも可能。元々はSourceForge.netが開始したプロジェクトだが、2012年にApache Software Foundation（ASF）の下に入り、2014年4月にトップレベルプロジェクト（TLP）に昇格している。 Allura 1

AtmanOS compiles ordinary Go programs into images which can be run on a hypervisor without a conventional operating system. It provides a microkernel and implementation of Go's runtime and standard library implemented natively in Go (with a little bit of Assembly). It currently targets the Xen hypervisor, allowing the images to be run on Amazon EC2, Rackspace Cloud, IBM SoftLayer, and other cloud

社内勉強会で「ワクワクする！システム監視入門」という発表をした． 今年の3月頃から DevOps の推進をメインで担当していて，技術的負債の解消，運用改善，外部サービスの導入など，様々な施策を進めている中で，監視の強化も頑張っている．個人的には相当良くなったなー！と思っているんだけど，先日の Infrastructure as Code 勉強会で @songmu さんの話を聞いていたら「監視に対する敷居を下げるべき」という話があって，非常に刺さった．基本的に每日メトリクスを追っているのは僕で，もしかしたら敷居が高いのかもしれないなと感じた．もっとメンバーにもメトリクスを見てもらいたいし，アプリケーション開発に活用してもらいたい！というモチベーションが生まれて今回の発表に繋がった． kakakakakku.hatenablog.com 発表資料 （公開するために一部画像を加工してる） 負荷低

最近ETHを買いあさりながらサーバサイドを担当していますsyroheiです。最近Ethereumの開発もだいぶ楽になってきていて生産性があっという間に向上してきています。この爆速でDappsを構築するシリーズでは何回かに分けてEthereumの開発について紹介していきます。 今回は最初なので　①Tutorial　です。 TruffleはConsensysが開発したパブリック・プライベートEthereumのSmartContract開発フレームワークです。 フロントエンド開発からMainNet Deployまでスムーズに開発できるのが特徴です。2016年4月に正式リリースされました。 ※　2016年7月19日にver 2.0 がリリースされました。 https://github.com/ConsenSys/truffle/releases/tag/v2.0.0 Ðappとは ÐappはDec

By Varun Talwar (Google) | Originally written by Varun Talwar with additional content by Kailash Sethuraman and others at Google. Tuesday, August 23, 2016 Today, the gRPC project has reached a significant milestone with its 1.0 release. Languages moving to 1.0 include C++, Java, Go, Node, Ruby, Python and C# across Linux, Windows, and Mac. Objective-C and Android Java support on iOS and Android is

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Using a MySQL-Compatible Database as a Source for AWS Database Migration Service - AWS Database Migration Service ターゲットDB(Aurora)側の前提作業 こちらも同様にDBエンジン別にドキュメントが用意されていますので、目を通すことには変わりありません。ただ、今回のケースでは移行先のデータベースはこれから作成するものなので、新規に用意したRDSインスタンスに管理者ユーザで接続することにしました。ターゲットDBがAurora(またはMySQL)の場合、下記設定をターゲットエンドポイントのExtra Connection Attributesに設定しておくことで、外部キー制約を無視する形でデータ移行を行うことができます。後にも触れますが、今回のケースではこの設定が非常に有効でし

正規表現を書く際、どのようなパターンにマッチさせるか、どこをキャプチャするかという視点で記述することはあっても、パフォーマンスを考えて記述するというのはある程度知っている人でなければ忘れがちな視点です。 このエントリでは、バックトラックをメインに正規表現がパフォーマンスに及ぼす挙動について見ていきます。 対象の正規表現エンジン ここでは、従来型 NFA を対象としています。具体的には、PHP の preg_ 関数で利用している PCRE や mb_ereg 関数が利用している鬼車です。Perl や Ruby、Python、Java、.NET でも従来型 NFA を採用しているので、似た挙動となるでしょう。 「従来型 NFA」や「バックトラック」などの用語については、「詳説 正規表現 第3版」のものを用いています。 バックトラックによるマッチ探査 正規表現エンジンでは、指定された文字列が、パ

注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用

Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Help us understand the problem. What is going on with this article?

Join us to build industry-leading open source tools and enterprise productsView all open positions

Show Your Support: This site is primarily supported by advertisements. Ads are what have allowed this site to be maintained on a daily basis for the past 20+ years. We do our best to ensure only clean, relevant ads are shown, when any nasty ads are detected, we work to remove them ASAP. If you would like to view the site without ads while still supporting our work, please consider our ad-free Phor

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

（今のところ前後編に分ける予定ですが、追記したり構成が変更になったりするかもしれません。予定は未定。） 2016年6月に、Microsoftがlanguage server protocolという仕様を公開しました。 本稿では、このlanguage server protocolの存在意義や具体的な実現方法について解説します。 language server protocolの存在意義 language serverとは、IDEが必要とするプログラムのプロジェクト ソースを解析して情報を提供する機能を、サービスとして実現するものです。language serverがサポートされたIDEでは、型やメンバーの自動補完、変数やメンバーの定義参照、変数やメンバーの利用箇所の検索、コードの自動フォーマット、コードのエラー分析や修正案の提示といった、さまざまな機能を実現できます。 Microsoftの

皆さん、空耳英語をご存知ですか？空耳英語とは、英語のように聞こえる日本語のことです。例えば、「掘った芋いじるな」という日本語が「What time is it now?」という英語に聞こえる、という噂話を皆さんも聞いたことがあるかもしれません。私は子供の頃にこの噂話を聞いて、「日本語っぽく発音したら絶対に通じないだろ…」と思ったように記憶しています。外資系のIT企業に勤めている今、いつでも外人相手に試すチャンスはあるのですが、面と向かって試す勇気がありません。そこで、Watson APIを使って空耳英語が期待通りに解釈されるか、検証してみました。 Watson APIとは Watson APIとは、IBMのBluemixというクラウド・プラットフォーム上で提供される、コグニティブ・コンピューティングのAPIです。WebやモバイルなどのアプリケーションからWatson APIを呼び出すと、簡

It's been said that we don't really understand a system until we understand how it fails. Despite having written a (toy) TCP implementation in college and then working for several years in industry, I'm continuing to learn more deeply how TCP works — and how it fails. What's been most surprising is how basic some of these failures are. They're not at all obscure. I'm presenting them here as puzzle

ProxySQL vs MaxScale: Persistent Connection, response time, and bugs A few days ago I came across the announcement that MaxScale 1.3 finally supports Persistent Connections. ProxySQL has supported Persistent Connection since it was a prototype (sometime back in 2013). I am therefore very happy that the MaxScale Team finally introduced a long awaited feature. However, MaxScale’s implementation has

The GA release of ProxySQL 1.2.1 is available. You can get it from https://github.com/sysown/proxysql/releases. There are also Docker images for Release 1.2.1: https://hub.docker.com/r/percona/proxysql/. ProxySQL is a high-performance proxy, currently for MySQL and its forks (like Percona Server and MariaDB). It acts as an intermediary for client requests seeking resources from the database. Proxy