The latest news from Google on open source releases, major projects, events, and student outreach programs. We are excited to announce the first group of winners for the 2024 Google Open Source Peer Bonus Program! This program is designed to recognize open source contributors who have been nominated by Google employees for their exceptional contributions to open source projects. It is worth reiter

つらくないマルチテナンシーを求めて: 全て見せます！ SmartHR データベース移行プロジェクトの裏側 / builderscon 2018

公式サイト Varnishを使用していてSSL/TLS（https）を使いたいならシンプルな Hitch が心強い助けになる。 ※Varnish4.1以降でないとPROXY Protocolに対応してないので注意 CentOSにhitchインストール 作業時点での最新バージョン 2016-01-26: Hitch 1.1.1 has been released. This is a maintenance release with various bug fixes. Support for TLS1.0, TLS1.1 and TLS1.2 SNI, with and without wildcard certificates Support for HAproxy's PROXY protocol Safe for large installations: performant up

このエントリはMagento Advent Calendar 2017の1日目です。 Magento2系を稼働させる環境を作る際に、切っても切れない関係にあるものがVarnishです。 今回はこのVarnishのバージョン5.2系と、Varnish謹製のSSL/TLSフロントエンドのHitchを使って、HTTP/2に対応した環境を作ってみましょう。 なお、弊社では普段Ubuntu Linuxを使っています。CentOSやRedHat Enterprise Linuxをお使いの方は適当にここから先の内容を読み替えて進めてください。各種コマンドなどは全てUbuntu Linux 16.04 LTSで実行したものを記載しています。 今回作成する構成 今回作成する構成は次の図のような構成です。 サーバー1台の中に以下のプロセスを同居させる形なので、あまり低スペックでないほうが良いでしょう。 本格稼

この記事はVarnish Cache Advent Calendar 2015の20日目の記事になります。 Varnish Cache Advent Calendarで猛威を奮っているいわなちゃんさんにそそのかされたので、先日書いた録画環境で運用している録画データ視聴環境をHitch, Varnish4.1, Let's Encryptを用いてHTTPS化してみようと思います。 各種ミドルウェア・サービスについて 割と今回触ってる人が少なさそうなミドルウェア・サービスが多いので、一通り紹介します。 Hitch github.com 泣く子も黙るVarnish SoftwareがつくってるSSL/TLS Proxyです。Varnish Cacheの方にSSL/TLS Terminationが全然来ないと思っていたら、前段でProxyしてくれる奴が出ていた... (Varnish Softwa

ピクセルトラッキングを想定した設定で、Nginx on EC2(c3.large) という環境で、極限まで設定をして、どれぐらいさばけるのか運用中、パフォーマンステストしてる時は、別のところに問題があり、Nginx自体の性能限界までテストできなかったので、実際どこまでいけるのかは計測できてない。 秒間1万とか2万は行けてたと思う、ちなみに実際の運用では秒間9000以上とかを記録していて、サーバ自体にはかなり余裕があるので、記録はまだまだ伸びると思う。 ちなみに empty_gif は応答が短すぎて、Nginx の $request_time では記録できない... 全部 "0.000" だから、どれぐらい掛かってるのか分からん...。 nginx.confの設定 user nginx; worker_processes auto; error_log /var/log/nginx/erro

webサーバ（バックエンド）をロードバランサ下に複数置いて負荷分散をするのは極めて一般的なことですが、 そのときの問題として、バックエンドからはアクセスがロードバランサーから来たものとして扱われてしまいます。 バックエンド側のアクセス元IPが変わってしまうので、アクセスログに元IPが載らなくなってしまいます。 また、アプリケーション側でIP制限をかけたい場合も、標準的な方法（PHPだと$_SERVER['REMOTE_ADDR']）で取得できるIPアドレスが変わってしまうのも困りものです。 この問題を解決するために、ロードバランサーからバックエンドへ元IPを伝えるためのPROXY protocolというプロトコルがあります。 今回はvarnish（ロードバランサ）とnginx（バックエンド）の組み合わせで、PROXY protocolを有効にして、バックエンド側に元IPを伝えてみます。 構

Varnish入門と仕組み Agenda Varnishとは 仕組み 入門 ベンチマーク Reference Varnishとは 2005年に作成 ライセンス BSD cache機能を持つリバースプロキシとして知られるOSSのHTTPアクセラレータの一つ(Squid cache等) プロキシについて フォワードプロキシ Clientの前段に配置して不特定多数のサイトに代理でアクセスしにいくこと リバースプロキシ Serverの前段に配置して不特定多数のクライアントからアクセスしてきたのを代理レスポンス返す WHY プロキシ? 負荷分散 セキュリティ向上 コンテンツキャッシュによる応答の高速化 どこで使われてる? Fastly Cookpad Hatena 大規模サービス技術入門より 某アイドルの投票 過負荷に耐えるWebの作り方より Varnishのキャッシュについて Varnishはキャ

表題の通りの事件に遭遇したので、一応記録として残しておきます。 環境 Flutter v1.5.4 Gradle 3.2.1 => 3.4.1 にあげようとした バージョンを上げようとした動機 Gradleのこととかよくわかってないのに、FirebaseでAndroid用の設定をしているときに、こんな画面が出た。 Recommendedか〜、なるほど〜〜〜という軽い気持ちでupdateを押したら、Gradleのタスクがコケるようになり涙目・・・。 解決方法 Android StudioとかをFlutterモードで使ってる場合はAndroidモードに１回しなくちゃ行けないっぽい？ Androidモードに入るにはprojectRoot/android/build.gradleとかを Android Studioで開くと右上に、 Open for Editing in Android Studi

こんにちは！Summer Internship 2018 にて Microservices Platform Team でインターンをしていた @everysick です*1。この記事ではインターン期間中に実装を行い、OSS として公開した Certificate Expiry Monitor Controller の紹介をします。 github.com 背景 有効期限監視の限界 TLS 証明書の運用では有効期限が来る前に TLS 証明書を更新をする必要があります。 これまでのメルカリでは mackerel.io の URL 外形監視機能に登録したエンドポイントの TLS 証明書を監視することで、有効期限が切れる前に通知をする運用を行っていました。 しかしながら、Microservices Platform 環境では日々新しいサービスが立ち上がっているため、従来の運用を適用するのであれば下

最高のITエンジニアリングとは、ユーザーへの価値提供に最大限集中できる状態を維持し続ける技術だと私は考えます。では、その状態を阻害する要因は一体何であり、どうすれば取り除くことができるのでしょうか。このような具体的な問題と向き合い、近年注目されているSRE の考え方を取り入れ、実装しながら乗り越えてきた体験談についてお話します。（HashiCorp ツールの実装、運用自動化など）また、一歩進んだITエンジニアになるため、実装に留まらない組織的な施策実行の考え方や実際の進め方についてもお伝えします。July Tech Festa 2018 での発表資料です。

概要 『もっとより良いニュースアプリはできないだろうか』 そう考えてMenthasというニュースアプリを開発し、プログラマ向けニュースキュレーションサービスを作ってみた話 という記事をQiitaに書き、自分の予想を超えた反響を受けてから約3年になります。 しばらく開発の更新は留まってしまいましたが、ニュース推薦に関しての探求が終わったわけではなく、むしろ見えてきた課題のために数多くの論文を読んだりプロトタイピングを繰り返していました。 そしてつい先日、これまで解けなかった問題に対してようやく答えを自分なりに導き出すことができたため、骨格となるアルゴリズムの刷新に始まり、ついで開発もインフラからサーバサイド、フロントエンド・デザインと、全面的なリニューアルを行うことに成功しました。 新しいMenthasは以下のリンクから使用することができます。 https://menthas.com 今回は

Kubernetesクラスタを持続可能にするために、いまからできること。 Sustainable Kubernetes = Baseline Kubernetes + Continuous Security + GitOps builderscon 2018の登壇資料です。 https://builderscon.io/tokyo/2018/session/d5a623d0-905f-4b25-8f70-cbf76afe9623

皆さんの周りには、「仕事がデキる人」が1人や2人はいるでしょう。自分もあの人のように、仕事がデキる人になりたい。けれど何をどうやって真似ればいいの？　どんな風に行動すれば、仕事がデキる人になれるのだろうか……？　そうお思いの方に、仕事がデキる人の特徴を3つ紹介します。仕事がデキる人になるための実践ポイントもお伝えしますよ。 仕事がデキる人は「一言でまとめる力」がある 仕事がデキる人は、「一言で言うと」で話をまとめたり、状況を自分の言葉で簡潔に伝えたりすることができます。 『新・独学術――外資系コンサルの世界で磨き抜いた合理的方法』の著者で、世界的コンサルティング会社、マッキンゼー・アンド・カンパニーにおいて数多の一流コンサルタントたちと共に活躍してきた経験をもつ侍留啓介氏。侍留氏によると、マッキンゼーの人々の口癖は、「私はそうは思いません」「そもそもの話」「一言で言うと」の3つなのだそう。

Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R

rfc.md RFC 2033: experimental coroutines Start Date: 2017-06-15 RFC: https://github.com/rust-lang/rfcs/blob/master/text/2033-experimental-coroutines.md PR: rust-lang/rfcs#2033 Issue: rust-lang/rust#43122 関連: RFC 2394 要約 コルーチンをRustに導入するための実験的なRFC 正式なものはまた別のPRで コルーチンに対するアイディアの共有とnightlyで試せるようにするのが目的 動機 Rustの2017年のロードマップの中では頑強でスケーラブルなサーバを書けるべきという項目があった: ただ最近の調査では、非同期I/O処理(e.g., futures, tokio)の書き難さがネ

改訂2版 基礎からわかる Go言語 レベル 初級 URL 改訂2版 基礎からわかる Go言語 | 書籍詳細｜株式会社 C&R研究所 改訂2版 基礎からわかる Go言語 | 古川 昇 |本 | 通販 | Amazon 内容 基本の説明が本としてまとまっているのが良い。 細かな説明までは踏み込んでいない。 基本的な文法のまとめが1〜8章まで。 よく使うプログラミングパターンのサンプルが9章にまとまっている。 手早く学習するなら、9章を実際に書いて動かして、わからない部分の知識を1〜8章を見直すのが良さそう。 スターティングGo言語 レベル 中級 URL スターティングGo言語（松尾愛賀）｜翔泳社の本 スターティングGo言語 (CodeZine BOOKS) | 松尾 愛賀 |本 | 通販 | Amazon 内容 一通りの基本を理解して、もう少し細かいGoの言語仕様を理解したい人向け。 どっちで

(注)ヘンリックの許可を得てざっくり意訳しました。原文は『Scaling Agile @ Spotify with Tribes, Squads, Chapters & Guilds』です。訳に対するヘルプも歓迎します。Thanks Henrik, this article is great for me. プロダクト開発をしている組織において、多角的なチーム構成を実現するのはいつもチャレンジな作業だ！ 今まで見てきた中で印象に残っている例がひとつある。それはSpotifyだ。Spotifyは3つの都市にまたがって30以上のチームにスケールしているが、アジャイルなマインドセットをキープし続けている。 Spotifyは音楽産業を一変させている魅惑的な企業だ。創業してから6年しか経っていないのに、1500万ものアクティブユーザーを抱え、400万以上の決済が行われている。また、そのプロダクトは「

Agile guilds have gained popularity in the last few years as many prominent companies (chiefly Spotify) evangelize how they keep software development teams from siloing. If you’re unfamiliar, a guild is a group of people who work on different feature teams and meet with some frequency to discuss a specific competency. Feature teams are multidisciplinary teams that are organized to create a product

2. Toshihiro Ichitani All Rights Reserved. Ichitani Toshihiro 市⾕聡啓 ソフトウェア開発16年 SIer→サービス→受託→起業 仮説検証とアジャイル開発 ギルドワークス株式会社 代表 株式会社 エナジャイル 代表 ⼀般社団法⼈ 越境アジャイルアライアンス代表理事 DevLOVE コミュニティ ファウンダ 0 → 1 @papanda

This browser is no longer supported. Upgrade to Microsoft Edge to take advantage of the latest features, security updates, and technical support. ……と、のっけから噛みつかれそうなタイトルを掲げてみたのですが；、ここ最近、立て続けて数件、「いやそれはアジャイルとか無理だろ；」的な話があって、ちょっとエントリを書いてみようかと思った次第。どんな話だったのかというと、 アジャイルとか DevOps やれば必ず開発生産性上がるんでしょ？ → そんなわけないでしょ；。 これからの開発は当然アジャイルとか DevOps でしょ！ → そんなわけないでしょ；。 みたいな話；。2 年ほど前に、「続・拝啓『変わらない開発現場』を嘆く皆様へ ～ ウォータフォール

先日、サイバーエージェントさんの「身に着けた技術をいかに捨てられるか。エンジニア歴39年、今でもエンジニアで居続ける理由。」という記事が大変話題になりました。 プログラミングやテクノロジーが大好きでWeb業界で働いているエンジニアの方の多くは、「可能であれば50代以降も現場で"手を動かすエンジニア"として働きたい」と考えてらっしゃると思いますが、平松さんのような方はかなり例外的で、Web業界で多数の現場を経験してきた私でも、50代以上の現役エンジニアの方とご一緒にお仕事をさせて頂いた経験は残念ながら一度もありません。 私は現在、雑食系エンジニアTVというYoutubeチャンネルで、Web系エンジニアのキャリアに関する情報を色々と発信させて頂いているのですが、視聴者の方から「Web系エンジニアの50代以降のキャリア」に関してご質問頂いても、完全に未知の領域になる＆ロールモデルとなる方があまり

さくらインターネット Advent Calendar最終日は、硬派にLinuxのメモリに関する基礎知識についてみてみたいと思います。 最近はサーバーを意識せずプログラミングできるようになり、メモリの空き容量について意識することも少なくなりましたが、いざ低レイヤーに触れなければいけないシチュエーションになった際に、OSを目の前に呆然とする人が多いようです。 基本的にLinux のパフォーマンスについて、メモリをたくさんつめばいいとか、スワップさせないほうが良い とか、このあたりは良く知られたことだと思います。 ただ、なんとなく ps コマンドや free コマンド などの結果を見るだけでなく、もう少しメモリのことについて掘り下げてみてみたいと思います。 メモリとキャッシュ Linux におけるメモリの状態を大きく分けると「使用中のメモリ」「キャッシュ」「空きメモリ」「スワップ」の 4 つに分

特定サービスのメッセージだけを表示 -u ユニット名で指定する。 ユニット名とはsystemctlで表示されるsshd.serviceなど。.serviceは省略できる。 ワイルドカードとして*（アスタリスク）が使える。 journalctl -u sshd journalctl -u httpd journalctl -u nginx journalctl -u mysqld journalctl -u cronie journalctl -u updatedb journalctl -u 'up*'

ClassName.EnumType.EnumValue みたいに EnumType を経由した識別子でアクセスできる import Foundation class A { enum Color { case Red case Blue } } let color = A.Color.Red // ダメ //let color3 = .Red // Color 型であることがわかる時はコンパイラが名前空間を考慮してくれる switch color { case .Red: print("red") case .Blue: print("blue") // => "blue\n" } 元記事: Varnish and Microservices: Introducing zipnish [update] スライドへのリンクが変わっていたので更新: https://www.slideshar

builderscon tokyo 2018での情報セキュリティのセッション。 "実例と基礎で情報セキュリティについて知る" というお題で話しました。

Redis勉強会の資料です。2013年に初版をアップしました。2015年6月にRedis-Clusterの内容を追記して再アップを行っています。

個人的に好き過ぎる回文紹介します https://t.co/0l8UpuwRfu

builderscon tokyo 2018 (https://builderscon.io/tokyo/2018/) 14:20〜 トラックE ・なぜ端末管理を行うのかについて ・macOS、Windows、iOS、Android 端末管理に関すること について話をしました。 発表ノート付きはこちら https://speakerdeck.com/kenchan0130/builderscon-tokyo-2018-034dddd7-02d6-4374-86c3-01b8a93f923d

「○○しない××法」という冗談みたいな発想法が意外と使える。こういうの中学生ぐらいで教えてほしかった... https://t.co/5GPxvQulaQ

CTOの椎名アマドです。 今回は、Pairyのチャットデータを全てRedisからAmazon DynamoDBに移行した話をしたいと思います。 我々が 2012年6月に カップル専用アプリ Pairy をリリースした時には、 データベースは MySQL と Redis の両方を利用するところで始めました。 Redis の役割は： 1. MySQLレスポンスのキャッシュ 2. プッシュ通知等のキュー 3. チャットのデータを全保管 サービスローンチ直後はまだ Appサーバー(EC2)１台と、MySQL & Redisを両方走らせてる DBサーバー(EC2)１台で十分だという判断で、しばらくはそんな構成でやってました。（S3などは省略） しかし、いざサービスが成長してくるともちろん MySQL & Redis を１台でまかなうのはキツくなり、MySQL と Redis を別々のEC2インスタン

高級なリブステーキやフィレステーキを食べたいけど、それはたまの贅沢だったりします。安いステーキ肉を使っておいしさを引き出すマリネのテクニックについてご紹介します。 マリネとは、肉を料理する前に調味液に浸す調理技法です。マリネードというマリネの漬け汁に漬けると、肉に風味が加わるだけでなく、しっとりして柔らかくなります（マリネードの酸味が肉の繊維をやわらかくして、保湿効果をキープします）。でも難点は、マリネードが肉に染みこむのにかなり時間がかかり、長時間漬けすぎると、酸味や塩気がきつくなること。漬けこむ時間については「ひと晩派」と「短時間派」がいて、正直、どっちが効果的なのかよくわかりません。 一方で、Cook's Country（有料なので要注意！）によれば、ステーキを最高の出来にするには、肉をグリルした後マリネするべきだということです。 マリネする時間とテクニックをテストする そこで筆者は

自分でもびっくりしてるいぬさん僕はフリーランスをしながら脱受託を目指してアプリを作って生活しています。だいたい1年のうち7割ぐらいをアプリ作りの時間に充てています。本稿では、Inkdropというマルチプラットフォーム対応のMarkdownエディタを一人で開発して月15万円の売上を達成するまでにやった事を包み隠さずにシェアしたいと思います。 Inkdropの月間売上の推移やったこと概要毎日感じるちょっとした問題を見つける自分自身がこれだ！と思えるまでプロトタイプを作るプライベートβ期間でヘビーユーザを作る継続性を重視して価格をつける決済処理はStripeで楽に実装する良いランディングページを作るユーザサポートを最優先にする自分の得た知見を惜しまずブログに書くクオリティで勝負する批判を全て無視する毎日感じるちょっとした問題を見つける僕は別に特別でもなんでもありません。人は意外と同じ事を感じたり

Transcript NoSQL ͷྺ࢙ʹΈΔɺ Cloud Firestore ͱͷ ਖ਼͍͠෇͖߹͍ํ 2018.09.01 iOSDC Day2 Naomichi Okada ࣗݾ঺հ • Naomichi OkadaʢԬా௚ಓʣ / @na0m1chikun • ౦ژେֶम࢜2೥ʢԽֶ޻ֶʣ → தୀ • ελʔτΞοϓͰiOSத৺ʹ։ൃશൠ΍ͬͯ·͢ • recruit-lifestyle/FeedbackMan Firebase Cloud Firestore • Firebase ͔Β2017.10ʹൃදɺݱࡏ΋β൛ • Firebase Realtime Database ͷ࣍ੈ୅൛ͱ͍͏ݟํ͕ڧ͍ • υΩϡϝϯτࢦ޲ͷ NoSQL σʔλϕʔε • ಺෦తʹ͸ GCP Cloud Datastore Firestore ͷಛ௃ • αʔόʔϨεͰΦʔτεέʔϧ • ʮੈք

私は普段、ネットワークを運用する人々のためにどうやったらネットワークをよりよく可視化出来るか、みたいな事を考えているわけなんですが、何をトチ狂ったのか、いっそのことアートっぽくしてみたら良いんじゃないかという思い付きを得てしまったので、形にしてみました。 一般的に、スイッチのアクセスインジケータはフレームの通過をLEDランプで可視化しています。同じノリでTCPの各種フラグを可視化してみたら、「なんか今日はRST多いなー？」とか「SYN多くね？サービス落ちてんの？」みたいなことがなんとなく分かるんじゃないかと思ったわけなのです。 フラグにそれぞれ色を割り当てて、パケットが通過するたびにLEDを光らせてみたいと思います。 「Crystal Signal Pi」 というRaspberryPiを使ってマルチカラーLEDを光らせるキットが販売されていたので使ってみました。 Crystal Signa

User interface design process involves a lot a creativity that starts on a whiteboard where designers share ideas. Once a design is drawn, it is usually captured within a photograph and manually translated into some working HTML wireframe to play within a web browser. This takes efforts and delays the design process. What if a design is refactored on the whiteboard and the browser reflects changes

https://builderscon.io/tokyo/2018/session/824f1750-4c2b-43e2-b942-e610b3c88c6c 「え、Raspberry Piっておもちゃでしょ？」 いえいえ、何をおっしゃいます。Raspberry Piは我々が見つけた最高のプロトタイピング環境であり最強のゲートウェイデバイスです。 進化を続けるRaspberry Piは電子部品へのインターフェースに加え今やWi-FiやBluetooth、HDMI出力やカメラモジュールなどのインターフェースを標準搭載しています。 そして産業利用する上で最も重要な品質を、わずか一台5000円という低価格で実現しました。製造台数と品質は比例するのです。 ※私は回し者ではありません この発表では以下の内容について話します。 なぜRaspberry Piを産業活用で選ぶのか 弊社でのRaspberry

builderscon2018で発表した資料。

この記事は、はてなエンジニア Advent Calendar 2017の 20 日目の記事です。19 日目の記事は yasuhiro_onishi さんのScratchを使った子どもへのプログラミング教育 — 大西ブログでした。 今年の 2 月にはてなに入社して、あと 1 ヶ月と少しで 1 年を迎えようとしています。はてなに入社してから Mackerel のインフラと時系列データベースの AWS 移行プロジェクトを任されたり、移行を終えた後も後片付けや移行後の運用を担当したりと、主に Mackerel にコミットしていた 1 年でした。自分が Mackerel にコミットしたところは Mackerel のイベントで登壇したいくつかの登壇資料にもあるとおり数多いのですが、この記事では、運用する中で試行錯誤を重ねて苦労した Mackerel を支える時系列データベースのコンポーネントとして利用

ーー本では、ひとり旅についても書かれています。いまも続けていますか？ 若林：ほぼ、ひとりでいろんなことをしてるんですけど、キューバに行ってからは、ひとり旅にはけっこう凝っています。このあいだバリ島にひとりで行ったのは、あっちに移住してスカイプで東京とか中国とかの会議に参加する生き方をしている人がいるって、名古屋の番組かなんかで聞いて。すごく見てみたくなって、どうやって働いてるのか見に行ったんです。 プールサイドのカフェみたいなところで、それぞれ仕事は違うんですけど、みんなどこかの会議にスカイプで参加している。でも、人と会わないで仕事してるじゃないですか。それはあまり面白そうじゃねーなって思っちゃって。見はじめて1時間くらいで飽きちゃって。ガイドさんに「遺跡でいいから見に行かせてくれ」って（笑） あと、バリ島に移住しちゃうと、後輩とか同期で居酒屋に行って、しょうもない下ネタとか人の悪口で2時