2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して

最近少しずつJupyter Notebookやpandas, matplotlibに慣れてきて、PythonによるData Scienceが面白くなってきたと感じてます。今日はMySQLのデータをSQLで持ってきて、Jupyter Notebook上でグラフにしてみる話。 セットアップ Python3はインストールされていることを前提。jupyterなどの必要なソフトウェアを入れる環境を作って、pip でインストールする。 python3 -m venv jupyter source jupyter/bin/activate pip install jupyter pandas matplotlib pymysql インストールが成功したら、こんな感じでJupyter Notebookを立ち上げる。 ./jupyter/bin/jupyter notebook 立ち上がったらブラウザから適

今日は，普段どのようにして専門知識を仕入れているかについて書いてみようと思います．特に自分が得意でない分野を知りたいと思った時に，どうするかに注目したいと思います．自分の専門の場合は，いくらでも時間を注ぐことが出来るので，世界中のリソースを全て探し当てて勉強すれば良いのですが，ちょっと興味が有るぐらいではそこまでやる時間は取れません．なので出来るだけ効率的に分かった気になるのが目標です． まず，論文を直接読むのはあまり効率的では無いと思います．論文は広い分野の中の或る問題に対して一つの解決方法を書いているだけで，分野全体を俯瞰することは目指していません．論文だけ読んで分野全体を理解するには，最低50本ぐらい読む必要が有ると思います．

こんにちは、@Dominion525 です。 好きなモビルスーツはMS-06R-1高機動型ザクIIです。 ちょっとしたダッシュボードとか気の利いたOSSのWebアプリケーションなどを動かすときに、気になるのは認証周りです。 都度、関係者分のアカウントを管理したり、パスワードの個別に変更したりするのは大変に面倒です。 こういうのはアプリケーション本体ではなくフロントのリバースプロキシで制限すると便利です。 ただし、基本認証などでは心もとないのでもう少し工夫をしてみます。 (もちろん、対象のアプリケーションは localhost からしかアクセス出来ないようになっているものとします。) mod_auth_openidc そこで、OAuth2認証を提供してくれる素敵Apacheモジュール*1が mod_auth_openidc です。*2 弊社では Google Apps を利用しているので、メ

［速報］「Kotlin」がAndroidの正式な開発言語に。開発元のJetBrainsとGoogleが「Kotlin財団」の設立も計画。Google I/O 2017 Googleが5月17日（日本時間5月18日未明）から開催中の年次イベント「Google I/O 2017」。初日の基調講演では、新サービス「Google Lens」の紹介や「Google Home」の日本発売、「Cloud TPU」や「TensorFlow Lite」の発表、新興国向けのエントリクラスとなる「Android Go」の発表などが相次いで行われました。 しかしその中でも会場からもっとも大きな歓声があがったであろうと思われるのが、プログラミング言語の「Kotlin」がAndroidの正式な開発言語になると発表されたときでした。 「Kotlinは完全にAndroidのランタイムと互換性があり、既存のコードとも相互運

グローバルダイニング、米国子会社が客同士のペッパーランチ事件みたいな揉め事のとばっちりで614億円訴訟

Microsoftが2015年に買収したタスク管理アプリWunderlistから撤退すること及び、代替となる新しいToDoリストサービス「To-Do」を発表しました。To-Doはその名の通りToDoリストを作成してタスク管理を行うためのアプリなのですが、PCやスマートフォンなどデバイスを問わずに使えるサービスになっているようだったので、実際に使ってみました。 To Do リスト アプリ - Microsoft To-Do Preview https://products.office.com/ja-JP/microsoft-to-do-list-app ◆ウェブアプリ版「To-Do」 というわけで、まずはPCのブラウザ上からTo-Doを使ってみます。ウェブアプリ版は以下のURLから利用可能。 Microsoft To-Do へようこそ https://todo.microsoft.com/

Mobile, EngineeringEngineering the Architecture Behind Uber’s New Rider AppDecember 20, 2016 / Global Why Uber Started Over Uber is based on a simple concept: push a button, get a ride. What started as a way to request premium black cars now offers a range of products, coordinating millions of rides per day across hundreds of cities. We needed to redefine our mobile architecture to reflect and sup

経営再建中の東芝は、イギリスで計画中の原子力発電所の受注を目指して、３年前に買収したイギリスの企業をめぐり、共同で出資しているフランスの企業が保有する、すべての株式を事前の取り決めに基づいて買い取ると発表し、現在、目指している海外の原子力事業からの撤退に影響を与えそうです。 ニュージェネレーションは、フランスのエネルギー大手「エンジー」が残りの４０％の株式を保有していますが、発表によりますと、ウェスチングハウスが先月、連邦破産法１１条の適用を申請し経営破綻したことから、重大な事案が発生した場合には東芝が株式を買い取るという３年前の取り決めに基づいて、エンジー側が保有する株式のすべてを買い取るよう求めてきたということです。 東芝による買い取り額は、およそ１５３億円になる見通しです。東芝は、海外の原子力事業からの撤退を目指していますが、イギリスのニュージェネレーションについては、東芝の保有比率

目的 2017/3/1 に us-east-1 の S3 大規模障害がありました。過去にもいくつか発生しているのと、いつ使っているリージョンで同じ事態が起きてもおかしくないと思い、これを機に過去どのような障害があったのか遡って調べました。 所感 毎年どこかのリージョンで大規模な障害が起きている ap-northeast-1 で起きていないのはたまたま、運がいいだけ AWS は復旧時間の改善・可用性向上に全力を尽くしているものの、未知の障害はいつかどこかで起きるもの ステータスダッシュボードは時に嘘をつく クラウドシェアトップである AWS はインターネット全体の SPOF になりつつある Chaos Monkey の思想は必須 報告書読むの面白い AWS の中身がすこし透けて見えてきます 前回データセンターについて調べたことが役に立った AWS のデータセンターに侵入する（妄想で） - Q

文：Daniel Sim　分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

会話を続けましょう。Android スマートウォッチで WhatsApp が利用できるようになりました。スマートフォンなしでも安全にメッセージを送受信したり、電話に出たり、チャットでおしゃべりしたりできます1。 ダウンロード

ABEJAでデータエンジニアをしています、千葉です。 少し前に、pandasのDataFrameをファイルに読み書きする際にメモリを消費しすぎる問題を発見したので、解決策を含めて紹介します。 通常手法の紹介 通常、DataFrameをファイルに保存する際には、pandasの提供するIOモジュールを使用します。 今回は、細かい変換規則を書く必要のないPython Pickleをベースとしたto_pickle機能について取り上げます。 # Dumping pandas.DataFrame import pandas df = pandas.DataFrame(..., columns=...) df.to_pickle(output_file_path) # Restoring pandas.DataFrame import pickle with open(input_file_path,

ワケ一覧 序の口: フレームワークだけが負債だと思ってる 序二段: ビジネスサイドに理解してもらう努力がない 三段目: 技術で遊び過ぎてしまう 幕下: 太り過ぎアーキテクチャ 十両: 過去に目もくれず、現状だって見ない 前頭: 技術に詳しいだけでアーキテクト 小結: アーキテクトの知識と覚悟が足りない 関脇: スパンが長く、モチベーションが続かない かど番大関: スパンが長く、人の入れ替えでチグハグ 大関: アーキテクチャデザインはどこへ？ 横綱: 実は人間的負債だった 序の口: フレームワークだけが負債だと思ってる みんな、フレームワークが大好き。とはいえ、さすがにみんな、「フレームワークが古いことだけが負債」だなんて思ってないはずだが...なのに多くの人が、あたかもそのような振舞いと判断をしてしまう。潜在意識の Big Issue だから？ o 信用できないテストデータ も負債 o 現

Machine Learning | Courseraを修了した。以前から良い評判を聞いていたのだが、正直ここまでよいとは思わなかった。コースは英語だけど、日本語字幕もある。 Andrew Ng 氏は大変バランス感覚に優れた研究者ですね。このコースによる氏の人類への貢献は大きいと思う。