Google Colaboratory で Kaggle コンペに参加したいときの データの入手方法や提出方法についてまとめました。 実際の学習を行う部分は省略していますのでご注意ください。 記事よりも下記の成果物とリンク見たほうが早いと思います。 リンク 今回の成果物 | google Chrome 以外のブラウザだとうまく開けない可能性あります https://github.com/Kaggle/kaggle-api https://github.com/google/google-api-python-client Using kaggle datasets into Google Colab - Stack Overflow Kaggle API with Colab | Colab notebook 必要なもの Google アカウント Google Chrome 各手順 お好き

Research indicates that carbon dioxide removal plans will not be enough to meet Paris treaty goals

答え リモートサーバーに実行プログラムを送り込む仕組みだから。 そのプログラム=モジュールが主にpythonで書かれているから。(*) EFFICIENT ARCHITECTURE Ansible works by connecting to your nodes and pushing out small programs, called "Ansible modules" to them. How Ansible Works | Ansible.com 試してみよう ansible コマンドを実行 ここでは shell モジュールを使って、リモートサーバーで bash コマンドを実行してみる ( sleep 1 && ls -la ) 冗長な出力 -vvvv 指定をして中で何が起きているのかを見る sleep 1 が終わる前に Command+C などで無理やり処理を中断させてみよう

※ 2018/07/21 追記。 お読みいただきましてありがとうございます！ すみません、実はタイトルの割には「現在回しているイケてない運用をちょっとした工夫でサクッと改善する」ことを主眼としており、セキュリティのベストプラクティスではありません。。。 本稿の例で挙げているコマンドのリスクにつきましては、 注意 の項を追加しましたのでご参照ください。 公開当初は「10いいねくらいもらえたら嬉しいなー」と思っていた程度だったのですが、まさかここまでたくさんの方に読んでいただけるとは。。。 もっと内容を精査しておくべきだったと反省しております。。。 いいねやコメント等反応頂けるのはとても励みになります。ありがとうございます！ TL;DR 怖いですよね、セキュリティインシデント。 インフラ系でお仕事をしていると、 Linux にログインして操作する手順書を作る事が多くなります。手順書の中には認証

ご来店ありがとうございます。 本日より、新刊『みんなのデータ構造』の発売を開始しました。紙書籍の発送は7月25日前後を予定しています。電子書籍は購入後すぐにお読みいただけます。 『みんなのデータ構造』は、Pat Morin氏による “Open Data Structures” を翻訳して書籍として出版するものです。Pat Morin氏による原文は、クリエイティブコモンズ継承ライセンス（CC BY）で公開されており、誰でも自由に教材として活用できるだけでなく、内容に手を入れて別のライセンスで再配布したり、販売したりできるようにされています。堀江氏、陣内氏、田中氏による翻訳と、ラムダノート株式会社による編集も、すべてCC BYで公開しており、同様に自由に利用していただくことが可能です。 書籍版『みんなのデータ構造』（紙書籍および電子書籍）につきましては、クリエイティブコモンズライセンスではなく

爆速でKaggle環境を作る Kaggleに参加しようとするとデータサイエンス系のライブラリを大量にインストールする必要があリます。そのためにPythonの仮想環境を用意したりライブラリを調べたりしますが、上手くインストールできなかったりしてフラストレーションがたまることこの上ないですよね。 今回は出来るか限り少ない手順で出来る限りKaggleに用意されているカーネルと同じ環境を構築したいと思います。 特に理由がなければKernelsやColaboratoryを使えば良いと思いますが、通信環境が悪かったり、VMに環境を作りたい場合は参考にしてください。 構築環境 macOS High Sierra Kaggleとは Kaggleは企業(google,mercari,Recruit,etc..)や研究機関(CERN,etc..)などがデータを提供し、世界中のデータサイエンティストが最適モデル

株式会社ビズリーチで、SREエンジニアとして勤務しているmassです。2017年4月に入社してから、HRMOSというサービスのAWSのインフラを管理したり、アーキテクチャの設計・構築をしたりしています。 今回は、入社してから半年経ったらいつのまにかサービスのネットワーク管理者になっていて、そこで発生した問題と、それを解決するのに非常に役立ったCloudMapperというOSSを紹介したいと思います。 発生した問題 私がネットワーク管理者を引き継いだ段階では、ネットワーク構成図が作成されておらず、以下の問題が発生していました。 ロードバランサーを止められない 用途不明のロードバランサーが存在したため、停止を検討した。 しかし、どのリソースから利用されているか見えず、不用意に停止できなかった。 用途不明なEC2インスタンスの調査ができない AWSからメンテナンス通知が来た対象が用途不明なEC2

Linux touchpad like a Macbook: goal worth pursuing? Following is my proposal to improve the state of Linux touchpad drivers. It’s a cause I have spent almost a year of my spare time researching in depth. The first section, below, surveys the landscape of today’s available Linux touchpad drivers. The second section (“The Journey Here“) gets into greater depth describing the current failings of avai

Zenlogic障害報告書がリリースされる 本日、2018年7月17日（月）に、かなりの世間の関心ごととなった、Zenlogic高付加障害についての報告が出稿されています。 報告書（全文） Web https://zenlogic.jp/news/status/syogai/cause/ PDF https://zenlogic.jp/pdf/report/20180717.pdf 障害の原因（転記） ストレージシステムを含む、クラウド基盤を提供・管理するヤフー株式会社から、高負荷状態に陥った原因として、以下の報告を受けております。 [概要] 事象A：ストレージシステムのキャパシティプランでの想定を上回る負荷上昇による一時的な高負荷状態 事象B：事象Aへの対応に伴い、二次的に生じた長期間にわたる高負荷状態 [原因] 事象Aに対する原因 （1）2018年6月からストレージシステムに対する負荷