概要 みんな大好きJupyter notebook(python)上で、Pyspark/Cythonを使っていろんなことをやる。とかいう記事を書こうと思ったけど、1記事に詰め込みすぎても醜いし、時間かかって書きかけで放置してしまうので、分割して初歩的なことからはじめようとおもった。 ということで、今回は、Jupyter起動して、sparkSession作るだけにしてみる。 使用バージョン Python == 3.5.1 Spark == 2.0系最新（branch-2.0をビルドしたもの） notebook == 4.2.1 Sparkの最新安定バージョンは、2016-07-01現在1.6.2なんだけど、もうgithubには2.0.0-rc1出てたりする。しかもrc1出て以降も、バグフィックスとかcommitされているので、結局今使っているのは、branch-2.0をビルドしたもの。 ちな

このスライドについて GCE の無料枠で遊ぶときに、やったほうがいいこととかを紹介します。 大体無料で運用できますが、1年間以上の長期運用をする場合はお金がかかるかもしれません。 やったこと お金をかけずに以下のことができるようにしてみました GCE のサーバインスタンスを立てた ドメイン取った HTTPS 対応した 概要 私が気づいた「気をつけたほうがいいこと」は、大まかにこんなかんじ。 最初に支払いのログの設定をする バケットとオブジェクトの命名ガイドラインに従う GCP の無料枠でなんとかなるようにする GCEのf1-microインスタンスを真にタダで使う方法 の問題 無料ドメインをとる DDNS（ieServer.net系）だと、証明書発行できない 1年間までなら無料で使えるドメインはある 有料でも、安めのドメインを買ったほうがいいかもしれない？ Let's Encrypt の証明

本投稿の内容 Qiitaの記事は、投稿してから２週間ほどしか見られる機会が無い。 そのため「見逃した良記事」「埋もれた良記事」が多数存在する。 ⇒見逃しても大丈夫。良記事をまとめて殿堂入りさせたサイトを作ろう！ 先に結果を書くと、以下のようなサイトを作った。 作ったモノ ⇒ Qiitaの殿堂 そして、作るなら 「無料」で「超省力」で作る！ GCP（GoogleCloudPlatform）を活用して、 「無料」で簡単にサービスを作る方法、としても本記事を公開する。 重要なノウハウやハマりポイントを全て公開！（保存版） Qiitaの殿堂 とは？ Qiitaの殿堂は、 上位1～2%の超人気記事を月ごとのランキング形式で紹介するサイト （他にもいろいろ検討中・・・） 後述のように無料枠での簡易運用なので、サーバが落ちているかも！？ あと、投稿数＆いいね数の推移グラフも追加しました。そちらも必見。

はじめに 「kaggleって何？」という人が、 kaggleがなにかわかる（話が合わせられる） kaggleコンペに参加してみる（ノリ気になる） ためのお手軽説明です(｀・ω・´) Agenda kaggleとは？ データ分析のトレンドの変化 kaggleの仕組み なぜkaggleをやるの？ やってみた(｀・ω・´) 1. kaggleとは？ 世界最大の機械学習・データ分析のコンペを主催するプラットフォーム つまり データサイエンティストの世界最強を決める大会 kaggleの規模 ユーザ数: 50万以上 国: 190カ国以上 らしい(｀・ω・´) 2. データ分析トレンドの変化 理論（theory） ↓ 実践（practice） 昔 理解するのが大事（theory） 今 実践・役立つのが大事（practice） 実践を重視している具体例 kaggle コンペ ノウハウの共有（コード・ディス

はじめに PythonのWebアプリフレームワークDjangoを使ってherokuへのデプロイまでをやってみる。 初期設定 1.Python３系のインストールを確認する バージョンを確認する python --version pythonがどこにおいてあるか確認する which python ※macには２系がデフォルトで搭載されていますが２系は廃止されるので３系をインストールしましょう ※pythonインストールがまだだったら以下の記事などを参考にインストールしてみましょう https://qiita.com/ms-rock/items/72b8f1abc661c539bb09 2.Djangoのインストール Djangoの公式ページで最新版を確認してインストールできるが、 django-tool-beltをインストールすればデプロイに必要なものも含めて一括インストールできる。 djan

こんにちわ 最近dockerを使っていて、 ターミナル上で直感的にdockerを簡単に操作できるツールあったら便利だなと思い、 Goの勉強も兼ねてCUIツールを作りました。 ツール名はdocui(ドックユーアイ)で、docker cuiをの略です。 特に良い名前思いつかず、適当に決めましたが、今となっては気に入っています。 まだdockerコマンドほど機能は充実していないのですが、よく使うコマンドは実装したので公開しました。 興味ある方は使って見て頂ければと思います。 今後は少しずつ改善・機能を増やしていくので、 使ってみた感想などを頂けると助かります。 2018/09/26 追記 docuiの実装について記事を書きました。 アジェンダ コンセプト 導入方法 各パネルの概要 各パネルの操作 image list container list volume list detail docui

TL;DR ColabのTPUを使って今すぐCNNを試してみよう。ものすごい速いぞ。 はじめに 9/26夜、Google Colaboratoryユーザーに激震が走った。 ハードウェアアクセラレータにTPUが使えるようになってる！？TPU(Tensor Processing Unit)凄さはこのニュースを見れば恐ろしいほど伝わってくる。 COOL Chips 21 - GoogleのWebサービスを支える「TPU」 https://news.mynavi.jp/article/20180424-621091/ TPU v1はIntelのHaswell CPUとNVIDIAのK80 GPUと比較すると、性能は15～30倍、電力効率は30～80倍になっているという。 NVIDIA K80は現在ColabのGPUアクセラレータとして用いられているGPUだ。もしこの15～30倍という値が本当なら、

「機械学習が出来るようになりたい」そう思いつつも、中々身についた感じがしない。 そんな方々に向けて、Kaggleで公開されているデータ分析の手順を追いかけながら、そこで必要とされている知識を解説したいと思います。全体像を把握することで、より理解が進むはずです。 1. データを分析するために必要な統計的知識 機械学習の目的は未知の事柄を推定することです。そのために既にあるデータから何らかの法則性を見つけ出す為に様々な手法が考えられてきました。 統計学はご存知でしょうか？　機械学習はデータを扱うという点で統計学と深い関係があります。平均値や標準偏差などは聞いたことがあると思います。統計学はそれらの情報をこねくり回すことによって、限られたデータから本当の全体像を推定します。例えば、選挙の結果を開示前に知りたいときに、投票者全員に聞ければ良いですが、そうもいきません。そこで、統計学は様々な方法を使

1. なぜ 998244353 で割るのか？ 最初はこのような設問を見るとぎょっとしてしまいますが、実はとても自然な問題設定です。 $998244353$ で割らないと、答えの桁数がとてつもなく大きくなってしまうことがあります。このとき以下のような問題が生じます: 多倍長整数がサポートされている言語とされていない言語とで有利不利が生じる 10000 桁にも及ぶような巨大な整数を扱うとなると計算時間が膨大にかかってしまう 1 番目の事情はプログラミングコンテストに特有のものと思えなくもないですが、2 番目の事情は切実です。整数の足し算や掛け算などを実施するとき、桁数があまりにも大きくなると桁数に応じた計算時間がかかってしまいます。実用的にもそのような巨大な整数を扱うときは、いくつかの素数で割ったあまりを計算しておいて、最後に中国剰余定理を適用して復元することも多いです。 なぜ 9982443

CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと

はじめに Python×業務効率化の可能性を模索中のk_mayo_beamと申します。 今回はPythonでRPAできないかと探し回っていたら見つけたAutomagicaというライブラリの機能をほんの少しだけ触ってみます。 Automagicaってなんだ？ 簡単に言うとPythonでRPAができるよ！っていうライブラリだと思ってます。 公式のドキュメントは⇒こちら Pythonには多数の便利なライブラリが準備されており、 比較的簡単にExcelやPDFを触ったり、WebUIの自動テストをしたり、 マウスやキーボードを自動で動かしたりできます。 ただ、統合的な自動化をしようとすると、 たくさんのライブラリをインポートするのがちょっとだけ面倒です。 AutomagicaはPyAutoGUI，Selenium，Tesseract，OpenPyXL，Beautiful Soupなどの 有名どころの

Jupyter/Pythonでデータ分析する人にお勧めしたい！便利なライブラリー「PixieDust」をザクッと紹介しますPythonSparkpandasVisualizationJupyter はじめに こんにちわ！石田です。皆様、「PixieDust1 」ってPythonライブラリー、ご存知ですか？昨年出て超便利なのに、なぜか日本ではぜんぜん知られてませんッ2。日本語の記事はQiitaの「これ」くらい。。 Plotlyやipywidgetでシコシコ書くよりぜんぜん楽だし守備範囲も広いので、「このまま埋もれさせるのはモッタイナイ！」と思ってご紹介の記事を書きました。一番ウケそうな「インタラクティブなチャート・ウィジェット」については別記事「Jupyter/Python上でたった3行でインタラクティブなチャート・ウィジェットを作れる！PixieDustを触ってみた」にHow-To含め書き

こんにちわ。れとるときゃりー(@retoruto_carry)と申します。 半年前からwebを勉強しはじめて、ひとりでwebサービスを作りまくっている大学3年生です。 今回で３つめのwebサービスです。 作ったもの みんなのボタンメーカー ツイッターでつぶやけるボタンを簡単に作成できるサービス。 2018/9/11 追記 予想以上に人気なってしまい、想定を遥かに超えるアクセスで一時サーバーがダウンしていましたが、サーバーのスケールアップをして復旧させました 2018/9/13 追記 公開3日で累計8万PV、4万UUを突破しまし た 2019年2月 フロントをすべてnuxtに置き換え、SSRするようにしました 【おしらせ】「#みんなのボタンメーカー」というサービスをつくりました！🎉🎉✨ こんな感じのボタンを、ログインなしでかんたんにつくれます！💪 （押すとツイートできます） ぜひ、いろ

irisデータセットを用い、scikit-learnのパーセプトロンでトレーニングする 特徴量は萼片の長さと花弁の長さ トレーニングデータの生成 from sklearn import datasets import numpy as np from sklearn.cross_validation import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import Perceptron from sklearn.metrics import accuracy_score # Irisデータセットをロード iris = datasets.load_iris() # 3,4列目の特徴量を抽出 X = iris.data[:, [2, 3]] # クラ

いつも行っていることをまとめる。 参考にするドキュメント Welcome to Flask — Flask Documentation (0.12) SQLAlchemy - The Database Toolkit for Python Flask-SQLAlchemy — Flask-SQLAlchemy Documentation (2.3) 今回の利用した環境は以下の通り。 MacOS 10.13.3 Python 3.6.3 flask 0.12.2 flask-sqlalchemy 2.3.2 PyMySQL 0.8.0 SQLAlchemy 1.2.2 必要なライブラリをインストールする flask SQLAlchemy flask-sqlalchemy pymysql をインストールする。

最近、僕の周りでFirebaseを使った人たちは、 「サーバーの処理をFirebaseに置き換えたら、筋肉がつきました！」(29歳, 社会人) 「Firebaseを使ったら友達も増えてわっしょいわっしょい」(11歳, 小学生) 「もうFirebase無しじゃ生きられない」(38歳, エンジニア) 「にゃーん」(1歳4ヶ月, うちの猫) と言っていました。嘘です。 冗談はさておき、趣味で開発しているアプリのサーバーサイドをFirebaseに置き換えたらすごく良かったので、ずらずらと書いていきたいと思います。 Firebaseとは？ Firebaseは、Googleが運営しているmBaaSで、iOS/AndroidアプリからWebサービスまで幅広く使えます。 リアルタイム同期や豊富な機能が特徴で、サーバーサイドの開発コストを大幅に減らすことができます。 色々機能はあるのですが、今回僕が使った機

はじめに Webサーバをセキュアに保つ為、個人的に行っている設定をざっくりまとめてみました。 設定内容はApache 2.4での運用を想定していますので、他のHTTPdをお使いの方は適宜読み替えてください。 各設定項目は以下のオンラインテストサイトでA+相当を取ることを目指しています。 設定ファイル生成 Mozilla SSL Configuration Generator オンラインテスト Mozilla Observatory Qualys SSL Server Test 前提条件 以下で設定する項目は特にHTTPS接続や攻撃防止に関するものになります。 HTTPdそのものに関する基本設定については別記事をご参照ください。 SSLProtocol 危殆化した古いプロトコルを有効にしている場合、古いプロトコルを標的としたダウングレード攻撃等を受ける可能性がある為、新しいプロトコルのみを有

なぜそんなことがしたいのか？ 起動中のコンテナの状態を中から覗きたい。 うまく動いていない場合の原因追求の一つの手段として。 やること 当然ながら CONTAINER_ID は、事前に docker ps などで取得しておく。 コンテナ名でも大丈夫。 普通に docker help で表示されるコマンド一覧にも書かれているけど、どうしても docker attach ~~~ とかをしたくなる。 蛇足的なこと 操作方法を「覚える」のではなく「思い出す」ための一助としてこういう記事もいいのかな、と思う。 繰り返せば身について、そのうち「思い出す」必要もなくなるはず。 エキスパートな人にとっては「今さら」なことでも書き出しておく。 自分の恥は、かき捨て。 参照 How to get bash or ssh into a running container in background mode?

普通にapt-getで行けるかと思ったらダメだった。 調べた感じ、配布されているバイナリを落としてくるか、リポジトリ追加してインストールするかのどちらかかなと思ったが、パッケージとして管理したいので後者で。 sudo apt-get -y install software-properties-common sudo add-apt-repository ppa:mc3man/trusty-media sudo apt-get update sudo apt-get -y install ffmpeg

Prometheus、流行ってますね。 pull 型で、metrics の収集を HTTP 経由で行えるので、テスト用の監視サーバーをローカルの作業マシンに立ち上げて動作確認をしたりするのが楽なのも良い点だと思います。 Prometheus 本体も exporter も docker image が提供されており、docker での環境構築が楽なのも今風の OSS だなという感じがします。 ここでは、docker-compose を用いてローカルの Mac で起動を試みてみようと思います。 How to install Prometheus and Grafana on local Mac