はじめに 今回作成されたノートはこちらに公開してあります (ただし実際の実行にはBeakerサーバーが必要ですので、以下の手順を参考にしてください) 前編では、Jupyterで埋め込みカスタムJSウィジェットを作成する場合の具体例と、Beaker Notebookの紹介を行いました。今回は実際にBeakerを使う場合の手順を見て行きたいと思います。 環境の準備 ほとんどの場合において、「素のPython/R/JS」で作業が完結するというのは稀です。たとえば、データの下準備の時は、pandasを使いたいことが多いでしょうし、matplotlibなどで描画を行いたい場合も多いでしょう。ノートブック型アプリケーションは作業の過程を残すのには適していますが、その作業がどのような環境で実行されたかまでは記録することができません。 Dockerを使った可視化環境のポータブル化 そこで、ノートブック型ア

この記事はData Visualization Advent Calendar 2015への寄稿です。 はじめに データ可視化を行うためのツールは選ぶのに困るほど様々なものが出回っています。ExcelやTableauなどのアプリケーションに加え、カスタム可視化を作成するD3などのツールキットなどもオープンソースソフトウェアとして個人で利用可能です。ツールの選択は「これが正解」というものはなく、基本的に自分のスキルセットやデータの種類に応じて使いやすいものを選べば良いと思います。しかしせっかくここはプログラマ向けの場所ですから、コードを書いて行う可視化に的を絞って話を進めます。本稿では、Jupyter Notebook、Beaker Notebookと言うプログラミングによる可視化を行う場合に便利なツールの紹介をします。その中でも特に、自分でJavaScriptコードを書いてカスタム可視化を

About a year ago I made an effort to summarize the books, blogs, and conferences that have informed my understanding of Information Visualization. I recently went over the list again and I think it holds up for the most part so I´m republishing it here for everyone who is interested in the field. Books to read: Readings in Information Visualization - Using Vision to Think by Stuart K. Card, Jock D

(後半 Part1からの続きです。何故か元記事が消失したので、分割して再構成しました。) シリーズ各セクションへのリンク 前編: 効果的なデータ可視化とはどのようなものか？ 中編: 分かりにくい可視化を避けるための手法の選択 後編: Part 1 基本原則 後編: Part 2 学習ガイド データ可視化について更に学ぶ ここまでに書いたことは、可視化の専門家ではない自分が経験や読書などで得た知識の一部です。つまり普通に手に入る情報や本でこの分野はある程度まで独学できます。プログラマーの方々がこの先さらに学ぶためのポインタを幾つか示したいと思います。 英語を学ぶ いきなりやる気を無くすアドバイスで申し訳ないのですが、プログラミング一般の話題と同じく、実務方面の可視化に関する最新の話題は、ほぼ全ての一次情報が英語で書かれています。日本語の紹介記事を待ってもいいのですが、そうするとかなりのタイム

改訂版について　(5/7/2019公開) この記事は、私がこちらに公開したもの中では最も読まれているようです。そこで、執筆後に気づいたこと、古くなった情報、新しい技術動向などを考慮に入れて改訂をしました。主な変更点は以下の通りです： 新しいセクションの追加 最近の本の紹介 細かな表現の修正 この記事は複数のセクションに分かれていますので、前編から始め、順番にアップデートして行きたいと思います。何かお気付きの点などありましたら、コメント欄、もしくはkonoアットマークucsd.eduにお願いいたします。 はじめに この記事は、可視化の専門家ではない人がコンピュータを使ってデータ可視化を実際に行う場合に必要な、一般的なノウハウをお伝えするシリーズの第一回です。 前編: 効果的なデータ可視化とはどのようなものか？　（本稿） 中編: 分かりにくい可視化を避けるための手法の選択 後編: Part 1

本記事のコード/ご参照 ・本記事の全体のコードのnotebookを以下にアップしております。あわせてご参照くださいませ。 “Kaggle titanic_tutorial_code” ・本記事含むKaggleやデータ分析初学者向けのチュートリアル解説本を執筆しました。あわせてご参照くださいませ。 ※本記事のコードや環境構築の詳細手順を記載した書籍となります。 『Pythonで動かして学ぶ！Kaggleデータ分析入門』 ※はじめに 本記事は2020年の上記書籍発売に合わせて内容を加筆・修正しました。そのため執筆当初と内容が異なる箇所がございます。またKaggleあるいはデータ分析における最初のチュートリアルとしてtitanicは長らく親しまれておりましたが、下記3点の現状があることをご認識いただいた上で取り組まれるのが良いかと思います。 ・データ数が少なくOverfit（過学習）しやすい ・

はじめに データ解析の情強な方なら、Kaggle はご存じだと思います。データ解析のSkillを競うCompetitionサイトで、与えられたテーマ(Dataset)に対して、世界中のデータ解析有識者が様々なデータ解析手法を駆使してより高い正答率(Score)を競い合う場所です。 が、Kaggleそのものは知っていても、どうやればKaggleに実際に参加できてランキングに加われるのかは知らない、と言う方は多いと思います。この記事では、とりあえずKaggleの何らかのCompetitionに参加して、解析結果をSubmitして、(その時点の)順位/Scoreを確認するまでの操作手順/流れをチラ裏したいと思います。 KaggleのWeb pageは色々な情報/Linkが詰まっているので、ぱっと見取っ付きにくいかもしれませんが、ポイントをつかめば参加してScoreを付けて貰う所まではとても簡単で

本研究では、ラフスケッチの自動線画化を効果的に学習するための統合的なフレームワークを提案する。提案手法では、線画化ネットワークおよび線画識別ネットワークを構築し、線画識別ネットワークは本物の線画と線画化ネットワークによって作られた線画を区別するように、線画化ネットワークは出力した線画を識別ネットワークが区別できないように学習を行う。このアプローチには2つの利点がある。一つ目は、識別ネットワークは線画の「構造」を学習できるため、線画化ネットワークがより精細で本物に近い線画を出力できるようになる。二つ目は、対応関係のないラフスケッチと線画を学習に取り入れることができ、実世界の多様な教師なしデータを線画化ネットワークに学習させることができる点である。本学習フレームワークを用いることで、最新の線画化手法よりも精細で多様な線画化が可能となる。さらに、提案手法は入力画像のみをさらに学習することで、入力

この記事は『ドワンゴ AdventCalendar 2017』の14日目の記事です。 はじめに アプリケーション開発において、近年ではQA(Quality Assurance)という品質やパフォーマンスを保証することに対してエンジニアリングがどう対応していくかといったことに注目が集まりつつあります。 例えばGoogleでは既存の品質保証プロセスで存在していた手動プロセスを自動化するという試みが行われており[1]、MercariではQA-SETチームという職務横断型プロジェクトの発足といった取り組みがなされているようです[2]。 今回はこのようなQAの確認項目の一つである負荷試験とパフォーマンス分析についてお話できればと思います。 Goadの紹介 負荷試験(LoadTest)は、構築したシステムがパフォーマンス要件を満たしているかの確認、ボトルネックの発見、パフォーマンス最大化のために行われ

こんにちは、エンジニアの佐藤です。 突然ですが、みなさんは分割キーボードをご存知でしょうか。 キーボードが真ん中で左右に分かれており、左右のそれぞれの腕に対して自然な位置・角度に設置できるキーボードのことです。 エルゴノミクスの観点からも人気の高い分割キーボードですが、高価であることや種類の少なさなどから導入ハードルは低くありません。 そんな分割キーボードの代替手段としてあるのがデュアルキーボードです。 デュアルキーボードとは、2台のキーボードを左右に並べ、左手で左のキーボード、右手で右のキーボードをタイプするスタイルのことです。 本記事では、弊社でも多くのメンバーが採用しているデュアルキーボードの魅力についてお伝えしたいと思います。 h2. デュアルキーボードの7つの魅力 h3. 身体にやさしい なんといっても分割キーボード自体の魅力である、自然な腕の角度でタイピングできることが最大の利

Server Side Renderingについて知るべきこと。Server Side Renderingとは何か？ それによって何が改善されるのか？（前編） ng-japan 2017 JavaScriptフレームワークとして知られるAngularのイベント「ng-japan 2017」がAngular Japan User Group主催で6月17日に都内で開催されました。 Angularは基本的にWebブラウザで実行されるJavaScriptアプリケーションのフレームワークですが、一方でサーバサイドでAngularが備えるHTML構成機能を実現する、いわゆるServer Side Rendering機能の開発も「Angular Universal」として進んでいます。 そのため、Server Side Renderingに興味を持つAngularデベロッパーも増えてきました。 ng-

注意。実装はまだないです。思考実験的な意味合いが強いです。 持論 Reactやredux/Rxのデータモデリング手法の発達で、ツリー構造の末端に渡すまでのデータモデリングが主戦場になりつつあります。これはロジックを注入する部分と、プレゼンテーショナルなものが明確に分離されてきたことを意味します。 僕は個人的に、 GUI にまつわるものは、本来GUIで設計したい、という気持ちがあります。そう、僕が作りたいと思っているのは、悪名高きホームページビルダーです。 とはいえ、プログラミング抜きでxxxできる！というものではありません。むしろプログラミングとGUIを横断するイメージで、Unity や UnrealEngine のような開発環境を想定しています。 今やりたい理由 ブラウザの仕様が安定してきた 色々と使えるパーツが増えた JS で複雑なツールを作れるようになり、インブラウザな開発ツールが作

Mental health has been in the news quite a bit lately. Dozens of U.S. states are currently suing Meta for contributing to the youth mental health crisis by inserting addictive features into their products, while the U.S. Surgeon General is touring the nation to bring awareness to the growing epidemic of loneliness and isolation. The country has endured periods of low national morale, such as in th

この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書

「2017年12月下旬から『量子超越性』の実証を開始する」「量子コンピュータのクラウドサービスを提供する計画だ」――。米Googleと米カリフォルニア大学サンタバーバラ校で量子コンピュータの開発を率いるJohn Martinis氏はそう力説する。量子コンピュータに注ぐGoogleの並々ならぬ野望を解き明かそう。 GoogleのMartinis氏は米シリコンバレーで2017年12月5～6日に開催された「Q2B Conference」の講演で、同社がクラウドサービス「Google Cloud」の一部として、量子コンピュータを提供するための作業中であることを明らかにした（写真1）。同社が開発中の量子ゲート方式の量子コンピュータを、インターネット経由で利用できるようにする。 量子ゲート方式のクラウドサービスは、米IBMが「IBM Q」を使って開始している。しかしGoogleの量子コンピュータは、従

同じ記事を別のカレンダーに登録できないことに気づいて必死にネタを探しました。 うちのソフトウェアで必要に駆られて製作したappinstanceクレートを少し前に切り出して正式にpublishしたのでその紹介です。 つかいかた appinstanceは主にアプリケーションの実行と同じライフタイムを持つ唯一のオブジェクト(つまりシングルトン)を定義するためのライブラリです。 appinstanceの実態はひとつのマクロなので、利用は次の一行を追加するだけでおしまいです。 AppInstance!(pub static instance: SelfObject = SelfObject::new()); staticとDrop Rustにはすでにstaticというキーワードが存在しており、これを使うとアプリケーションと同等のライフタイムを持つデータを定義することが可能になっています。ただしこの定

はじめに この記事は、Python Advent Calendar 2017 12日目の記事です。 ここでやること PyCon JP 2017の会場でもとてもお世話になった早稲田大学の数学入試問題をPythonで扱います。 ※ この記事で扱う問題は、代々木ゼミナール（予備校） | 早稲田大学 基幹理工・創造理工・先進理工の入試問題と解答例（2016年解答速報）から引用しています。 過去の記事 * 2015年センター試験数学ⅡBをPythonで解く * 2016年東大数学をPythonで解く 環境 Python 3.6.3 Sympyとは？ Pythonの記号計算ライブラリ 公式ドキュメント : http://www.sympy.org/en/index.html 日本語資料 : http://www.turbare.net/transl/scipy-lecture-notes/packag

Elm初心者です。 しかし、初心者という立場だと何を学べばいいかわからなくなりがちです。 自分も、はじめAltJSの一つだと考えて、node向けにビルドしてまずは標準出力にHello Worldかみたいに考えて初めての一歩を踏み間違えて消耗しました。 そこで、elm-workshopです。 これは、ElmHubをいうGitHub APIを使ったのElmのアプリケーションを組み立てていくチュートリアルで、基本的なことを穴埋め形式で学ぶことができます。 自分は見てませんが、8時間に及ぶ動画もあります(有料) 準備 readmeのGetting Startedに書いてある通りに環境を用意します。 node v6.9.2以上 お好みのエディタにElmのパッケージの導入(自分はVSCodeにelmというプラグインを入れました) elm-formatをインストール(jsでいうところのprettierみ

ある方程式 $y=f_{(x)}$の1次導関数がxに関する1次式でないとき、その方程式は非線形である。 というわけで、皆さんご存知の $$ y = ax^2 + bx + c $$ も非線形方程式です。この子は $ y=0 $ なら中学生で習う二次方程式の解の公式 $ \frac{-b\pm\sqrt{b^2-4ac}}{2a} $で解析解が求められますが、 例えばこんなのだともう解析解を求めるのがおっくうになってしまいます。 $$ y = x^2 - \sqrt{x+3} $$ というわけで多くの非線形方程式は近似解として数値解析を用いた数値解を使うことがほとんどです。 今回は非線形方程式をPythonで解いてみようと思います。 解き方 scipy.optimize.newton(Newton-Raphson Method) $ x_i $ における $ y = f_{(x)} $ の接

TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー

OSがUNIXベースであるため、大量の遺伝情報を扱う解析サーバーとの親和性が高い。また、持ち運びできるノート型PCであることから、共同研究先に訪問した際に解析データを見ながらのディスカッションや、現地での追加解析や論文執筆などを進められることから選定に至った。

ssmjp 201712 はたのさん祭での「運用自動化、不都合な真実」の発表資料です。 詳細: https://www.opslab.jp/publish/20171212-ssmjp-automation.html (運用設計ラボ合同会社 波田野裕一)

ベンチャー企業は大企業を倒せるのか？ 川邊健太郎氏（以下、川邊）：ヤフーの川邊でございます。今までの登壇者の中で唯一襟付きの服を、ちゃんと着ております。まともです。 （会場笑） 今日はIVSでベンチャー経営者のみなさんに何か話をしてくれ、ということですので、こういったタイトルで話をさせていただきます。「ベンチャー企業は大企業を倒せるのか」。結論から言うと、私は倒せると思います。その話をさせていただきます。「川邊健太郎なんだから、自己紹介なんて必要ないだろう」と思ってたんですけれども。 （会場笑） IVSの小野さんに事前に資料を見せたところ、「川邊さん、若い経営者がけっこう来るので、自己紹介とかしてくれませんかね？」と、婉曲に知られてないということを教えていただきましたので、一応自己紹介をさせていただきます。 インターネット黎明期の1995年、大学3年生だったんですけれども、「電脳隊」という

Shibuya.XSS techtalk #10 の発表資料です。

Japanese subtitles were first made available on the Netflix service as a part of the Japanese launch in September 2015. This blog post provides a technical description of the work we did leading up to this launch. We cover topics including our specification for source subtitle files, the transformation model from source subtitle files to those deliverable on the Netflix service, the model for deli