初心者向けTellus学習コース
初心者向けTellus学習コース 本教材は2020年度に提供した教材のため、Tellusの画面やAPIが現在の仕様と異なっている部分がありますのでご注意ください。 2018年度にリリースした衛星データをクラウド上で分析できる日本発の衛星データプラットフォーム「Tellus」は、2019年度にTellusをより多くの方にご活用いただけるようeラーニング講座を応募者への抽選登録制で提供してまいりましたが、2020年3月から、プログラミングと機械学習の基礎が学習できる「Tellus Trainer」と「初心者向け Tellus 学習コース」の2つのeラーニング講座を公開制限なしで提供することとなりました。 本教材「Tellus初心者向け学習コース」では、Python初心者向け教材となる基礎編と、Pythonで学ぶ実践的な衛星データ解析となる地理空間情報解析編（応用編）に分かれます。 基礎編では、
Webページ高速化に必須の知識！ブラウザがWebページをどのようにレンダリングしているか、図を用いて解説
ブラウザがWebページをどのようにレンダリングしているか、図を用いてやさしく解説した記事を紹介します。 レンダリングの仕組みを理解することで、HTMLやCSSやJavaScriptなど実装時にも気をつける点があります。 How the browser renders a web page by James Starkie 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 はじめに 1. HTMLの解析（パース）を開始する 2. 外部リソースを取得する 3. CSSを解析し、CSSOMを構築する 4. JavaScriptを実行する 5. DOMとCSSOMをマージしてレンダリングツリーを構築する 6. レイアウトとペイントを計算する はじめに 私の考えとしては、高速で信頼性の高いWebサイトを構築するには、実装中に各ステップを最適
Pythonでデータと向き合いながら価値を見出す「探索的データ解析」に挑戦しよう
本連載では、プログラミングの基本は理解していて、より実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語のなかでも特にデータ解析に役立つライブラリや環境が整っているPythonを取り上げ、対話型解析ツールやライブラリについて導入から解析の実行・可視化までを解説します。第2回では、Pythonによる探索的データ解析を解説します。まず対話的環境による探索的データ解析について確認し、Jupyter Notebookを使ったデータ解析の実行・可視化までの手順を解説します。 対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 探索的データ解析の流れを確認 まず対話型環境に
MySQLのクエリの良し悪しはrows_examinedで判断する - かみぽわーる
仕事やらなんやらでMySQLのクエリの良し悪しを判断する必要があるとき、EXPLAINの内容だけだとどのぐらい良くなったり悪くなったのか分からないので SET long_query_time = 0; してrows_examined (そのクエリでrows_sent行の結果を返すために何行に触ったのか)も一緒に提示するようにしている(少なくともMySQL 5.7時点ではrows_examinedはslow_query_logでしか確認できないはずperformance_schemaが有効ならevents_statements_historyやその仲間たちで確認できるとのこと*1 MySQL :: MySQL 5.6 リファレンスマニュアル :: 22.9.6 パフォーマンススキーマステートメントイベントテーブル)。 例: 上の例のBeforeは、もともとDBAが書いた温かみのあるSQLでO
perlでHTMLを解析して欲しい情報を抽出するためのコードをメモ
HTMLファイルから特定のタグに囲まれている情報だけを抽出したり、リンクだけを抽出したりしたいと思ったので、それを実現するコードを色々調べてperlで作成してみたのでメモしておきます。いわゆるスクレイピングするためのコードです。このコードでは、perlのHTML::TreeBuilderを使いました。 #2014/1/25追記 以下にメモしたコードそのままでは、HTML5で記述されたhtmlファイルから情報を抽出できません。HTML5にも対応したコードはperlでHTML5を解析して情報を抽出するコード（HTML::TagParser版）にメモしたので、見て頂ければと思います。 実行環境と使用したperlモジュール 実行環境はUbuntu12.04 64bit です。 使用したのは以下の２つのモジュールです。これらのインストールはcpanmで行いました。 HTML::TreeBuilder
年収を偏差値化した世界 - RepoLog│レポログ 統計データを使って様々な暮らしをレポートするブログ
年収を偏差値で表すと、どんなことが起きるのでしょうか。 「偏差値」という統計量は、受験戦争を通じて日本社会に定着しています。受験期には嫌というほど耳にする数値指標ですよね。 受験業界ではもはやなくてはならない統計量になっている偏差値ですが、その数値の高低のみで進学先を決定する風習から偏差値至上主義を生み出し、"悪の元凶"のように目の敵にされてしまっている一面があります。実際、偏差値に振り回されて嫌な思いをされた方も多いのではないでしょうか。 しかし、これだけ長きに渡り、日本の受験業界に君臨している指標ですから、使い方次第で大きな恩恵を手にできる優れた面も持ち合わせているはずです。 一方で、この「偏差値」という数値指標は、受験生時ほぼ毎日のように耳にし、その数値を意識して過ごしていきますが、一旦入試を終えると恐ろしいほど耳にする機会が減るという奇妙な現象が起こります。 変わりに、社会人になる
sha1を逆引きで解くのに必要なデータ量を計算してみた
sha1は様々な文字列を160bitのハッシュ関数に変換する暗号化アルゴリズム。 復号化は非常に大きな時間を要するため、一般的には不可逆な暗号としてパスワードの暗号化などに利用されている。 これをすべてのキーワードをsha1に変換した値のデータベースから探してくる方法(逆引き)で探す場合、パスワードの桁数ごとにどれだけのデータが必要か計算してみた。 計算はDB各行のヘッダーは無いものとして計算しています。 6文字のパスワードなら1テラバイト、7文字なら71テラバイトでパスワードを解析することができます(億行のデータってどれくらい時間がかかるんだろう…)。それ以上は一般人には無理なデータ量ですね。10桁あれば「絶対無理」と言えるんじゃないでしょうか。 一般的な攻撃方法は同じハッシュ値を生成するキーワードを導き出す方法ですが、6文字であればこちらの方法でも有効そうです。 一般的にパスワードは6
［速報］Google、モバイルアプリ用ログ解析ツール「Firebase Analytics」の無償提供を発表。ノーティフィケーションも無制限に無償で提供。Google I/O 2016 － Publickey
［速報］Google、モバイルアプリ用ログ解析ツール「Firebase Analytics」の無償提供を発表。ノーティフィケーションも無制限に無償で提供。Google I/O 2016 Googleはサンフランシスコで開催中のイベント「Google I/O 2016」で、モバイル向けバックエンドサービス（MBaaS）である「Firebase」の新バージョンで、アプリケーション向けログ解析ツール「Firebase Analytics」を無制限かつ無償で提供すると発表しました。 新バージョンのFirebaseは単なるMBaaSではなく、モバイルアプリケーションの開発を促進するためのさまざまな機能の集合体となっています。 Firebase Analyticsはアプリケーションのログ解析に最適化された、いわばアプリ版のGoogle Analytics。iOS、Androidに対応。 これを無償かつ
throw Life - AndroidのHandlerとは何か？
AndroidでWeb APIを使う場合、マルチスレッドによるユーザビリティ向上を以前のエントリで説明しました。 AndroidアプリのUIはシングル・スレッド モデルです。 単純にマルチスレッドにしてUIの操作をしてしまうと、CalledFromWrongThreadExceptionでアプリがダウンしてしまいます。 これを回避する仕組みがHandlerです。 Handlerの仕組みを簡単に説明しようと思ったのですが、 またもや長くなってしまったので、先にまとめます。 AndroidのUI操作はシングル・スレッド モデル ユーザビリティ向上の為にはマルチスレッドが必要 Handlerで実現 Handlerを使わない場合に起きる例外は実行スレッドのチェックで発生 Handlerを使うと、UI Threadの持つキューにジョブを登録できる キューはUI Threadにより実行される
RailsのSessionが良くわからないのでコードを追いかけはじめました : やむにやまれず
2007年08月03日14:57 by 山崎泰宏 RailsのSessionが良くわからないのでコードを追いかけはじめました カテゴリRuby Tweet sparklegate Comment(9)Trackback(0) 最近APIのマニュアルを読んでも良くわからないことが多くなってきた。なので、ぼちぼちRailsのソースを読む機会が増えて来ました。 やっぱりオープンソースってすごいですよ。 完全に透明なプロダクトって最後は中を見てしまえるという安心感があります。 この安心感って重要で、リチャードストールマン氏がその昔プロプライエタリなプリンタドライバのバグを直せなくてイライラしたって言っていた理由がよくわかります。 今回はRailsのセッションについて調べました。追いかけていくと分かるのですが、セッション関連の処理は非常に大掛かりです。 るびまにも書かれている通りチューニングのポイン
「データ解析のための統計モデリング入門」6.6章 割算値はなぜダメなのか？ #みどりぼん - 木曜不足
昨日 7/29 の「第6回「データ解析のための統計モデリング入門」読書会」は参加しなかったのだが、ニコ生で中継してくださっていたので後半を聞くことができた。 6.6章「割算値の統計モデリングはやめよう」では、タイトルの通り観測データ同士を割り算するなと話しているわけだが、読んでいていろいろ疑問に思うところがあり。 読書会中継でちょうど 6.6 章以降を担当された 0kayu さんの発表を聞くことができたのだが、気になっていたあたりは特に質疑でも話題にならず残念。 というわけで、誰かがツッコミを入れてくれることを期待して自分の疑問をここに書いておく。 「データ解析のための統計モデリング入門」6.6章では統計モデルに観測データ同士の割り算値を持ち込むことを批判している。その理由として、 比率にすることで元のスカラー値の情報が失われる 値それぞれが分布を持っている場合、それらの割り算値の分布がよ
おもちゃは自作する世代ですから [妖怪メダルをリバースエンジニアリングする]
[PR] 本ブログの商品紹介リンクには広告が含まれています 大人気のおもちゃ、妖怪ウォッチ。 大きな腕時計型のウォッチにプラスチックの妖怪メダルを差し込むと、メダルごとに違う種類の妖怪が召喚されて、ウォッチから召喚ソングと妖怪の名乗りが聞こえるというものですが、このウォッチ自体が超品薄状態でプレミアムが付いてる。ウォッチが手に入っても、メダルがまた品薄な上に、全種類コンプリートさせたい収集欲を煽るようになっていて、実にやっかいです。 糸車戦車から真空管大出力送信機まで、欲しいおもちゃが手に入らなければ自分で作ることを旨としてきた昭和の自作派としては、メダルぐらいは作らなくては。 というわけで、妖怪メダルを解析してみました。PC Techknow 6000 執筆以来、30ン年振りのリバースエンジニアリング。 ウォッチがどうやってメダルの種類を識別しているかというと、メダルの中にチップが埋め込
ActiveSupportを読む: ActiveSupport::Concern | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは、鈴木です。 先日、「ActiveSupport::Concern でハッピーなモジュールライフを送る」で ActiveSupport::Concern をご紹介しましたが、きっと裏側では色々なテクニックが使われているのではないでしょうか。 ということで ActiveSupport::Concern が裏側でどのような処理を行なっているのか、ActiveSupport::Concern のコードを読んでみます！ ActiveSupport::Concern のコードを読む ソースコードはこのようになっていました。 module ActiveSupport ... module Concern def self.extended(base) base.instance_variable_set("@_dependencies", []) end def append_feature
Railsノート - ActionController::Request の生成過程を Webサーバーまでさかのぼる - Alone Like a Rhinoceros Horn
Cookie について調べたときに ActionController::Requestクラスについてちょっと触れたので、今回はこれが new されるところを見てみようと思う。クライアントからの HTTPリクエストがサーバーの 80番ポートに届いて、それが Webサーバーに捌かれてアプリケーションに振り分けられ、ActionController::Request というオブジェクトになる、まさにその瞬間というか、そこへ至る過程を理解したい。 参照する Rails のバージョンは 2.3.5。コメントなどは適当に省いてある。 ActionController::Request まずは ActionController::Request の initialize からスタート。 ここから順次その呼び出し元を辿っていこう。 # actionpack/lib/action_controller/re
アプリケーションの処理フローを追ってみる - pochi's weblog
今回調査すること Requestがどのように受け渡されるか ActionControllerのバージョン: 2.3.5 ご参考 Railsノート - ActionController::Request の生成過程を Webサーバーまでさかのぼる こっちのが詳しく書かれています。いろいろ勉強になります。 最初の流れ httpリクエストの簡単な流れは,リクエスト=>処理=>レスポンスだ。 その受け渡しの部分を順番に見ていく。 リクエスト まずは、HTTPリクエストを受け取り、処理側に渡す部分。 Railsでは今Rackが標準で利用されている。詳しく調べてないけどRackはHTTPサーバ(MongrelやPassenger)とアプリケーションの間で動くミドルウェアでアプリケーションから見たリクエストをどのHTTPサーバから来ても同一のものに変更してくれるものだと認識している。 Rackのサンプル
グラフの例：音の波形
WAVEファイルをテキスト化してRでプロットする WAVEファイルに収められた音RやExcelなどで読めるテキスト形式にするための簡単なツールとして，ここでは WAVE file format で紹介している拙作の dumpwave.c を使う。これをコンパイルして，例えば ./dumpwave "/Applications/Microsoft Office 2008/Office/EntourageCore.framework/Versions/12/Resources/welcome.wav" > welcome.txt としてテキストファイルに変換する。これをRで読み込む： welcome = read.table("welcome.txt") ここで summary(welcome) と打ち込むと，チャンネル V1，V2 が読み取れたことがわかる。試しに V1（左チャンネル）の一部
WiresharkでSSL通信の中身を覗いてみる - ろば電子が詰まつてゐる
OpenSSLの脆弱性「Heartbleed」が世間を賑わせていますが、色々と乗り遅れてしまった感があるので、ゆるゆると落ち穂拾いをしようかと思います。 Heartbleedで秘密鍵を手に入れたらSSL通信の中身全部見えちゃうじゃん!! という事態になっていますが、なんとなく理論的にそうだろうなと分かるもののイマイチ具体的な手順が分からない。 というわけで今回のテーマとして、手元にサーバの秘密鍵と、SSL通信をパケットキャプチャしたpcapファイルがあるときに、Wiresharkでどんな感じでSSL通信を「ほどく」のか……という具体的な手順を、ハマり所を含めてまとめておこうかと思います。 というか、私自身がハマったので自分用メモですな。なおこの文書では"SSL"とだけ記述し、TLSは無視しています。 前提条件 とりあえず以下のような感じの検証環境で試しました。 IPアドレス 説明 ホストO
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【やじうまWatch】パスワードの変更間隔、16日でも27年でも効果は大差なし？ 定量的評価の結果が話題に -INTERNET Watch
IPA、サーバーログを解析して攻撃の痕跡を検出する「iLogScanner」v4.0を無償公開
Another Day: 自作ソフト紹介