サイズの大きいcsvファイルから先頭・末尾を取得するときのメモ - のえら
csvファイルはサイズが大きく(2GBくらい)なると、ExcelでもテキストエディタでもACCESSでも開けなくなる。 (Windowsコマンドtypeで出力する分には問題ないんだけども) そんなおっきなcsvファイルの先頭末尾を取得するときのメモ。 windowsコマンドではheadとtailがない。。 headとtailの代替コマンド MS-DOS バッチファイル Tips - 翔星 Be ランド日記 バッチにして実行してみる call head.bat *filename* 15 > *tempfilename*→「このコマンドを実行するのに十分な記憶域がありません。」と出て実行できない。。 メモリが足りなくて実行できないのでPowerShellでやってみる Windows equivalent of the 'tail' command - Stack Overflow →この回答
日常にある機械学習の応用例 | POSTD
機械学習とは何でしょうか? 機械学習の信頼できる定義（翻訳） を読むことはできますが、実際のところ、機械学習とは解決される問題によって定義されるものです。だから、機械学習を理解するには、いくつか問題の実例を見てみるのが一番です。 この記事では、まずは現実の世界でよく知られよくわかっている機械学習問題の実例を見ていきます。それから、標準的な機械学習問題の分類法 (ネーミング・システム) を見て、それらの標準的なケースの一つとして問題を識別する方法を学びましょう。これは価値のあることです。なぜなら私たちは、直面している問題のタイプを知ることでどんなデータが必要なのか、どのタイプのアルゴリズムを試すべきかを考えられるからです。 機械学習、10の応用例 機械学習の問題はたくさんあります。それらは、あなたが毎日ウェブ上やパソコン上で使うソフトウェアの中核や難しい部分を構成しています。Twitter上
カラーコード表
HTMLリファレンス_______ TOPページ(Alt+B) カラーコード表 色 16進数 カラーネーム 色 16進数 カラーネーム 色 16進数 カラーネーム #000000 Black #87CEEB SkyBlue #F0E68C Khaki #000080 Navy #87CEFA LightSkyBlue #F0F8FF AliceBlue #00008B DarkBlue #8A2BE2 BlueViolet #F0FFF0 Honeydew #0000CD MediumBlue #8B0000 DarkRed #F0FFFF Azure #0000FF Blue #8B008B DarkMagenta #F4A460 SandyBrown #006400 DarkGreen #8B4513 SaddleBrown #F5DEB3 Wheat #008000 Green #8
AIで受験生の学習効率を高める、リクルートが「スタディサプリ」を強化
リクルートグループで教育事業を手がけるリクルートマーケティングパートナーズは2018年夏から人工知能（AI）を自社サービスに本格的に導入する。かねて取り組んできた東京大学の松尾研究室との基礎研究を応用。個人の学習速度や理解の度合いに合わせた学習内容を提供する。 同社が提供する小中高向け学習動画配信サービス「スタディサプリ」を通じて得られた累計42万人超の視聴履歴やテストの正誤データ、問題文や数式の解析データなどを分析。理解状況や学び方を細かく調べたところ、どの順番で学習するのが効果的かを示す「学習パス」の再定義や、理解度合いの数値化にめどが立った。解析結果を使うと、新たなカリキュラムを組み立て、躓いたときにどの復習問題に臨むべきかをアドバイスできる。 学習指導要領では、高校数学であれば数学I～IIIの順に学び、数学Bは数学Iの後に履修するといった順序の定めがある。一方、AIで分析するとその
vis.js
vis.js community edition * A dynamic, browser based visualization library. The library is designed to be easy to use, to handle large amounts of dynamic data, and to enable manipulation of and interaction with the data. The library consists of the components DataSet, Timeline, Network, Graph2d and Graph3d.
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
どれがいい？ AWS、Google Cloud、Azure…3大クラウドインフラを比較してみた
Webサービスの開発では当たり前になったクラウドインフラの利用。AWSがいいのか、Azureがいいのか、それともGCPか…と悩むエンジニアのために、サービスの違いをまとめました。 ビジネス向けクラウドサービスを提供する主要3社から、オンライン上での作業に必要なことをすべてカバーする製品がたくさんリリースされていますが、価格設定、サービスの命名法、グループ化手法などがすべて異なっています。この記事では、各社のサービスを並べて比較し、どこが違うか説明します。 Amazon Web Services（AWS）、Google Cloud Platform（GCP）、マイクロソフトのAzureで提供されるサービスを中心に解説します。サービスのすべて、クラウドコンピューティングのインフラの詳細までは説明しません。しかし、利用可能なプロダクトをたくさん紹介しますので、おそらく3つのクラウドサービスのコン
Python pandas 図でみる データ連結 / 結合処理 - StatsFragments
なんかぼやぼやしているうちにひさびさの pandas エントリになってしまった。基本的な使い方については網羅したい気持ちはあるので、、、。 今回は データの連結 / 結合まわり。この部分 公式ドキュメント がちょっとわかりにくいので改訂したいなと思っていて、自分の整理もかねて書きたい。 公式の方はもう少し細かい使い方も載っているのだが、特に重要だろうというところだけをまとめる。 連結 / 結合という用語は以下の意味で使っている。まず憶えておいたほうがよい関数、メソッドは以下の 4 つだけ。 連結: データの中身をある方向にそのままつなげる。pd.concat, DataFrame.append 結合: データの中身を何かのキーの値で紐付けてつなげる。pd.merge, DataFrame.join 連結 (concatenate) 柔軟な連結 pd.concat ふたつの DataFram
2nd Hackarade: Machine Learning Challenge - クックパッド開発者ブログ
研究開発部の菊田（@yohei_kikuta）です。機械学習を活用した新規サービスの研究開発（主として画像分析系）に取り組んでいます。 最近読んだ論文で面白かったものを３つ挙げろと言われたら以下を挙げます。 Why does deep and cheap learning work so well? Universal adversarial perturbations Understanding deep learning requires rethinking generalization 以前本ブログで紹介した Hackarade: MRI Internal Challenge ですが、その第二回として機械学習を題材にしたハッカソンが七月末に開催されました。 Hackarade ではエンジニアにとって長期的に有益となる技術を題材にしようという想いがあります。 今回はクックパッドの研究
簡単にガントチャートとかクラス図とか書けるやつ - Qiita
mermaidは、Web上で簡単にフローチャートやシーケンス図などのUMLが描けるライブラリです。 d3.jsの機能特化型というかんじで、d3ほど様々なことはできませんが、そのかわりに対応してる図形なら非常に簡単に描くことが可能です。 なお、ヘルプはGitGraphやクラス図が載ってないなど未完成で、いまいち頼れません。 ごたくはいい、実物を見せろ こんなかんじ →支払い忘れてサーバが死んだので代替(誰かが書いたやつに勝手にリンク) できること 以下の図が描ける。 ・フローチャート ・シーケンス図 ・ガントチャート ・クラス図 ・gitグラフ 最後だけ異質だ。 インストール CDNを使えばいいだけだが、自分のところに置きたい場合はyarnで引っ張ってこれる。 <!DOCTYPE html> <html lang="ja"> <head> <link rel="stylesheet" hre
Sorting HOW TO — Python 3.7.1 documentation
Sorting Techniques¶ Author: Andrew Dalke and Raymond Hettinger Python lists have a built-in list.sort() method that modifies the list in-place. There is also a sorted() built-in function that builds a new sorted list from an iterable. In this document, we explore the various techniques for sorting data using Python. Sorting Basics¶ A simple ascending sort is very easy: just call the sorted() funct
マインドフルネスとは - ヒューマンウェルネスインスティテュート
マインドフルネスは、身体や気持ちの状態に気づく力を育む「心のエクササイズ」です。欧米では、すでにその効果について、多くの実証的研究報告があり、ストレス対処法の１つとして医療・教育・産業の現場で実践されています。 マインドフルネスとは、「今この瞬間」の自分の体験に注意を向けて、現実をあるがままに受け入れることです。 マインドフルネスを実施すると、ストレスな場面においても否定的な感情や物事に飲み込まれることなく、いつでも自分を取り戻すとができるようになります。自分らしい人生を送ることが可能になります。 人は、大きなストレスにさらされると、そのことにとらわれて身動きが取れなくなってしまいます。がんじがらめになり、次第にかたくなった心は、閉ざされ弱くなってしまいます。 マインドフルネスは、しなやかでゆたかな心をめざします。マインドフルネスを習得できるとストレスをしなやかに対処することができます。
python sklearn でロジスティック回帰。fit して predict、引数 C で正則化 | コード７区
簡単なデータでロジスティク回帰を試してみます。やるのは２クラスの分類ですが、理論的なことはとりあえず置いといて、 python の scikit-learnライブラリ を使ってみます。このライブラリの LogisticRegression というクラスがロジスティック回帰です。 メソッド fit、predict、score、属性 coef_、intercept_、パラメータ C を使ってみました。 from sklearn.cross_validation import train_test_split from sklearn.preprocessing import StandardScaler import matplotlib.pyplot as plt import numpy as np np.random.seed(seed=0) X_0 = np.random.multiv
【翻訳】ダメな統計学 (5) p値と基準率の誤り｜Colorless Green Ideas
この章では、何度も比較を行うことの問題点について扱っている。何度も比較を行えば、本当は存在しない現象が存在するかのように判断されてしまう可能性がある。 $p$値が解釈しにくいことについてはすでに見てきた。統計的に有意でない結果が得られたからといって、違いがないことを意味するわけではない。では、有意な結果が得られた場合はどうだろうか。 例を1つ見てみよう。ガンを治す見込みがある薬を100種類試験しているとする。これらの薬のうち、実際には10種類しか効かないのだが、どれが効くのかは分からない。よって、効く薬を見つけるために実験をしなくてはならない。実験においては、薬に有意な利点があることを示すために、偽薬に対して$p < 0.05$となる薬を探すことになる。 これを図示してみよう。図の1マスが1種類の薬を表している。青いマスは、効く薬を示す。 100種類の薬のうち、真に有効なのは青で示された1
仮説検証とサンプルサイズの基礎 - クックパッド開発者ブログ
パートナーアライアンス部 森田です。有料会員の獲得施策や、それに関わるサービス内動線の最適化を担当しています。 記事の対象 仮説検証を通じて何かを改善をしたいと思っている人 仮説検証の際に「どれくらいのデータを集めたら良いか」分からない人 はじめに 仮説検証とは「仮説を立て、それを証明するためのデータを集め、真偽を確かめること」です。今回は仮説検証を行う際の手順と、その検証に必要なサンプルサイズの考え方を説明します。サンプルサイズの話のみ関心があるかたは、前半を飛ばし「サンプルサイズの決め方」を読んでください。 目次 記事の対象 はじめに 目次 仮説検証のつくりかた 1. 仮説をたてる 2. 施策/KPIを考える 3. 仮説検証後のアクションを決める 4. 対象を決める 5. サンプルサイズを計算する サンプルサイズの決め方 答えを先に サンプルサイズを決める二つの要素 「二つの平均値」と
統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
Webdesign is 95% typography. Period.
95% of the information on the web is written language. It is only logical to say that a web designer should get good training in the main discipline of shaping written information, in other words: Typography. Back in 1969, Emil Ruder, a famous Swiss typographer, wrote on behalf of his contemporary print materials what we could easily say about our contemporary websites: Today we are inundated with
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PowerShellでtail -f - Qiita
Yet Another REST Client
Loading...
