Go言語で扱えるデータフレーム厳選4つ - Qiita
はじめに データサイエンティストでなかったとしても、数値データを使って様々な解析をする際には CSV ファイル等ファイルを読み込み、数値の配列としてメモリに保持して、それらをループ等で利用して解析を行っておられると思います。 その際、配列は1次元目に行、2次元目に列、を格納するのが一般的です。多くのケースではこの方法で事足りるのですが、解析を行ううちに「列としてデータの固まりを扱いたい」「ラベル付けされた列を扱いたい」と感じる事が出てくると思います。 これを簡単にしてくれるのが「データフレーム」です。 データフレーム4種 本記事では Go 言語から扱えるデータフレームを4つご紹介します。 QFrame https://github.com/tobgu/qframe QFrame は、フィルタリング、集計、およびデータ操作をサポートするイミュータブルなデータフレームです。 QFrame での
覆された常識、CSVファイルでウイルス感染
テキストファイルは開いても安全――。情報セキュリティの常識だ。ところが、その常識が覆された。テキストファイルの一種であるCSVファイルを使った標的型攻撃が国内で確認されたのだ。CSVファイルを開いただけでウイルス（マルウエア）に感染する恐れがある。CSVファイルも危ないファイル形式の一つだと認識すべきだ。 CSVファイルとは、表の要素などをカンマや改行を使って記述したテキストファイルのこと。CSVはComma Separeted Valueの略である。ファイルの拡張子はcsv。CSVファイルの中にはテキストの情報しかない。 だが、拡張子がtxtなどのテキストファイルとは大きく異なる点がある。初期設定（デフォルト）でExcelと関連付けられている点である。Excelをインストールすると、ユーザーが設定変更しなければ、CSVファイルが関連付けられる。つまり、CSVファイルをダブルクリックするな
オープンソースのWebIDE「JupyterLab」がベータ公開、Python/R/Scalaなどに対応。データ解析環境から統合開発環境へと進化
Notebookの機能にターミナル、ファイルブラウザなどを統合 そのJupyter Notebookのメジャーバージョンアップ版として開発されているJupyterLabは、Notebookの機能だけでなく、ターミナル画面の機能、ファイルブラウザ、テキストエディタなどの機能が統合され、それらをタブによって同時にいくつも開くことができるようになり、統合開発環境と呼ぶべきツールへと進化しました。 拡張機能によって機能をあとから追加することも可能（JupyterLabの基本機能であるNotebookやファイルブラウザ、ターミナルも拡張機能として実装されていると説明されています）。すでに、JSONやCSVの読み込み機能、JSONフォーマットで地図情報を記述するgeoJSONによる地図表示などが用意されています。 JupyterLabは今年後半に正式版となるバージョン1.0がリリース予定。また、現バー
あなたの開発チームには、チームワークがあふれていますか？
グロースエクスパートナーズ株式会社/Growth xPartners Incorporated.•11.6K vues
Microsoft、企業向けIFTTT的サービス「Microsoft Flow」をプレビュー公開 「PowerApps」をパブリックプレビューに
米Microsoftは4月29日（現地時間）、「IFTTT」のようなWebサービス連係Webサービス「Microsoft Flow」のプレビュー版を公開したと発表した。まだ日本語のページはないが、企業ユーザーはこちらからサインアップできる。 Microsoft Flowは、アプリやサービスをまたぐワークフローを自動化し、「Flow」としてツール化して利用できるサービス。あるアプリに動きがあったら別のアプリでプッシュ通知を送ったり、アプリ間でファイルを同期させたり、あるアプリのデータをデータベースに保存するといった作業を自動化できる。 既に多数のテンプレートが公開されている。例えば、以下のようなものだ。 受信メールの添付ファイルをSharePointの文書ライブラリに保存する キーワードを含む公開ツイートをOneDrive上のCSVファイルに保存する 重要な顧客からメールが来たらSMSでプッ
2015 年 脆弱性報奨金制度を振り返って - Cybozu Inside Out | サイボウズエンジニアのブログ
Cy-SIRT の伊藤です。 2015 年にサイボウズにご報告いただいた脆弱性情報について、全ての評価が完了しました。 お時間をいただき申し訳ありませんでした。今日は、2015 年の最終結果についてご報告いたします。 定量情報 ※ 最終的に認定されなかった件数を含む場合：174 件 ※ 最終的に認定されなかった件数を含む場合：126 件 数値の見方 サイボウズでは脆弱性情報を、以下のフローで取り扱っています。 外部からお寄せいただいた脆弱性情報は、受付 > 検証 のプロセスを経て、脆弱性の認定手続きに進みます。受付および、検証のプロセスではお寄せいただいた情報が、脆弱性情報であるかどうかを判断しています。 「脆弱性報告件数」は、サイボウズが脆弱性情報と判断したご連絡の件数です。 「脆弱性認定件数」は、お寄せいただいた脆弱性情報の中から、脆弱性として認定した件数です。脆弱性情報がサイボウズに
ディープラーニング（TensorFlow）を使用した株価予想 ～その2～ - Qiita
前回の続き。 ディープラーニングのフレームワークであるTensorFlowを使用して株価を予想するぞ～、というお話です。ちなみに前回は完全に失敗でした。 前回のコメントで、tawagoさんから「Googleが同じようなことしている」という情報をいただいたので、そちらをコピ・・・インスパイアしてみました。 前回との相違点 前回は、「数日分の日経平均を使用して、次の日の日経平均が上がるか、下がるか、変わらないか（3択）を予想する」ものでした。 Googleのデモでは、「数日分の世界中の株価指数（ダウ、日経平均、FTSE100、DAXなど）を使用して、次の日のS&Pが上がるか下がるか（2択）を予想する」という内容でした。 ということで、下記が前回からの主な変更点となります。 - 「上がるか」「下がるか」の2択 - 日経平均だけでなく、他国の株価指数も使用 - 隠れ層x2、ユニット数は50,25
Linuxコマンド【 column 】入力を表形式に整形する - Linux入門 - Webkaru
使用例 指定したテキストファイル（hoge.txt）を表形式に整形します。 $ cat hoge.txt foo00 foo01 foo02 foo03 foo04 foo05 foo06 foo07 foo08 foo09 foo10 $ column hoge.txt foo00 foo02 foo04 foo06 foo08 foo10 foo01 foo03 foo05 foo07 foo09 行を埋める前に列を埋めます（オプション -x ）。 $ column -x hoge.txt foo00 foo01 foo02 foo03 foo04 foo05 foo06 foo07 foo08 foo09 foo10 指定したCSVファイル（hoge.csv）を整形します。オプション -t を利用し、オプション -s で区切り文字をカンマ「,」に指定します。 $ cat hoge.c
Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ
郵便番号データのダウンロード - zipcloud
サービス概要 本サービスは、日本郵便のWebサイトで公開されている郵便番号データを再配信するサービスです。 LZH形式ではなく、ZIP形式でダウンロード可能 ダウンロードしたらすぐに使える「加工済バージョン」も公開中 郵便番号データが更新されたらメールでお知らせ 郵便番号検索機能をWebサービスで利用可能 日本郵便のWebサイトで公開されている郵便番号データを、ZIP形式で圧縮しています。 ZIP形式に標準で対応しているOSであれば、LZHの解凍ソフトなしで郵便番号データをご利用いただけます。 ※解凍後のCSVファイルの仕様については、日本郵便のWebサイトをご確認ください。 ※差分データは、１つの圧縮ファイル中に「新規追加データ」と「廃止データ」を含んでいます。 ※公開しているデータは、「読み仮名の促音・拗音を小書きで表記するもの」になります。
郵便番号データの落とし穴
概要 MS-Access 上で郵便番号を住所変換するためには、住所入力支援機能が提供されている。 しかし、元になっている辞書ファイルのアップデートが遅れたり、用途に応じてカスタマイズするには限界があるなどの理由から、日本郵政公社が配布している郵便番号データを利用して、オリジナルの郵便番号⇒住所変換機能を実装する方法も、広く知られている。 日本郵政公社（執筆当時。現・郵便事業株式会社）が配布している郵便番号データは単純な CSV 形式のため、加工がしやすく、初・中級クラスの VBA の知識があれば簡単に応用が効く、というのが、私が見聞きした範囲での一般的な認知のようだ。 しかし最近になって、ふとしたことから実際にその CSV データを見る機会が有り、いくつかの疑問点・問題点が浮かび上がってきた。 はたして日本郵政公社の CSV データは、本当に使いやすいのだろうか？ 仕様 まず、仕様を確認し
なるべく短い正規表現で住所を「都道府県/市区町村/それ以降」に分けるエクストリームスポーツ - Qiita
rex = /ごにょごにょ/ p "東京都文京区後楽１丁目３−６１".match(rex).captures #=> ["東京都", "文京区", "後楽１丁目３−６１"] みたいなやつ。なるべく短く。 実用性？ そんなもの、うちにはないよ。 TL;DR 「読むのめんどくさい」という人用に最初に最終結果を置いておきます (...??[都道府県])((?:旭川|伊達|石狩|盛岡|奥州|田村|南相馬|那須塩原|東村山|武蔵村山|羽村|十日町|上越|富山|野々市|大町|蒲郡|四日市|姫路|大和郡山|廿日市|下松|岩国|田川|大村)市|.+?郡(?:玉村|大町|.+?)[町村]|.+?市.+?区|.+?[市区町村])(.+) あまり厳密ではないのでちゃんとしたとこでは使わないほうがいいです 住所データを用意する 郵便局からデータをダウンロードしておく。一ヶ月毎に更新されている。 → 郵便番号データ
JavaScriptのコードを分解してよく使われてる機能を分析する
今年のOSS活動振り返り @ 2015 | Web Scratchで JavaScript/ECMAScriptを改めてどう学べばいいのか考える azu/how-to-learn-es6とか#thinking_in_es6で考えてるやつ というのを今年考える事としてあげていました。 それを考えるために、既存のコードがどうなってるかを見てみるという話です。 具体的には既存のコードを見て、そこでどういう機能/構文が多く使われているのかが分かれば、どこを中心的に学ぶと結果が出やすくなるのではという感じです。 それを分析するためにazu/es-usage-rateというツールを書いた。 Installation 使い方 例えば、es-usage-rate自体がどういう構文を使って書かれてるかを見てみてます。 es-usage-rateは他のCLIと組み合わせて使う事を前提としてるので、 デフォルト
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
