dbt Semantic Layer ( MetricFlow ) の理解を深めるAmazon ECS で作るスケーラブルなセルフホストランナー / GitHub Actions Meetup Tokyo #4
はじめるJupyter Notebook - Qiita
Jupyter Notebookは、Pythonのコードを含んだWebページ(ドキュメント)を作成できる機能です。 Pythonコードは単純なテキストではなくきちんとPythonコードとして実行されるため、実行可能なコードとその結果を併せて保存しておくことができます。その上Webページのリッチな装飾で解説を入れ、公開／共有できるという至れり尽くせりなツールなのです。 nbviewerはGithub/Gistに上げたJupyter Notebookを参照できるサイトで、こちらを見ればどんな感じで仕上がるのかを見ることができるます。 これを使わない手はない、ということでその使い方について解説します。 インストール Installing Jupyter Notebook なお、Numpyなどの計算系ライブラリとセットで扱う場合は、AnacondaかMinicondaを利用したほうがよいと思います
Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments
pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 本来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる！ という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ
Caffe | Deep Learning Framework
Caffe Caffe is a deep learning framework made with expression, speed, and modularity in mind. It is developed by Berkeley AI Research (BAIR) and by community contributors. Yangqing Jia created the project during his PhD at UC Berkeley. Caffe is released under the BSD 2-Clause license. Check out our web image classification demo! Why Caffe? Expressive architecture encourages application and innovat
MDCC: Multi-Data Center Consistency
A new commit protocol and transaction programming model for efficiently achieving strong consistency in databases across data centers. With the emergence of cloud services, distributed databases have benefited from many of the advantages of deploying on a clusters of machines. However, entire data centers of machines can fail. Here are just a few recent data center failures, and one even losing cu
How to Escape the I/O Hell
RRDtool Caching Daemon How to Escape the I/O Hell Sebastian “tokkee” Harl <tokkee@debian.org> Debian RRDtool Team OSMC 2010 October 6, 2010 About RRDCacheD? How to Escape the I/O Hell — Sebastian “tokkee” Harl — 2 / 36 RRDCacheD = RRDtool Caching Daemon meant for large setups to solve I/O-related problems In short: 1. “intercept” RRD updates 2. accumulate data 3. write accumulated data to disk at
NoSQLデータモデリング技法
NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法 原文：NoSQL Data Modeling Techniques « Highly Scalable Blog I translated this article for study. contact matope[dot]ono[gmail] if any problem. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック
data URI scheme
The data URI scheme is a uniform resource identifier (URI) scheme that provides a way to include data in-line in Web pages as if they were external resources. It is a form of file literal or here document. This technique allows normally separate elements such as images and style sheets to be fetched in a single Hypertext Transfer Protocol (HTTP) request, which may be more efficient than multiple H
Radar - O’Reilly
Now, next, and beyond: Tracking need-to-know trends at the intersection of business and technology AI/ML Few technologies have the potential to change the nature of work and how we live as artificial intelligence (AI) and machine learning (ML). Future of the Firm Everything from new organizational structures and payment schemes to new expectations, skills, and tools will shape the future of the fi
Pythonで学ぶソーシャルデータマイニング 書評 入門ソーシャルデータ | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 監訳者のみなさんをはじめこの分野で著名な方々が書評を書いているので今更感がただよいつつも，「よろちくお願いちまちゅ」と書いた手前もあり，献本いただいたので書評をば。 「入門ソーシャルデータ」は今流行のソーシャルデータマイニングの入門書。FacebookやTwitterなどソーシャルネットワークが生み出すデータを分析したり，結果をビジュアライズするための手法を解説した書籍。読み始まって20ページ(!)でTwitterのデータを解析，GraphvisやProtovisでグラフ化してみせてしまうノリの良さ。その後はぐいぐい引きつけられながら，XFN,REST,OAuth,CouchDB,ma
第1回ニコニコ学会βでダダすべり発表してきました
第1回ニコニコ学会βという学会で発表させていただきました。運営の皆様がた、発表の機会を設けてくださり誠にありがとうございます。職場の皆様がた、忙しいさなか有給使ってごめんなさい。 ニコニコ動画そのもののデータ研究をやっている人が少ないこと、またデータ研究は３分間での解説が難しいこと、この２点に悩んだ結果、「ともかくウケ狙い」といういつもの路線に落ち着いた次第です。当初の予定には入っていた、マック赤坂ばりに「みなさ〜ん…“ニコニコっ"…してますかぁ〜」というネタは、やらなくてよかったと今となっては心底思っています。 学会で紹介した、ニコニコ動画タグの関係性を表した生データ（重みなしグラフ、lgl形式）と、それをデンドログラム・Voronoi Treemapで図示したpdfをダウンロードできるようにしました。 発表当日いい忘れたことがあります。やはり、ニコニコ動画は「音楽サイト」だな、というこ
分散キャッシュは、NoSQLデータストアか？
原文(投稿日：2011/11/04)へのリンク NoSQLデータストアは、ドキュメントベース、オブジェクトグラフ、key-valueペアのような非関連データタイプに代替のデータストレージオプションを提供する。 分散キャッシュは、NoSQLストアとして使用することができるのだろうか？EhcacheのGreg Luck氏は、分散キャッシュとNoSQLデータストアの類似点について記載した。InfoQは、ユースケースについて彼と話し、この優位性と制限についてキャッチアップした。 InfoQ: どのように分散キャッシュソリューションがNoSQLデータストアと比較できるのかを教えてください？ Greg Luck: 分散キャッシュは、待ち時間を短くするために一般的にデータをインメモリに保持するように設計されています。NoSQLストアは、R (relations)を除いたDBMSで、通常はトランザクション
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - google/intermock: Mocking library to create mock objects with fake data for TypeScript interfaces
Data Structures Library in Java
Private video on Vimeo
To SQL (relational) or not to SQL (NoSQL) that is the question | Rambling Tech
Big Data vs Right Data