Text Editor: Data Structures
The first step in building my text editor is to implement the core API. If you’re wondering why I want to do this, the original article is here. I researched several data types, and I tried to be language agnostic. I wanted my decision to not be influenced by any particular language, and first see if there was a “best way” out there, solely based on operations. Of course, a “best way” rarely exist
EdgeDB 1.0 | EdgeDB Blog
Check out the discussion of this post on Hacker News. See the recording of the live launch event on YouTube. Today, after several years of building (and a long list of prereleases) we are extremely proud to announce the release of EdgeDB 1.0, the first open source, graph-relational database! 🎊 A brief Q&A is in order. What are the killer features? Modern, lean query language designed to surpass S
Modern Data Stack / モダンデータスタックというトレンドについて - satoshihirose.log
はじめに Modern Data Stack ? Modern Data Stack の特徴やメリット、関連するトレンド データインフラのクラウドサービス化 / Data infrastructure as a service データ連携サービスの発展 ELT! ELT! ELT! Reverse ETL テンプレート化された SQL and YAML などによるデータの管理 セマンティックレイヤーの凋落と Headless BI 計算フレームワーク (Computation Frameworks) 分析プロセスの民主化、データガバナンスとデータメッシュの試み プロダクト組み込み用データサービス リアルタイム Analytics Engineer の登場 各社ファウンダーが考える Modern Data Stack さいごに Further Readings はじめに Modern Dat
RDBデータ・スキーマのバージョンを管理できるオープンソース「Dolt」
Dolt https://github.com/liquidata-inc/dolt Doltの特徴 Github for data（データをホストするサービス）といえば、KaggleやGretel（ローンチ予定）など注目されるプロダクトは数多くありますが、「Dolt」は、RDBのデータやスキーマなどをコミットとして管理できる、いわばGit for dataのプロダクトになります。 オープンソースとして提供されており、自身でホストすることができるほか、クラウドベースのストレージソリューションとして「DoltHub」の運営も行っています。 https://www.dolthub.com/ DoltHubを使ってみる 数は多くはないものの、すでにいくつかデータが登録されています。 もちろん、リポジトリはクローンすることが可能。ほとんどGithuライクに使うことができます。 こちらがプロジェクト
ヨーロッパにおけるデータ保護の基本と弊社ベルリンオフィスのGDPR対応の実際 | DevelopersIO
2018年5月25日より、EU一般データ保護規則（General Data Protection Reguration: GDPR）が欧州で適用されます。欧州議会が以前に制定し各国で法制化が進んでいるデータ保護指令（Directive 95/46/EC）を置き換える統合的な規則で、従前と比べて厳しい罰則、対応する国内法を採決する必要がない、EU外へのビジネス上の影響が大きい、など、EUの単一デジタル市場戦略のマイルストーンとなるイベントです。（単一デジタル市場についてはこちら） 一言にデータ保護と言ってもカバー範囲によって目的と手段が分化されます。 個人情報の保護に関するもの データの保存、保護、監査に関するもの 商習慣や各国の政策に基づいて適者生存に結びつくもの 特にリーガル部門をもつ大手コンサルティング会社によって上記を峻別せずにGDPR対応をうたった恐怖マーケティングが盛んに展開され
PopSQL - Collaborative SQL Editor - Bring Order to SQL Chaos
Bring order to SQL chaosSay goodbye to clunky tools, endless Slack questions, and versioning headaches. It’s time to modernize your SQL development process. Faster data explorationEnable multiple users to work on data sets, queries, and visualizations simultaneously with real-time syncing and version control.
Big Sky :: 適当な日本人の名前や住所をランダムに作れる gimei を golang に port した。
« lingr で stackverflow を検索出来る bot を golang で書いた。 | Main | Vim scriptで「ソフトウェアエンジニアならば1時間以内に解けなければいけない5つの問題」を解いてみた » willnet/gimei - GitHub gimei は、日本人の名前や、日本の住所をランダムに返すライブラリです。テストの時などに使います。似たようなライブラリにfakerがあります。fakerはとても優れたライブラリで、多言語対応もしていますが、ふりがな(フリガナ)は流石に対応していません。gimei ふりがな(及びフリガナ)に対応しています。 https://github.com/willnet/gimei オリジナルは ruby gems です。 mattn/go-gimei - GitHub golang port of gimei https://
最強のハードディスクはどれだ？
※ここで解説しているお天気推移モデルはオリジナルなものですので、数値・計算等にミスがある可能性が否めませんので、もし間違いを見かけた方は優しく教えていただけると助かります。 お天気推移モデルで理解するマルコフ連鎖モンテカルロ法。２状態離散モデルの解説を中心に、メトロポリス法の解説まで行った。 次は連続モデルや熱浴法・メトロポリスヘイスティング法の解説資料も作成したい⇒完成。以下のLINKを参照下さい。http://www.slideshare.net/teramonagi/ss-5344006 誤字を修正（2010/11/01）
データ復旧ソフトまとめ | 手は必ず見つかる - データ復旧技術者達の苦悩
データサルベージ社内におけるデータ復旧技術者として今までの経験で触ってきたソフトウェアを列挙します。使用感は技術者それぞれだと思ってますので、阿部の意見を鵜呑みにはしないでください。また、会社名とソフト名が入り乱れていますが、気付き次第ちょこちょこ修正していきます。覚え出せないソフトも結構ありデータ復旧ソフト阿部的まとめ データサルベージ社内におけるデータ復旧技術者として今までの経験で触ってきたソフトウェアを列挙します。使用感は技術者それぞれだと思ってますので、阿部の意見を鵜呑みにはしないでください。また、会社名とソフト名が入り乱れていますが、気付き次第ちょこちょこ修正していきます。覚え出せないソフトも結構あり これから追記して行こうと思います。 AccessData http://accessdata.com/solutions/digital-forensics/forensic-t
PostgreSQLのログをFluentdで収集する
データベースの運用管理にログの情報は不可欠ですが、オープンソースのDBMSであるPostgreSQLが出力するログは、直接取り扱うのに適した形式とは言えません。そこで本記事では、オープンソースのログ収集ツールであるFluentdを使って、PostgreSQLのログを運用管理に活用しやすい形に加工する方法を紹介します。 PostgreSQLの運用管理に使う稼働統計情報とログ データベースを安定稼働させるには、データベースを健全な状態に保つ運用管理が必要不可欠です。データベースの運用管理には一般的に死活監視、リソース監視、性能分析、チューニング、バックアップといった項目が挙げられますが、まずは監視によって正しく現状を把握することが、運用管理の第一歩と言えるでしょう。PostgreSQLで監視に使える機能には、稼働統計情報とログがあります。稼働統計情報はPostgreSQLの様々な稼働情報を蓄積
Transducers.js: A JavaScript Library for Transformation of Data
Transducers.js: A JavaScript Library for Transformation of Data If you didn't grab a few cups of coffee for my last post, you're going to want to for this one. While writing my last post about js-csp, a port of Clojure's core.async, they announced transducers which solves a key problem when working with transformation of data. The technique works particularly well with channels (exactly what js-cs
ホットペッパービューティーのデータを研究用に公開しました | Recruit Tech Blog
こんにちは。９月１日でリクルートに入社して、４年目を迎えるATLのtatakabaこと高林です。そのような記念日に、リクルートオープンデータ第一弾として、 国立情報学研究所（NII）のご協力のもと、ホットペッパービューティーのデータを研究者向けに公開することになりました。 リクルートオープンデータの第一弾の取り組みになります。 手続き方法については、こちらを参照下さい。 公開する７つのデータセットは、以下の様な項目が含まれております。 店舗マスタ 美容室店舗のマスターデータになっております。店舗マスタには、以下のデータが含まれます 店舗ID(全てのデートセットとヒモ付が可能です。) 店舗名 店舗名読み 住所 緯度/経度 営業時間/休日 店舗代表名/肩書 店舗コメント 店舗URL スタイリストマスタ スタイリストマスタでは、店舗の美容師データの情報を抽出することができ、 得意な技術などのデー
1年達成！PS4ストア評価数をカウントするブログ - FC2 BLOG パスワード認証
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
Treasure Data Platform で始めるデータ分析入門 〜1. イントロダクション〜 - doryokujin's blog
はじめに これから全7回に渡ってTreasure Data Platformを使ったデータ分析の紹介をします。教科書はこちらになります。 Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズの目的は2つ。 Treasure Data Platform Service の概要を理解してもらう。 本シリーズを理解すればデータ分析が誰でも容易にレポーティングが可能になる。 今やデータサイエンティスト() という言葉は，高度な分析手法を駆使してあらゆる問題を解決するプロフェッショナル集団という響きがありますが，それは本質ではありません。データサイエンティストの本質は， 意思決定者（経営者，ディレクター，マネージャー）が容易に理解できるようなシンプルかつ説得力のある分析結果を提供することができること， データ収集からレ
Treasure Dataからgoogleスプレッドシートにダイレクトに出力する | QK
前回、td-agentを利用してltsvのデータをトレジャーデータに書き込むなんてことをやりました。今回はそのトレジャーデータからGoogle スプレッドシートに直接書き込むなんてことをやってみようかと思います。まぁ結果としてできたことはできたのですが、スプレッドシートに書き込むところより、hiveqlでどのように描くのか悩んだ感じですけどね。(^_^;) 冒頭でも書きましたが、前回、td-agentを利用してltsvのデータをトレジャーデータに書き込むの話の続きだと思ってください。ちなみに前回Treasure Dataに出力したファイルはこんなファイルになります。 見づらくてすみません こんなデータが現在、数百万件入っている状態です。 </li> </ul> {"x_forwarded_for":"-","v_host":"www.s-quad.com","last_status":"2
tracing-framework by Google
Rich Tracing Choose what methods to trace and add custom data to each event. Track asynchronous flows and actions. Slick Visualization Smoothly dig through millions of events in an awesome UI. See patterns and understand your code like never before.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【保存版】一次情報をゲットするために確認するべきウェブサイトをまとめてみました（随時更新） - とある浪速の調査雑記
http://kcq.github.io/gluecon-dp-nodejs-storm-kafka-zmq/