Big Data file formats
Apache Spark supports many different data formats, such as the ubiquitous CSV format and the friendly web format JSON. Common formats used mainly for big data analysis are Apache Parquet and Apache Avro. In this post, we will look at the properties of these 4 formats — CSV, JSON, Parquet, and Avro using Apache Spark. CSV CSV files (comma-separated values) are usually used to exchange tabular data
ターミナルでSlackを読む - 詩と創作・思索のひろば
Slackはそのクライアントがそれなりに、かなりよくできていて、これでほとんど困ることはないんだけど、そうは言ってももうちょっとプログラマブルに取り扱いたいこともある。 そういう場合にもよいAPIが用意されていて、Real Time Messaging API ってのがある。こいつはWebSocketでSlackの発言をはじめ、あらゆるイベントのJSONを送りつけてくれるやつ。ひとまずこれを標準出力に流すことができれば、あとは好きに料理できるはずだ。 というわけで作ったのがこちら。書いたことなかったのでRustです。ちょうどいいネタだった。 GitHub - motemen/slack-stream-json slack-stream-json というバイナリが、SLACK_TOKEN 環境変数を設定した上で起動してやると、RTM APIによって得られたイベントのJSONをそのまま標準出力
JSONにコメントを記述する方法の備忘録 - NxWorld
すごい今更なことなのですが、JSONにはコメントを付けることができないということをつい最近になって気付きました...。 ならコメントを付けなければ良い話ではありますが、個人的にJSONを利用する場合は設定ファイル等で利用することが多いのもあって可能であればコメントを残したいと思うことがあったり、単純に付ける方法はないのかが気になって少し調べてみたので備忘録です。 コメント付けたいならわざわざJSONにこだわらなくてもYAMLにするとかコメント使えるHjson使えばって感じですが、あくまでJSONでコメントを付ける方法になるのでそういった意見はスルーでお願いします。 コメント用にデータをつくる #1 単純に使用しなければいいということで、コメント用として出力などはしないデータをつくってしまう方法です。 例えば下記のように実際に使用しないという意味も含めて先頭に「_（アンダースコア）」を、キー
非エンジニアに贈る「具体例でさらっと学ぶJSON」 | DevelopersIO
よく訓練されたアップル信者、都元です。「JSONってなんとなくわかるけど、構造を読み取れる自信はないし、ましてや書ける気はまったくしない。」そんな人に贈るエントリーです。残念ながら、「13日の金曜日」や「Why Japanese people!!」しか思い浮かばない人は、想定読者対象外ですのでお引き取りください。逆に、正確な定義が欲しい人はRFC 4627RFC 7159（アップデートされてました）をご確認ください。 「JSON」とは。 JSONとは JavaScript Object Notation の略で、要するに「JavaScriptの中でオブジェクトを記述する書式」のことです。と言われてもなんのことだか分からない人向けの説明なので安心してください。 JSONというのは「データを表現するための記法（≒文法）」です。シンプルなデータであれば、文法など気にせずにただ書けば問題ありません
Pythonの基礎 ファイル（JSON)の読み込み編 - Pythonの学習の過程とか
Pythonの基礎 JSONの読み込み編 JSONを読み込む Webサービスでは、例えばどこかのサービスが提供しているAPIにアクセスして 情報をもらい、それを編集しえ自らのサイトに反映させるということがあります。 その際の情報の提供は、大抵の場合にはJSONまたはXMLとなると思います。 XMLもJSONもシンプルな仕様で理解しやすいため、広く使われていますね。 JSONについては説明不要だと思いますが、以下の公式サイトの図がとても分かりやすいです。 JSON.ORG Pythonの公式サイトをチェックしてみる Python JSONのところ とりあえずサンプルコードをそのまま見てみましょう このようなjsonがあるとします。 {"group2":{"Eric":44, "ken":33, "John":44, "Mike":99},"group1":{"Adam":40, "David
SublimeText でソースコードを実行するBuildオプションを作る - それマグで！
SublimeText入れています。 node.jsの実行をして簡単にシンタックス・チェックする。 javascript.sublime-build { "cmd": ["node", "$file"], "file_regex": "^(...*?):([0-9]*):?([0-9]*)", "selector": ["source.javascript"], "path": "/usr/local/bin" }ポイントは cmd でコマンドを指定。コマンドの引数とコマンド名をcmd[0],cmd[1],cmd[2]...に指定する。 pathが通ってないコマンドを実行するときは path :"/User/takuya/bin/" などと指定する。 JSON.sublime-build { "cmd": ["/usr/local/bin/JSON.parse", "$file"], "f
JSONの記述方法 | doli blog
JSONの記述方法についてです。 まずJSONとは・・・ JSON：JavaScript Object Notation 構造化されたデータを記述するための、テキスト・ベースのデータ記述言語の一つで、人間が読んでわかりや … 続きを読む »
[Think IT] 第1回：JSONってなにもの？ (1/3)
JSONとは何か? JSONとはJavaScript Object Notationの略で、XMLなどと同様のテキストベースのデータフォーマットです。 その名前の由来の通りJSONはJavaScriptのオブジェクト表記構文のサブセットとなっており、XMLと比べると簡潔に構造化されたデータを記述することができるため、記述が容易で人間が理解しやすいデータフォーマットと言えます。 なお、JSONは2006年に「RFC 4627（http://www.rfc-editor.org/rfc/rfc4627.txt）」として公開されています。 例としてXMLとJSONで同じデータを記述したものをリスト1とリスト2に示します（図1）。 リスト1のXMLではすべての情報をタグで囲んだテキストノードとして記述していますが、XMLでデータを表現する場合、データの記述方法として属性とテキストノードの使い分けが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
flask python ajax - Google 検索
Cookbook: Connecting to a remote kernel via ssh