はてなブックマーク

• あとで読む

  BigQueryスロット利用量の見積り - GiXo Ltd.

  4 users

  www.gixo.jp

  この記事は GiXo アドベントカレンダー の 12 日目の記事です。 昨日は、「プログラミング歴40年のおじさんが初めて本格的なPythonプログラム」を書いてみた でした。 本稿ではBigQueryにおいて計算リソースの単位として表現されるスロットについて、どのように利用量の確認・見積りを行うかについてお話をしたいと思います。スロットの見積り、難しいですよね。私は大層混乱しました。まだ混乱しているかもしれません。そんな難しいスロット利用量の確認・見積りについて少しでも役に立てばという思いで筆を執っている次第です。あるいは、どうせまた忘れてしまう未来の自分のためかもしれません。では始めます、よろしくお願いします。 定額料金で利用する際に特に気になるよね BigQueryを定額料金で利用する際にはスロットを100単位で任意の量だけ購入し、その購入量に応じて金額が決まります(最小100)。な

  • テクノロジー
  • 2021/12/17 07:00

  • BigQuery
• あとで読む

  React で作る中規模 SPA のレイヤードアーキテクチャ - GiXo Ltd.

  161 users

  www.gixo.jp

  TAG : Advent Calendar | Firebase | Firestore | React | Refeed | TypeScript | トチカチ | フロントエンド AUTHOR :   ギックス POSTED :  2020.12.23 08:25 この記事は GiXo アドベントカレンダー の 23 日目の記事です。 昨日は、少人数の開発で Kubernetes を活用するための設計戦略 でした。 MLOps Div. の堀越です。本記事では、React と TypeScript で SPA の実装を行う際に採用しているレイヤードアーキテクチャについてご紹介します。 レイヤードアーキテクチャというとクリーンアーキテクチャや DDD が有名ですが、弊チームフロントエンド の場合はクリーンアーキテクチャから SPA にマッチする箇所を部分的に取り入れた簡易版のレイヤードア

  • テクノロジー
  • 2021/06/05 17:19

  • react
  • アーキテクチャ
  • あとで読む
  • SPA
  • 設計
  • architecture
  • React.js
• あとで読む

  Firestore のデータを TypeScript と Security Rules で安全に扱う話 - GiXo Ltd.

  8 users

  www.gixo.jp

  TAG : Advent Calendar | Firebase | Firestore | React | Refeed | Tech & Science | TypeScript | トチカチ | フロントエンド AUTHOR :   ギックス POSTED :  2020.12.16 08:22 この記事は GiXo アドベントカレンダー の 16 日目の記事です。 昨日は、TableauのLOD表現で注意すべきことでした。 MLOps Div. の堀越です。突然ですがみなさん Firestore は好きですか？私は好きです。ときどき「安定してない」、「パフォーマンスにムラがある」、「モジュールでかすぎ」といった苦言も見かけますが、弊社のように少人数で開発を行うチームにとってフルマネージドの Firestore はサービス開発に欠かせない存在となっています。なお、先日のMLOps D

  • テクノロジー
  • 2021/01/10 15:26

  • firestore
  • typescript
• あとで読む

  クラウドデータ基盤をTerraformを使ってIaC化 & 量産する - GiXo Ltd.

  5 users

  www.gixo.jp

  TAG : Advent Calendar | GCP | GitHub | GitHub Actions | Tech & Science | Terraform | クラウドサービス | データ基盤 AUTHOR :   ギックス POSTED :  2020.12.17 08:18 この記事は GiXo アドベントカレンダー の 17 日目の記事です。 昨日は、Firestore のデータを TypeScript と Security Rules で安全に扱う話 でした。 Technology Div. の奥田です。前職ではC++を使ってCADを開発しており、GiXoには去年2019年9月に入社しました。クラウド開発歴は1年ほどです。今回は、そんなクラウド初心者の僕がとあるプロジェクトで開発・検証しているデータ基盤についてご紹介したいと思います。 本記事は以下の技術要素を含みます。

  • テクノロジー
  • 2020/12/23 05:15

  • あとで読む
• あとで読む

  「全体の平均」と「平均の平均」は違う｜クロス集計の落とし穴 - GiXo Ltd.

  4 users

  www.gixo.jp

  本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1） 「平均」を「平均」するときは”自分が何をやってるか”を忘れないように！ 記事「ダブりのある集合の計算には気を付ける｜クロス集計の落とし穴」では、クロス集計で気を付けなければならない店として、ダブりのある集合の計算について書きました。 今回は、「全体の平均」と「平均の平均」は違う、について書いていきたいと思います。 「平均の平均」を計算しても「全体の平均」にはならない POSデータ分析の結果を例にして話を進めましょう。 この表は、店舗別性別の１回当たり平均決済額のテーブルです。この表から、男女別ではなく、「男女を合わせた全体」で店舗別の１回当たり平均決済額の列を作成したいとします。ここで、男性の平均決済額と女性の平均決済額の平均から全体の平均決済額を求めてしまいがちですが、

  • テクノロジー
  • 2020/10/24 01:29

  • 統計
• あとで読む

  マイクロサービスのための設計パターン (1) - Strangler Application - GiXo Ltd.

  3 users

  www.gixo.jp

  マイクロサービスのための設計パターン (1) – Strangler Application TAG : tech | Tech & Science | アーキテクチャ | マイクロサービス AUTHOR :   ギックス POSTED :  2020.05.19 08:26 昨今では、サービス開発において「マイクロサービスアーキテクチャ」を採用することも珍しくなくなりました。 マイクロサービスアーキテクチャを採用する利点についてはもはや改めて語るまでもないですが、何となくマイクロサービスで始めてみたが後悔した、モノリスからマイクロサービスへ移行してみたがうまくいかなかった、という声が今でも聞こえてくることがあります。モノリスとマイクロサービスのどちらが向いているかについては、開発体制やサービスの特性など様々な要因を考慮する必要があるため、一概にどちらがよいかを断言することはできません。と

  • テクノロジー
  • 2020/08/19 21:28
• あとで読む

  文字コードとは？~UTF-8はパソコンの世界共通語~｜データ分析用語を解説 - GiXo Ltd.

  3 users

  www.gixo.jp

  本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1） Unicode、ASCIIコード、Shift-JIS、UTF-8、UTF-16の関係を理解する データ分析を行っていると、必ず出てくる専門用語で「文字コード」がありますが、それぞれの文字コードの概念は、曖昧になってはいませんか？ これから説明する内容は、文字コードとは何かを代表的な文字コードの関係性から説明します。 UnicodeとUTF-16は別物 ～符号化文字集合と符号化形式について～ 若い情報処理系の技術者に対して、「代表的な文字コードって何？」と質問した時、返ってくる内容として「ASCIIコード、Shift-JIS、UTF-8、UTF-16、Unicode…」と答えるケースがあります。これは、厳密にいえば正しい答えではありません。 Unicodeは「符号化文字集合

  • テクノロジー
  • 2020/05/17 15:35

  • 文字コード
• あとで読む

  テーブル命名規約と項目命名規約をつくる | データ分析のお作法 - GiXo Ltd.

  5 users

  www.gixo.jp

  本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1） 名は体を表す！テーブル名、項目名だけでデータ分析精度は変わる データベースの中に素晴らしいデータが入っていても、毎回、テーブル設計書を片手にデータ取得をしては価値は半減です。本編では、テーブル命名規約と項目命名規約を作成し、データベースの資源を効率良く使えるアドバイスをします。 テーブル命名規約と項目命名規約とは 命名規約は、テーブル、または、テーブル項目の名前を付ける為の規則です。データ分析作業に関わらず、複数人でデータベースのテーブル設計を行うプロジェクトでは、導入されることが多いです。命名規約は、プロジェクトごと、開発会社ごと異なり、決まった型があるわけではありません。そのため、命名規則を決める上でポイントを以下に記載します。 命名規則作成のポイント テーブルの属性

  • テクノロジー
  • 2020/02/26 18:29

  • DB
• あとで読む

  アウトプット（output）とアウトカム（outcome）の違い　～成果につながらない分析結果は、ただの”お勉強”である～ - GiXo Ltd.

  11 users

  www.gixo.jp

  アウトプット（output）とアウトカム（outcome）の違い　～成果につながらない分析結果は、ただの”お勉強”である～ アウトカム＝成果にこそ意味がある 本日は、アウトプットとアウトカムという2つの概念について解説します。 アウトプット＝「出力結果」 まず、アウトプットという言葉です。英語表記ではOUTPUTとなります。 アウトプットに対応する言葉、といって、最初に思いつくのは（アウトカムではなく）インプットではないでしょうか。インプットとアウトプットというものは、「何かを入れたら、それに対応して何かを出してくる」なんらかの処理機構（それが組織であれ、機械であれ、個人であれ）がある場合に、”そこに入れるもの＝インプット”、”そこから出てくるもの＝アウトプット”という理解をしておくのが良いと思います。 要は、処理機構の「中に（IN）押し込まれる（PUT)」ものと、「外に（OUT)押し出さ

  • 世の中
  • 2019/09/13 12:24

  • 人生
  • 生活
  • *あとで読む
  • あとで読む
• あとで読む

  マスタデータ、トランザクションデータとは｜データ分析用語を解説 - GiXo Ltd.

  3 users

  www.gixo.jp

  本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1） マスタデータとトランザクションデータを理解して、正しくデータを管理する データを扱う上で必ずと言っていいほど、登場するマスタデータとトランザクションデータについて、解説します。 マスタデータとトランザクションデータ マスタデータとトランザクションデータについて、IT用語辞典を引用します。 【マスタデータ】　出所：IT用語辞典 企業内データベースなどで、業務を遂行する際の基礎情報となるデータのこと。また、それらを集約したファイルやデータベースのテーブルなど。単に「マスタ」と省略するのが一般的である。 【トランザクションデータ】　出所：IT用語辞典 企業の情報システムなどが扱うデータの種類の一つで、業務に伴って発生した出来事の詳細を記録したデータのこと。“transactio

  • テクノロジー
  • 2019/07/08 17:47
• あとで読む

  身近なデータベース Microsoft Access をマジメにエンジニアが使ってみた - GiXo Ltd.

  4 users

  www.gixo.jp

  Microsoft Access の使い方を工夫すれば強力なデータベースメンテナンスツールとなる 昨今、様々なデータ活用が進み、それに伴い様々なツールやサービス、ハードウェアが毎日のように生まれては消えていきます。そんなカンブリア紀並みに進化激しい時代、20年以上前から殆ど変わらぬ姿を保っている奇跡的なデータベースがあります。今回はガラデービーこと Microsoft Access について、マジメにデータベースエンジニアがイケている使い方を探してみました。(たぶん、一般的な使い方と違うと思います) そもそも Microsoft Access って何よ？ Microsoft Access(以下、Access) は簡易的な開発が行えるデータベースアプリです。単品で購入することも可能ですが、Microsoft Office のある一定上のグレードを購入すると付いてきます。リリースされたのが19

  • テクノロジー
  • 2019/04/04 21:44
• あとで読む

  進化生物学で考える　人はなぜセックスを隠すのか?｜馬場正博の「ご隠居の視点」【寄稿】 - GiXo Ltd.

  3 users

  www.gixo.jp

  長時間楽しむためのセックスを行うのには、敵の目に触れやすい場所は不適 人はどうして人前でセックスをしないのだろうか。こんなことを言うと、何を当り前のそれも不謹慎なことを、と怒りだす人がいても不思議はありません。そもそも人前で性行為を行うことは公然猥褻（わいせつ）罪という刑法に触れます。 確かに、世の中には犯罪になるから人前でセックスはしないだけで、許されているなら堂々とすると言う人もいるかもしれません。しかし、そのような人は滅多にいないでしょう。それに刑法174条公然猥褻罪の罰は6か月以下の懲役です。刑罰の中でそれほど重いわけでもありません。 同じ猥褻関連の罪でも刑法175条の猥褻物頒布は最高懲役2年です。これは主として営利目的での猥褻物の販売を罰するためのものです。その刑法175条の違反はよくありますが、刑法174条をその種の場所で営利目的ではなく、公衆の面前で性行為を行うことで犯してし

  • 学び
  • 2019/03/05 09:07
• あとで読む

  【"考え方"を考える】アナロジー（比喩表現）で考える　~戦略コンサルタントって、プロ野球選手みたいなものじゃん？~ | GiXo Ltd.

  3 users

  www.gixo.jp

  【”考え方”を考える】アナロジー（比喩表現）で考える　~戦略コンサルタントって、プロ野球選手みたいなものじゃん？~ 比喩表現を使うためには「本質の理解」が大前提 コンサルタントに限らず、会話の中で「それはさ、要するに、XXXXみたいなもんだよ。」と言うような表現を使うことがあると思います。 この「XXXXみたいな」という部分、つまり比喩表現がアナロジーです。本日は、このアナロジーについて考えてみたいと思います。 アナロジーとは何か いつもお世話になっている、Wikipediaさんから引用します。（お世話になってる人は、ちゃんと寄付しましょうね！（笑）） 類推（るいすい）は類比（るいひ）、アナロジー（Analogy）ともいい、特定の事物に基づく情報を、他の特定の事物へ、それらの間の何らかの類似に基づいて適用する認知過程である。ドイツ語のAnalogieはギリシャ語のἀναλογίαからの外来

  • エンタメ
  • 2018/10/15 09:40
• あとで読む

  Redshiftの弱点をRDSとRedshift Spectrumでカバーする ～SQL命令だけでデータ分析ができる環境を考える～ | GiXo Ltd.

  4 users

  www.gixo.jp

  Redshiftの弱点をRDSとRedshift Spectrumでカバーする ～SQL命令だけでデータ分析ができる環境を考える～ RDSの機能を使えばRedshiftのデータを使用したGIS環境も構築できる クラウド上のデータベース（クラウドデータベース）は、非常に高性能、かつ安定していながら、費用的や技術的にも容易に環境構築することが可能です。しかし、これらの利点の代償として”柔軟性”を失ってしまっています。1つ目は”場所”の柔軟性を失い、常にインターネットから接続できる環境からでないと利用できません。2つ目は”拡張性”の柔軟性です。今回はこのクラウドデータベースの”拡張性”の柔軟性を補完し、コストダウンする方法についてAWSを例にご説明します。 Redshiftは完全なPostgreSQL互換ではない Amazon Redshift(以下、Redshift) は PostgreSQL

  • テクノロジー
  • 2018/10/05 15:13

  • あとで読む
• あとで読む

  Thinkaholic（シンカホリック）＝思考中毒のススメ｜”考え方”を考える - GiXo Ltd.

  3 users

  www.gixo.jp

  誰かに頼まれなくても、勝手に考えてみない？ 本日は、やや番外編っぽくなりますが、最近気づいた僕の「病気」について語ってみたいと思います。連載タイトルにある「”考え方”を考える」とか言ってる時点で、相当”アレ”な感じがしてると思うんですが、そのあたりについてのお話です。 シンカホリック＝思考が止まらない病気です 世の中に、ワーカホリック（workaholic）という言葉があります。日本が高度経済成長を遂げる中、「日本人は、エコノミックアニマルだ」とか言われてたと思うのですが、それと似た用語ですよね。ワーカホリック、すなわち「仕事中毒」。 僕も、働きすぎて、ちょっと軽く胃に穴的なものをあけてみたりしたこともありますし、土日だろうと深夜だろうと必要ならば働くことを厭わない人種です。ですので、いわゆる「ワーカホリック」に属すると思われることも多く、自分自身も、なんとなく「まぁ、そうなのかもしれない

  • 学び
  • 2018/09/21 20:48

  • 考え方
• あとで読む

  第7回(最終回)：何が良いかはケースバイケースだ！｜CSV、XML、JSON…データフォーマットの変遷について考える - GiXo Ltd.

  4 users

  www.gixo.jp

  第7回(最終回)：何が良いかはケースバイケースだ！｜CSV、XML、JSON…データフォーマットの変遷について考える テキストフォーマット比較・最終回は独断と偏見のまとめです 前回(第6回)は、各フォーマット説明の最後としてJSONフォーマットについて説明しました。今回は本連載の最終回として、これらのまとめを説明します。フォーマット同士の比較や各々のメリットデメリットを述べて生きたいと考えています。まとめなだけに多分に独断と偏見がまざりますがご容赦くださいｗ。 これまで取り上げてきたこと 本記事でこれまで以下のような内容を取り上げてきました。 第1回　いろいろなデータフォーマットが登場しています 第2回　データフォーマットを考える上での6つのポイント 第3回　フラットフォーマット(固定長フォーマット)について 第4回　Character-Separated Valuesフォーマット(CSV

  • テクノロジー
  • 2018/08/26 14:48
• あとで読む

  VRM（Vendor Relationship Management）：果たしてCRMの”次”なのか？｜基礎から学ぶマーケ用語 - GiXo Ltd.

  3 users

  www.gixo.jp

  VRM（Vendor Relationship Management）：果たしてCRMの”次”なのか？｜基礎から学ぶマーケ用語 VRMは、CRMを補完する”夢の仕組み”（＝当面は”幻”かなぁ・・・） 本日は、VRM（Vendor Relationship Management）を解説します。また、この用語を理解するために「CRM」という概念の理解が必要ですので、そちらについてもある程度触れながら説明を勧めたいと思います。 VRM＝顧客（消費者）が”ベンダー”を管理する VRMというのは「インテンション・エコノミー：顧客が支配する経済」の著者である、ドク・サールズ氏が発案した言葉です。インテンション・エコノミーに関する解説記事で、僕はこのように説明しました。 そこで出てくるのが「VRM：Vendor Releationship Management」という考え方です。この仕組みについては別の

  • テクノロジー
  • 2018/08/03 17:05
• あとで読む

  日々のブラウザ操作業務をマクロで効率化 ～SeleniumとKatalonを使ってみた～ - GiXo Ltd.

  10 users

  www.gixo.jp

  Katalon ＋ Selenium ＝単純作業から解放される未来 情報検索や買い物、事務手続きなど様々な作業をブラウザを通してインターネットで済ませることができる時代です。移動することなくアプリケーションもインストールする必要もなく非常に楽なのですが、もっと楽したいと思ったことはありませんか？ 事務作業では週末や月末に同じようなブラウザ操作をしていませんか？ インターネット上のオープンデータが更新されるたびに記憶を掘り返してデータダウンロードしていませんか？ 今回はこんなブラウザ操作を自動化方法についてのお話です。 ブラウザマクロとは 「ブラウザマクロ」という製品種類があるわけではありませんが、本稿ではブラウザ操作をマクロ（自動）化したものを「ブラウザマクロ」と呼ばせてもらいます。事務作業などのブラウザ操作の中には「ID＋パスワードを入力してログイン → ダウンロードメニューをクリック

  • テクノロジー
  • 2018/07/19 21:13

  • ブラウザ
  • browser
  • ツール
  • tool
  • development
  • 開発
  • プログラミング
• あとで読む

  「考えた順序」と「説明する順序」は、違いますよ：説明下手を克服しよう｜”考え方”を考える - GiXo Ltd.

  4 users

  www.gixo.jp

  結論を述べる、ということは、プロセスを端折る、ということです。 「説明下手を克服し、説明上手を目指そう」というテーマで不定期連載をしています。連載記事の一覧はコチラからご確認いただけます。 本日は、説明上手への道の【基本のキ】とも言うべき「”考えた順序”と”説明する順序”は違う」というお話です。 考える　と　説明する　は全然違う！ 説明下手と説明上手を隔てるルビコン川は、相手の立場に立てるかどうか、の一点に尽きます。 説明下手な人は、相手の立場に立てません。説明上手な人は、相手の立場に立てます。（関連記事：相手の立場に立って考える） 考えた順序は「あなたにとって」の分かりやすい説明順序です。 説明下手な人は「自分で考えた順序」で説明しようとします。 例文①： 朝、家を出たら、とっても良い天気だったんですよー。雲一つなくて。ああ、いい天気だなー、夏だなーって思いながら歩き始めようとしたところ

  • 学び
  • 2018/07/04 17:40
• あとで読む

  ThinkPadトラックポイントを改造して生産性を上げる ～赤ポチパッド導入の軌跡～ - GiXo Ltd.

  5 users

  www.gixo.jp

  ThinkPad ＋ グリップテープ ＋ 穴あけパンチ ＝ 生産性アップ 「弘法は筆を選ばず」ということわざはありますが、日々の業務で使う道具で生産性は変わるのが現実です。特に弊社では分析作業やプレゼンの資料作成等で使うパソコンは非常に需要な道具であり、些細な欠点でも気になってきます。という事で今回は「究極の筆（パソコン）を作るアプローチ」のご紹介です。 トラックポイントのグリップ力低下 ＝ 仕事の生産性低下 現在、弊社では標準パソコンを「Lenovo ThinkPad‎」にしています。ThinkPadと言えばデザイン性もさることながら、その独自のキーボードにはファンが多く、それが目的でThinkPad‎を選ぶユーザーもいるぐらいです。特にキーボードの中央部にあるトラックポイント（通称：赤ポチ）には人気があり、キーボード入力のホームポジションを変えることなく、素早くマウス操作ができる所は「

  • 世の中
  • 2018/06/13 20:13
• あとで読む

  Apache Airflow でタスクスケジューリングしてみた ～Airflowによって開発負荷が変わる～ - GiXo Ltd.

  4 users

  www.gixo.jp

  Airflowを導入することでエンジニアは処理本体の開発に集中できる 分析業務に限らず定常的な処理はバッチ処理として纏めることは多いと思います。そして、バッチ処理も実行するタイミングが決まったら、自動化システムとしてバッチ処理をスケジューリングすることで手作業から解放されます。この様なバッチ処理をスケジューリングするものが、タスクスケジューラーと呼ばれるツールやフレームワークになります。今回は最近注目されているタスクスケジューラーの Apache Airflow（以下、Airflow）について技術的な内容は省いて、導入することで変わる開発手法についてご説明します。 バッチ処理と自動化システムの違い Airflowの説明をする前に「手作業が入るバッチ処理」を「自動化システム」にするまで何を考え、開発する必要があるかについてご説明します。（プログラマーのあるある話です） バッチ処理では複数のタ

  • テクノロジー
  • 2018/05/04 07:51
• あとで読む

  3大クラウドサービスの無料利用枠を比較 ～試用上の注意をよく読み、使用量・時間を守って正しくお使い下さい～ - GiXo Ltd.

  8 users

  www.gixo.jp

  3大クラウドサービスの無料利用枠を比較 ～試用上の注意をよく読み、使用量・時間を守って正しくお使い下さい～ スマホの料金体系並みの分かりにくいクラウドサービスの無料利用枠 クラウドサービスはインターネットの繋がる環境から直ぐに開始できます。そして、クラウドサービスの試用するために無料利用枠が決まっているのですが、専門用語が多く、ちょっと初心者にはハードルが高いと思います。これからご紹介するのは「クラウドサービスの試用上の注意」として、ここだけ抑えておこうというポイントだけご説明します。 無料利用枠は無料クレジットと無料サービスで構成される クラウドサービスにはインターネットに接続されているパブリッククラウドと、接続されていないプライベートクラウドがあります。そして、日本ではパブリッククラウドとしてAmazon Web Services(以下、AWS)、Microsoft Azure(以下、

  • テクノロジー
  • 2018/02/26 17:33

  • cloud
  • クラウド
  • AWS
  • Saved For Later
  • google
• あとで読む

  BigQueryの標準SQL対応によって競合サービスからの乗り換えが発生するか？ ～Redshiftと使用感を比較してみた～ - GiXo Ltd.

  6 users

  www.gixo.jp

  BigQueryの標準SQL対応によって競合サービスからの乗り換えが発生するか？ ～Redshiftと使用感を比較してみた～ 分析の試行錯誤フェーズではRedshift。分析の”型”が決まったらBigQuery。 ビッグデータ分析においてデータベースは必要不可欠であることは言うまでもありません。これらのビックデータ向けデータベースの代表格としてオンプレミスではOracle Exadata、クラウドサービスではAmazon Redshift（以下、Redshift）などがあります。弊社でもRedshiftを長年使用してきましたが、最近、Google Cloud Platform（以下、GCP）のBigQueryが、色々改善されたため、RedshiftなどのRDB（リレーショナルデータベース）と使用感を比較してみました。 前回までのBigQueryのおさらい：速い・安い・シンプル 実は1年半前

  • テクノロジー
  • 2018/02/23 14:38
• あとで読む

  Apache Airflow でタスクスケジューリングしてみた ～公式ドキュメントの読み解き方～ - GiXo Ltd.

  3 users

  www.gixo.jp

  Airflow公式ドキュメントは難解。重要ポイントから先に読み解こう 前回、タスクスケジューラーの必要性とAirflowの概要やメリットについてご紹介しました。しかし、「とりあえず触ってみよう！」っと思ってもAirflow公式ドキュメントは英語、かつ専門的過ぎて難解かもしれません。たぶん、はじめてタスクスケジューラーを触る人にとっては、頭から順に読んでいっても分からないと思います。そのため「公式ドキュメントの読み解き方」について、私なりの考えをご紹介します。 とりあえずチュートリアルまでやろう 前回でもご説明しましたが、AirflowのタスクスケジューリングはPythonプログラミングで行いますが、Pythonプログラミングスキルが殆どなくてもできます。ただ、Bashシェルを順に呼ぶだけのバッチであれば、Pythonの条件式（if）やループ（for）などの記述は必要ありません。それを信じで

  • 暮らし
  • 2018/01/31 15:44
• あとで読む

  第3回：反論に対する反論｜本気で読み解く”人月の神話”（第17章：前半） - GiXo Ltd.

  4 users

  www.gixo.jp

  俺が9年前に言ったこと、別に間違ってなかったよね　by ブルックス 人月の神話【20周年増訂 新装版】 今回は17章「銀の弾などない 再発射」です。これは、前回解説した16章「銀の弾などない」の9年後に発表された論文で、その内容は「第16章で行ってたことに対する色々な意見に対する答え＋大きくは変わらない結論」という感じです。「銀の弾などない」を理解するためにも、一読すべきと思います。では、その内容を見ていきましょう。 連載記事一覧は、コチラの最下段から 本質から目を背けるな（ついでに「偶有的」は「副次的」と読み替えよう） この章で語られることのなかで、最も重要なのは「偶有的」という言葉の捉え方です。「偶然起きた」という意味で解釈されがちだが、これは「副次的」という意味なんですよ、と述べられます。第16章で、本質的と偶有的って何なんだよ、と思った方も、これでスッキリですね。 尚、ブルックス氏

  • テクノロジー
  • 2017/11/28 00:11
• あとで読む

  第6回・JSONファイル｜CSV、XML、JSON…データフォーマットの変遷について考える - GiXo Ltd.

  6 users

  www.gixo.jp

  フォーマット解説の第四弾(最後)はJSONフォーマットです 前回(第5回)は、各フォーマットを説明していく第三弾としてXMLフォーマットについて説明しました。今回は第四弾としてJSONフォーマットについて説明します。JSONは第4回(フォーマット説明第二弾)で説明したCSVフォーマットと同様にRFCによって仕様が公開されておりRFC4627としてナンバリングされています。クレジットが2006年7月なのでまだ10才に満たない若いフォーマットと言えます。JSONは正式名をJavaScript Object Notation(直訳するとJavaScriptオブジェクトの表記法)といいますが、現在はJavaScriptに限らず多くのプログラムから利用されておりその範囲や用途は急速に拡大し続けています。その多くは既存のXMLフォーマットの用途を置き換える形で進んでいるのですが、実際私自身も過去にXM

  • テクノロジー
  • 2017/11/06 12:17

  • JSON
• あとで読む

  AWS Glue を使ってみた ～ETLツールではなくETL支援サービスとしての役割～ - GiXo Ltd.

  6 users

  www.gixo.jp

  AWS Glue がフルマージドしているのはETLのプロセスではなく動作環境 データ分析ではデータベースを使うことが多く、そのデータベースにデータを入れるためにはETL処理は必要不可欠な処理です。ETL処理をフルスクラッチでプログラミングしても良いのですが、作業を効率化するためにETLツールを使うことが多いです。この波はローカルツールだけではなく、クラウドサービスにも広がり、Google Cloud Dataprep などが発表されてきました。そして、AWSでもETLサービスである「AWS Glue (以下、Glue)」が一般公開されましたので、早速、軽く触った感覚でご紹介したいと思います。 AWS Glue とは Glueの説明の最初を見ると「AWS Glue は抽出、変換、ロード (ETL) を行う完全マネージド型のサービスで～」とあるので、TalendのようなGUIベースでコンポーネ

  • テクノロジー
  • 2017/10/29 16:45
• あとで読む

  第1回 進化するフォーマット｜CSV、XML、JSON…データフォーマットの変遷について考える - GiXo Ltd.

  4 users

  www.gixo.jp

  CSV、XML、JSON…、データフォーマットも進化している 我々Gixoではいろいろなデータの分析や加工処理を行っています。私も日々データと格闘しているわけですが、私が学生のころと比べるとITをとりまくいろいろな事が進化していると感じます。その中でデータフォーマットの進化やその変遷についてまとめてみたいと考えました。この記事では各々のテキストデータの長所や短所をまじえながらその進化や変遷を皆さんと一緒に追っていきたいと思っています。 今回取り上げるデータフォーマットの種類 本記事では振り返っていく題材として、テキストデータのフォーマットとして代表的な以下のフォーマットについて述べていきます。 フラットフォーマット(固定長フォーマット) Character-Separated Valuesフォーマット(CSV,TSV,SSVなど) XMLフォーマット JSONフォーマット こんなデータがあ

  • テクノロジー
  • 2017/10/10 17:20

  • データ

次のページ