Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
株価データ・株主優待情報・先物データ・ランキングデータ・CSVダウンロード無料 | 株式投資メモ・株価データベース
システム変更につき、サイト更新を一時停止しております。 完了次第速やかに再開しますので、今しばらくお待ちくださいませ。
【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します
―― 今のチーム課題と課題解決に向けた取り組みを教えてください。 Wang：私たちのチームでは、主に3つの課題について取り組みを進めています。 まずは1つ目の課題は「マルチテナントのクラスターの運用」についてです。 Hadoopは一般的に、有数のユーザと予測可能なワークロードで運用されていますが、LINEのData OpenによってDAUが700人弱であり、且つワークロードも10万+/日となっています。Isolationがまだ完備されていないので、ユーザ間にリソースの競合が発生している状況です。 2つ目は「Data catalog」についてです。ユーザが自由にデータを生成したり利用したりする環境においては、データのカタログがとても重要です。そのため、Data Lineageを自動的に生成する仕組みが必要となってきます。 そして「大規模のインフラを効率よく運用すること」も私たちの課題です。私
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
小説家になろうを機械学習でデータ分析してブックマーク10以上を獲得しやすい条件を探す - Qiita
はじめに これを書いてる人の機械学習・データ分析のスキルはpythonの拡張子が.pyであることを知ってから10日目ぐらい、「決定木」「最小二乗法」「特徴量」「RMSE」といった単語を初めて見てから7日目ぐらいといったレベルです。なのでより良い方法がある場合や、分析の途中間違っている箇所などがあればコメント欄等でどんどん指摘してくださると有り難いです。(コードが汚い、変数の命名がおかしい等はご容赦ください) 本記事について 小説家になろうの作品でブックマーク10以上を獲得するために、有利なジャンルはあるのか、作品のタイトルとあらすじの文字数は重要か、本文の文字数は重要か、ジャンルが重要ならどのジャンルが良いのか、文字数が重要ならどのぐらいの文字数が良いのか、といったことを調べていきます。 先に分析の結果を書くと 大ジャンル ジャンル 15禁止作品かどうか、タイトルの文字数、あらすじの文字数
Vue.js初心者向け：Vue.jsとaxiosでJsonを取得してコンポーネントに反映するメモ - Qiita
はじめに Vue と Ajax を組み合わせて非同期で Json を取得するサンプルは意外と見付かりません。今回の実装もものすごく初歩的な方法ですが、自分的には丸1日悩んだ結果なので今後のためにメモを残しておきます。 むしろエレガントな方法を教えてください。 やりたいこと Vue インスタンス作成前ではなく、作成後にコンポーネント側で Json を取得したい。 データは専用のストアを用意して複数のコンポーネントで使い回したい。 しかし Vuex は制約がキツいので使いたくない。 Json を取得したらコンポーネントに反映したい。 コンポーネントは単一ファイルコンポーネント（.vue）を使いたい。 jQuery ではなく axios を使う axios とは Vue のドキュメントで推奨されている Ajax通信ライブラリです。jQuery を使ってもいいのですが、せっかくなので試してみました
The Next Chapter - Treasure Data
本日皆様に、私たちトレジャーデータがArm社の一員に加わるという発表をお知らせできることを大変うれしく思っています。 私たちと、これまで私たちを支えてくださったお客様とで紡いできた物語に加わる、半導体技術とIoTサービスにおけるリーディングカンパニーであるArm社とトレジャーデータのコラボレーションによって描き出される未来の一端、次なる章を、ここで私からお伝えいたします。 データの活用が人々を幸せにする 2011年に遡らせてください。私は太田一樹と古橋貞之をアメリカに連れ、3人でトレジャーデータを創業しました。 当時の私たちは、トレジャーデータのコアとなるビジョンとミッションをどう具現化させるかの議論に夢中になっていました。どうやって「テクノロジーと人間の関係性を根本から変容させる」かということ。 「データの活用が人々を幸せにする」という信念のもと私たちが企てていたのは、データが新しい通貨
オープンデータ | OpenGovLab
日本におけるインターネットを活用して開かれた政府（オープンガバメント）の実現を目指し、さまざまな実証を行っているサイトです。オープンガバメントに関するさまざまな情報の収集、提供も行っています。Open Data オープンデータ 政府や公的機関ではそれぞれのが保持するデータは原則オープンとして積極的な公開を進めています。具体的にはデータの2次利用を妨げないライセンスを基本とし、機械判読式データやAPIの整備などウェブを通じて手軽にデータのダウンロードや利用ができるような環境を目指しています。 オープンデータの推進によって政府の透明性を高め、また、民間活動の支援につながるなどの効能が期待されています。
Web開発におけるコンピュータサイエンス - 機械学習編1 - Hatena Developer Blog
この教科書は、はてなサマーインターンの講義資料として作成されたものです: https://github.com/hatena/Hatena-Textbook この章では機械学習について、Webサービスの開発で必要とされる知識を中心に、とくに自然言語処理にフォーカスしながら解説します。 Webサービス開発と機械学習 実現困難な機能の例 闇雲な実装 もう少しましな実装 機械学習によるパラメータ決定 分類問題のための機械学習手法 パーセプトロン 判別アルゴリズム 学習アルゴリズム 特徴量のとり方 形態素解析 量をともなう特徴 組み合わせ特徴量 モデル 機械学習の種類 教師あり学習 分類 (質的変数の予測) 回帰 (量的変数の予測) 教師あり学習でのデータセット 教師なし学習 クラスタリング 次元削減(次元圧縮) 頻出パターンマイニング 異常値検出 アルゴリズムの評価 訓練データとテストデータ 学
機械学習に使える、オープンデータ一覧 ※随時更新 - Beginning AI
機械学習をやりたいんだけど、データがない！他のデータ使ってみたい！ そんな方のために、機械学習に使えるオープンデータを集めました。 他にも、このデータセットオススメ！というものがあれば、是非ご紹介して頂けると嬉しいです。m(__)m UC Irvine Machine Learning Repository カリフォルニア大学アーバイン校が公開した、データセット。351件のデータセットがあり後述する DATA GO に比べれば少ないが、ほとんどがMachine Learning用のデータ・セットなので、かなりオススメ。 UCI Machine Learning Repository かの有名なあやめの花（iris）のデータセットもここから見ることができます。 国立情報学研究所 情報学研究データリポジトリ データセット一覧 yahoo,楽天,ニコニコなどのデータがあります。 DATA.GO.
世界のオープンデータを集約した、画期的なプラットフォーム「Plenario」 | Techable(テッカブル)
日本政府が開設したデータカタログサイト「DATA GOJP」や米国連邦政府の「Data.gov」に代表されるとおり、近年、中央政府や地方公共団体などの公共データが、オープンデータとして数多く公開されている。 しかしながら、管轄機関ごとにデータが分散しているうえ、ファイルの形式や構造が統一されていないのが現状。 複数のデータを統合したり、解析するには、高度な専門スキルを要し、膨大な手間がかかるのが課題となっている。 ・世界のオープンデータを集約したプラットフォーム そこで、米国を中心に世界のオープンデータを集約した、オープンソース型プラットフォーム「Plenario」が、米シカゴ大学によって開発された。 期間と場所を指定するだけで、行政区分を問わず、条件に合致するすべてのオープンデータをリスト表示。 各データは、このプラットフォームから直接ダウンロードできる仕組みとなっている。 たとえば、シ
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
オープンデータ徹底入門
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Webアプリにおけるキャッシュ。オレオレ事例 - ゆーすけべー日記
Webアプリにおいて、アクセスやデータ量が多く/大きくなってくると、 バックエンドのパフォーマンスが低下しがちです。 MySQLなどのRDBMSにデータを置いている場合は適切に クエリーを改善する、インデックスを張る、といった策で解決する場合もありますが、 キャッシュを効果的に利用することでより高負荷に対応できる可能性があります。 また、外部APIへの問い合わせなど、どうしてもネットワークや他のリソースのレスポンスタイムに 引きずられる部分に関しては情報を手元にキャッシュしておくと何かとよいでしょう。 今回はWebアプリケーションのレイヤーで最近僕がどのようにキャッシュを使っているのか？ の事例を紹介しつつまとめてみたいと思います。 キャッシュについてとその基本 そもそもキャッシュとは、簡単にふわっと表現するならば、 「一時的に情報を手元の近い場所に置いておいて利用する手法、もしくはその一
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
データ分析というお仕事のこれまでとこれから(HCMPL2014)
http://data.huffingtonpost.com/2014/world-cup-japan/matches/ivory-coast-vs-japan-731772
Big Data入門に見せかけたFluentd入門
指定した形式で大量のダミーデータを生成してくれる『Generate test data for your database』 | 100SHIKI