Spring Boot 1.5で複数データベースを扱うウェブアプリケーションのサンプル - Qiita
概要 Spring Bootを利用した複数のデータベースを扱うウェブアプリケーションのサンプルコードです。 環境 Windows10 Professional Java 1.8.0_131 Spring Boot 1.5.3 参考 SpringのAbstractRoutingDataSourceを使ってシャーディングっぽいことをしてみる！ Spring Boot multiple databases configuration Multiple databases with Spring Boot and Spring Data JPA Dynamic DataSource Routing with Spring @Transactional [spring]10.5 Declarative transaction management アプリケーションが扱うデータベースが下図のように3つ
Java Virtual Machine調査方法 - クロノスの技術系ブログ
Java Virtual Machinenの構成 JVMとOSの領域があります。 JVMはPermanentとHeapがあります。 Permanentはクラスやメソッドなどのメタデーターがロードされる領域になります。 Heapはクラスのインスタンスが格納される領域になります。 JVM以外はOSの領域がありCヒープとSヒープがあります。 CヒープはJavaから利用されるOSライブラリーなどのネイティヴなものがロードされる領域になります。 SヒープはJavaスレッドが格納される領域になります。 各領域に関して JVM Permanent クラスファイル（メタデーター）がロードされる領域 JVM New Eden 新しいオブジェクトが作成された時に最初に格納される領域 JVM New Survivor From Scavenge GCが発生してTo領域にあるオブジェクトで生存しているものはこの領
Spring FrameworkのControllerの基本的なアノテーション
JavaのSpring FrameworkのMVCのControllerでよく使う基本的なアノテーション@RequestMappingや、@BindingResult、オブジェクトのModelなどを紹介します。 🐝 Controllerの処理対象のパスを指定：@RequestMappingvalue属性Java Spring MVCのControllerの処理対象となるURLを@RequestMappingアノテーションのvalueオプションで指定します。(valueは最初の/は省略できます) // value で処理対象のパスを指定 @RequestMapping(value = "books") // valueだけなら省略可能 @RequestMapping("books") // 複数のパスを指定できる @RequestMapping(value = { "books", "ma
セキュリティ対策としての Cache-Control ヘッダについて - 理系学生日記
今日はブラウザのキャッシュ制御の話。キャッシュについては主に性能面で語られて、情報漏洩に繋がる重要な制御であることは見逃されがちです。 CDN切り替え作業における、Web版メルカリの個人情報流出の原因につきまして | メルカリエンジニアリング 情報漏洩自体はよくないことで、被害にあってしまった人はそんなこと言ってられないけれど、その原因を包みかくさず公開することで他山の石というか、間違いなく日本のセキュリティ意識は向上すると思います。 ぼく自身も、みなさんも、そろそろ Cache-Control: no-cache, no-store, must-revalidate しとけば良いんやろ、というゴミのような意識を改善しなければならないということで、ここにキャッシュについてまとめてみます。 Cache の種類 ブラウザで関連するキャッシュには主に 2 つほどあります。 private cac
JSONデータ圧縮方式をSnappyからzstdに切り替えた事例紹介 | BLOG - DeNA Engineering
JSONデータ圧縮方式をzstdに切り替えデータ量を38.3%削減した事例、及びマイクロサービスの無停止アップデート事例について紹介したいと思います。 はじめに JPRゲーム事業本部開発基盤部の池田周平です。先日 Rails5対応についてDeNA techブログに投稿 した@namusyakaと同じチームで働いています。 JSON文字列をRDBに格納する際の圧縮フォーマットをSnappyからzstdに切り替え、データ量を削減した事例を紹介したいと思います。本対応を実施した目的はDB負荷対策です。DBで扱うデータをより小さくすることで、DBサーバのDiskI/O負荷とMaster-Slave間のレプリケーション遅延対策を目的としています。 「Sakasho」は、DeNAが持つモバイルゲームのためのプラットフォームです。複数タイトルのゲームを取り扱っており、一部データはゲーム毎の仕様差を吸収し
【Haskell や圏論が出てこない】Scala で型クラスを完全に理解した話 - Qiita
TL;DR 結論から。 型クラスはちょっとすごいオーバーロード であり 型に対して静的にメソッドを挿入する方法 です。 この記事は Haskell や 圏論等の難しそうな知識・議論なしで型クラス概念を具体的に理解する 型クラスが実は単なるすごいオーバーロードで、ちょっとした便利なものだと実感できる 型クラスとインターフェイスの違い論争で消耗しなくなる 型クラスを知っているとなにがオトクなのかわかる Haskell 等の高度な抽象化の恩恵を Java 的な慣れ親しんだシンタックスで書ける Scala は便利でたのしいと感じる ことを目的としています。 対象読者 関数型とか型クラスとかモナドとかよく聞くけど全然わからない…でも理解したい気持ちはある 型クラスの概念はいろいろ読んでなんとなく分かるけど説明が Haskell ばかりで実感がわかない 型クラスがなんなのかはぶっちゃけどうでもいいが、
SREのここ1年の取り組みと、今後1年でやりたい事
SRE視点で見るマイクロサービス FiNC SRE担当の鈴木です。 今回は、以前社内のマイクロサービス勉強会で話した「SREの視点からみたマイクロサービスの運用」に関して紹介していきたいと思います。 いつもは、マイクロサービス万歳みたい… 上記ブログでは2016年1月時点で16個のサービスから構成されていると書かれていますが、2017年5月時点で30個近くまで増えています。増える理由はいくつかありますが大別すれば新機能開発か、既存機能の切り分けという事になります。そんな中でここ1年で取り組んで来た事を紹介していきたいと思います。 Docker/ECSの導入大きな変化の一つは本格的にDockerを本番環境で導入し始めた事です。DockerのマネージメントツールとしてAWSのECSを利用しています。Dockerを利用する事の利点は今更ここで紹介するまでもないですが、新規サービスの立ち上げや既存
fluentd + elasticsearch5 + kibana4をvagrantで練習してみた話[centos7] - Qiita
はじめに 導入方法だけ見たい！という人は飛ばしてください 社内の勉強会で発表する機会があったので、気になっていたfluentd + elasticsearch + kibanaのログ管理について調べて検証してみました。 知ってる人にとっては今更…？と言われてしまうかもしれないけど、業界新人なものでご勘弁を… ざっとググってみたら、バージョンが結構古いものからニッチな記事もちらほらあって、 (開発状況を含めて)ホットなコンテンツなんだなぁと実感しました。 何ができるのか まずはこのシステムで何ができるのか。 ログの集中管理・見える化 たくさんのサーバのいろんなログを、まるっとまとめてブラウザから検索・管理できる。 各種プラグインをうまく使うことで、監視や障害検知がスマートに行える。 各サービスの大雑把な役割は以下の通り。 fluentd : 各種サーバからログを集める。サーバ-クライアント方
![fluentd + elasticsearch5 + kibana4をvagrantで練習してみた話[centos7] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/e67d7b2a3fb4219754b96ff4d28189283a2b7ac3/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9Zmx1ZW50ZCUyMCUyQiUyMGVsYXN0aWNzZWFyY2g1JTIwJTJCJTIwa2liYW5hNCVFMyU4MiU5MnZhZ3JhbnQlRTMlODElQTclRTclQjclQjQlRTclQkYlOTIlRTMlODElOTclRTMlODElQTYlRTMlODElQkYlRTMlODElOUYlRTglQTklQjElNUJjZW50b3M3JTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wN2ZmMDVmYzRlOWFkY2I1YzRlNGEyY2NkYTRhNjczNw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwYmFiYWJhY2hpJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz05ODZhZWIzYjc1OTA1YjlkMTg0ZmFlNDdiODY0YmJiOQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D2ff75c1c3b82451b926221532c53217e)
Fluentdで各サーバからログ収集し、1箇所に集約してS3ログやElasticSearch Serviceに転送 - Qiita
Fluentdで各サーバからログ収集し、1箇所に集約してS3ログやElasticSearch Serviceに転送AWSFluentdS3fluent-plugin-elasticsearchElasticsearchService Fluentdを使って、複数のEC2からログを収集し、S3やElasticSearch Serviceに転送する処理を行ったので、注意事項も含めてメモします。 事前準備 S3バケットの作成 マネジメントコンソールからS3を選択し、[バケットを作成]を選択。 現れるマネジメントコンソールに例えば以下のように入力する。 バケット名: my-server-log リージョン: Tokyo ※S3のバケット名はAWS全体で一意なので注意。各自適宜名前をつけること。 [作成]を選択 ElasticSearch Serviceのドメイン作成 マネジメントコンソールからEl
LocalStackをつかってローカルでLambdaを実行してみた | DevelopersIO
どうも！AWS勉強中の西村祐二＠大阪です。 今回は前々からさわってみたいと思っていた AWSのモックフレームワークを提供する「LocalStack」をつかって ローカルでLambda関数を実行してみたいと思います。 LocalStackとは クラウドアプリケーションを開発するための使いやすいテスト/モッキングフレームワークを提供するツールです。 イメージとしては、ローカルに擬似的なAWS環境を作ってくれて、 料金など気にせずにテストや動作確認を可能にしてくれます。 LocalStackが提供しているAWSサービス API Gateway Kinesis DynamoDB DynamoDB Streams Elasticsearch S3 Firehose Lambda SNS SQS Redshift ES (Elasticsearch Service) SES Route53 Cloud
React Express
What is React?React is a library for building user interfaces for the web and other platforms. This guide covers the fundamental aspects of React needed to build great web apps. If you're more interested in building mobile apps, consider checking out React Native Express instead. How to use this guideYou should use this guide as a companion to the official Facebook documentation for getting starte
【入門者向け解説】TensorFlow基本構文とコンセプト - Qiita
TensorFlowの基本構文とコンセプト 公式ページのGetting Started With TensorFlowを試して、ポイントとなる点を解説していきます。この内容を理解してから「【入門者向け解説】TensorFlowチュートリアルMNIST(初心者向け)」のチュートリアルをすると理解が早いです(私はボケてすっ飛ばしていました)。 参考リンク TensorFlowをWindowsにインストール Python初心者でも簡単だった件 【入門者向け解説】TensorFlowチュートリアルMNIST(初心者向け) TensorFlowチュートリアルMNIST(初心者向け)をTensorBoardで見える化 TensorFlow APIメモ 【TensorBoard入門】TensorFlow処理を見える化して理解を深める 【TensorBoard入門:image編】TensorFlow画像処
スレッドダンプを解析する地獄とFastThreadというWebサービス - 理系学生日記
スレッドダンプというと、JVM 言語に関する運用でマジで困ったときの頼みの綱みたいなイメージある。マジで困ったとき、じゃなくて、カジュアルに見れば良いんだけど、スレッドダンプのフォーマットが異常すぎてつらくなる。 そもそもなんなんだこのゴミみたいなフォーマットは。 一体誰がどういう思想の元でこのフォーマットを決めたのかさっぱり分からないし、人類を苦しめるために未来から来た AI が勝手に策定したのではないか。 "[ThreadPool Manager] - Idle Thread" #42 daemon prio=5 os_prio=31 tid=0x000000012a3a7800 nid=0x15503 in Object.wait() [0x000070000ab66000] java.lang.Thread.State: WAITING (on object monitor) at
Angular座談会（後編）。コンポーネントの設計はどうする？ モジュール分割の方法は？ ビルド遅くない？ 開発者が生々しく語る現場の悩みとは。ng-japan 2017
Angular座談会（後編）。コンポーネントの設計はどうする？ モジュール分割の方法は？ ビルド遅くない？ 開発者が生々しく語る現場の悩みとは。ng-japan 2017 JavaScriptフレームワークとして知られるAngularのイベント「ng-japan 2017」がAngular Japan User Group主催で6月17日に都内で開催されました。 本記事は「Angular座談会（前編）。コンポーネントの設計はどうする？ モジュール分割の方法は？ ビルド遅くない？ 開発者が生々しく語る現場の悩みとは。ng-japan 2017」の後編です。 頼りにしていたCrosswalkが開発終了に！ 白石氏 池田さんはCordovaとかでつらい経験があるんじゃないかと思うんですが。 池田氏 Cordovaはたしかにパフォーマンスチューニングがつらいところでした。 Cordovaをそのまま
【書評】サーバーレスシングルページアプリケーション | PSYENCE:MEDIA
それぞれ読者の立場になってこの本をどう読み解いていくかが紹介されているので、流し読みするよりもより理解度が深まると思います。 読み終えた感想 本書を読むことで、AWSを使ったサーバーレスのSPAを作るうえでどのようなマネージドサービス使って実現できるかが理解出来ます。私自身サーバーレスでSPAを作ったことはないので、Cognitoなどが特に参考になりました。 題名に『シングルページアプリケーション』とありますが、フロントエンドとしてiOSやAndroidなどのネイティブアプリを作る場合でもCognito、DynamoDB、Lambda、API Gatewayを使ったサーバーレスの構成は参考になることでしょう。 本書でサーバーレスの基本を学び、より複雑なアプリケーションが必要になったらAWSの他のマネージドサービスと組み合わせることで、より高度なサーバーレスアプリケーションを作れると思いまし
クラウド時代の インフラエンジニア動向 2017 - Qiita
以前勉強会で発表した資料が時が経って情報が古くなってきたのでアップデートしてほしいという要望があったので、2017年版にアップデートしました。 SlideShare に投稿したものを文字起こしして掲載します。 クラウドを使う企業が増えてきたことで 発生してきたこと クラウドは簡単！ プログラマがインフラもできるんじゃないか？ インフラエンジニアを雇うのは人件費の無駄・・・ 流行の「DevOps」や「SRE」ってプログラムでやるからプログラマ領域じゃないの？ 結果：インフラエンジニア不要論！！ プログラマはここを嫌がる サーバーを触るのはイヤ 「デプロイするだけ」まで作ってほしい。 コマンド一発デプロイがいい。 ネットワーク？ナニソレ？ インフラセキュリティーって何のこと？ アクセス制御？ナニソレ？ プログラマにインフラスキルを 「尚可」で求めると失敗する理由 プログラマ数人でプロダクト開発
Angular座談会（前編）。コンポーネントの設計はどうする？ モジュール分割の方法は？ ビルド遅くない？ 開発者が生々しく語る現場の悩みとは。ng-japan 2017
Angular座談会（前編）。コンポーネントの設計はどうする？ モジュール分割の方法は？ ビルド遅くない？ 開発者が生々しく語る現場の悩みとは。ng-japan 2017 JavaScriptフレームワークとして知られるAngularのイベント「ng-japan 2017」がAngular Japan User Group主催で6月17日に都内で開催されました。 AngularはJavaScriptのフレームワークとして、PC用のWebサイトからモバイルアプリケーションまで、さまざまな開発現場で使われ始めています。ng-japan 2017で行われた「【座談会】Angular開発の生々しい話」は、そうした開発者が抱える技術的な悩み、課題などが率直に語られるセッションとなりました。 この記事ではその内容をダイジェストで紹介します。 【座談会】Angular開発の生々しい話 白石氏 この座談会
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
エンジニア向け！CSSレイアウト講座＆用途別に選べる横並び・中央寄せのまとめ - Qiita
私の会社では、HTMLやCSSまわりはデザイナーやコーダー、マークアップエンジニア、フロントエンドエンジニアが作るのですが、 たまに工数の関係でバックエンドエンジニアやサーバーサイドエンジニアに直接HTML/CSS側を修正してもらうことがあります。 今回は、その方々向けによく質問に上がるようなレイアウトの基礎部分を教えるために展開した資料を再度まとめました。 ※HTML/CSSのソースが書いてある部分は、codepenなどで実際にソースを表示しながら説明したので 同じように確認してもらえると分かりやすいとおもいます。 ながれ HTMLのブロック要素とインライン要素 positionプロパティ 横並びのCSS 中央寄せのCSS（テキスト） 中央寄せのCSS（ブロック） まとめ HTMLのブロック要素とインライン要素 CSSの前に、少しだけHTMLについて説明をしたいと思います。 HTMLには
Go言語製 Digdag Client (mog) をリリースしました #digdag | iroilog.net
Go言語製 Digdag Client (mog) をリリースしました #digdagJune 25, 2017 こんばんは！久しぶりの更新となりましたが… またしてもDigdagネタです。 以前 Workflow Engines Night という名の勉強会で登壇させてただく機会があり、 社内におけるDigdagの導入事例を紹介させていただきました！ その時の資料がこちら↓ こちらのセッションの中でスライドの48枚目~出ています mog というGo言語製のツールを事例紹介させていただいたのですが、 意外と好評だったこともありまして、本日Githubにてリリースをいたしました！ mogのリポジトリはこちらです。 特徴Go言語製でJavaがなくても動かすことができるクライアントですただし、Digdagはサーバ / クライアント構成を前提としていますビルド済みのバイナリを配布しているので、Go
Go1.9から使える Monotonic Clocks を試してみた
先日Go1.9beta1がリリースされました。 Go 1.9 Beta 1 is released! Announcement:https://t.co/lV5nvXwOoR Get it!https://t.co/2LhlOo2EtX#golang pic.twitter.com/zm09DwX93q — Go (@golang) 2017年6月14日 Go 1.9 Release Notes 型エイリアスのサポート、math/bitsパッケージ、 sync.Map型など、 今回のアップデートでも便利そうな機能が追加されます。 詳しくはtenntennさんのGopher Fest 2017参加レポートをどうぞ。 今回のリリースノートを見て、個人的に注目しているのはMonotonic Clocksのサポートです。 他の機能追加はTwitterとかで見かけるけど、 Monotonic Cl
Playframework + Scalaを使ってSlackにメッセージを送って遊ぼう - Adwaysエンジニアブログ
皆さんこんにちは。 世の中には「あんまん派」もいるということを知って 驚きを隠せない「肉まん派」のムネリンです。 皆さん、こんなこと経験ありませんか？ 仕事が終えオフィスを出ると・・・ 「うわ、雨降ってた〜！傘会社においてきちゃったよ！」 帰るときの天気なんて晩御飯何にするかの方が大事なので全然気にも留めないですよね。 とはいえ困りますよね。どうすれば傘を忘れるの防げますかね？ 帰る間際に強制的に天気予報見る仕組みがあればいいんじゃないか！？ ということでSlackに現在の天気を通知する仕組みをHeroku上のPlayframework/Scalaで作ってみたので 紹介します！ 仕組みはこんな感じです。 仕様： - 定時10分前にSlack上に現在の天気情報を通知する。 - 通知方法はcronからWebAPIを実行するようにする。 - 天気情報は下記のAPIからJSON形式で取得する。 h
Scala初心者が、Play FrameworkとMySQLで、CRUDでRESTfulなJSON APIを作ってみた（その２） | Recruit Jobs TECHBLOG
Scala初心者が、Play FrameworkとMySQLで、CRUDでRESTfulなJSON APIを作ってみた（その２） さて次に、RESTful な CRUDサーバーを作ってみましょう。 と、その前に、POST リクエストで CSRF（クロスサイト・リクエストフォージェリ）トークンをチェックしてないので、CSRFの脆弱性対策からスタートします。 CSRF対策 CSRFの脆弱性対策から実装してみよう！ こちらのドキュメントを読むと、build.sbt のプロジェクトに Play filters helpers の依存関係を追加すると書いてあるので、build.sbt を以下のような設定に修正します。 build.sbt name := "play-scala-intro" version := "1.0-SNAPSHOT" lazy val root = (project in f
Scala初心者が、Play FrameworkとMySQLで、CRUDでRESTfulなJSON APIを作ってみた（その１） | Recruit Jobs TECHBLOG
Scala初心者が、Play FrameworkとMySQLで、CRUDでRESTfulなJSON APIを作ってみた（その１） こんにちは、荒木です。 今回は Play Framework と MySQL を使って、CRUD(※) で RESTful な JSON API の作り方をご紹介します。 ※CRUD とはCreate（生成）、Read（読み取り）、Update（更新）、Delete（削除）の機能のこと。 環境準備 Java Play Framework には Java 1.8 が必要です。Java のバージョンは次のコマンドを実行して確認しましょう。 java -version JDK がない場合は、OracleのJDKサイト からインストールする必要があります。 sbt で Play Frameworkをインストールする sbt は、Scala製のビルドツールです。今回は s
【書籍紹介】詳解ディープラーニング TensorFlow・Kerasによる時系列データ処理 - HELLO CYBERNETICS
最近発売されたディープラーニングの本。 基礎的な内容から始まり、主にリカレントネットワークを、TensorFlowとKerasによる実装を通して理解していきます。 結論 今回紹介する本 誰におすすめか TensorFlowあるいはKerasを使っていきたいユーザー リカレントネットワークを使いたいユーザー 誰におすすめでないか Chainerを使っていきたいユーザー 既にTensorFlowあるいはKerasを使いこなしている方 本の構成 １章：数学の準備（1〜22ページ） 2章：Pythonの準備（23〜68ページ） 3章：ニューラルネットワーク（69〜140ページ） 4章：ディープニューラルネットワーク（141〜207ページ） 5章：リカレントニューラルネットワーク（209〜249ページ） 6章：リカレントニューラルネットワークの応用（251〜293ページ） 付録（295〜310ページ
マネージャーと開発者が安心してアプリ開発を続けるための開発ルール - Qiita
@eaglesakura です。 皆さん、進捗どうですか？ お仕事の規模が大きくなれば、参加人数が増えていくでしょう。 参加人数が増えれば、様々な宗教観の人がプロジェクトに参加するでしょう。 お一人様プロジェクトを中心にやっていた人もいれば、大規模案件のソルジャーとしてキャリアを積み上げてきた人もいます。彼らのスキルレベルもまちまちです。 私が参加している（そしてプログラマーに対して強い権限のある立場である）プロジェクトでは、次のようなルールをベースに適用しています。 これはなるべくプログラマーの負担をかけずに管理側（プロジェクトマネージャー＝PM）が開発管理を行える（進捗がブラックボックス化しない）ことを目的とした開発ルールです。 前提ルール ソースコード管理はgit/githubを利用する 1コミット（1ブランチ）に対して、複数Issueを処理しない githubはリポジトリ管理（作成
データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchの勉強を始める時に読むと良さそうな資料 (2017/06, Elastic Stack 5.4 現在)
Improve SPA Performance with Angular App
ストリーム処理ことはじめ (公開用)