ソフトウェアエンジニアの休日の勉強環境としてタブレットを使えないかと実験中です。 カフェでタブレット使ってたらおしゃれだと思ったので。 ソフトウェアエンジニアが休日に勉強するための環境 - データが主食 Android タブレット 以前購入したこのAndroidタブレットでコーディングをしてみます。 HUAWEI MediaPad M5 lite 10 10.1インチタブレットW-Fiモデル RAM4GB/ROM64GBタッチペン&オリジナルカバー同梱 M5lite10/WIFI64G/A 【日本正規代理店品】 出版社/メーカー: Huawei発売日: 2018/11/30メディア: Personal Computersこの商品を含むブログを見る Cloud9 以前はkaggleやりたいということもあって、CPU/メモリ盛り盛りのPCを買っていました。 しかし、そんなに長続きせず無用の長物

This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

ウェブスクレイピングについては、pythonのディスカッションボードなどでもよく話題になっていますよね。いろいろなやり方があるのですが、これが最善という方法がないように思います。本格的な scrapy のようなフレームワークもあるし、 mechanize のように軽いライブラリもあります。自作もポピュラーですね。 requests や beautifulsoup 、また pyquery などを使えばうまくできるでしょう。 どうしてこんなに様々な方法があるかというと、そもそも「スクレイピング」が複数の問題解決をカバーしている総合技術だからなのです。数百ものページからデータを抽出するという行為と、ウェブのワークフローの自動化（フォームに入力してデータを引き出すといったもの）に、同じツールを使う必要はないわけですから。私は自作派で、それは融通が利くからですが、大量のデータを抽出する時に自作はふさ

「統合開発環境（とうごうかいはつかんきょう）」… これは、たった一つのアプリケーションで開発作業の何もかも全てをただ一つの操作環境からできるようにした開発における叡智の集合です（個人の感想です）。 今の時代は金とマシンパワーを積んでIDE*1さえ買えば、どんな開発作業も楽になる恐ろしい時代です（個人の感想です）。 しかし数あるIDEの中でも使ってはいけないIDEがあります。JetBrains社謹製のIDEであるRubyMineです。様々なIDEを使ってきた僕が、今改めて使わない方がイイと断言するのには、理由が4つあります。 ・目次 IDEとは？ 使ってはいけない理由 理由1: 「Search Everywhere」 理由2: 「Quick Documentation / Quick Definition」 Quick Documentation Quick Definition 理由3:

Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Emerald Rapids Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software

皆さん こんにちは、GMOアドマーケティングのS.Rです。 大規模分散処理フレームワークである�Sparkですが、皆さんはSparkの設定を最適化したことはありますか？ Sparkは設定次第でPerformanceが10倍以上改良する可能性があります。 今回はSparkの重要な設定の一部である、executorメモリ、Core数の設定の最適化例を紹介します。 1. Yarnのモード Sparkが主に使っているResource ManagerはYarnなので、今回はYarnで管理する場合の設定を紹介します。 YarnはClient（図1）や  Cluster（図2）の2つのモードがあります。 ClusterモードはSparkのApplication ManagerはMaster Nodeで動作し、ClientモードではApplication ManagerはWorker Nodeで動作します

はじめに 前回は、Spark 2.0の主な変更点としてSpark 1.6よりも性能が向上し、アプリケーションの実装が容易になったことを解説しました。また、その性能検証のシナリオとして、電力消費量データを集計し可視化するケースを想定することを解説しました。今回は、シナリオに基づいた検証を行うための環境（システム構成、パラメータ）とその検証結果を解説します。 システム構成 データ分析システムの概要 データ分析システムは、図1のように管理画面とデータ分析アプリケーション、データ処理基盤の3つから成ります。設備企画担当者は管理画面を介してドリルダウン分析を行います。予めデータ分析アプリケーションで設備の負荷を集計し、その演算処理を実行するのがデータ処理基盤です。本連載で取り上げるデータ処理基盤にはHadoopおよびSparkを導入しています。 ハードウェア構成 データ処理基盤は仮想サーバ3台、物理

2018-03-06 追記: EMRFS S3-optimized Committer が新たにリリース]され，EMR 5.19.0 以降のリリースバージョンで利用可能になりました．また 5.20.0 からはデフォルトの Committer となっています．この　Committer は S3 のマルチパートアップロードを用いることにより，従来の v2 FileOutputCommitter と比べてさらに高速なパフォーマンスを得られるようになっているようです．またマルチパートアップロードを用いることで，従来の v2 の Committer で問題となっていた，テンポラリファイル書き込み & ファイル名リネームに伴う，出力の途中経過が S3 上で見えてしまい，かつジョブが失敗した場合に中途半端な書き込み結果が消されずに残ってしまう，という点も解消されます．全ての結果が書き込まれジョブが成功し

はじめに Sparkの基本的な仕組み データコレクションの操作のためのAPI 1. RDD - ネイティブなオブジェクトのコレクション 2. DataFrame - 基本的な型の値からなるテーブル RDD v.s. DataFrame 3. Dataset - RDDとDataFrameの長所を併せ持つコレクション RDD, DataFrameからDatasetへの書き換え DataFrameからDatasetへ RDDからDatasetへ おわりに はじめに Livesense Advent Calendar 2016の11日目の記事です。 昨今ではAmazon Elastic Mapreduce (EMR)などのマネージドサービスの登場により、分散データ処理基盤を構築・運用するハードルは劇的に下がっています。 ソフトウェアの選択肢も広がり、特にApache Sparkはオンメモリ処理を

AWSのEMRを利用して、Apach Spark環境を作成してみます。EMRのバージョンは、5.14.0です。 EC2キーペアの用意 EMRで作成されたEC2で利用する、EC2キーペアを用意しておきます。 EMRでクラスタ作成 advanced optionsを選択 AWSコンソールのEMRコンソールに移動して、 Create cluster をクリック。 クラスタ作成画面にて、 Go to advanced options をクリック。 EMRで作成するソフトウェア環境の定義 Software Configuration で、HadoopとSparkを選択。 今回はPython3系にてPySparkを起動させたいため、software settingsにて、以下のjsonを入力しています。 [ { "Classification": "spark-env", "Configuration

はじめに モバイルアプリサービス部の中安です。 このたび、テスト駆動開発(Test Driven Development = TDD)の社内読書会を数ヶ月に渡って参加させていただきました。 原題: Test-Driven Development By Example 著: ケント・ベック 訳: 和田卓人 こういうものに参加するのも初めてなので「なんとかついていく」という感じでしたが、 最終的には無知識だった初めの印象から変わった部分も多く、有意義だったなぁという感想に至りました。 すでに社内読書会については素晴らしいまとめがありますので、 詳しくご覧になりたい方は下記のリンクをご覧くださいませ。 『テスト駆動開発』読書勉強会 では、自分はここに何を書いていくかというと、 「テスト駆動開発って何だろう」から始まった自分が読書会を通じてわかったこと 弊社に直接お越しいただき話をしていただいた、

RubyからGolangへの移行を進める過程で、システムアーキテクチャがマイクロサービス化していくという稀有な体験をしたので記事を書きました。 次世代タクシー配車アプリMOV(モブ)及び、タクシー車両内の乗務員向けアプリに係る WebAPI 50前後をRailsからGolang net/http に刷新しました。その過程でマイクロサービス化が進んだ事例を紹介します。MOV サーバエンジニア池田 周平です。サービスを継続しつつシステム刷新するために、なぜその判断を行ったかについてお伝えできれば幸いです。 MOV(旧タクベル)ご存知でしょうか？神奈川、東京でサービス提供中のタップ操作でタクシー配車ができる配車アプリです。 実証実験を繰り返しサービスリリースしました。 立ち上げ初期段階から居たメンバーに話を聞くとRailsで高速にプロトタイピングを繰り返していたそうです。 リリース直前にGAE