Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい
TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？ 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ
date-holidays という祝日ライブラリが良い意味で狂っていた - hnwの日記
世界には色々なマニアがいるなーという話を紹介します。 先日Node.jsで使える祝日ライブラリを探していたところ、複数の国や地域の祝日に対応しているライブラリ date-holidays を見つけました。 commenthol/date-holidays: worldwide holidays このライブラリは本稿執筆時点で143ヶ国379地域の祝日に対応しています。この時点で頭がおかしい（ほめ言葉）のがわかると思うんですが、さらに凄いのがこれらの祝日をすべてYAMLで定義しており、このYAMLが変態的だという点です。 YAMLによる祝日の定義例 どう凄いかは実際のYAMLを見た方が早いと思うので、例を紹介します。下記は日本の祝日の定義の一部です。 01-15: name: en: Coming of Age Day jp: 成人の日 active: - from: 1948-07-20
今からでも追いつける！ JavaScriptの「標準ライブラリ」を学ぶ - Qiita
標準ライブラリは、大ざっぱに言えばプログラミング言語に標準で備え付けられている機能群です。多くのプログラミング言語では、形態は様々ですが何らかの形で標準ライブラリが備え付けられています。標準ライブラリはプログラミング言語の一部であり、言語のバージョンアップに伴って標準ライブラリに機能が追加されることは良くあります。 この記事ではJavaScriptにおける「標準ライブラリ」がどんなものなのか、その歴史的経緯なども交えながら解説します。「標準ライブラリ？ 何それ」という方も「そんなの基本だろｗ解説されなくても分かるわｗ」という方もぜひ一読していってください。 なお、記事執筆時点では標準ライブラリに関することは何一つとして標準化が完了しておらず、内容が今後大きく変化する可能性が十分にあります。この記事で概要を理解したあと、いざ使用する際にはご自分で最新の情報を調べたほうがよいでしょう。 お詫び
Alexaの音声を聞いてテキスト化するスタッフ、日本のAmazonも募集中 在宅勤務、時給1300円
Amazon.comのAIアシスタント「Alexa」にユーザーが入力した音声の一部をAmazonのスタッフが聞いている――米Bloombergがこう報道し、「盗聴ではないか」と話題になったが、日本でも、Alexaに入力された音声を聞くスタッフがいるようだ。（追記あり） アマゾンジャパンは複数の求人サイトを通じて、Alexaを通して集められた音声データのテキスト化などを行う在宅勤務の契約社員を募集している。テキスト化した音声データにタグを付けるなどして、Alexaの音声認識技術向上に役立てるという。 求人サイトによると仕事内容は、Alexaに入力された音声をヘッドセットで聞いてテキスト化し、タグ付けやデータの意味づけなどを行うというもの。ネイティブに近い日本語能力や国語力が必要だ。在宅勤務で、給与は時給1300円。実働8時間のシフト制になっている（1日8時間・月20日間勤務で月額換算20万8
Googleの「ロケーション履歴」への法的要請“ジオフェンス令状”が急増中──New York Times報道
米Googleが2009年から提供している位置情報サービス「ロケーション履歴」のデータを米国の法執行機関が犯罪捜査のためにリクエストすることが増えていると、米New York Timesが4月13日（現地時間）に報じた。 ロケーション履歴は、Googleアカウントでログインしているデバイスの位置情報を記録し、Googleに送る機能。デフォルトではオフになっている。これをオンにすると、Googleマップのタイムラインやマップとカレンダーの連携などの機能が利用できる他、通勤経路のリアルタイムの交通状況通知、関連性の高い広告表示などが可能になる。 New York Timesによると、ユーザーのロケーション履歴のデータはGoogleのデータセンターの「Sensorvault」と呼ばれるデータベースに保存されているという。過去10年の世界の何億台ものデバイスのデータが保存されている。 世界の政府や
露出したIoTオートメーションサーバとサイバー犯罪 | トレンドマイクロ セキュリティブログ
トレンドマイクロは、スマートホームやスマートビルディングのような「複雑なモノのインターネット（Internet of Things、IoT）環境」を狙う攻撃シナリオについて調査し、リサーチペーパー「Cybersecurity Risks in Complex IoT Environments: Threats to Smart Homes, Buildings and Other Structures」にまとめました。この調査を通して、複雑なIoT環境にとって不可欠な構成要素であるオートメーションサーバが多数インターネットに露出していることが判明しました。 調査に際し、「複雑なIoT環境（Complex IoT Environments、CIEs）」を「設定されたルールに基づく動的な相互作用ネットワークの構築に十分な数のIoTデバイスで構成された環境」と定義しました。「十分な数」については
「Amazonプライム」やめました
Amazon.co.jpの有料会員向けサービス「Amazonプライム」を解約した。12日に年会費の値上げが発表されたが、解約自体はその前から検討していた。 今回、プライム会員の年会費が3900円から4900円（税込）に引き上げられることを受け、ネット上では会員を継続すべきかどうか悩む声が散見された。「いきなり1000円値上げは高い」という声もあれば、「月額でみれば大して変わらない」という意見もある。 「5000円近い金額はやや高額に感じる」という気持ちも分かるし、「普段からAmazonのサービスをよく使うから、ちょっとした値上げはあまり気にならない」という考えもよく分かる。 記者の場合は、「実は自分はそれほどプライム会員の恩恵を受けていないのでは？」と感じていたこともあり、1カ月ほど前に解約を決意。契約の終了日になると自動更新されるので、解約は期日前に済ませておく必要がある。 利用したこと
チケット購入アクセス「9割がbot」→“殲滅”へ イープラスの激闘を振り返る (1/3) - ITmedia NEWS
連載：迷惑bot事件簿 さまざまなタスクを自動化でき、しかも人間より早く処理できるbot。企業にとって良性のbotが活躍する一方、チケットを買い占めるbot、アカウントを不正に乗っ取るbot、アンケートフォームを“荒らす”botなど悪性のbotの被害も相次いでいる。社会や企業、利用者にさまざまな影響を及ぼすbotによる、決して笑い事では済まない迷惑行為の実態を、業界別の事例と対策で解説する。著者は、セキュリティベンダーの“中の人”として、日々、国内外のbotの動向を追っているアカマイ・テクノロジーズの中西一博氏。 今年8月、大手プレイガイド、イープラスのチケット購入サイト「e＋」への一般先着チケット購入アクセスの9割がbotによるものだった、というニュースがさまざまなメディアで報じられた。あれから4カ月、イープラスのbot対策はさらに進み、目に見える効果をあげている。 そこで「迷惑bot事
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
仕事で使うWebサービスの1画面統合アプリは「Station」が最高だと思います｜男子ハック
https://jobtalk.jp/jobs/p1983217
そのセキュリティツールは、「ゲーム用エンジン」を使ってMacを脅威から守る
Android用のウイルス対策アプリは、大半が「怪しい」ものだった：調査結果