はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな

執筆： chocoxina 荷物はほとんど実家に置いてきた。 いちばん大きなリュック一つと、古物屋で買った1000円のトランク。その中にありったけの着替えと生活必需品を詰め込んだら、趣味のものが入る余地はほとんど残っていなかった。 不動産屋にもらった鍵で古びたドアを開け、風呂なしの6畳間にひととおりの荷物を放り投げる。ふう、とついたため息が部屋の寒さで白いかたまりになり、ほどなく隙間風にかき消された。 2月のある静かな夜、僕は笹塚に逃げてきた。 身一つの自分に、ディスカウントストアが優しい この場所に特別なこだわりがあるわけではなかった。 即入居可で、極力安い部屋があるところ。なるべく当時の仕事場から近く、交通費のかからないところ。実家の継母が年の離れた妹を口汚く怒鳴り散らす声や、僕の部屋の前を通るたびに発する悪態が聞こえないところ。家の不和をどうにもできない父が、僕に当たり散らしてこられ

スラム街のなかの商店街。人が集まると誰かが食堂や商店を開いて儲けようとするたくましさは中国らしい（筆者撮影） ＜新興国の大都市には付き物のスラムが、北京には見当たらない。見つけたのは日本の山谷のような労働者街だったが、山谷とは大きな違いがある。行政に存在を無視されているのだ＞ 1人あたりGDPが5000ドルから1万ドルぐらいの水準にある国では大都市の周囲にほとんど必ずといっていいほどスラム街が存在する。 10月に訪れたブラジルのリオデジャネイロやサンパウロ、ペルーのリマにもスラム街があった。 リオでは、カルロス・ゴーンさんの別荘があるというコパカバーナ海岸から裏山の方角に目をやれば、そこにファヴェーラ（favela）と呼ばれるスラム街がみえる。リオのそこかしこにある小高い丘はおおかたレンガ積みの小屋に覆われたスラム街である。 ペルーのリマでも大統領府やリマ大聖堂がある美しい広場から大通りに

宮崎県警察本部によりますと、26日午前11時すぎ、宮崎県高千穂町押方の住宅とその周辺で、男女合わせて６人の遺体が見つかりました。遺体は屋外で女性１人、屋内で男性３人と女性２人が見つかったということで、警察が殺人の疑いで詳しい状況を調べています。

VisBugはChromeの機能拡張で、ブラウザに表示したページのデザインやコンテンツを検証・編集できます。グリッドの確認はもちろん、要素を移動させたり、入れ替えたり、別の画像にしたり、テキストを編集したり、カラーを変更したりなど、さまざまなアイデアを実行・テストすることができます。 制作や検証時だけでなく、クライアントとの打ち合わせ、社内ミーティングなど、活躍するシーンがたくさんある便利ツールです。 VisBug -GitHub VisBugの特徴 VisBugのインストール VisBugの機能 VisBugの特徴 VisBugはChromeの機能拡張で、デベロッパーツールのデザイナーやディレクター向けという感じです。開発者のAdam Argyle氏は、Googleの現役UXエンジニア。 機能拡張なので、使うのは簡単です。 Chromeで当ブログを表示し、VisBugを起動してみました。

Contact the domain owner here gmork.in 2024 著作権. 不許複製 プライバシーポリシー

最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コードをから」 => 「終了コードから」 p.39: 「HTTPSが利用できない」=> AWS上では、SSL終端するLBがサポートされています。https://kubernetes.io/docs/concepts/services-networking/service/#ssl-support-on-aws p.40: 「ユーザがingress controllerをmaster上にセットアップする必要」 => master上にセットアップしなければならないという制約はありません。例えばGCEのingress controller(GLBC)はPodとして動作します。https://gi

メチエさん(metier_formation) @nwt_ogw 言いにくいことをサラッと言うけど、「いらすとや」は、日本のクリエイティブを殺すよ。マジで。 役所行っても大手企業のプレゼン見てもみんな「いらすとや」。 芸がないと言うより薄気味悪い。お金のいらない、著作権発生しないっていう以外にあのホンワカしたイラストのなにが良いんだろ。 2018-10-26 03:18:39

はじめに 日々、StackOverflow や　Qiita や Medium らで pythonについてググっている私がこれ使えるな、面白いなと思った tips や tricks, ハックを載せていくよ。 簡単な例文だけ載せてくスタイル。新しいの発見次第、じゃんじゃん頻繁に追加していくよ。 これも知っとけ！これ間違ってる！ってのがあったら、コメント下さい。 このモジュルやライブラリーの関数とか基本/応用的な使い方を知りたいけど、自分で探すの面倒、英語意味不ってのがありましたらそれもコメントにどうぞ。私が代わりに調査 • 解析を努力致します。 簡単な例文を心がけてはいますが、なにせ読むな！見て感じろ！なくらい説明不十分なので、初歩的な関数の使い方などのpython知識を所有しているとすんなり理解しやすいかと思います。多分。 注:リンク先は全て英語です。PEP8をいつかは読みましょう。良いスタ

現在IT業界は空前の人手不足です。「未経験者可！」なんて求人広告もちらほら。 「手に職をつけるためにプログラマになりたい！プログラミング未経験者でもなれるなら、プログラマに転職しようかな！？」 と考える人も多いと思います。 しかし、本当にまったくの未経験状態だと、IT業界に入ることはできても入ってから苦労します。 今回は、 「プログラミング未経験の状態で職業プログラマを目指すなら、これだけは読んでおいたほうがいい！」 と言う本をいくつかご紹介します。 「ITパスポート試験」の参考書 はじめてのC プログラムはなぜ動くのか コンピュータープログラミング入門以前 まとめ なお、 「そもそもIT業界って一体どんなところなの？」 という人は、下記記事とかを参考にしてみてください。IT業界の雰囲気だけでも伝わるかも。 IT業界あるある漫画「仕様書なんてただの飾りです」＆「IT系エンジニアのアンニュイ

以前から何度か書いているのだけど、ここのところ10代の中高生がつくる音楽がとても面白いことになっている気がする。10代だからという将来性があるよね、ということでもなく単純に現時点での作品として良いものが多いと言うこと。 今回取り上げている人たちは自分たちの音楽ルーツに明確で、サウンドプロダクションに対してかなり意識的であるという点で選んでみました。作詞作曲だけではなく録音物としてどうだというプロセスにより興味があるという点でもはや学生だからどうのこうのなレベルではないのです。 ANNA ANNAさんは東京の現在17歳。BIG LOVEより7インチレコードをリリースしています。BIG LOVEは90年代に渋谷系音楽を牽引したレーベルの一つESCALATOR RECORDSを主宰されていた仲真史さんのレコードショップ／レーベルです。小山田米呂さんはじめセンス溢れる同世代が集まるこのお店で磨かれ

ディープラーニング実践入門 ～ Kerasライブラリで画像認識をはじめよう！ ディープラーニング（深層学習）に興味あるけど「なかなか時間がなくて」という方のために、コードを動かしながら、さくっと試して感触をつかんでもらえるように、解説します。 はじめまして。宮本優一と申します。 最近なにかと話題の多いディープラーニング（深層学習、deep learning）。エンジニアHubの読者の方でも、興味ある人は多いのではないでしょうか。 しかし、ディープラーニングについて周りのエンジニアに聞いてみると、 「なんか難しそう」 「なかなか時間がなくて、どこから始めれば良いかも分からない」 「一回試してみたんだけど、初心者向けチュートリアル（MNISTなど）を動かして挫折しちゃったんだよね」 という声が聞こえてきます。 そこで！ この記事では、そうした方を対象に、ディープラーニングをさくっと試して感触を

2018/11/26 01:56 興味深い考察だと思います。 確かに、国民の大多数は少子化に対する 危機意識がまだ薄いと思います。 国を挙げて、というとおおげさかもしれませんが そのくらいの危機意識を持つ必要があると 痛切に思います。 2018/10/22 07:25 少子化が良いことだなんて、軽はずみに言えますか？ 自分が生きていることも先祖代々が生きつないできた結果です。 家系が途絶えても良いとは、軽はずみに言えないと思います。 2018/10/16 17:47 数字から定量的に分析しても納得感がありません。 300人の独身男性に結婚しない理由、できない理由を深く訪ねて定性的に分析してください。 300通りとは言わないが、50通りくらいの理由があり、ここで上げている数種類の理由は 的外れだと思います。 実際、私の周囲の独身男性はこれまでメディアが挙げているような理由にはどれも該当しませ

8月27日～30日、NHKで放送された『みんなで筋肉体操』。俳優・武田真治と庭師・村雨辰剛、弁護士・小林航太の筋肉自慢3名が円形の舞台に立ち、無言で筋トレをするストイックな5分間番組に、続編希望の声がやまない。なかでも「筋肉は裏切らない！」「あと5秒しか出来ません！」といったキメ台詞で話題をさらったのが、番組で筋トレ指導を担当した近畿大学生物理工学部准教授の谷本道哉氏。一体何者なのか？ 直撃インタビューしました！ ＜プロフィール＞ 谷本 道哉（たにもと みちや） 近畿大学生物理工学部 人間環境デザイン工学科准教授 学位：博士（学術） 専門：筋生理学、トレーニング科学 →谷本 道哉プロフィール 『みんなで筋肉体操』誕生秘話 ―― どのような経緯で番組に出演されたんですか？ ある日、NHKのディレクターさんからちょっと長めのメールが届いたんです。「筋トレといえばこれだという筋トレのスタンダード

表皮ブドウ球菌の変異株3種 「スーパーバグ」（超細菌）といえば抗生物質が効かない細菌だが、複数の抗生物質が効かないものが人知れず世界中の病院にじわじわと広がっている――オーストラリアの科学者がこのほど、そんな警告を発した。 治療がほぼ不可能な「スーパーバグ」を発見したのは、オーストラリアのメルボルンにあるドハティ感染免疫研究所の研究者たち。英科学誌ネイチャー・マイクロバイオロジーに発表した。ドハティ研究所は、メルボルン大学と王立メルボルン病院の共同事業だ。 ドハティ研究所の発表文によると研究チームは、世界10カ国、78の研究所から受け取った表皮ブドウ球菌の数百もの分離株を調べた。そこで、ほとんどの抗生物質に耐性を持つ変異株3種類が見つかったという。研究チームは、これらが世界中に広がっていると考えており、なかでも、ヨーロッパのサンプルから見つかったものは、現在使用できる抗生物質すべてに耐性を

「リスクをとれ」「実名で発信しろ」とか… 若者を追いつめる「強者のアドバイス」…けんすうさん、もっとやさしく擁護して！ SNSで目立つのは、強者たちの意見。「顔出し実名で発信しろ、自分をメディアにしろ」「若いうちは失敗しろ。リスクをとってチャレンジしろ」「キャリアプランを設計しろ」…かっこいい。まぶしい。 が、そんなことばかり言われても無理です！ 誰かほっこりした人に、「別にそんなこと必要ない」って擁護してほしい…。 と思い、取材を申し込んだのがけんすうさん。華やかな経歴を持つ実業家なのに、どんな相手にも偉ぶることなく低姿勢。彼なら、若手ビジネスマンたちが悩まされる「こうすべき！」に対して「そんなことやらなくていいです」と擁護してくれるのでは？ けんすうさん、お願いします！ 〈聞き手：ライター・小沢あや〉

追記 ブックマークの引用の仕方がわからなかったので、いきなり言及してしまいました。すみません。 http://b.hatena.ne.jp/entry/s/headlines.yahoo.co.jp/hl?a=20180720-00010003-binsider-soci このダイアリーは、上記のコメントの中に、このルールを支持している教師の意見が聞きたいとあったので書いています。 一保護者としてはあの記事にあるようなルールはまったく容認できません。 ただ同業者としてみると、ルールが作られた背景は理解できるというスタンスで書きました。 ーーーーーーーー 小学校低学年の子どもがいる、中学校教員です。 実際、そのルールを運用している側ではないけれど、担任の先生から聞いた理由と、教員としての個人的な推測を少し書きます。 子どもの通う小学校は、お茶か水をいれた水筒持参可、登下校中の給水は気をつけて

This domain may be for sale!

背景僕の家庭では一晩中エアコンをつけているのですが、それでも夜中暑さで目覚めることがあります。 室温と外気温の差が小さくなる夜の時間帯は、エアコンが『目的の温度に達したぜ！』と感じやすく、結果として夜は良く止まってしまうという最悪な事態に陥りやすいのだそうです。 熱帯夜の対策としては『夜中の設定温度を日中よりも低くすること』らしく、自分の知識とは逆でした。夜って日中よりも温度上げますよね普通。 さて、ここでふと『そもそも夜中の室温は何度なんだろう？』と思い、室温を自動記録してみようと思い立ちました。 Nature Remo APIで温度を取得室温を取得する方法は色々あると思います。 1. 温度計を定期的に見て記録する(現実的に無理…) 2. Raspberry piで自動取得する 今回は家にあった多機能リモコンのNature Remoを使いました。 Nature Remoは温度・湿度・人感

今の日本は戦後かつてないほどの大きな課題を数多く抱えています。 内政的には1000兆円を超えるほど政府部門の財政赤字が膨らんでしまい、年金・介護・医療といった社会保障制度が超少子高齢化で持続可能性が危ぶまれ、人口減少で労働力不足や経済縮小が懸念されています。福島第一原発を皮切りに原子力発電の廃炉という長期国家プロジェクトが始まっています。 言うまでもなく長期的な国家的課題に一人ひとりが直接対峙して解決することは到底不可能ですから、国民としては一義的には政治家や官僚が危機を未然に防ぐことに期待せざるをえない立場にあります。 では「現在こうした長期的な課題について政治家や官僚は責任をもって戦略的に対処しているのか？」というと、結論から言えばその答えは「NO」ということになります。 十分予測されていた問題 こう言うと「日本政府はそんなに無責任だったのか、けしからん」とお怒りになる人も多いかもしれ