開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
Pythonで基本のアルゴリズムを書いてみた - Something Beyond
2015-01-05 Pythonで基本のアルゴリズムを書いてみた Programming アルゴリズムを学ぶ意義みたいなものはいろいろなところで語り尽くされていると思うので私からは特にコメントしませんが、今回の勉強に利用した書籍でも引用されていた言葉が印象的なので、記しておきます。 最先端の機械を使って製品をつくるのは簡単で、しかも楽なことだが、基本技術を固める前に楽なほうに流れていってしまった。俺のような基本的なことがきちんとできるローテクが、今、我が世の春を謳歌しているんだ。 岡野雅行さんという職人さんの言葉のようです。そういえば随分前にこんな記事が盛り上がりました。 今すぐ辞めて欲しい、「Ruby on Rails勉強してます」「CakePHP勉強してます」 最新技術だけではなくて、その基礎となる技術をしっかり理解しなければダメだよということでしょう。ということで基本のアルゴリ
Community Blog - CDBを利用した簡易KVS - ログ処理編
大量のリクエストを捌くWebサイトを構築するには、さまざまなノウハウがあります。例えばオライリーの書籍『ハイパフォーマンスWebサイト』では、クライアントに配信するコンテンツを最適化することでパフォーマンスの向上を図っています。今回は、Pythonを使って月間10億を超える（！）リクエストを捌いている、株式会社クロスリスティングの方に、そのノウハウの一部を寄稿していただきました。 また、本記事の内容はPython Hack-a-thon 2010.07でのプレゼンテーションを元にしています 自己紹介 現在、私はクロスリスティングという会社で、広告配信システムとか、その周辺の新規商品関連の研究開発をやっています。メインのプログラミング言語はPythonです。自社でのシステム開発は基本的に全てPythonを使っています。自分は研究開発的なポジションですが、技術チームが開発しているプロダクション
DockerHub公式の言語Stack
DockerHub公式の言語Stack DockerHub Official Repos: Announcing Language Stacks | Docker Blog DockerHubには公式のレポジトリがある．そこにはUbuntuやCentos，MySQLやPostgres，MongoといったDockerイメージがコミュニティーベースで，つまりより汎用的に使える形で開発され集められており，ベースイメージとして簡単に使えるようになっている． 今までは，OSのディストリビューションや，Webサーバ，DBなどがメインだったが，公式として各種プログラミング言語のベースイメージも公開された．現状（2014年9月時点）では，c/c++(gcc)，clojure，golang，hylang，java，node，perl，PHP，python，rails，rubyがある． 特徴 この公式の言語s
最新動画PARK
2024.06.27 【縦配信 実機配信】 サミー P真･北斗無双FWG「ﾎｸﾄｼﾝｹﾝﾆ、ﾆｰﾀｲｲﾁﾉﾀﾀｶｲﾊﾅｲｯ!!」 2024/06/26【パチンコ実機ライブ配信】 #パチンコ #パチスロ #配信パチ #配信スロ #パチンコ実機 #パチンコ実機配信 #パチスロ実機配信 #shorts 高評価・チャンネル登録してもらえると主は嬉しいデス～ チャンネル登録しておくと通知が送られて配信がすぐ見れたりできるよ～ ※所持機種については下をスクロールすると載ってます 初見さんや常連さんへ ORIGINと申します。ご視聴ありがとうございます 本日は「サミー P真･北斗無双F […]
無料で作るWebサービス Herokuを使ってWebサービスを作ってみた（前編） - 今日学んだこと
休日。何かしなければという焦りがあるんだけど、何をしようか思いつかない。 現在の飯のタネである（僕はいわゆるSIer）システム系の勉強を、最近してないことに気づいてはいるんだけど、インフラの構築に気が行ってしまって、なかなかスタートを切れない（どうせなら借りているVPSに対して色々と自動化して・・・と）。 そこでインフラの部分に気を取られることは無いHerokuを使って、何か作ってみることにした。 >> できあがったもの >> http://studysuggest.herokuapp.com ※後ろの方にも書いてますが、綺麗に何かを作るより、まず動くものを作って公開するというのを主題にしてます。 Herokuとは ざっくりとまとめると 高負荷でなければ無料で利用できる 定期的にバックグラウンドで◯◯動かす みたいな事やると、無料枠超える可能性出てくるので注意 gitにソースを上げて、流し
PyCon JP 2014 1日目参加レポート #pyconjp - Time Flies
今日はPyConJP 2014に参加してきた。 プログラミング言語系の会議に参加するのは初めて何だけど雰囲気としては学生時代に参加した学会とだいたい同じ。PyConの場合はほぼPython関連の話題だった。(まあ当たり前なんだけど会議によってはそうでもないらいしい) ちなみに今回の会場では電源は絶望的に少なかったので苦しんだ。 どれも勉強になる発表だったが、以下では特に印象に残った発表について触れる。 Keynote Speech @kennethreitz CH01 Opening~Keynote: Kenneth Reitz - YouTube 1日目のKeynote SpeechはHerokuのPythonプロダクトオーナーでPython Software FoundationのKenneth Reitz氏。 プレゼンではそもそも言語とは何かという話題から入りPythonの2系と3系
Python Django入門 (1) - Qiita
はじめに なぜPythonを選ぶか かなり独断と偏見が入っていますが、 シンプルな言語セット 某言語のように、呪文のように短く書けることが命ではない。 それでいて、書くコード量は少なく、すっきりしている。 某言語のように、記号を多用しない。 コードを書いている間Shiftキーを押しっぱなしにならない。 学習コストが低い。 言語セットとしての文法は、わりと平易で、直感で理解できる。 難しい書き方は、後から覚えればよい。 文法書を読むのは、後からでいいでしょう。まずこの講座をやってみましょう。 Djangoフレームワークや、各種Pythonパッケージのソースを読んでも、 言語仕様を駆使した難しい書き回しは少ない。 メンテナーでなくても意外と読める。 なぜDjangoを選ぶか Pythonで作られたフルスタック・フレームワークであるということ。 必要なものはすべて揃っている。 テンプレートはあれ
音声認識ソフトを使ってキーボードより速くプログラムをコーディングする実例
By Gray 音声認識で文字入力する技術は古くからありますが、まだまだ実用にはほど遠いという印象を持っている場合の方が多いはず。しかし、音声認識入力でキーボードよりも速くプログラミングすることは可能であることが判明しました。 Using Voice to Code Faster than Keyboard http://ergoemacs.org/emacs/using_voice_to_code.html このムービーはプログラミング言語「Python」の世界会議Python Conference 2013におけるプレゼンテーションで撮影されたもので、キーボードによるタイピングよりも速く音声認識入力によりプログラムがコーディングされていく様子がよく分かります。 Using Python to Code by Voice - YouTube 音声入力によるプログラムコーディングの様子をプ
Pythonを書き始める前に見るべきTips - Qiita
Pythonを使ってこの方さまざまな点につまずいたが、ここではそんなトラップを回避して快適なPython Lifeを送っていただくべく、書き始める前に知っておけばよかったというTipsをまとめておく。 Python2系と3系について Pythonには2系と3系があり、3系では後方互換性に影響のある変更が入れられている。つまり、Python3のコードはPython2では動かないことがある(逆もしかり)。 Python3ではPython2における様々な点が改善されており、今から使うなら最新版のPython3で行うのが基本だ(下記でも、Python3で改善されるものは明記するようにした)。何より、Python2は2020年1月1日をもってサポートが終了した。よって今からPython2を使う理由はない。未だにPython2を使う者は、小学生にもディスられる。 しかし、世の中にはまだPython3に
Pythonが大学の入門用プログラミング言語として人気を集めていると判明
By Mike McCune 「100ドルをもらうか？コードを教わるか？」と尋ねられたホームレスがアプリ開発に成功してApp StoreとGoogle Playで販売していたり、プログラミングなどのコンピューターサイエンスが高校の必修科目に取り入れられているなど、現代の社会ではプログラミング能力が高く評価される傾向にあります。 そんななか、全米でコンピューターサイエンスのコースを持つ大学のトップ39校を調査したところ、スクリプト言語のPython(パイソン)が初心者にプログラミングを教育する教材として最もカリキュラムに取り入れられていることが判明しました。 Python is Now the Most Popular Introductory Teaching Language at Top U.S. Universities | blog@CACM | Communications of
Python と R で連携する - Qiita
R と Python の連携を考える 最近 R による基本的なデータプロッティングやファイル入出力の方法について説明しました。 データ分析の言語としては Python ですべてをやろうという傾向があるようですが、やはり過去の膨大な R による資産は魅力的でそう簡単に切り捨てられるものではありません。 よくあるケースとしては、部分的なデータ解析については R を流用したいが、全体的なプログラミングは Python で書きたいというシーンでしょう。また、プロッティングだけ R でおこないたいという場合もあるでしょう。こんなとき Python と R で連携できれば問題が一気に解決して便利です。 Python から R を利用するライブラリ PypeR かつては RPy2 というライブラリが使われていたようですが、最近使われており主流なのは PypeR です。 PypeR のインストール インス
最高のプログラミング言語（または私は如何にして心配するのを止めてコードを愛するようになったか） | POSTD
常に世界のどこかで誰かが、この世で一番のプログラミング言語は何かというトピックで投稿し、忘れ去られた言語のすばらしい一面や、新しい言語の有用性を主張しています。どうやら、その順番が私に回ってきたのかもしれません。そろそろ私も、プログラミング言語についての自分の考えを皆さんにお伝えしようと思います。 始めに少し言い訳をさせてください。30以上の言語で開発した経験があり、他の人が書いた多くのコードと悪戦苦闘をしてきた開発者でもない限り、「自分の意見には客観性がある」とはとても言えないと思います。そんなわけで、このトピックを取り上げる他の多くの人と同じように、私の意見も偏っています。多くの言語に精通した開発者がこの話題自体を不毛だと感じるのは、このせいかもしれませんね。 要約: すばらしい言語 早速、このブログ限定ということで、私が考える”すばらしい言語”を発表しましょう。 アセンブリ言語： マ
Mac OSX で開発環境を構築するための環境構築 (Homebrew, Git, SVN, Ruby, Perl, Python) - Qiita
UPDATED: 2017/11/27 本記事は2014年当初の情報であり、現在は古くなっている可能性があります。 記事中で紹介している各種プロダクトの最新ドキュメントをご参照下さい。 はじめに OS X で最近流行のツールは Ruby や Python ベースのものが多いのですが もともとインストールされている各処理系はバージョンが古いです。 その更新自体にこれから紹介する Homebrew 等を使っている記事が多く、 どこから手を付けていいか迷ったりしたので、まとめておきます。 目標 パッケージマネージャ Homebrew のインストール システムデフォルトとは別に Git, JDK, Ruby, Perl, Python の最新版をインストール 大まかな流れ システムにプリインストールされている Ruby で Homebrew をインストール Homebrew から各種追加パッケージ
)
Mac で Python の開発環境構築(2013.11) - methaneのブログ
しばらく Mac からおさらばしていたのですが、ゆえあって戻ってきました。 Python 3.3 ベースで Python 環境の構築をしたので、参考までに手順を残しておきます。 1. Homebrew で Python 3 をインストール とりあえずベースになる Python を用意します。いまならもう Python 3 を普段使い用にできるので、 Python 3 を用意します。 $ brew install python3 MacPorts でも大丈夫だと思います。 2. 自分用のデフォルト環境を作る システムの Python に直接自分が普段使うツール類をインストールするのは憚られるので、自分用のデフォルト Python を用意します。 Python 3.3 では venv が標準ライブラリにあるので、この手順で virtualenv を手動で準備する必要がなくなりました。 $ mk
Web開発にPythonを使う理由 - Web屋さんのアレ
僕の周りだけかもしれないですが、国内のWeb受託開発案件は「PHPで作るのが暗黙のルール」ってな勢いでPHP案件ばっかりなのですが、Python大好きな僕としては、何としてでもPythonを使って仕事をしたい！ なので頑張って布教活動をしているのですが、中々良い手応えが得られないのが現状です。。 という訳で、改めてPythonを使うメリットとか、安心してクライアントにPythonを進められる理由なんかをまとめてみました。 技術者がPythonを使うメリット 「今までPHPでやってきて何の問題もなかったし、これからPython始める意味なんてあんの？」 ぶっちゃけ、そんなにないですｗ 結果的に出来上がる物に関しては大差ないですからね。 ただし、開発効率やメンテナンス性は飛躍的に上がると僕は思います。 ライブラリがとても豊富 PHPも沢山ライブラリありますけど、Pythonだっていっぱいあるん
Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（後編）～PyCon APAC 2013
Pythonユーザーが集まり、情報交換し、交流するためのカンファレンス「PyCon APAC 2013」が9月13日、14日に都内で開催されました。PyCon APACはこれまでシンガポールで開催されており、今回初めて日本で開催されました。 （本記事は「Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（前編）～PyCon APAC 2013」の続きです） Pythonは遅いのか？ でもたぶん、あなたのアプリはCPUによって制約されているわけではないでしょう。ごく限られた分野、例えばゲームとか科学計算ではないのならば、多くの制約はハードディスクやネットワーク、もしくはメモリから来ているのではないでしょうか。 それにもしも本当にCPUによって制約されているのであれば、そういうアプリはだいたいCやC++で書かれているとは思うけれど、Pythonにも選択肢はあって、それはCyth
Chefがつらい人のためのAnsibleのはなし - ゆううきブログ
Chef使おうとしてるけどChefいろいろつらい． 具体的には以下がつらい． 独自概念多い chefのクライアントを対象ホストに入れなければならない knifeとか覚えないといけない外部ツールがある 最初からディレクトリ構成がわいわい (rails newしたときのあのきもち） 公式ドキュメントの量が多いかつわかりにくい 以前にmiyagawaさんのpodcast を聞いてたらnaoyaさんがAnsibleっていうシンプルなプロヴィショニングツールがあるっていう話をされていたので，使ってみた． AnsibleWorks | Radically simple IT orchestration Ansible 触ってて感じるイメージは，ChefがRailsでAnsibleがSinatraな感じ． ディレクトリ構成がない (一応大規模運用を考えたディレクトリ構成のベストプラクティス Best P
Python（というわりには少なめな）で土日を使ってサービスを作るための中途半端なモダン環境構築メモ
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10分でわかるPythonの開発環境
