最近とある理由でClojureに触りました。 8年近くCやPythonなどの手続き型言語を使ってきた者にとって,最初は「関数型言語」に戸惑いもありましたが,一方で,Pythonが関数型言語の良い点をたくさん取り入れていることにも気づきました。 そこで,Pythonでどこまで関数型言語ライクなことができるか,Clojureのサンプルを参考ししつつ試していきたいと思います。 今回はayato-pさんが公開されている「Clojure の日本語ガイド」の イディオム集 の内容をPythonで実装してみます。 手元のPythonのバージョンは3.6.1です。 複数のコレクションの要素を index ごとにまとめる
この記事は Retty Advent Calendar 2017 24日目です. 昨日は@udoooom さんの 「カワイイはつくれる」 でした. Rettyのサーバサイドエンジニア兼魚料理担当のnakagawa(@shinyorke)ともうします. 好きな魚料理は「青魚の南蛮漬け」1,趣味は野球のデータ分析です.2 気がつけばRetty Advent Calendar 2017三回目の登場です,今日もPythonのハナシで吟じます,よろしくお願いします テーマ「Pythonでのバックエンド開発」 一言で言うと, Pythonでバックエンド(バッチ処理)をオールインワンで作った時のノウハウとなります. 他社様のサービスとデータ連携する基盤をPython + Docker + AWS ECSで作った&運用している(今年から) Pythonライブラリ(Jupyter notebook, req
- はじめに - この記事は Xonsh Advent Calendar 2017 1日目 の記事です。 タイトルが煽りです。 なんとなく贈るという単語が12月っぽいです。 内容は、Pythonで動くShellである「xonsh」の勧めを書く記事です。 追記2018/06/25: xonshの設定に関する記事を書きました。 本記事よりも利用した上でのxonshの概要やメリット、デメリット、設定方法まで詳しく以下記事に書いてます。 vaaaaaanquish.hatenablog.com xonsh 0.7.0が出ていますが、現在prompt-toolkit2.0の各機能対応中という感じです。 これは、ptk1.x -> 2.xにおいて結構な破壊的変更があるためです。現状はpip install xonshする時に pip install xonsh==0.6.10 pip install
FOSS4G Advent Calendar 2017 18日目の記事です。 毎年皆さま新しい技術記事のなか、今さらながらRを始めたのでQGISのプラグインから使ってみた記事です。 R:オープンソースの統計解析向けプログラミング言語。初心者です。 QGIS:オープンソースのGISソフト。お世話になってます。 PostgreSQL:オープンソースのデータベースソフト。お世話になってます。 Python:いろいろ使えるスクリプト言語。チューニング次第で早くなったり遅くなったり。 で、この方々の関係がどうなっているかとゆうと R - QGIS プロセッシングでRスクリプトを利用できる。 https://docs.qgis.org/2.18/ja/docs/training_manual/processing/r_intro.html R- PostgreSQL RPostgreSQLパッケージで
Pythonってメモリ使いすぎる...。てことで、標準モジュールのresourceを使って、使用メモリのサイズを制限しましょう。 #!/usr/bin/env python # coding:utf-8 import resource rsrc = resource.RLIMIT_AS soft, hard = resource.getrlimit(rsrc) ## Memory sizeの制限 ## 現在の設定を取得 ## softはユーザーで設定、hardはスーパーユーザーで設定できる。 soft = 1024 resource.setrlimit(rsrc,(soft,hard)) ## 1024バイト、-1はシステムで許されている上限を設定。 rsrc = resource.RLIMIT_CPU ## CPU使用時間の制限:単位(秒) resource.setrlimit(rsrc
Linuxカーネルにローカル権限昇格脆弱性「Dirty Frag」 ─ PoC公開、各ディストリビューションが対応進める 5月9日 22:51
この記事は、LIFULL Advent Calendar 2017の2日目の記事です。 おはようございます。新UX開発部の二宮( @ninomiyt )です。 LIFULLではデータ解析や最適化の用途、もしくはAWS Lambda上の簡易ツール実装用途などでPythonがそれなりに普及してきました。数値計算寄りの(いわゆるデータサイエンティスト的な)メンバーも今はPythonを使うことが多く、コード量としては小規模なプロジェクトが多く、簡単なAPIやバッチ処理の実装までやってもらうこともあります。 そのレビューをやっていく中で、「これ使うともっと簡単に実装できるよね」っていうライブラリがいくつかまとまってきたので紹介します。 click コマンドラインパーサー用のライブラリで、デコレータを使って関数を簡単にCLI化できます。 標準ライブラリのargparseがありますが、clickではバリ
はじめに Web上で長期間の株価データを探してもなかなか見つからないので,Pythonを用いて株価のヒストリカルデータを取得し,CSV形式で出力,さらに出力したデータをプロットするプログラムを作成しました. 日本株・外国株いずれにも対応しています. 参考までに,例として出力した日経平均株価1のCSVファイルはこちら,さらにプロットすると以下のようになります. ソースコードの紹介 まず,作成したソースコードを紹介します. #!/usr/bin/env python3 # -*- coding:utf-8 -*- ''' 株価データのプロット・CSVへの出力 ''' import datetime as dt from pandas import DataFrame import jsm import pandas_datareader.data as web import matplotli
今日はフェス!唐揚げにレモンはかける派で参戦します! どーも、io チームでバックエンドやってます id:pokotyamu です! 今日は、FFLT で話した Chalice について紹介しようと思います! Chalice とは? 基本構成 ここがすごいぞ Chalice エラーレスポンスのコード化 IAM policy 管理からの開放 その他機能 まとめ Chalice とは? github.com Chalice とは AWS 製のサーバーレスフレームワークツールです。 似たような他のツールといえば、 Serverless Framework が一番有名かと思います。 自分は、先日行われた Serverless Conf Tokyo で初めて知りました! その時の感想やレポート記事はこちらから↓ Serverlessconf Tokyo 2017 に参加してきました - Feedfo
【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ~Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた~ この数年間、Pythonの人気が高まっています。Googleトレンドによると、Pythonの検索流入数は、この10年間で2倍近くになりました。特にグラフから見ると、だいたい2015年ぐらいからPythonの検索数は増えている模様です。 さて、この数年間で、Pythonがどのような言語として扱われ、どう変化してきたののでしょうか。Webスクレイピング→データ収集→整形→分析を行い、今回は、2006年度から2017年度までのはてなブックマーク上のPython記事で、50ブックマーク以上の記事をすべて取得することによって、時代によってブックマークされやすいPython記事を分析してみようと思います。
Pythonで日時を扱うライブラリーについて、逆引き風にまとめてみました。 この記事の内容は、正確を期するように注意して記述していますが、公式の情報ではありません。 正確な情報をお求めなら公式リファレンス(参考資料#1)を参照してください。 想定する読者 ほとんどが標準モジュールについてのことですので、Python初心者の方か、日時ライブラリーのことをあまりご存じない方向けです。 (私自身まだPython歴が浅いので。) 前提 Python2はv2.7.10、Python3はv3.5.1で確認しています。 (Anaconda 4.0.0 Windows 64bit版を使用。) Python2とPython3を特に個別に扱っていないものは、共通で使えるものです。 その場合、printについてはカッコつき表記で統一し、実行結果はPython3のものを採用しています。 サンプルコードは、主に対話
TensorFlowでCNNを試しているのですが、教師データのJPEG画像をTFRecords形式への変換と読み書きに四苦八苦したので、そのメモ。 もくじ まえおき TFRecords形式に書き出し 中身を復元して確認する 参考 まえおき 学習時にいろいろな画像サイズで試したくて、1枚の画像につき、 32x32 64x64 96x96 128x128 をそれぞれ用意していたのですが、どうにも面倒くさい。 さらに、ラベルは訳あって画像分のXMLファイルから学習時に毎回読み込んでいたので、読み込みにかなり時間がかかっていました。 訳というのは、教師データを作るために、まず最初に、SSD(Single Shot MultiBox Detector)で対象の領域を推測し、その推測された領域(ground truth bounding box)のデータとラベルをPASCAL VOCのAnnotati
This website contains the full text of the Python Data Science Handbook by Jake VanderPlas; the content is available on GitHub in the form of Jupyter notebooks. The text is released under the CC-BY-NC-ND license, and code is released under the MIT license. If you find this content useful, please consider supporting the work by buying the book!
Anacondaはインストールできましたでしょうか? インスールできたら、(Windowsなら)スタートメニューから、"jupyter notebook"を選べば、ブラウザベースで動く、Pythonのインターフェースが起ち上がるはずです。この"jupyter notebook"が、Pythonで統計解析するためのインターフェースになります。なかなかよくできています。 さて、Pythonでいじくるデータをまずは用意しないといけません。流行りのビットコインの価格を分析することにします。ビットコインの日足データは、このサイトで手に入ります。データソースや信頼性はよくわかりませんが、とりあえずはこのデータで遊んでみましょう。 ●CryptoCurrency Market Capitalizations: Historical data for Bitcoin https://coinmarketc
自分で小さいツールを作る時に心に留めているtipsです. 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間,もしくはいろんなところで使うことになったりするので,気をつけておくと後から楽になるというような小技です.大規模なソフトウェアの開発ではまた違った流儀があると思います. メインルーチンを関数にする 関数名はなんでもいいのですが,自分は趣味で main() という名前の関数を用意し,メインルーチンは全てそこに書くようにしています. pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします.もちろんそれでも動くのですが,以下の2点で後々面倒になることがあります. グローバル変数だらけになり管理が追いつかなくなる:「どうせ小さなスクリプトだし」ではじめると最初は見通しが良くてもだんだんどこでどの変数名を使っているか分からなくなっ
備忘録的に書いていきます。 今日は「LINE BOT」を作ります! なんでPythonかというとPHPで作ったことはあったのです。 今後LINE BOTに機械学習的な要素を入れたいなぁと思ったので Pythonを選びました。今絶賛勉強中の言語のため、基本的な書き方すらわかってない 状態ですが、興味がある人は見ていってください。 今回の構成は以下です。 言語:Python 3.5.1 フレームワーク:Flask サーバ:Heroku(アドオン:Fixie) PythonのフレームワークはFlaskを使いました。 Flaskは軽量なフレームワークらしく、非常に簡単にWebアプリが作れるという特徴があると 耳にしたので、使ってみよう!と思いました。一番有名で世界中に使われているDjangoという フレームワークもありますが、ちょっと学習コスト高そうだったので今回はやめました。 サーバーにはHer
クリップボード監視について iPhoneのクリップボードってなんで履歴を保存してくれないのでしょうかね。パソコンにも言えることなんだけども、このコピペ全盛期の時代になぜその機能をデフォルトでくっつけておかないのかすこぶる疑問です。安全性の観点からなのかな? パソコンでクリップボードの履歴を保存するようにするのは結構簡単です。そういうソフトウェアを拾ってきてインストールするだけ。 しかしiPhoneの場合はそう簡単にはいきません。MyScriptというアプリを使ってクリップボードの履歴を保存することが、かつてはできていた時代もありました。しかし、最近ではアプリの更新も止まってしまい、クリップボードをちょめちょめできるアプリがぱったりとなくなっていました。(一回一回アプリを開いて直接編集できるアプリはもちろんありますよ) そんな状況を打破するべく颯爽と現れたのがPythonistaというアプリ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く