はてなブックマーク

Glide で Go 言語のパッケージ管理と vendoring - Librabuch で書いた vendoring のプロセスは現状そこそこうまく回っています。 最近 AWS Lambda のコードを Python で書く機会が多いのですが、ここでも vendoring することにしました。 課題 AWS Lambda で Python の サードパーティ・パッケージを利用する場合、デプロイファイル群の中にパッケージを含める必要があります。よくサンプルでは、プロジェクト直下に pip install requests -t . などとしたのちにプロジェクトのディレクトリごと zip で固める方法が提示されます。 元々、関係無いファイルが含まれるディレクトリごとデプロイするのはあまり上品ではないなぁと思っていたので、対象物だけ明示的に指定するようにしていたのですが、依存パッケージに変化が

PyCon JP 2016 に参加しました。Development Splint の日程をまだ残しておりますが Conference Day の振り返りです。ちなみに自分の活動振り返りおよび感じたことなどがおもで他の登壇者のかたのセッションのレポートはありません。つまりポエムです。 PyCon JP 2016 とわたし 昨年は以下のエントリにて、CfP だせばよかったかなとぼやいていた次第ですが、 PyCon JP 2015 振り返り コミュニティのライフサイクルについて - Librabuch 今年はイベント開催中の（会社的な）状況がまったく見えなかったので CfP を見送ってしまいました。Lightning Talks については、ネタが思いつけば手を上げたかったのですが、至らず。いま思えば SymPy ネタなどで攻めていけばよかったですね。PyCon JP 2017 ないし、APAC

Elasticsearch で Index の再構築を行う場合、ダウンタイムを低減するために Alias 機能を利用するのが常道のようです。 Index Aliases and Zero Downtime | Elasticsearch: The Definitive Guide [2.x] | Elastic Elasticsearch インデックス・エイリアス — Hello! Elasticsearch. — Medium 今回 Elasticsearch を Go言語で利用するにあたり、elastic を利用します。elastic は Elasticsearch の クライアントライブラリです。 olivere/elastic: Elasticsearch client for Go. Go言語向け Elasticsearch クライアント Elastic の紹介とコントリビューシ

Go 言語の vendoring ツールとして Glide を使い始めました。 Masterminds/glide: Package Management for Golang vendoring とは vendoring とは、アプリケーションが依存する 3rd-Party パッケージ/ライブラリのソースコードそのものを自身のレポジトリに含めて管理する試みのこと、を指す用語の模様です（たぶん）。 Node.js における package.json に依存関係が書かれている状態だけでは vendoring ではないです。node_modules ディレクトリ自体をレポジトリの管理対象に含めることで vendoring ができている状態、と言えるようになります。 Node.js (というか npm) に限らず、node_modules 的な役割のディレクトリは .gitignore で無視す

引き続き主語大きめでお届けしております。 人類に IDaaS は早すぎた話 で IDaaS について触れました。昨日、Amazon Web Service から関連するリリースが出ました。 New – Your User Pools for Amazon Cognito | AWS Blog これまでの Cognito これまでも Amazon Cognito は、モバイルアプリや JavaScript アプリケーションから、AWS のサービスにアクセスするための認可・認証の機能を提供していました。しかし、ユーザーのパスワードや属性情報を Cognito が保持できるわけではありませんでした。また、Webサービスにおける一般的な認可のための機能やフロー – パスワードの複雑性の管理や Emailアドレス確認のプロセス – は提供されていなかったため、いわゆる IDaaS とは同カテゴリなが

昨年の8月に起業して以来バックオフィス系業務を実際に経験しています。その多くは 会計ソフト freee や Bizer を活用することで効率化ができ、本当に助かっています。 しかしいっぽうで行政や銀行など社会的インフラのサービスを利用するためのインターフェースが著しく時代に即していないと感じていて、このままでは我が国は厳しいなと感じることが少なくありません。以下、批判的な表現を含みますが、純粋に実体を知って欲しい、改善して欲しいと切に願っての発言であることをご容赦いただきたいと存じます。 e-Tax はぎりぎり利用できるレベル e-Tax は個人事業主の確定申告にもよく利用されます。e-Tax には Windows にインストールして利用するタイプのアプリケーションとWEB版とがあります。インストールタイプは Windows にしか対応していないのは諦めるとして（この時点で既に期待値低し）

結論 表題の通りですが、日本語の Web フォントを利用するなら Adobe Typekit を活用しましょう。 Adobe Typekit は、Adobe の提供する Web フォント配信サービスです。Web フォント及び Web フォントを利用するための JavaScript のコードが提供されます。Adobe Creative Cloud の何らかの契約があれば利用することができます。 これまでの日本語フォント問題 かつて、Web デザインにおけるフォントの指定方法は我が国における大きな問題となっていました（大げさ）。その問題の多くは、Mac と Windows で利用できるフォントがまったく異なることに起因していました。メイリオの登場以前は、Windows に標準で美しくレンダリングされるフォントが搭載されていないことも悩みの種でしたが、メイリオの登場によって Windows のフ

PyCon JP 2015 が無事終了しました。運営のみなさま、参加者のみなさま、誠にお疲れ様でございました。 まだ熱の冷めないうちに振り返りを行いたいと思います。ちなみに自分の活動振り返りがおもで他の登壇者のかたのセッションのレポートはほぼありません。 チュートリアル！ IoT と AWS と Edison と 昨年のチュートリアル PyData 入門に続いて今年もチュートリアルを担当しました。 今回は アマゾンデータサービスジャパン様とインテル様にご協力いただき、IoT デバイス Edison の実機を Python で操作してもらい、クラウド（AWS）サービスとの連携を体験していただく内容でした。 平日金曜日にも関わらず15名のかたがお越しくださいました。ハードウェアを扱うイベントの場合、デバイストラブルやネットワーク系トラブルがつきもので、企画当初からトラブルの発生は懸案事項として

若干乗り遅れた感がありますが、Vagrant の後継（？）と言われる Otto。調べてでてくる情報は公式のサンプルを実行していることが多かったので表題の通り MySQL 5.7 の環境を作ってみました。 hashicorp/otto · GitHub otto コマンドはファイルを配置するだけで利用可能になるので、インストール手順は割愛します。 適当なディレクトリを作成し、次の Appfile を作成します。 application { name = "mysql" type = "docker-external" } customization "docker" { image = "mysql:5.7" run_args = "-e MYSQL_ROOT_PASSWORD=mysql -e MYSQL_DATABASE=dev -p 3306:3306" } あとは otto を実行す

ドキュメンテーションツール Sphinx のテーマを作成し PyPI に公開しました。 Github - iktakahiro/sphinx_theme_pd PyPI - sphinx_theme_pd PyCon mini Sapporo の Lightning Talk で紹介したものですが、当時はパッケージ化していない状態でしたので、このたび公開しました。 インストール方法 README の通りですが、pip インストール可能です。 pip install sphinx_theme_pd pip インストールした後、Sphinx の conf.py を以下のとおり書き換えてください。 import sphinx_theme_pd html_theme = "sphinx_theme_pd" html_theme_path = [sphinx_theme_pd.get_html_th

本日はPyCon mini Sapporoの開催の日です。Pythonの日といっても過言のない（？？）本日、Amazon Redshiftに、User-Defined Functions 追加のアナウンスが行われました。 Amazon Web Services ブログ: 【AWS発表】Amazon RedshiftにUDF(ユーザ定義関数)が追加されました Creating User-Defined Functions - Amazon Redshift User-Defined Functions とは いわゆるひとつのユーザー定義関数です。RedshiftのUser-Defined Functions（以下UDF）はSQLではなく Python で書くことが出来ます。RedshiftにUDFを追加して欲しいというユーザーの要望は以前から多く存在していました。今回のアップデートはこの期待

こんにちは。本日は Python mini hack-a-thon 夏山合宿 2015 に来ています。 2015年10月9日にPyCon JP 2015にて、「Python x Edison x AWSではじめる IoT」と題したチュートリアルを行います。 Python x Edison x AWSではじめる IoT | PyCon JP 2015 in TOKYO PyCon JP 2015 チュートリアル 申込みページ - connpass その関係もあり IoT ネタです。 Mosquiito の導入 MQTT の broker として Mosquitto を利用します。 Mosquitto Ubuntu へのインストール手順を示します。apt-get で導入できるバージョンは MQTT の v3.1.1 に対応していない古いバージョンため、ソースからインストールします。 # 依存ラ

アジャイルソフトウェア開発向けのプロジェクト/タスク管理ツールはたくさんありますが、ちょっと気の利いたカンバン（KANBAN）が欲しければ targetprocess がいいかも知れません。 targetprocess.com targetprocess とは スクラムとカンバンに対応しているらしいプロジェクト管理ツールです。 targetprocessでできること カンバンを使うことを念頭において、利用できる機能を列挙します。 ToDo, InProgress, Done の状態設定など基本的なカンバンの機能 Drag & Drop 操作 「状態」の増減や変更（Waitingという状態を増やすなど） Work in Progressの制限（警告表示になるのみで登録自体はできる） プロジェクトの分離、複数プロジェクトの一括表示など Swim Lane の設定（担当者別、User Story

pipe() は、DataFrameオブジェクトまたはSeriesオブジェクトに対して関数を適応できます。 引数も利用できます。 def f(df, col): df['tax_in'] = df[col] * 1.08 return df master.pipe(f, col='price') 結果は「消費税の計算を行うpipe()の例」の実行結果と同等です。 ただし、これだけではpipe()のメリットは享受できていません。pipe()のメリットは、その名の通り、定義した関数を数珠つなぎに実行できる点にあります。 def discount(df): """ 商品名が ham だった場合に値引きを行います """ df2 = df.copy() df2.ix[df2.name == 'ham', 'price'] = df2.price - 30 return df2 def tax_in

新年あけましておめでとうございます。本年も宜しくお願い致します。 お正月休みを利用してCIツールについて調べていたのでメモがてらエントリ投稿。 できたこと Bitbucketのレポジトリにプッシュすると自動的にソース一式をAmazon S3にデプロイしてくれます。 http://pydata.tokyo の更新が捗りました。 つかったもの Codeship : CI環境です。 Bitbucket : レポジトリ。今回はMercurial環境です。 Amazon S3 : 静的ファイルのホスティング先。今回のデプロイ先です。 今回やっていないこと 自動テストは行っていません。（ほぼHTMLなので） Codeshipとは 所謂1つのCIサービスです。 Codeship 同種のサービスとして、Travis CIやCircleCIが著名でしょうか。Jenkinsをセルフホスティングしている開発環境

Rodeoという新しいプロダクトがリリースされました。 ŷhat | Rodeo: A data science IDE for Python Rodeoは、The IPython Notebook — IPython や RStudio のようなデータ分析系のIDEです。Python製で、pipインストールできます。 pip install rodeo Rodeoインストール直後の pip list を確認します。 docopt (0.6.2) Flask (0.10.1) gnureadline (6.3.3) ipython (3.1.0) itsdangerous (0.24) jedi (0.8.1-final0) Jinja2 (2.7.3) MarkupSafe (0.23) pip (1.5.6) pyzmq (14.6.0) rodeo (0.2.1) setuptool

AgileJapan2015に参加してきましたのでその野良レポート1です。 基調講演1: アジャイル・テスティング 〜 チーム全体のためにテストとテスターができることを学ぶ旅 開幕はAgile CoachのJanet Gregoryの基調講演です。「テスト」ということが表題に付いていたものの、文書や話だけで伝えるより絵を見せた方が早いとか、顔つき合わせるの大事、などの一般的な話でした。 基調講演2: デジタル革命には アジャイルがよく似合う 基調講演其の二。全体的に雲行きが怪しい感じは当時のタイムラインから見て取っていただくとして（苦笑）、さまざまな意見がありそうですが僕は割とフラットな気持ちで聞いていました。今回、「エンタープライズ」という言葉が散見され、ある意味その象徴的な講演でした。 このセッションに限らず、「アジャイル」という言葉をアジャイルソフトウェア開発宣言に書かれているような

ごく簡単な Python multiprocessing の使い方の話です。 multiprocessing before/after 例えば次のようなコードがあります。 import time def calc(x): a = x * 2 print(a) time.sleep(2) if __name__ == '__main__': data = [1, 2, 3, 4, 5] [calc(x) for x in data] この処理を、後から並列で実行したくなったとします。 import time import multiprocessing def worker(data): [calc(x) for x in data] def calc(x): a = x * 2 print(a) time.sleep(2) if __name__ == '__main__': split_

みなさまこんばんは。Python Advent Calendar 2014 24日目の記事です。 先日のpyhackで@atelierhideに教えてもらった、データ前処理スト垂涎のライブラリの紹介をすることにしました。 csvkit とは csvkitは、コマンドラインでCSVやTSVファイルを取り扱うのに便利なライブラリです。データの前処理や加工をLinux/UNIXのコマンドラインで行っている環境もあると思いますが、それを代替する、あるいは組み合わせて使うとよいのがcsvkitです。 csvkit pipでインストール出来ます。Python3.4にもインストールは可能ですが、一部の機能が動作しないことを確認しています。今回は2.7にインストールしました。 pip install csvkit 具体的な使い方を見ていきます。 基本的な使い方 ここからはiris.csvのデータをcsvk

先日リリースされたPyCharm4には、データ分析者にも嬉しい機能が追加されています。 NumPy Array Viewer IPython notebook Support NumPy Array Viewer NumPyのArrayの状態を可視化してくれるツールです。 import numpy as np test_array = np.arange(25).reshape(5, 5) Debug Consoleから「View as Array」を選択すると、Viewerを表示できます。 簡単に中身を確認するには便利そうです。 大きな行列を表示させるとこんな感じ。。 IPython notebook Support IPython notebookはWebブラウザでPythonが実行できる素敵な環境ですが、PyCharm4がnotebookをサポートしました。 Demo.ipynb（n

Pythonで辞書をforで作成するときに、キーがー存在する場合はバリューを更新して、存在しない場合はキー:バリューを追加したい場合、標準ライブラリのdefaultdictを使うのが良い。 例えば次のようなファイルががあって、 Shinji,国語,100 Shinji,英語,95 Shinji,歴史,92 Aska,独語,100 Aska,国語,75 Aska,数学,87 Rey,国語,87 Rey,歴史,92 Rey,数学,78 ファイルから次のような辞書を作りたいとする。 { 'Shinji': {'英語': '95', '歴史': '92', '国語': '100'}, 'Rey': {'数学': '78', '歴史': '92', '国語': '87'}, 'Aska': {'独語': '100', '数学': '87', '国語': '75'} } read_csv というファイ

PyCon JP 2014 チュートリアル「PyData入門」のお知らせ | Librabuch 上記のエントリで告知した通り、2014年09年12日（金）に行われるチュートリアルの講師を務める御縁を頂いています。29枚あったチケットは完売のようで、若干プレッシャーの高まりを感じる今日この頃です。 さて、チュートリアル開催にあたり、利用するライブラリ群のインストール方法をOS毎に確認していたのでこちらにも備忘録として残しておきます。（参加者の方々には専用経路で別途ご案内差し上げます） 導入手順 共通 Windows版 Mac版 動作確認 導入したいもの 今回導入したいライブラリは下記の通りです。 NumPy Scipy Pandas scikit-learn matplotlib IPython 共通手順 Python3.4.1をインストールしてPATHを通しておきます。（手順問わず） p