PythonでGoogle Cloud Data Catalog APIを使ってみた(前編) - Qiita
はじめに Google Cloud Data CatalogからPythonを使ってデータを抽出する機会があり、詰まったところ、TIPSなどをまとめてみました。 Data Catalogを使って何をするか 今回使用した Data Catalogの機能面をGoogleのサイトから拾ってみました。 フルマネージドでスケーラビリティの高いデータ検出およびメタデータ管理サービス。 Data Catalog は、さまざまな Google Cloud システムからアセット メタデータをカタログ化できます。 Data Catalog API を使用して、カスタム データソースと統合することもできます。 データをカタログ化したら、タグを使用してこれらのアセットに独自のメタデータを追加できます。 組織が大きく、データが増えるほどに以下のような課題が生じてくる為、それらをメタデータとしてData Catalo
2019年末版 形態素解析器の比較 - Qiita
形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。 （SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです） MeCab 言わずと知れた形態素解析器。とりあえずMeCabを使うという人は今なお多いことでしょう。とにかく高速であるということと、システムと辞書が分離されているのが特徴です。またPythonから使うのも簡単になりました（Janomeというものがありましたがmecab-python3の方が高速です）。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。 辞書はIPA辞書が推奨されていますが、Un
GoogleCloudStorageでPythonからファイルをやりとりする方法
こんばんは、エンジニアの眠れない夜です。 ここではGoogleCloudPlatformのCloudStorageにPythonからファイルをアップロード・ダウンローする方法をご紹介します。 分かってしまえばなんて事のない事なのですが、なかなかファイルのアップロードとダウンロードができなくて何時間も費やしてしまいました。 このブログを読んでくださる方は5分もあればCloudStorage（クラウドストレージ）にファイルの保存、取得ができるようになります。 CloudStorage（クラウドストレージ）の概要 クラウドストレージにアクセスするにはサービス アカウントというクラウドストレージにアクセスするためのアカウントとバケット（ストレージ）を作成します。 作成したアカウントの認証キーを使って認証を行います。 あとはストレージにPythonプログラムからアクセス実行するだけ。 という3ステッ
Slackで動作するピアボーナス機能を３日で実装、導入した話 - Qiita
この投稿はLancers（ランサーズ） Advent Calendar 2018の6日目の記事です。 昨日はyKanazawaによるランサーズ版SQLチューニングポリシーという記事でした。 今日は、ランサーズ内にNas!というお互いに感謝を送り合うようなツールを導入した話を書いていきます。 お互いに感謝を送り合うようなツールとは？ いわゆるピアボーナス的な感じ。従業員同士がお互いに報酬や感謝を贈り合うことができる仕組みのことを指してます。 導入することで従業員同士のコミュニケーションが活発化したり、社内の良い出来事が見えやすくなるなどのメリットがあります。 導入して数日ですが、以前に比べて積極的に褒め合う空気が生まれてきたかなと感じています。 実装内容 ランサーズではSlackをメインのチャットツールとして使用しているので、そこで動作するツールとして実装しました。 このサービスはNAS!と
日頃お世話になっているElectronのアプリ開発に入門してみる - Qiita
はじめに ここ1～2年ほど，自分はElectron製のアプリにかなりお世話になっています．こちらでも紹介したのですが，特にVisual Studio Codeと出会えなかったら今ほど楽しくコードが書けていないかもしれません．これほどお世話になっている技術なので，自分でもElectronでアプリを作ることに挑戦してみようと思います． 実際に作ったアプリ このような感じのテキストエディタを作りました．このゴールに向けて順にまとめていきます． Electronとは？ はじめにElectronについて簡単に説明しておきます． ElectronとはWindows / macOS / Linuxとマルチプラットフォームで動かすことができるデスクトップアプリを開発することができるフレームワークです．HTML + CSS + JavaScriptといったWeb開発の技術を使って開発できるのが特徴です．Gi
Python: profile/cProfile モジュールでボトルネックを調べる - CUBE SUGAR CONTAINER
プログラムを作ってみたは良いけれど、想定していたよりもパフォーマンスが出ないという事態はよくある。 そんなときはパフォーマンス・チューニングをするわけだけど、それにはまず測定が必要になる。 具体的に何を測定するかというと、プログラムの中のどこがボトルネックになっているかという点だ。 この測定の作業は一般にプロファイリングと呼ばれる。 プロファイリングにはふたつの種類がある。 ひとつ目は今回紹介する profile/cProfile モジュールが採用している決定論的プロファイリング。 そして、もうひとつが統計的プロファイリングだ。 決定論的プロファイリングでは、プログラムが実行されていく過程を逐一記録していく。 そのため、時間のかかっている処理を正確に把握することができる。 ただし、測定自体がプログラムに与える影響 (プローブ・エフェクト) も大きくなる。 それに対し統計的プロファイリングで
PythonやR対応の統合開発環境「JupyterLab 3.0」正式リリース。ビジュアルデバッガー搭載、レスポンシブ対応でモバイルデバイスの狭い画面でも使いやすく
PythonやR対応の統合開発環境「JupyterLab 3.0」正式リリース。ビジュアルデバッガー搭載、レスポンシブ対応でモバイルデバイスの狭い画面でも使いやすく Project Jupyterは、オープンソースで開発されているWebIDE「JupyterLab 3.0」の正式リリースを発表しました。 JupyterLab 3.0 is released! - visual debugger - support for multiple display languages - table of content for notebooks - improved extension system. Check out the announcement blog post.https://t.co/pUBiZEYH4c — Project Jupyter (@ProjectJupyter) J
今時のPythonはこう書く2020 - Qiita
はじめに システム作ってるとかライブラリ作ってるみたいなある程度Pythonを綺麗に1書くことが求められる方々に向けた記事です。 (機械学習系のライブラリを使うためにPython書いてる方とか、初学者の方にはちょっとあわないかも知れません) 綺麗に書くための作法の難しさって共有が面倒なところだと思うんですよね。その書き方は間違いじゃない、間違いじゃないけどもっといい書き方があるぞみたいなやつってなかなか指摘し辛いですし、じゃあ1人に対してレビューしたら他のメンバーにはどう伝える？そもそも伝える必要？俺の工数は？みたいになりがちです。 一番いいのはこういう時はこう書く！みたいなドキュメントを作って「ドキュメント違反です」ってレビューをしてあげることなんですが、まーそれもそれで超面倒じゃないですか。なのでこの記事がそのドキュメントの代わり、とまではいかなくとも礎くらいになればいいなと思って書き
Advanced SQL Templates In Python with JinjaSql
In A Simple Approach To Templated SQL Queries In Python, I introduced the basics of SQL templates in Python using JinjaSql. This post further demonstrates the power of Jinja2 within JinjaSql templates using presets, loops, and custom functions. Let’s consider an everyday use case when we have a table with some dimensions and some numerical values, and we want to find some metrics for a given dimen
REST API開発に特化したWebフレームワークがもたらす生産性の向上 | IIJ Engineers Blog
皆さんはREST APIの開発にどのようなフレームワークをお使いでしょうか？ これまで、個人的には Flask 等の軽量なWebフレームワークを使って開発することが多く、REST API開発に特化したWebフレームワーク（以下、APIフレームワークと呼ぶ）を使った経験はありませんでした。 しかし先日、業務で Django REST Framework に触れる機会があり、REST APIの実装に必要な機能の多くが提供されていて、圧倒的に少ないコーディング量で開発が完了することを実感できました。例えば、フィルタリング（URLクエリストリングで検索条件等を指定し、取得する値を絞り込む）機能は、一から実装するとなると文字列をパースして、バリデーションして、クエリに渡して……、と結構面倒ですが、Django REST Frameworkではビルトイン機能として提供されているので、最小限のコードで実
Python: PandasのDataFrameを横持ち・縦持ちに変換する - け日記
PandasのDataFrameを縦持ちから横持ちにする方法とその逆(横持ちから縦持ちにする方法)についての備忘録です。 縦持ちと横持ち 縦持ちは、以下のように、カラム固定で1行に1つの値を持たせている表です。カラムをおいそれと変更できないDBのテーブルなどはこういった形かと思います。 customer_id product_id count C1 P1 1 C1 P2 2 C2 P2 2 C2 P2 1 C3 P3 3 一方で、横持ちは、カラム数が可変で1行に複数の値をもたせている表です。行列はこういう形になるでしょう。 P1 P2 P3 C1 1 2 0 C2 0 3 0 C3 0 0 3 縦持ちから横持ちへ変換する それでは縦持ちとなっている以下のデータを横持ちへ変換します。 import pandas as pd import numpy as np orders_df = pd.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最適化超入門
GitHub - jmcarpenter2/swifter: A package which efficiently applies any function to a pandas dataframe or series in the fastest available manner
Microsoft、「Visual Studio Code」の新しい拡張機能「Jupyter」を発表／「Python」言語拡張と切り離して、それ以外のプログラミング言語でも利用可能に
DiskCache Tutorial — DiskCache 5.6.1 documentation
Kyoto University Research Information Repository: プログラミング演習 Python 2019
TwitterトレンドとGoogleトレンドから情報を取得[python3.x] - Qiita![TwitterトレンドとGoogleトレンドから情報を取得[python3.x] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad4d587ee0fdf2725d1654eb44c8bfe3ff40da23/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnMzLWFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkZxaWl0YS1pbWFnZS1zdG9yZSUyRjAlMkY0Mzk5MzklMkYzNGNhNWY4ZTZjMzkzMDYyYzkxMGRmMjBjMzBkMzJlYzk1OWIyMTUxJTJGbGFyZ2UucG5nJTNGMTU4MDQ2ODExOT9peGxpYj1yYi00LjAuMCZhcj0xJTNBMSZmaXQ9Y3JvcCZtYXNrPWVsbGlwc2UmZm09cG5nMzImcz0wZTY3MWU2YTg0NGFhNDg3MjdkYzQyMzE4ZGFkMDU0NQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253De4b8d3c4e3d4350570b5eafe0de08cbe%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9VHdpdHRlciVFMyU4MyU4OCVFMyU4MyVBQyVFMyU4MyVCMyVFMyU4MyU4OSVFMyU4MSVBOEdvb2dsZSVFMyU4MyU4OCVFMyU4MyVBQyVFMyU4MyVCMyVFMyU4MyU4OSVFMyU4MSU4QiVFMyU4MiU4OSVFNiU4MyU4NSVFNSVBMCVCMSVFMyU4MiU5MiVFNSU4RiU5NiVFNSVCRSU5NyU1QnB5dGhvbjMueCU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPWM5YTg1MWM2ZDNiNjE0OWYyZTljZDBkNmQ1MWUzNjM2%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB0YWtha291cyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTRjNTljOWJiYjZjYWFkNDkzZjBkMTcwY2FlMThhMDJm%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dc48bb3d4e1f5262be0983fd10675ab06)
Python言語での開発が得意なシステム開発会社10選 | 比較ビズまとめ
Python Flask File Upload Example - Roy Tutorials
PythonのFlaskで学ぶWebアプリケーション制作講座 第0章 〜はじめに〜
