Pythonで省メモリに大量の文字列を扱う工夫 - MNTSQ Techブログ
たくさんの文字列（や離散的な符号列）をメモリに載せないといけないんだけど、いろんな制約があって通常のList[str]では載らない…ということありませんか？（まぁあんまりなさそうですね） たまたまそういうことがあったので、その際に検討した内容をまとめておきます TL;DR メモリをもっと増やしましょう 富豪的に解決できるならいつでもそれが最高です しかし、世の中それでなんとかならんこともたくさんあります 用途があうのであれば専用のデータ構造を採用する 例えばもし共通のprefixやsuffixが存在し、順序に興味がなければtrie treeなどが使えます 例えば、弊社であれば、法人名をメモリに持ちたいなんてときもあります。そういうときに法人名の辞書をtrieで持ったりすることがあります 「株式会社」「一般財団法人」や「銀行」といった共通語がたくさんでてくるのでtrie treeでごりごり削
【Python入門】dictionary（辞書）の使い方。基本と応用 | 侍エンジニアブログ
Pythonでは「キーと値を組み合わせたdictionary（辞書）」というものがあります。 辞書を使用することで、特定の要素を検索したり、追加や削除も簡単にできます。
Built-in Types
Built-in Types¶ The following sections describe the standard types that are built into the interpreter. The principal built-in types are numerics, sequences, mappings, classes, instances and exceptions. Some collection classes are mutable. The methods that add, subtract, or rearrange their members in place, and don’t return a specific item, never return the collection instance itself but None. Som
初心者メモ：PythonのList/Tuple/Set/Dictのチートシート - Qiita
はじめに こんにちわ！Python入門中の石田です。あれこれ本を読んで勉強しているのですが、List->Tuple->Set->Dict ...と進んでいくうちに「あれ、この機能はListだと何だっけ?」とか「Listの追加はappend()だけどSetの追加はadd()かよ！」とか、元々物覚えの悪い頭が更に混乱してきました。ので４つの代表的なデータ構造を自分なりにExcelにチートシートの形でまとめてみたのですが、qiitaにも置いておこうと思ったので公開させて頂きます。基本、自分用のメモのつもりですが、タイポや誤り指摘・アドバイスなどいただけたら有難く。 環境:Python 3.6.4 初回執筆時点:2018/2/11 (随時更新) 2018/2/12 shiracamusさんの補足・アドバイスを反映 2020/12/10 @tomoykさんのアドバイスを反映
What's the difference between lists and tuples?
What's the difference between tuples/lists and what are their advantages/disadvantages?
5. Data Structures
5. Data Structures¶ This chapter describes some things you’ve learned about already in more detail, and adds some new things as well. 5.1. More on Lists¶ The list data type has some more methods. Here are all of the methods of list objects: list.append(x) Add an item to the end of the list. Equivalent to a[len(a):] = [x]. list.extend(iterable) Extend the list by appending all the items from the it
Lambda(Python3.6)でDynamoDBに登録された項目が日付型であるかチェックしてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 DynamoDBで提供されている属性の型は大きく分けて スカラー型、ドキュメント型、セット型となっています。 DynamoDBの命名ルールおよびデータ型 そのため、下記画像のように日付と時刻を登録するときは文字列データ型(String型)を使用するのがほとんどだと思います。 ただ、こちらが想定するフォーマット以外でも登録することができてしまい、 登録された時刻をみて、ある処理を実行するときなど 処理が失敗してしまう可能性があります。 今回はLambdaを使って登録されている項目のフォーマットが正しいかチェックしてみたいと思います。 DynamoDBのテーブル作成 今回はCloudFormationを使ってDynamoDBのテーブルを作成します。 テンプレートファイルを作成します。 今回作成するテーブルはプライマリーキー「Date」、ソートキー「Time
Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi） | DevelopersIO
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなということで試してみました。 テスト環境 OS X 10.11.6, Java 8u112, Python 3.6.1, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar Windows 7, Java 8u131, Python 2.7.13, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar ※環境変数 JAVA_HOME の設定が必要です。 ※本来 Python 3 の場合は JayDeBeApi3 を利用するようなのですが、エラーが発生してしまったので 1.1.1 で試しました。 R
Python3でMySQLを使う – 基本操作からエラー処理までサンプルコード付 | Crane & to.
WEBのシステム開発はPHPを使用していますが、データ解析等のため Python3 の研究を始めました。Python3 は日本語の情報がとても少ないので、エンジニアや学生の皆さんに役立ちそうなことをブログ記事として共有できればと思います。 この記事では Python3 で MySQL に接続する方法、エラー処理（例外処理）、サンプルによるCRUD（※）、PHPer向け注意点についてまとめました。なおサンプルは Django 等、特定フレームワークの ORM ではなく、SQLの直接実行例です。 SQLite3 は Python3でSQLite3を使う – 基本操作からエラー処理までサンプルコード付を参照ください。 ※ CRUD とは Create（生成）、Read（読み取り）、Update（更新）、Delete（削除）の略です。MySQL の場合Read に相当するのは主に Select 文
migrating-from-legacy-sql?hl=JA
For more information about the GoogleSQL type system, see the GoogleSQL data types reference. For more information about data types in BigQuery, see the BigQuery data types reference. TIMESTAMP differences GoogleSQL has a stricter range of valid TIMESTAMP values than legacy SQL does. In GoogleSQL, valid TIMESTAMP values are in the range of 0001-01-01 00:00:00.000000 to 9999-12-31 23:59:59.999999.
pandasで様々な日付フォーマットを取り扱う - Qiita
新生活応援期間中とのことですので，"pandas"の使い方，特に日付フォーマットについて取り上げたいと思います．「Pythonはデータ分析に強い」という評判がありますが，これは以下のような「定番」パッケージによって実現されています． "pandas" for representing and analyzing data "NumPy" for basic numeriacal computation "SciPy" for scientific computation including statistics "StatsModels" for regression and other statistical analysis "matplotlib" for visualization （以上，"Think Stats" より引用．） pandas は，Seriesオブジェクト(１次元
（翻訳）毎秒10GBでArrowからpandasへ - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文：http://wesmckinney.com/blog/high-perf-arrow-to-pandas/ ） 2016/12/27 このポストでは、汎用的なArrowの列指向のメモリを、pandasのオブジェクトに高速に変換できるようにするための最近のApache Arrowでの作業について述べます。 pandasのDataFrameオブジェクトを高速に構築する際の課題 pandasのDataFrameオブジェクトを高速に構築する際に困難なことの1つは、「ネイティブの」内部メモリ構造が辞書や
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Creating a new dictionary in Python
Is a Python dictionary an example of a hash table?
array — Efficient arrays of numeric values
pyspark package — PySpark 2.1.0 documentation
Tuple Objects
全点対間最短経路 (Warshall–Floyd Algorithm) — My Algorithm Memorandum documentation
配列の操作 | BigQuery | Google Cloud
BigQuery API クライアント ライブラリ | Google Cloud