巨大サイズデータ処理に対して省メモリで立ち向かう
こんにちは。検索連動型ショッピング広告のレポートシステムを担当している眞井です。 レポートシステムでは、広告主が広告の成果の可視化や分析を行うためのレポートを作成する機能を提供しています。 作成するレポートはCSVやTSVなどのテキストファイルで、広告の運用状況によっては数GB規模の巨大なサイズになることもあります。 普段はなんてことない処理でも、扱うデータのサイズが巨大になると多くのメモリが要求されてサーバ費用が高くついたり、OOME（Out Of Memory Error）が発生して処理が失敗してしまうといった問題が発生します。 今回は、このような問題を回避するためにレポートシステムで行っている2つのテクニックを紹介します。 巨大なデータを扱う場合に発生するOOME まず、どのようなシーンでメモリが要求されOOMEが発生するのかを、レポートシステムの例で説明します。 レポートシステムが
BDD は Given, When, Then のことだと勘違いされているんじゃないか
たまたま社内で自分が主催しているアジャイルに関する勉強会で BDD (Behaviour-Driven Development) の話をすることがあった。 個人的には、「Given, When, Then でテスト書くやつでしょ？」といった形で Gherkin記法 だけが一人歩きしている印象があるためその誤解を解くことを目的にその勉強会では話題に挙げたのでその熱が冷めないうちに自分の認識のメモを残しておきたい。 とはいえ、 https://cucumber.io/docs/bdd/ を読めば全てが書いてあるので気になった人はそちらを参照して欲しい。 前置きはそれくらいにしつつ、上記のドキュメントの中から抜粋してきた以下の画像が BDD の全体を示している。 この図が言わんとすることは、 BDD というのは Discover Formulation Automation の3つのステップで構
Effective Go - The Go Programming Language
Introduction Go is a new language. Although it borrows ideas from existing languages, it has unusual properties that make effective Go programs different in character from programs written in its relatives. A straightforward translation of a C++ or Java program into Go is unlikely to produce a satisfactory result—Java programs are written in Java, not Go. On the other hand, thinking about the prob
Java Practices->Package by feature, not layer
The first question in building an application is "How do I divide it up into packages?". For typical business applications, there seems to be two ways of answering this question. Package By Feature Package-by-feature uses packages to reflect the feature set. It tries to place all items related to a single feature (and only that feature) into a single directory/package. This results in packages wit
re:僕にとってMaybe / Nullable / Optional が、どうしてもしっくりこないわけ。 - ぐるぐる～
元ネタ: 僕にとってMaybe / Nullable / Optional が、どうしてもしっくりこないわけ。 - 亀岡的プログラマ日記 OOPの文脈で見ると、元の記事が言っていることもわからなくはないのですが、対象が広すぎていろいろと不正確になってしまっているので、ちょっとまとめてみます。 元の記事が対象にしているのは、Maybe / Optional / Nullableの3つです。 対応する型を持つ言語を見てみると、下記のようになります。 Maybe(Haskell) Optional(Swift/Java) Nullable(C#) これらは、「値がないこと」を表すもの、という見方では同じですが、それぞれ異なる価値観の元に作られています。 Maybe/OptionalとNullable これらはすべて型パラメータを取ります*1。 しかし、この中でNullableだけは型パラメータに
Happy path - Wikipedia
In the context of software or information modeling, a happy path (sometimes called happy flow) is a default scenario featuring no exceptional or error conditions.[1][2] For example, the happy path for a function validating credit card numbers would be where none of the validation rules raise an error, thus letting execution continue successfully to the end, generating a positive response. Process
プログラミング言語を作る yaccとlex
yacc/lexとは Cでプログラミング言語の処理系を実装するのであれば、 多くの場合、yaccとlexというツールを使います。 実のところ、Cとyacc/lexで簡単なプログラミング言語を作る、というのは、 以前、「C言語ヨタ話 」で書いた「 電卓を作ってみよう」 の焼き直しになります。yaccとlexの説明もそちらに簡単に書いたので、 そちらを見てください――と言いたいところですが、 まあここでも軽く説明します。 内容的には重複、というかコピペしている部分もありますが。 プログラミング言語の処理系は、通常、以下のような手順を取ります。 字句解析 ソースプログラムを、「字句(トークン)」の並びに分割する処理です。 構文解析 トークンの並びから、解析木を構築する処理です。 この後、Cなどの機械語を吐くコンパイラや Javaのようなバイトコードを吐くコンパイラなら、 「コード生成」という処理
クソなコードを書き続けろ！ - あしあと日記
酔った勢いで、頭の中に思いついたことを書きなぐります。 わたしは職業プログラマとして10年くらいクソなコードを書きつづけています。 わたしは昨日書いたコードでも、なんでこんなクソなコードを書いたのか後悔することがあります。 それでもクソなコードを書きつづけます。 10年もクソなコードを書きつづけると、何がクソなコードなのか朧げながら分かってきます。 何がクソか分かってくると、なるべくクソなコードを書かないようにする工夫するようになります。 10年もクソなコードを書きつづけると、少しはマシなコードが書けるようになるものです。 そういうものです。 よく見かける、素晴らしいプログラマは、クソなコードを書かずに、あのコードが素晴らしい、このコードがエレガントだと批評します。 そういう人はクソなコードなど一行も書かないので、ほんとに素晴らしいプログラマだと思います。 コード書かなければ、クソなコード
Flex
Flex The Flex group uses technology to improve the range and fluidity of human expression. We invent new concepts and representations that amplify people’s ability to create, connect, and understand. We create tools that blur the line between using and creating, in order to provide a conversational medium for thinking and doing. We are part of HARC at Y Combinator Research. People Alex Warth (PI)
退屈なことはPythonにやらせよう
TOPICS Programming , Python 発行年月日 2017年06月 PRINT LENGTH 616 ISBN 978-4-87311-778-2 原書 Automate the Boring Stuff with Python FORMAT ファイル名の変更や表計算のデータ更新といった作業は、日々の仕事の中で頻繁に発生します。ひとつふたつ修正するだけであれば問題ないのですが、それが数十、数百となってくると手に負えません。そのような単純な繰り返し作業はコンピュータに肩代わりしてもらうとすごくラクになります。本書では、手作業だと膨大に時間がかかる処理を一瞬でこなすPython 3プログラムの作り方について学びます。対象読者はノンプログラマー。本書で基本をマスターすれば、プログラミング未経験者でも面倒な単純作業を苦もなくこなす便利なプログラムを作れるようになります。さらに、章
ProWeb 2017 - Programming Technology for the Future Web - ‹Programming› 2017
Call for Papers The 1st International Workshop on Programming Technology for the Future Web, or ProWeb17, is a forum for researchers and practitioners to share and discuss new technology for programming these and future evolutions of the web. We welcome submissions introducing programming technology (i.e., frameworks, libraries, programming languages, program analyses and development tools) for im
アルゴリズムの勉強のしかた - きしだのHatena
この記事で、アルゴリズムの勉強はアルゴリズムカタログを覚えることじゃないよということを書きました。 プログラムの理論とはなにか アルゴリズムの勉強というのは、スポーツで言えば腕立て伏せや走り込みみたいな基礎体力を養うようなもので、「ソートなんか実際に自分で書くことないだろう」とかいうのは「サッカーは腕つかわないのに腕立ていらないだろう」とか「野球で1kmも走ることなんかないのに長距離の走り込みいらないだろう」とか言うようなものです。 Twitterでアルゴリズムの勉強とはなにかと尋ねられて、「アルゴリズムの基本的なパターンを知って、それらの性質の分析のしかたをしって、いろいろなアルゴリズムでどのように応用されているか知って、自分が組むアルゴリズムの性質を判断できるようになることだと思います。 」と答えたのですが、じゃあ実際どういう本で勉強すればいいか、ぼくの知ってる本からまとめてみました。
そろそろプログラマーもFPGAを触ってみよう！ - Qiita
そろそろプログラマーもFPGAを触ってみよう！ これはbuilderscon tokyo 2016の発表スライドです。 自己紹介 @kazunori_279 クラウドのデベロッパー・アドボケイト エバンジェリストみたいなお仕事 コミュニティ支援：GCPUG、bq_sushi、TensorFlow User Group etc 趣味のFPGA 2013年くらいからいじり始め FPGAエクストリーム・コンピューティング主宰：合計8回 これまでに書いたFPGA記事 はてなブックマークでバズった記事たち マイクロソフトはどうやってBingをFPGAで実装したか: 952 users ハード素人が32bit CPUをFPGAで自作して動かすまで読んだ本のまとめ: 576 users 文字通り「ネットワークがコンピューター」な金融HFTでのFPGAの使われ方: 517 users JP Morgan
高校生にWeb上でプログラミングを教え始めたエンジニアがこの8ヶ月間で得た気づき - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 画像: N高等学校課外授業(N予備校)での生放送授業のブラウザ上での見た目、コメントが書ける 目次 はじめに 教えることになったきっかけ Web企業にエンジニアとして就職できるようになる、というミッション 既存のWeb教材に感じた問題意識 「各自進められるゲームブック形式の教材」と「徹底的にフォローする生放送授業」 コンセプトをもとに構成されたコースと内容 ゼロからプログラミングができるようになった人が生まれた日 永劫、プログラミングは一部の天才たちのためのものか？ プログラミング学習のモチベーションの課題と対応 まじめなオタクたちが社
新卒ソフトウェアエンジニアのための技術書100冊 - クックパッド開発者ブログ
こんにちは、技術部 高井です。 春といえば、フレッシュマンの季節ですね。このブログを読む方の中には、明日からエンジニアとして新社会人になるという方もいらっしゃるのではないでしょうか。クックパッドでも新しい仲間を迎えるための準備をしていたところで、その準備の一環として「新卒ソフトウェアエンジニアのための技術書100冊」というものを作成しました。 この100冊は、職業ソフトウェアエンジニアとしてキャリアを積むにあたって、読むべき技術書に悩んだら、まずはこのリストから選ぶとよいのではないでしょうかという提案です。 リストに多少の趣味や主張がはいっているのは、まあご愛嬌ということでお許しいただければとおもいますが、職業プログラマとして知っておくべき知識を網羅できるように心がけました。古典と呼ばれる名著についてはできるだけ取りいれ、独習が難しい難解なコンピュータサイエンスの教科書は避けています。これ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Approver is also a Committer
A gallery of interesting Jupyter Notebooks · jupyter/jupyter Wiki · GitHub
https://www.kickstarter.com/projects/1599191780/kumiita-educational-programming-toy-for-0-year-old/description
なぜリアクティブは重要か #ScalaMatsuri
GitHub - marciok/Mu: It's a Swift playground explaining how to create a tiny programming language named Mu