PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Mac大流行なのでCygwinに需要ないかもしれないけど。一年間のCygwin体験をまとめてみた。今年１年で一番使ったツールで感謝してる。 CygwinはWindows環境にそのままLinuxのCUIツールを導入できる。もう「コマンドプロンプト」に拘る必要は薄くなりました。 僕は今年１年の一番の収穫はCygwinを使ったこと。 Cygwinを使うことでターミナルを使いこなせるようになった。そしてMacに移行してもターミナルさえあるから困らないと思えるようになりました。 コマンドプロンプトを捨てるべき理由 ・SSHコマンドでリモートサーバにアクセスしても文字化けする。 ・色・フォントがダサくて使い物にならない。 ・コマンドが少ない。grep したい。findしたい cmd.exeをすててMinttyを使おう。 Cygwinを使うと、minttyというPuttyベースの素晴らしい。ターミナルが
詳細PDF入門 ー 実装して学ぼう！PDFファイルの構造とその書き方読み方 - プログラムモグモグ
PDFのファイル構造を理解すると、テキストエディタでも直接PDFファイルを作ることができるようになります。このエントリーではPDFファイルの基礎要素を説明し、簡単なPDFファイルを例にしてファイル構造を説明します。更に、テキストを渡すとPDFファイルを吐いてくれる簡単なプログラムや、PDFを読み込んで簡単な解析をするプログラムを書いてみます。 目次 目次 まえがき オブジェクト 間接参照 ファイル構造 Hello, world! ヘッダ トレーラ 相互参照テーブル 本体 PDFを生成するプログラム 日本語の扱い方 日本語を含むPDFを生成するプログラム グラフィックス PDFを読むプログラム あとがき まえがき 1990年代前半、アドビシステムズは、どのプラットフォームやデバイスでも文書を確実に表示・共有できることを目的としてPDFファイルフォーマットを開発しました。 PDFの表示ソフト
先日、AmebaなうがCSRFという非常にポピュラーな脆弱性を披露したかと思ったら、ここ数日はセブンネットショッピングでXSSの脆弱性と、ID推測による他ユーザの個人情報閲覧の問題が発生しているという噂が流れています。 ユーザの情報を預かっておきながら、基本的なセキュリティの対策もできていないというのは、銀行に例えるなら、お金を預けようとした時に「お金は預かります。ちゃんと保管します。でも警備はあまりしないので盗まれたらスイマセン」と言われるようなものだと思う。 警備に穴があったというのではなく、まともに警備してませんでした、というのはさすがにありえないことです。 そこで、野良WEBプログラマである私が知っている脆弱性を列挙してみた。 私はプログラマであってセキュリティの専門家ではないです。しかも今年の春辺りからずっと外向けのWEBプログラムは組んでません。 その人間が知っているものを並べ
って海の向こうの人が言ってました。 私はjQueryさえあれば概ね生きていけるので全然知らないけど、 あなたは全部知ってるフロントエンドエンジニアなんだね。すごーい！ 以下はFront-End Developer Handbook 2017の第三部、Front-end Developer Toolsからリンクされているツールと、その簡単な紹介です。 ドキュメントツール Dash 150以上のライブラリのAPIリファレンスを検索できる。有料、Mac専用。 DevDocs 200以上のライブラリをオンラインで検索できる。無料。 Velocity 中身はDashと同じ。 有料、Windows専用。 Zeal 200以上略 無料のオフラインドキュメント。 SEOツール Keyword Tool 検索ワードを入れると関連キーワードを教えてくれる。 Google Webmasters Search C
iTerm2 + zsh + tmux + vim で快適な256色ターミナル環境を構築する - ( ꒪⌓꒪) ゆるよろ日記
こんにちわ。債務者ことゆろよろです。家買いました。 さて、最近こんなまとめが話題になりました。自分もコメントしましたが、すごい情報量になってます。 これ知らないプログラマって損してんなって思う汎用的なツール #JavaScript #PHP #Ruby #Python #HTML - Qiita 【まとめ】これ知らないプログラマって損してんなって思う汎用的なツール 100超 #PHP #JavaScript #Python #Ruby #HTML - Qiita で、自分のコメントにも書いたのだけど、基本的に仕事はターミナルでssh接続して、Vimでコード書いてるので、この辺の環境構築についてまとめてみた。最近Terminal.appからiTerm2に移行して、screenからtmuxに乗り換えたので、その辺も含めて導入方法を書いておく。 手元の端末はMBPでOSX Lionだけど、ほぼ同
AjaxZip 2.0
Kawa.netxp AjaxZip 2.0 - Ajax郵便番号→住所自動入力フォーム（CGI不要版） AjaxZip2は、昨年公開した 『ajaxな住所入力フォーム』 の新バージョンです。 郵便番号を入力すると、該当する都道府県名・住所が自動的に入力されます。 Ajaxと JSON フォーマットを利用するJavaScriptライブラリとして公開しました。 JavaScript のみで稼動するため、サーバサイドで稼動するCGIプログラムは不要です。 郵便番号→住所変換処理は全てクライアントサイドのJavaScriptで行います。 既存 HTML の住所入力フォームをたった3行書き換えるだけで利用できます。 簡単に設置できるため、プログラムに詳しくない方でも導入していただけると思います。 以下の住所入力フォームに、7桁の郵便番号を入力してみてください。 【2007/12/09 追記】 jQ
このページについての説明・注意など PHP は、Apache モジュールや、CGI、コマンドラインとして使用できるスクリプト言語です。このページでは、主に PHP における、Web アプリケーションのセキュリティ問題についてまとめています。 Web アプリケーションのセキュリティ問題としては、以下の問題についてよく取り挙げられていると思いますが、これらのセキュリティ問題について調べたことや、これら以外でも、PHP に関連しているセキュリティ問題について知っていることについてメモしておきます。 クロスサイトスクリプティング SQL インジェクション パス・トラバーサル(ディレクトリ・トラバーサル) セッションハイジャック コマンドインジェクション また、PHP マニュアル : セキュリティや、PHP Security Guide (PHP Security Consortium) には、PH
↓に便乗してPython版も書いてみました。 Perl基礎文法最速マスター - Perl入門〜サンプルコードによるPerl入門〜 Ruby基礎文法最速マスター - Route 477 PHP基礎文法最速マスター - Shin x blog ほとんど上記の記事と同じような内容で書いたのでPython入門記事としては色々抜けていたりしますがご了承ください。 Pythonは現在3.x系がリリースされていますが本記事では基本的にPython2.6について書きます。 参考文献： 初めてのPython (asin:4873113938) Python Documentation Index http://www.python.org/doc/ Python 和訳Document http://docs.python.jp/2/ 0. 対話環境として使う 対話環境 pythonはそのまま実行すると対話環
可及的速やかにReactが絶滅しますように。 以下はFront-End Developer Handbook 2018の第三部、Front-end Developer Toolsからリンクされているツールと、その簡単な紹介です。 ドキュメントツール 開発者向けドキュメント、APIリファレンス Dash 200以上のAPIリファレンス、100以上のチートシートを一括ダウンロードできる。有料、Mac用。 DevDocs 200以上のライブラリをオンラインで検索できる。無料。 Velocity 中身はDashと同じ。有料、Windows用。 Zeal Windows、Linux、MacOS用各種揃っている無料のオフラインドキュメント。 チートシート devhints.io JavaScript、CSS、Go、vim等のショートカット、書式などチートシート。字が薄くて見辛い。 SEOツール Key
ぼくたちのかんがえたさいきょうのi18n国家
本記事は下記のtweetから始まるスレッドに触発され、@qnighyや@na4zagin3からアイディアを拝借して書いた。 i18n力が最強の国は国内に複数の言語があり、そのうちいくつかは他国でも使われている言語の方言で、1バイト文字での代替表記が困難で、歴史的にISO-2022ベースの文字コードとUnicodeと独自エンコーディングが混在していて、フリガナなどの特殊な組版規則があり、右書き左書き縦書きを併用し、 — Masaki Hara (@qnighy) 2018年8月6日 皆さんのおかげで最強のi18n国家が建設されつつある。一瞬で滅びそう — Masaki Hara (@qnighy) 2018年8月6日 長い前置き ソフトウェアのi18nは難しい。自文化では当たり前と思っていてハードコードしてしまった仮定が崩れて、大幅な再設計を余儀なくされるからだ。気づいて再設計できればまだ良
iPhone 3G の基本操作から、ちょっとした小技・裏技まで、一気にまとめてみた。 超基本から、意外と知られていないことまで色々。 知人がiPhone買ったら、とりあえずコレ見てから質問して、と言いたいものばかり。永久保存版。 操作の名称 タップ 指で軽く叩く操作。マウスのクリックに相当 ダブルタップ 2回叩く操作。ダブルクリックに相当 ドラッグ 写真を移動する時に指をずらす操作 フリック リストをスクロールする時に指で軽くはらう操作 ピンチ 2本指でのつまむ操作の総称 ピンチアウト/ピンチオープン 2本指の間を広げて拡大する時の操作 ピンチイン/ピンチクローズ 2本指の間を縮めて縮小する時の操作 スリープ状態のまま、iPhoneを操作 スリープ時に、ホームボタンをダブルクリックすると、iPodのコントローラを表示できる。さらに起動中にダブルクリックすると、電話のよく使う項目や、iPod
Mac OSXでのvim環境整理。.vimrcやらオヌヌメPlug inやらまとめ。 - ( ꒪⌓꒪) ゆるよろ日記
「そんな.vimrcで大丈夫か?」 「一番いい設定をたのむ」 ってことで、新しくMacbook Pro 15inch買ってSSDで世界が変わったゆろよろですこんにちうぉー。 で、pathogen.vimというvimのplugin管理を導入して、.vimrcやら見直したりしてみたんで色々と紹介してみようと思ったんですわ。 まぁ、この記事見たのがきっかけです。 vimプラグインでよりよいコーディングを | tech.kayac.com - KAYAC engineers’ blog もっとVim戦闘力を上げたいので、誰かvim scriptのハンズオンとかやって俺にvim scriptの書き方を教えてください……! MacVim-KaoriYaのinstall まずは、vim本体をMacVim-KaoriYaにします。 MacVimに対して、香り屋パッチの統合、ローカライズ、MacVim固有の
Mac Explorer｜ Snow Leopard でこれまでお世話になってきたアプリケーションなどまとめ
次期OSであるLionのリリースが迫ってきているということで、今現在まで、Snow Leopard を使用してきた環境、使ってきたアプリケーションやプラグインなどなど、全てまとめてみようと思います。 本当に便利なツールばかり。開発者の方々に敬意を表するとともに、今後自分がLionへ移行した時に以前の環境を参照するメモの一つとして、また次のOSでもできるだけ同じ環境が作れたらなぁという期待を込めて。 また、自分自身Macを購入したばかりの時、Macの手書き説明書さんの以下のエントリーをかなり参考にさせていただいたという経緯があります。少し時間の経った記事ですが。 僕のMacができるまで | Macの手書き説明書 この素晴らしい仕事を非常にありがたく感じていて、またこれまでMacを使ってきた自分も自分なりに快適な環境を晒せば誰かの役に立つかもしれないと考えました。いつかまとめたいと思っていたの
EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。 誤った運転方法により本来の性能を引き出せていなかったのである。 （spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより） こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。 過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。 そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。 しかし、実際にPythonで書き直そ
Perlメモ
複数のプロセスでロック状態が異常であると判断し，そのうちの 1つがロックを解除したことにより，別のプロセスがロックしたにもか かわらず，先ほどロック状態が異常であると判断したプロセスによってこの正常なロッ クを解除されてしまう可能性があります． この方法の問題点は，異常なロック状態を解除する操作が正常なロック状態をも 解除できてしまうことにあります．逆に言えば，異常なロック状態を解除する操作に よって正常なロック状態を解除できなければ問題ないわけです．そのためにはどうす ればよいのか？ 答えはロック状態が常に変化していけば よいということです．そして，これを実現するのに都合がよいのが rename による方法になります． 最初のスクリプトで説明しますと，ロックファイルが lockfile という 名前のときがロックが解除されている状態で，lockfile987654321 のよう に後ろに
SurfacePro3買いました。なかなか面白いデバイスですね。 こころがぴょんぴょんするんじゃ～～ SurfacePro3を機に久しぶりにWindowsを触るという方もいらっしゃるかと思うので、Windowsでの開発環境構築まとめを書いてみます。タイミング的にタイトルにSurfacePro3を入れましたが、SurfacePro3特有の話はありません。 アカウント作成 いきなりですが、アカウント作成のときに注意点があります。ユーザー名に日本語を使ってはいけません。GNUツールの中には日本語パスやスペースを含むパスを考慮していないものが割とあります。あるいはemacsのように、プログラム自体は対応していても、プラグインの中に対応していないものがあるというケースもあります。それはそういうプログラムの問題ではあるのですが、使いたいプログラムが動かないと仕方がないですので、あらかじめユーザー名を英
OLの事務vim日記 - 藻ログ
4月から都会でOLとして働き始めたので, OL的windowsの事務処理環境を手探りで作ってみました. OLとWindows 事務処理といえばOffice, 当然Windowsで行うことになります. 今時のOLは家ではLinuxを使っているはずなので, 自然とシェル環境で困ることになります. Windowsが本当にわからない linuxコマンド使いたい（DOS音痴） Cygwinは嫌い MinGW+MSYS にしてみたい(けど未だによくわかってない) 事務PCなので, 大掛かりな環境は入れたくない（入れられない） WSL ? そもそも Windows7 なので（ry） などのモチベーションから 色々見ていてcmderが良さそうだなと思ったのですが cmder.net 所属機関でフィルタされて落とせなかった（つらい）ので, ConEmu + msys bash の組み合わせで端末環境を整える
文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ 文字コードには、どのような種類があり、それぞれどのような意味を持つのか、といった、文字コードの基本的な概念、従来の文字コードを紹介し、現在のUnicodeの構成を概説し、プログラミングにおいて注意すべき箇所をいくつか取り上げます。 ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。 本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説します。 文字コードとは？ Unicode以前の文字コード Unicodeとその主な符号化形式 UTF-16 UTF-32 UTF-8 Webで文字コードを指定する仕組み
限界までMySQLを使い尽くす!!
どこまで出来るか?!やれるところまでやってやるぜ!!と、威勢が良いのは若い間だけの話。オトナのオトコは、攻めるときはとことん攻めるが自らの限界もわきまえて賢く振る舞うのがスマートってものである。というわけで、今日はMySQLのいろいろな限界についてまとめてみる。皆さんも是非MySQLの限界を知り、MySQLをもっとスマートに使って頂きたい。 SQL文の最大長 MySQLサーバーが実行出来るSQL文の最大長は、max_allowed_packetシステム変数で表される。max_allowed_packetの最大値は1GBである。max_allowed_packetの値はセッションごとにも設定可能なので、デフォルトではそこそこの値（16MBなど）に設定しておいて、必要に応じて大きな対を使うと良いだろう。 データベースの個数 データベースオブジェクトの個数に制限はない。データベースオブジェクトは
本気でPythonをやりたいならあわせて読みたい「え？君せっかく Python のバージョン管理に pyenv 使ってるのに Vim の補完はシステムライブラリ参照してるの？」 2013-06-23 21:30 おしりに追記しました 2013-06-24 10:00 設定等微修正しました 2013-06-24 15:20 quickrunの設定を修正しました 2013-07-03 14:30 間違い等を修正しました 様々な開発環境を試してきましたが、結局Vimに落ち着いてしまっているAlisueです、どうも。 Vimを最強のPython IDEにするを書いてからかれこれ二年ほどが経ちます。 二年もあると新しいVimプラグインが増えるなどし、先の記事内容では最強ではなくなってしまいました。なのでこの辺でもう一度現在の最強をまとめてみたいと思います。 基本方針 プラグイン関係はすべてNeoBu
－ 若葉マーク管理者に捧げる － LinuxやUNIXをWindowsのファイルサーバ／プリントサーバとしてしまうことができる「Samba」は、手軽にファイル共有環境を構築することができ、サーバ管理入門にもぴったりです。インターネット上の関連情報も豊富ですが、しっかり出所を確かめないと誤った設定を招く恐れがあります。 オープンソース・ソリューション・テクノロジ株式会社 代表取締役 チーフアーキテクト 小田切 耕司 2008/4/22 Windowsとのファイル交換を手軽に実現するSamba Sambaは、LinuxやUNIXをWindowsのファイルサーバ／プリントサーバとしてしまうことができるオープンソースソフトウェア（OSS）です。Sambaの導入によって、LinuxとWindowsが混在する環境で、手軽に情報共有を行えるようになります。 Sambaは、大きく以下の4つの機能を提供しま
開発環境としてのMac OS X Leopard - Blog by Sadayuki Furuhashi
なかなかrootにならせてくれない、ハードウェアを選ばせてくれない、設定ファイルをviでいじらせてくれないなど、不自由なUNIX : Mac OS Xですが、それ故の自由が何物にも代え難い今日この頃。Leopardになってcron+pdumpfsの仕事まで持って行かれてしまいました。 前回のTiger版カスタマイズメモに引き続いて、Mac OS Xのカスタマイズを書いておこうと思います。 Terminal.app タブ機能が実装されたりssh-agentがKeychainと統合されたりと、Leopardで驚異的なアップデートが行われたターミナル周りですが、まだまだ改善できる余地があります。問題は以下の3点。 HomeキーとEndキーが使えない 色が見にくい ショートカットキーが使いにくい まずHomeキーやEndキーですが、これは環境設定で変更できます。Terminal.appの環境設定の
2012年12月4日：Vim化について指摘と参考になる情報をいただいたので追記しました。 こんにちは、僕はVimユーザーです（ちなみにVimを完璧に使いこなしているわけではありません）。 今更ながら「Sublime Text 2」というナウでヤングなエディタも使いこなせるようになりたいと思い、Sublime Textの基本設定からプラグインやスニペットの作り方まで調べた内容をこの記事にまとめることにしました。 細かい情報までまとめることはできなかったので、より詳しい内容を紹介してくださっているブログやサイトへのリンクを設けています。 この情報以外にもSublime Text 2をVimに近づけるプラグインやカスタマイズ方法があればコメントいただけるとうれしいです。 また、間違いがあればコメントいただければすぐに直します。よろしくお願いします！ Sublime Text 2は有料（$59）の
Emacs 最新版の解説は Emacs24 のインストールと新機能 を参照してください。 概要 Mac OS X 上で Emacs23 の利用を始めてから使いこなしまでの解説。 今の所この文章はあまりコンピュータ初心者向けとは言えません。Emacs をまったくしらない場合はJFの文章である Emacs Beginner's HOWTO が参考になるでしょう。 またこの文章は http://macemacsjp.sourceforge.jp/ に書いた物を中心に個人的なメモをまとめた物です。 以下で Mac Emacs のメーリングリストを運営しています。Mac上で Emacs を利用している方は加入してみてください。 http://lists.sourceforge.jp/mailman/listinfo/macemacsjp-users またはてなで Emacs グループを運営しています
MeCab: Yet Another Part-of-Speech and Morphological Analyzer(形態素解析エンジン)
MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2008-02-03 MeCab 0.97 マルチスレッド環境で辞書を開くときの排他制御がうまくいっていなかったバグの修正 Windows版でインストール時に辞書の文字コードを指定できるようになった 一部のコンパイラで正しくコンパイルできなかった問題の修正 部分解析モードを変更するAPI の追加 (Tagger::set_partial()) ラティスの生成レベルを変更するAPI の追加 (Tagger::set_lattice_level()) 温度パラメータを変更するAPIの追加 (Tagger::set_theta()) 全候補出力モードを変更するAPIの追加 (Tagger::set_all_morphs()) 2007-
ゴールデンウィークはいかがお過ごしされただろうか。今年は天気も良く、行楽日和が続いたように思う。 さて、先日MySQL 8.0が正式にリリースされた。少し時間が経ってしまったが、今回はMySQL 8.0の新機能について紹介したい。コミュニティ版のダウンロードはこちらから可能だ。 ひとつ前の正式バージョンはMySQL 5.7だったのだが、MySQL 8.0は非常に大きなリファクタリングが含まれており、5.x台のバージョン番号を捨て去ろうという話があった。そこで、次のメジャーバージョンは最初の桁を増やすということになったのだが、MySQL 6.0は過去に既に存在し、買収などの騒ぎで開発が頓挫してしまった経緯がある。7.xはMySQL NDB Clusterと被っている。というわけで、5.7の7の部分の次という意味合いもあって、8.0というバージョン番号を引っさげ、満を持しての登場となった。その
はじめに こんな人が役に立つ記事 コーディング業務の効率を上げたい。 コーディングに関するチートシートを知りたい。 打つのもめんどいからコピペでなんとかしたい（笑） 今回は、コーディングに役立つチートシートをまとめました。 VSCODEチートシート エンジニアなら必ず使うであろうVsCodeのショートカットチートシート。これはよく使ってます！ HTML系のチートシート集 HTMLに関するチートシートをまとめてみました。 HTML5 タグチートシート HTML5 のタグチートシート。サイトには 5 から廃止になった避けるべきタグなどもまとめてられており、 PDFでダウンロードできます。 HTML5 入れ子チートシート HTML の入れ子の可否を視覚的に分かりやすく、色づけしてくれます。対象要素の親、子を選ぶだけで、簡単に調べることが出来ますので便利なチートシート 特殊文字一覧：HTMLで使え
うわっ...私のEmacs、使いにくすぎ？だったら...ｶｽﾀﾏｲｽﾞｼﾔｯｾｰ!!ﾀﾞｧﾀﾞｧｼｴﾘｲｪｯｽｯｼｪｰｼｮｰﾍｲﾍｲ!!! - 三等兵
日々事あるごとにﾀﾞｧﾀﾞｱ言っとります。たとえばタンスの角に小指をぶつけりゃ、 「ﾀﾞｧ!!!」 扉を閉じるときに指を挟んで、 「ﾀﾞｧ!!!ﾀﾞｧ!!!」 猪木がイチ,ニ,サンと叫ぶものなら、 「ﾀﾞｧ-------!!!」 と言っとりますがあーーー！！！・・・という荒ぶる猪木の気分ではありませんが。 MacになってからCodaと付き合いだして疎遠になっていました。でもやっぱりEmacs使ってたときが一番捗ってたのでまたお付き合いを始めようかと。 ・・・え？Emacsとの馴れ初めですか？気になります？気になります？そうですね、あれは、忘れもしない雪がしんしんと全く降ることがない初秋のある日のことでした。私は当時は日々事あるごとに「ﾍｧ!!!ﾍｧ!!!」とウルトラマンしていました。時々「ﾌｫｯﾌｫｯﾌｫ!!!」とバルタンもしてました。クセなんです。そして出会いました。 ピグモンと。 それ
Cコンパイラをスクラッチから開発してみた（日記）
以前に8ccというCコンパイラをゼロからひとりで開発していたときのログです。40日でセルフコンパイルできるところまで到達しています。日付はすべて2012年です。コードとヒストリはすべてGitHubで見れます。 3月4日 というわけでコンパイラを作っているわけだけど、1000行くらい書いたらそれなりに動き始めてきた。こんなのも動くし： int a = 1; a + 2; // => 3 こういうのも通る。 int a = 61; int *b = &a; *b; // => 61 文字列は文字の配列として扱っていて、配列をポインタに成り下げる振る舞いも実装しているので、こういうのも通る。関数呼び出しもある。 char *c= "ab" + 1; printf("%c", *c); // => b 前回もこのあたりはがんばって実装したからここまで作るのはわりと単純作業かも。二回目だから配列とか
ショートカットキーはすべてのアプリケーションでほとんど共通。 アプリによってはEmacsやviのキーバインドが使えることがある。 optionまたはshiftを押しながらメニューバーの項目を選ぶと項目が変化する。(Finderで確認) Dockアイコンを右クリックしながらoptionで、メニューの項目が変化する。 option+Dockアイコンクリックで隠す。 コマンド+Dockアイコン(含Stack)クリックでアプリをFinderに表示。 コマンド+Stack内の項目クリックでその項目をFinderに表示。 タイトルバーダブルクリックでしまう。 コマンドを押しながらドラッグでメニューエクストラやツールバーの項目を移動できる(システム標準のもののみ)。 ↑そのまま枠の外に移動すると消すことができる。 Stackを右クリックすると細かい設定ができる。 Finderで項目をドラッグ中にopti
遅ればせながら モダンな Perl の開発環境の構築方法 モダンなPHPの開発環境の構築方法 モダンなPythonの開発環境の構築方法 モダンな Java の開発環境の構築方法 に続いてみる。MySQLは言語じゃないけど。 コンパイラ等MySQLをソースからビルドするのでなければコンパイラ等は必要ないけど、どうせアプリ開発に必要なので「MySQLなんかいつでもハックしてやるぞ！」という意気込みを示すために入れておこう。OSXならXcode、LinuxならGCC。最新のソースコードじゃないとヤダ！という粋な人にはBazaarのインストールもお勧めしたい。Bazaarは言わずと知れた分散バージョン管理システムであり、MySQL開発チームも採用している。最新のソースコードは次のコマンドでゲット可能だ。 shell> bzr branch lp:mysql-server/5.1 mysql-5.1
おそらく、誰もがやる深夜のWebサーフィンは、究極のところ時間の無駄ではないのかもしれない。 それは、Webで夢をみているのにほかならないのだ。(T.B=リー「Webの創成」より) さて、Vim導入メモを書いてから、早いものでもう一ヶ月経ってしまいました。 ようやく使い方にもそこそこ慣れてきたので、今回はVim導入の一番の目的でもあったRails開発についてまとめてみたいと思います。 Rails開発に役立つVimスクリプト(必須) Vim/Ruby Vim/Ruby Configuration Files これはVimでRubyを扱う際の最も基本的な拡張機能と思います。 .rb(ruby)と.rhtml(eruby)のファイルでシンタックスハイライトが有効になるほか、オムニ補完(<C-X><C-O>で表示される自動補完)も使えるようになります。 omni補完 - モデル内で「has」と入力
本当はエスケープシーケンスのことを調べていたのだが、その前にASCIIコードについて調べることになってしまった...。文字コードの基本として知っているつもりだったASCIIコードについて、あらためて見直してみると、実は本当の意味をよく分かっていなかったことに気づいた。 ASCIIコード表 ASCIIコードは、7ビット（2進数7桁）の文字コードであり、全部で128のコードが定義されている。 最も基本的な文字コードであり、その他多くの文字コードはこのASCIIコードと互換性を維持している。 00 10 20 30 40 50 60 70 00 NUL DLE SP 0 @ P ` p 01 SOH DC1 ! 1 A Q a q 02 STX DC2 " 2 B R b r 03 ETX DC3 # 3 C S c s 04 EOT DC4 $ 4 D T d t 05 ENQ NAK % 5
退屈なことはPythonにやらせよう 第2版
一歩先行くハイパフォーマンスなビジネスパーソンからの圧倒的な支持を獲得し、自作RPA本の草分けとして大ヒットしたベストセラー書の改訂版。劇的な「業務効率化」「コスト削減」「生産性向上」を達成するには、単純な繰り返し作業の自動化は必須です。本書ではWordやExcel、PDF文書の一括処理、Webサイトからのダウンロード、メールやSMSの送受信、画像処理、GUI操作といった日常業務でよく直面する面倒で退屈な作業を、Pythonと豊富なモジュールを使って自動化します。今回の改訂では、GmailやGoogleスプレッドシートの操作、Pythonと各種モジュールの最新版への対応、演習等を増補しています。日本語版では、PyInstallerによるEXEファイルの作成方法を巻末付録として収録しました。 訳者まえがき まえがき 第I部 Pythonプログラミングの基礎 1章 Pythonの基本 1.1
1.ガチ新人向けのコンピュータに関する教養 新入社員で専門課程で情報処理教育を受けていない場合の基礎教育 専門教育を受けていてもレベルによっては、適宜読んだほうがよい プログラムはなぜ動くのか 第２版 知っておきたいプログラムの基礎知識 プログラマにとってCPUとはなにか データを2進数でイメージしよう コンピュータが小数点数の計算を間違える理由 四角いメモリーを丸く使う メモリーとディスクの親密な関係 自分でデータを圧縮してみよう プログラムはどんな環境で動くのか ソース・ファイルから実行可能ファイルができるまで OSとアプリケーションの関係 アセンブリ言語からプログラムの本当の姿を知る ハードウェアを制御する方法 コンピュータに「考え」させるためには レッツ・トライC言語! ネットワークはなぜつながるのか 第2版 知っておきたいTCP/IP、LAN、光ファイバの基礎知識 第1章 Web
1.はじめに 今の子どもって、アスキーコードとかも分かってないのかもね 意外とコンピューターの教育とか基礎が抜けているのではないかな。 Ctrl-GのBELLとかもまるで知らないんじゃないか。 なぜCtrlキーがCtrlなのか、ShiftキーがShiftなのか ∧ ∧ ヽ(・∀ ・)ﾉ ＜Ctrl-Gってなーに？ (( ノ( )ヽ ))←Me < >というわけで、調べてみました。 2.Shiftキー 昔はタイプライター(参考資料1)という機械で文章を紙に印字していました。構造的にはキーを押すと、その先についているハンコが紙に押ささり印字されました。キーと文字が1対1でしたので、文字を増やすにはキーを増やすしかありませんでした。そこで、機械的にハンコの方をずらすことで、一つのキーに対して二つの文字が打てるような仕組みができました。この機械的にハンコをずらす(シフトする)キーのことをShi
UTF-8の冗長なエンコードとは何で、なんでそれがセキュリティ的に危ないのか？を文字コード知識レヴェル3くらいの凡プログラマが考えてみる - tohokuaikiのチラシの裏
何故かあたり前にならない文字エンコーディングバリデーション | yohgaki's blog ってあるように、いまいち文字コードの不正な判定による危険性ってのが分かってない。 SJISの問題は、（2/3）SQLインジェクションを根絶！セキュア開発の極意 - 第5回■注目される文字コードのセキュリティ問題：ITproの記事がわかりやすかった。 というか、やっぱりPHP使ってると誰でも一度は「なんじゃこの『￥』は？」って思うもんなんで。 なるほど、確かに↓の図のように「あるバイト」が2つの意味を持つっていう文字コード形態はやばいんだなと。 EUC-JPはそんなことはしないで、1つのバイトには1つの意味しか取らせない。 だけど、これでも文字化けが起こることがある。経験的には、「マルチバイトをXX文字で切り落としたい」とかやった場合。ちゃんと文字コードを判定してくれるPHPでいえばmb_subst
Markdownで文章を書こう！ - ゆーすけべー日記
みなさんはどのようなエディタでどのような記法で文章を書いていますか？ 状況によるとは思いますが、WordとかMacのPagesで文章を書いているという方や Evernoteでメモを取っているという方、または、Blogの投稿フォームに綴っている方、 様々だと思います。 僕も書くものによってはPagesやEvernoteも使うのですが、一番文章を書く手法が「プレーンテキスト＋Markdown」というものです。今もこの手法で書いています。Blogを書く時、雑誌の原稿を書く時、はたまたメルマガの原稿を書く時、全てにおいてこのやり方は今の僕にとってベストです。 プレーンテキストである利点 そもそもプレーンテキストとはWikipediaによると、 プレーンテキストには文字情報以外の情報は一切含まず、テキストデータのみで構成されている。バイナリデータや文字の整形情報を持たないので、最低限の機能しか持たな
Sublime Textの作業効率を飛躍的に上げるプラグイン31個 | aucfan Engineers' blog
こんにちは、湘南生まれデトロイト育ちのきんぐです。 入社してから1年半ほどWebマーケターをやった後、気付いたらエンジニアになってました。 そんなこんなで異動してから9ヶ月が経ち、合コン等で Q.「お仕事は何されてるんですか？」 A．「うぇ・・うぇぶえんじにあです。ほーむぺーじの運営してます。」 くらいは言えるようになったので、 本日は僕の相棒とも呼べる Sublime Text 2(3)のオススメプラグインを紹介したいと思います。 （そんな技術的なこと書いても、ね。） 私はSublime Text 2を使っていますが、これから導入する方はせっかくなので3使いましょう。 （当時2にあって3にはないプラグインがあった為未だに乗り換えてません） ※Sublime Textのインストール方法などは端折りますので、知りたい方は各自ggってくださいませ。 ■絶対入れるよねプラグイン ●A
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いますぐコマンドプロンプトを捨てて、Cygwinを使うべき１０+の理由 - それマグで！
知らなかったらNGなWEBアプリケーション脆弱性一覧 : mwSoft blog
2017年のフロントエンドエンジニアならこの程度は知ってて当然だよな？ - Qiita
PHP と Web アプリケーションのセキュリティについてのメモ
Python基礎文法最速マスター - D++のはまり日誌
2018年のフロントエンドエンジニアならこの程度は知ってて当然だよな？ - Qiita
【永久保存版】iPhone 基本操作・小技・裏技、総まとめ。 | ゼロ・デザイニング [0-designing]
この処理Pythonでどう書く？ - エムスリーテックブログ
開発者がSurfacePro3を買ったらまずやること - Qiita
Vimを最強のPython開発環境にする2 - Λlisue's blog
Sambaサーバ構築、5つのべからず：2008年版（1/2）
Sublime Text 2の基本とカスタマイズ【Vim風】
Emacs23 (Cocoa Emacs) 入門から中毒まで : 紹介マニア
MySQL 8.0登場！立ち止まることを知らない進化はこれからも続く。
【サボりたいエンジニア向け】コーディングに役立つチートシートまとめ - Qiita
Mac OS X の tips いっぱい - novi's page
漢(オトコ)のコンピュータ道: モダンなMySQLの開発環境の構築方法
Vimを使ったRuby On Rails開発環境の構築 - ナレッジエース
ASCIIコードの秘密 - ザリガニが見ていた...。
javaプログラマー向け学習のための本（新人から５年めくらいまで）を考えてみた - Qiita
ゆとり、キーボードの意味を知る - Webと文字