プログラミングの原則：構造化テキストを文字列結合で作らない、置換でいじらない - Uzabase for Engineers
こんにちは、ソーシャル経済メディア「NewsPicks」のむとうです。 先日から『Ghost of Tsushima』の開発者が書いた『ルールズ・オブ・プログラミング』という本をちょっとずつ読み進めていて、プログラミング熱が高まっています。この本は大きな指針を示すだけで具体の話をするものではないのですが、読み物として面白いので私も似たようなことをやってみたくなりました。 何年もこういう仕事をしているとバグが入るパターンというのが見えてきます。そしてだいたいどこに行っても何の仕事でも似たようなことをすることになるのですが、今回の話もその一つです。 構造化テキストを文字列結合で作らない、置換でいじらないというのはこれだけみると何のことか分かりづらいかも知れませんがSaaS Product Team セキュアコーディングの啓蒙 第2回 （SQL インジェクション編）の内容とある面では同じ話です。
プログラミング初心者がKaggle Expertになるまでの１０ヵ月間を振り返る - Qiita
Kaggle Expertになったので、イキってポエムを書こうと思いました。 AIに興味あるけどプログラミングすらできないんだよねという人向けの参考になれば幸いです。 1. 初期スペック (2019年2月) 機械工学系修士卒。よくいるメカニカルエンジニア 線形代数も統計も正直そんなに好きじゃない。力学の方が得意。 AI？あれでしょ。将棋超強いやつでしょ？ パイソン？スト２のボクサーみたいなやつ？ 2. 現在のスペック (2019年12月) Kaggle Expert (微妙?) 機械学習コンペでそれなりの成績 (Kaggle Kuzushiji Recognition 7th,Signate tellus 3rd 5th) 機械学習：なんとなくコーディングできる。 深層学習：なんとなくコーディングできる。 関連論文読める。簡単なものは実装できる。 業務適用も見えてきた 3. 機械学習を学ん
遺伝的プログラミングによる特徴量生成でLightGBMの精度向上【kaggle Advent Calendar 11日目】 - u++の備忘録
本記事は、kaggle Advent Calendar 2018の11日目の記事です。 qiita.com 執筆のきっかけ 先日参加したKaggle Tokyo Meetup #5 の ikiri_DS の発表「Home Credit Default Risk - 2nd place solutions -」にて、遺伝的プログラミングで生成した特徴がLocal CV、Public LB、Private LBの全てで精度向上に貢献したという話がありました。 connpass.com 遺伝的プログラミングや遺伝的アルゴリズムは、大学の学部時代から興味があり、ブログでも何度か取り上げてきました。しかしKaggleなどで試したことはなかったので、自分で手を動かして検証してみようと考えた次第です。 upura.hatenablog.com upura.hatenablog.com 遺伝的プログラミン
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
Webスクレイピングの注意事項一覧 - Qiita
[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 * 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 * 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 * 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita はじめに Webスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。 ただ、法律の専門家による解釈ではないので責任は取れません。 この記事は、クリエイティブ・コモンズのCC-BYで公開致しますので、ご自由にご改修下さい。 データをダウンロードする時 目的は下記のものに限る。 * 個人や家族間で使用する * Web検索サービスを提供する * 情報解析をする ※参考：著作権法第30条・著作権法第47条(6
業種別企業名辞書データを公開しました - Y's note
Web解析Hacks ―オンラインビジネスで最大の効果をあげるテクニック & ツール 作者: Eric T. Peterson,株式会社デジタルフォレスト,木下哲也,有限会社福龍興業出版社/メーカー: オライリー・ジャパン発売日: 2006/11/08メディア: 単行本（ソフトカバー）購入: 3人 クリック: 78回この商品を含むブログ (21件) を見る 企業名辞書 業種と企業名の辞書データが欲しかったんでYahoo!FinanceのデータをCrawlして作りました。帝国データバンクや四季報のデータが使えると良かったんですが、Crawlできそうに無かったので諦めました。残念ながら2600社ほどのデータしか集まっておらず、個人的にはもっといろんなデータが欲しいです。他に良い方法をご存知の方いらっしゃいましたらご連絡いただけると幸いです。 Yahoo!ファイナンス - 株価やニュース、企業情
「アルゴリズム・イントロダクション 第3版 第1巻」 - カレーなる辛口Javaな加齢日記
アルゴリズムイントロダクション 第3版 第1巻: 基礎・ソート・データ構造・数学 (世界標準MIT教科書) 作者: T.コルメン,R.リベスト,C.シュタイン,C.ライザーソン,浅野哲夫,岩野和生,梅尾博司,山下雅史,和田幸一出版社/メーカー: 近代科学社発売日: 2012/08/02メディア: 単行本購入: 1人 クリック: 16回この商品を含むブログ (21件) を見るhttp://direct.ips.co.jp/book/Template/Goods/go_BookstempKindai.cfm?GM_ID=KD0406&SPM_ID=1115&CM_ID=004300304&HN_NO=00430 なんと出たらしい． Introduction to Algorithms (MIT Press) 作者: Thomas H. Cormen,Charles E. Leiserson,R
9万タイトル170万枚の AV のサンプル画像を集めた | ぱろすけのメモ帳
By Robert McDon. 皆様こんにちは！ 先日の記事『16万タイトルの AV の ID を dmm から集めた』の続きです。前回は IDBy Robert McDon. 皆様こんにちは！ 先日の記事『16万タイトルの AV の ID を dmm から集めた』の続きです。前回は ID を集めたので、今回はそれを元に画像をもりもりとダウンロードします。 画像の処理とかにトライするのはまた後日。今回の記事はダウンロードまでです。 大量のデータを用いれば何か出てくるかもしれないという期待、楽しいですね。 そういえば前回の記事について「ビッグデータ」という言葉を絡めてコメントをいただきましたが、正直この程度ではビッグデータでも何でもないと思います。レコード数16万というのはデータベースとしてはたぶん特に多くもないほうです。また、今回ダウンロードした総データ量は107GBですが、一般にビッグ
16万タイトルの AV の ID を dmm から集めた | ぱろすけのメモ帳
By RobertBy Robert McDon. 皆様こんにちは！ 今日は、「大規模AVサンプル画像認識」プロジェクトの第1回として、その下準備としての素材集めの話について書きます。これはもちろん何か悪事を働くためのプロジェクトではなく、コンピュータの活用によるユートピアの実現へ向けての第一歩と捉えていただければ幸いです。 さて僕は、画像処理や画像認識に関して、少しだけ知識があります。画像処理とは主に画像を処理して別の画像を吐き出すことで、たとえばフィルタをかけて色を変えたりぼやけさせたり、そういうようなことをしています。画像認識とは人工知能に比較的近い分野で、もう少し高度なことをします。たとえば、画像から顔を検出したり、写っているものが何であるか判定したりします。 画像認識では、近年、ネット上の大規模データを活用して何か賢いものを作ろうという話が多くあります。そのようなアプローチはアカ
Twitter感情分析サービスを作ってみた 〜一般意志2.0モジュールの実装〜 - いろいろ作りたい
Twitterのタイムラインやキーワードに対して、肯定・否定の印象を分析するWEBサービスとAPIを作ってみた。 Twitter感情分析所 たとえば「任天堂」というキーワードを入力すると、下のような感じに、どのくらい肯定と否定の発言をしているかがわかる。 ユーザのタイムラインも分析できる。 下はベッキー @Becky_bekiko の分析例。 自分のtwitterアカウントを分析すれば、自分の発言がどのくらい否定的な印象を放っているかが数値的にわかると思う。 一般意志2.0への利用 ところで最近、東浩紀という人が「一般意志2.0」という著書の中で、現代の行き詰まった民主主義を変える新たな統治方法のアイデアを提言した。それによれば、世の中が多様・複雑になりすぎて、今の熟議型民主主義ではもうどうにもならんところがあるから、みんなの意志（無意識的に表れる人々の意志）を参照しましょう、みたいなこと
『入門ソーシャルデータ』で文書クラスタリングと文書要約を学ぶ - 武蔵野日記
先日献本いただいた「入門ソーシャルデータ データマイニング、分析、可視化のテクニック」 入門 ソーシャルデータ ―データマイニング、分析、可視化のテクニック 作者: Matthew A. Russell,奥野陽（監訳）,佐藤敏紀（監訳）,瀬戸口光宏（監訳）,原川浩一（監訳）,水野貴明（監訳）,長尾高弘出版社/メーカー: オライリージャパン発売日: 2011/11/26メディア: 大型本購入: 18人 クリック: 779回この商品を含むブログ (42件) を見るを読了 (多謝！)。tkng さんも書評を書かれているし echizen_tm さんも書評を書かれているので、いまさら感は否めないが、別の観点から少し寸評。本書は、データを抽出してからの可視化の方法が全体の半分以上を占めていて、そういう方法を知らない人には参考になると思う。 研究のための実験をしていても、実は地味に重要なのは機械学習が
overlasting.net
overlasting.net 2019 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rubyで点数を集計するとき、あなたはどうしてますか？