SpreadSheetでスクレイピング。Importxml他、便利な関数9+1 - Qiita
はじめに Livesense Advent Calendar 2015(その2) 、13日目を担当します、ktmgです。 ふだんはSEOなどやっております。 さて、Advent Calendar 2015。 「なんかエンジニアさんたちが楽しそうなことやってるなー」とハタから眺めていたのが昨年。 今年は職種不問にしたからなんか書け、という @masahixixi さんの指令を受け、はじめて投稿させていただきました。 本記事では「非エンジニアでもできる簡単スクレイピング 」というテーマにからめて、 Google SpreadSheetの便利な関数：9 Chromeの便利な機能：1（Copy XPath） をご紹介します。 素材・完成形 http://qiita.com/advent-calendar/2014/livesense 昨年の Advent Calendar を素材に、投稿記事一覧の
ウェブアプリをソースごとパクる業者に対する対策 - Qiita
こんにちは。みなさんもウェブアプリをリリースしたあとに同業者にソースごとパクられたことってありますよね。難読化しても難読化されたまま同業者のサーバで動くので困ったものです。そこで、私がとった解析しずらい対策をまとめてみたいと思います。 前提 多機能な画面をJavaScriptでゴリゴリ作ったのにもかかわらず、HTMLやCSS、JavaScriptファイル一式を自社サーバにまるごとコピーして、ライセンス表記だけ書き換えて使うような業者を罠にはめるということを想定しています。 当然通信をリバースエンジニアリングする人もいるので、自社サーバでは防げないという前提です。 HTMLにはauthorメタタグ よくあるMETAタグで権利者を明記します。これは権利の主張もそうですが、JavaScript自体に権利者が認定した権利者でなければ無限ループを起こすという処理のためにも使用します。逆に、権利者が我
クラスメソッド機械学習のカレンダー | Advent Calendar 2017 - Qiita
The Qiita Advent Calendar 2017 is supported by the following companies, organizations, and services.
日本語極性判定を作って公開した - Qiita
はじめに 日本語極性判定APIを公開しました。こちらで公開しています。極性判定は、入力テキストについてPositiveかNegativeを判定する技術です。早速動作を見てみましょう。 ※11月6日アップデート 最新の性能情報はこちらでアップデートします。 デモサイト みんなで改善するSocial Sentiment APIはこちらから利用できます 関連情報 deeplearning4jで日本語WikipediaのWord2Vecを作る deeplearning4jのword2vecの限界とその上手な使い方 deeplearning4jのdoc2vecで極性判定してみた deeplearning4jのdoc2vecにwikipediaのword2vecモデルを注入する deeplearning4jでword2vecのベクトルデータからNNで極性判定してみる deeplearning4jでwo
ツイートを要約してくれる執事を作りました【最大被覆モデル】 - Qiita
はじめに 今回は最大被覆モデルを使ったツイートの要約APIを作りました。キーワードを指定すると直近の話題を要約して教えてくれる、まるで執事のようなAPIです。たとえば「気になっている製品の市場の声を知りたい」「自分の会社のニュースや評判を知りたい」「今流行しているFGO関連のネタツイートを知りたい」などの用途で使えます。 API公開しました ツイート要約コンシェルジュ 使うまでの手順や解説はこちら Javaサンプルコードはこちら public class Api27TwitterSummarizeExample { static String ENDPOINT = "https://api.apitore.com/api/27/twitter-summarize/get"; static String ACCESS_TOKEN = "YOUR-ACCESS-TOKEN"; public s
日本語Word2Vecを作って公開した - Qiita
はじめに Word2VecをApitoreで公開しました。日本語WikipediaにNeologdの辞書を使いました。無料で使えるWeb APIなので、ハッカソン等で使えると思います。今回公開したWord2Vecは、日本語WikipediaをKuromoji+Neologdで形態素解析したものを学習データに使っています。Neologdを用いているので、最近の単語（e.g. 「とある魔術の禁書目録」）も扱えるのがおもしろいところです。 APIのページはこちら。 関連記事 deeplearning4jで日本語WikipediaのWord2Vecを作る deeplearning4jのword2vecの限界とその上手な使い方 Word2VecのWebAPIを無料公開しました word2vecを使って、日本語wikipediaのデータを学習する 特徴 Word2Vecの関数は2つあります。 Dist
Google Cloud Vision API（画像解析）を30分で試す - Qiita
課金について Google Cloud Vision APIの課金表は下記となっています。 今回は、トライアル（無料枠）で試します。 課金の注意点としては、課金の単位はリクエスト数ではなく、ユニット数になります。 例えば、「物体検知」 と 「有害コンテンツ」 を同じ画像について1つのリクエストに含めた場合、「物体検知」で1ユニット、「有害コンテンツ」で1ユニットとカウントされます。 Google Cloud Vision APIを用意 以下のサイトを参考にAPIキーを取得します。 Cloud Vision APIの使い方まとめ (サンプルコード付き) 検証 環境を用意 今回はPHPを利用して画像に有害コンテンツが含まれるか試すので、下記環境を用意しました。 - CentOS 6.7 - PHP 5.3.3 サンプルプログラム 下記プログラムをサーバ上に配置 ※api_keyの箇所は自分のA
小規模チームのタスクをTrelloで管理する
はじめに 今期から、クライアント企業の開発案件を抜けて、 企画、マーケティング含めた自社サービスのディレクションをすることになりました。 いわゆる社内外のサービス全般のなんでも屋さんでもあるため、 決まったタスクだけでなく臨時の依頼が割り込んだり、タスク管理が煩雑になりがち。 かといって、現在たった2名のチームで進めているので 堅苦しいタスク管理表とかはいらんだろ、、、(･Д･｀) そこで、Trelloを導入してみたので事例としてまとめておきます。 普通の開発プロジェクトで使う管理方法とはちょっと違うので、悪しからず。 Trelloとは 簡単にいえば、アジャイル開発だとかScrum開発だとか向けの、 チケット駆動に近いタスク管理ツールです。 公式サイトを読んでもわかりますが、 使い方をまとめている記事も多いのでざっと見てみると良し。 要するに、タスク管理から情報整理まで、いろいろできちゃう
iPhone/iPad/Apple Watch解像度(画面サイズ)早見表 - Qiita
用語解説 ポイント boundsやframe等で使用される論理的な画面サイズ。通常はこれを意識してプログラムを作成します。 ピクセル 描画が行われる論理的な画面サイズ。ピクセルパーフェクトな描画が必要な場合には、このグリッドに合うように描画を行う必要があります。 デバイス 端末に搭載された液晶の物理的なピクセル数。これが上記ピクセル数と一致しない場合には、ピクセルパーフェクトの描画は非常に難しくなります。 このサイトの解説がわかりやすいです。 https://www.paintcodeapp.com/news/ultimate-guide-to-iphone-resolutions 拡大モード iPhone6, 6 Plusでは、画面設定から拡大モードが選択できます。 上記の表にまとめた通り、retinaの倍率はそのままで、ワンサイズ小さいiPhone相当のポイント数になります。 iPho
アプリを約250個以上起動するとUser Defaultsが読み込めなくなる問題について - Qiita
最近iOSで発生していた、突然NSUserDefaultsの内容が消えてしまう問題について、Appleから公式にアナウンスがありました。 NSUserDefaults Data Loss Fix Starting in iOS 9.3, and in subsequent releases of iOS and macOS, NSUserDefaults could fail to load data if more than roughly 250 separate apps (including separate reinstalls of the same app) had been launched since the last reboot. This has been corrected. 原因はiOS9.3以降のiOSで、デバイスを起動してからアプリの再インストールを含めて約
ChromeデベロッパーツールでWebページのスクリーンショットをとる。拡張機能なしでね - Qiita
拡張機能でWebページのスクリーンショットをとると 今まではChromeの拡張機能を使ってWebページのスクリーンショットをとっていたのですが、ウィンドウ内を全てまるっとキャプチャーされたり、使い勝手が悪かったりと悩みの種でした。そんな中で見つけたデベロッパーツールのキャプチャー機能が個人的にしっくりきたので紹介します。 しっくりきたポイント 拡張機能をインストールしないでいい ウィンドウサイズを細かく設定できる おしいポイント キャプチャーが1クリックでとれない WebページのスクリーンショットをとるCapture screenshot スクリーンショットをとりたいWebページを開いてデベロッパーツールを起動します。 Webページのウィンドウサイズを細かく設定できるようにデバイスツールバーを表示します。デバイスツールバーはデベロッパーツール左上のアイコンをクリックすると表示されます。 Q
TensorFlowでGoogle Playレビュー分析 - Qiita
摘要 Google Play/App StoreのレビューにTensorFlowでタグを付けてレビューを分析 タグを付けることでわかった傾向や知見について紹介 性能改善テクニックについても紹介 はじめに アプリには大量のユーザーレビューが来るが， どれから改善すればよいか分からない． 何を改善すればよいか分からない． 分類しようにも集計する時間が非常にかかる といった問題点があったので改善する社内ツールを作ってみた． やってみたこと Google PlayおよびApp Storeの売上上位アプリのレビューにタグ付け タグの種類はガチャや起動，通信，感度,音質といった改善に繋がりそうな項目17種 タグ付けのメリット 人手による集計コストを削減できる． 共通の判断基準で集計できるので，異常に気づきやすい． タグごとの割合が分かるので，対策を立てやすい． 他タイトルとの比較もしやすい 調査概要
【決定版】MacでPythonを使って『機械学習』を学ぶための環境構築 - Qiita
株式会社キカガク 機械学習や人工知能の教育サービスを提供 フォローお待ちしております ビジネス目線の機械学習・人工知能の情報やオススメの参考書について発信しています。 代表取締役社長 吉崎 亮介 Twitter：@yoshizaki_kkgk Facebook：@ryosuke.yoshizaki Blog：キカガク代表のブログ それでは、前置きが長くなりましたが、環境構築をはじめていきましょう！ ローカル環境（Mac） 環境の違いにより、設定がうまくいく場合があります。 現在、私の手元のPCはMacの最新版OSが入っています。 ・macOS Sierra 10.12.3 うまくいかない場合はこちらに合わせてみてください。 Homebrewのインストール Homebrewというパッケージマネージャーを導入します。 日頃プログラミングをしない方は聞き慣れないかもしれませんが、プログラミングの
滝沢カレンの理解不能な文章を言語解析してみた。 - Qiita
滝沢カレンのインスタグラムの文章に中毒者が続出してるらしい。 滝沢カレンの理解不能なインスタｗｗｗｗｗｗｗｗｗｗｗｗ 引用元: https://www.instagram.com/takizawakarenofficial/ どのような文章構造になっているのだろう 実際に滝沢カレンの文章を読んでみると、日本語としてはなんとなく読めるのだが、文章の意味がなかなか頭に入ってこない。はじめは、何となく、ディープラーニング（RNN系かなにか）でコーパスを学習して、文生成した結果なのかとも思った。 このように感じる要因は色々あると思うのだが、言語処理的に、どのくらい理解不能な文章なのかを調べるために、滝沢カレンの文章を構文解析して、結果を可視化した。 手法 CaboChaを使って構文解析を試みた。 滝沢カレンの文章には句点「。」がほとんど使用されず、句点のかわりに絵文字が使われている。そのため、絵文
転移学習：機械学習の次のフロンティアへの招待 - Qiita
機械学習を実務で使う場合、「ではお客様、ラベルデータを・・・」と申し出て色よい返事が返ってくることはあまりありません。また、例えば自動運転車を作るときに、データが足りないからその辺流してくるか、お前ボンネットに立ってデータとってな、とするのは大変です。 NICO Touches the Walls 『まっすぐなうた』 より そこで必要になってくるのが転移学習です。 転移学習とは、端的に言えばある領域で学習させたモデルを、別の領域に適応させる技術です。具体的には、広くデータが手に入る領域で学習させたモデルを少ないデータしかない領域に適応させたり、シミュレーター環境で学習させたモデルを現実に適応させたりする技術です。これにより、少ないデータしかない領域でのモデル構築や、ボンネットに立つという危険を侵さずにモデルを構築することができるというわけです。 この転移学習の可能性は、NIPS 2016
DELETE_FLAG を付ける前に確認したいこと。 - Qiita
DELETE_FLAG という思考停止フラグ DELETE_FLAG という boolean の列が DB 設計でよく話題になります。 論理削除という言葉で上手に論理武装し、スキを見せるとすぐに入れたがる人がおり、 一方でそれにつよく反対する人もいます。 自分の経験としては、広義の論理削除はありえると思いますが、実現方法が DELETE_FLAG だとなった時、それはあまり考えてないでなんとなくパターンとして盛り込んでる場合が多いと感じます。 ただし、設計に唯一の答えは無いので、もしかしたらそれが妥当な設計である場合があるかもしれません。 今回は「DELETE フラグがなぜダメなのか？」などという話をするつもりも、アンチパターンだと断言するつもりもありません。 問題は、仕様をきちんと把握すると、「最適な設計は DELETE_FLAG ではない」という場合が有って、その場合は、その最適な設計
GraphQL入門 - 使いたくなるGraphQL - Qiita
本記事は Livesense Advent Calendar 2016 - Qiita の24日目の記事になります。 公開から1年ほどたち、当初はRESTの次の潮流か！？みたいな感じになったものの、イマイチ盛り上がってる気配のないGraphQL。 ただ、気になっていた技術だったので、気にせず2016年が終わる前にざっと調べてみました。 ここ2日ほどでざっと調べたもののまとめなので、理解や解釈に誤りや言ってる意味がわからないところがあればご指摘いただければ幸いです。 TL;DR 内容をコンパクトにしきれず（Queryにばかり集中して、Mutationについては全然触れてないのに！）かなり長くなってしまいました。実際は、 GraphQL | A query language for your API のTOPページを読んで雰囲気を掴み、 The GitHub GraphQL API | Git
RESTの次のパラダイムはGraphQLか - Qiita
のようなクエリをクライアントが発行することになります。 なぜこのようなシステムが必要かの説明の前に、RESTの問題点を挙げてみます。 RESTの問題点 Server Side Renderingの場合 コントローラでEager Loading等のクエリ最適化を意識しないといけない ビューを実装するときも結局裏側でどのようなクエリが発生するかを意識しないといけない Client Side Renderingの場合 コンポーネント毎に必要な情報をリクエストする場合、AJAXリクエストを何度も発行する必要がある 提供されているAPIが不十分だと、クライアント側でテーブル結合が必要となる 共通する問題 クライアント毎にちょっとずつ違うAPIを用意してメンテしないといけない 端末に応じて異なるサイズの画像を返す ネイティブアプリとウェブアプリで異なる結果を返す 等など APIに「暗黙的な契約」が発生
Mastodon用語まとめ - Qiita
MastodonではTwitterと同じ機能でも違う名前だったりして初見だと結構混乱する。 なので簡単にまとめてみた。 間違ってたり足りなかったらご指摘ください。 Toot Twitterのツイートと同じ Boost Twitterのリツイートと同じ Favourite Twitterのいいねと同じ instance Mastodonサーバのインスタンス。 mastodon.socialとかmastodon.cloudとかmstdn.jpとか 公開されているものだけでもかなりたくさんある。 コネクト instance同士が繋がること。 どうすれば繋がるのかはよくわかりませんでした…。 Local timeline instance内のTootが表示されるタイムライン。 フォローしてなくてもお構いなしに流れてくるのでユーザ数が増えると流速が大変なことに。 Federated timeline
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
rbenvでmacのrubyを最新にする - Qiita
