こんにちは。 みなさんTwitterでお気に入りの画像があったら保存しますよね。 僕の場合、日向坂46の高本彩花さんの画像をよく保存しているのですが、 「高速で更新されていくtweetから推しの画像だけを探して保存する」 この作業を繰り返すのは中々の手間なので、自動で検索&保存してくれるプログラムを書きました。 以下、作成手順になります。 1. Twitter Developersに登録 https://developer.twitter.com/ です。 久しぶりにログインすると何かと作業が必要だったので、ついでに手順をメモしておきました。 「Apps」から、Create an app ログインしているTwitterアカウントを確認 目的を選択 英字200文字以上で詳細に用途を書く 不要な項目は外せるので、必要な項目だけGoogle翻訳に頼って書いていきます Agreeして、申請！ しば

twitterユーザの画像を全部ダウンロードするスクリプトを書きました。 特定のユーザのtwitterの画像を全部ダウンロードしたかったので、 プログラムを書きました。 APIキー取得 twitterのAPIを利用するには、APIキーの取得が必要です。 Twitter developersからログインして、「Create an application」から アプリケーション登録すると取得できます。 Twitter Developers twitter REST API twitterの情報を取得するにはREST APIを使用します。 かなりたくさんのAPIが揃っていて、ほとんどなんでも操作できます。 REST APIs | Twitter Developers ユーザの写真を取得するには「GET statuses/user_timeline」を使用します。 GET statuses/use

Python の標準ライブラリには tarfile というモジュールがある。 このモジュールを使うと tar 形式で複数のファイルをまとめることができる。 また tarfile モジュールは gzip や bzip2 といった形式の圧縮・展開もサポートしている。 今回は、そんな tarfil…

I would like to break down a pandas column consisting of a list of elements into as many columns as there are unique elements i.e. one-hot-encode them (with value 1 representing a given element existing in a row and 0 in the case of absence). For example, taking dataframe df Col1 Col2 Col3 C 33 [Apple, Orange, Banana] A 2.5 [Apple, Grape] B 42 [Banana] I would like to convert this to: df Col1 Col2

LightGBMとは LightGBMとは決定木アルゴリズムに基づいた勾配ブースティング（Gradient Boosting）の機械学習フレームワークです。LightGBMは米マイクロソフト社がスポンサーをしています。（勾配ブースティングの仕組みについては後述します） 勾配ブースティングのフレームワークといえばXGBoostが有名です。両方とも勾配ブースティングのフレームワークですが、細かい部分で実装が異なります。XGBoostのリリースは2014年でしたが、LightGBMは後発で2016年にリリースされました。 機械学習のコミュニティで世界的に有名なKDnuggetsによると、Kaggleで上位ランキングを取った半数以上もの勝者が「勾配ブースティング」を使った実績があると報じています。（参照：こちら）。それほど勾配ブースティングは注目度の高い機械学習手法であり、今日のデータ分析競技には

はじめに Markdownが大好きなのですが、Markdownで表をつくるのは嫌いです。 なのでTSVとかからMDに変換するツールを GitHub.ioにhtmlファイルとして置いてきたのでぜひ使ってください。 改行とかはいってると駄目だし、結合とかされてる表だと駄目とか いろいろありますが普通に使う分には使えると思います。 結果 エクセルからコピペするだけでMarkdownの表に変換してくれます。 JS使っているのでGitHubが落ちていない限りすぐ作れると思います。 CSVかTSVかのデータを入力して "Create ✓"か"➜"みたいなのを押すと変換してくれます。 GitHub.ioからどうぞ。 サンプル画像 データ 地区 チーム 創設年 本拠地 サウスウェスト ダラス・マーベリックス DAL Dallas Mavericks 1980 テキサス州ダラス アメリカン・エアラインズ・セ

通勤時に立ち寄るコンビニで、いつも購入している紅茶やジュース。これからは「水」に変えたほうがいいかもしれません。 「Mic」に掲載された記事によると、水を飲むことが、気分やエネルギーにポジティブな影響を与えると分かったのだそう。生産性が上がらないと感じたら、ぜひ試してみて！ 普段の水の摂取量を基準とし 実験を行った結果… 水を飲むことには、多くのメリットがあるとされています。たとえば、関節の動きを滑らかにする、体から老廃物を排出させるなど。その他にも、『PLOS One』に掲載された研究によると、気分やエネルギーについてもポジティブな影響があることが明らかになりました。 詳しく説明しましょう。この研究は、水を飲むことが気分やエネルギーにどのような影響を及ぼすかを調査したもの。対象は2つのグループ。1つは、習慣的に水を飲んでおり、日に2～4リットルを飲んでいる人たち。もう一方は、ほとんど水を

Universal Dependenciesのもとで日本語文法に根ざした直感的な統語解析を可能にしたい。GiNZAが目指してきた自然言語処理のゴールにまた一歩近づきました。2020年8月16日にリリースした「GiNZA version 4.0」ですが、日本語の公式サポートが始まったspaCy version 2.3を土台とし、機能と性能を隅々までブラッシュアップしています。これまで以上に日本語の分析が容易になったGiNZA v4の文節APIについて詳しく解説します。 NLP（自然言語処理）技術は人が日常的に使う言葉を機械的に分析するための一連の解析処理に用いる技術の総称です。この「一連の解析処理」という部分が非常に重要で、例えば日本語の書き言葉の文であれば、最初に単語を区切ってからそれらを文節にまとめて係り受け関係を解釈する、という流れになります。英語の文の場合、単語はほぼスペースで区切ら

Windowsを使っている人にとっては以外に思うかもしれませんが、Windowsのフォルダに相当するMacのFinderには表示を更新する方法がありません。 しかし、ある方法で表示を更新することができます。特にソフトも必要ありません。 では、その方法とは・・・ Finderの上に下のようなボタンが並んでいると思います。 このボタンは、Finder内のファイルの表示をアイコン表示やリスト表示などに切り替えるためのボタンです。 このボタンを押して表示を切り替えます。そうすると、Finder内の情報が更新されます。 簡単な方法で更新することができますので、ぜひ試してみてください。

形態素解析について調べたのでまとめました。 形態素解析とは Wiki 形態素解析 形態素（けいたいそ）とはおおまかにいえば、言語で意味を持つ最小単位。 文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別する作業である。 自然言語処理の分野における主要なテーマのひとつであり、機械翻訳やかな漢字変換など応用も多い。 使用イメージ１ 文書分類、機械翻訳（リンク先スライド P12～21） 文書中の文章を形態素解析で分解してタグ付けし、文書を分類 文章を形態素解析で分解して翻訳 使用イメージ２ 形態素解析、bowによるベクトル化 '私達はラーメンがとても大好きです。' '私達は蕎麦がとても大好きです。' 上記二つの文章を bag of the words によるベクトル化をすると以下の

１.簡単な概要 この記事では都内ラーメン屋の食べログ口コミを自然言語処理して、「可愛い店員さんがいるラーメン店」を探す方法について解説していきます。 先日、食べログの口コミを読んでいる中で、「美人すぎるラーメン店主」という世の男性なら思わず「なぬ！」と立ち止まってしまうワードを見つけたので、ガチで調べてみたら面白そうだなと思いやってみました。 まずは、口コミデータの取得から。 ２.口コミデータの取得 詳しくはこちら↓↓で説明しています。 第１弾：【Python】ラーメンガチ勢によるガチ勢のための食べログスクレイピング 口コミを１件ずつ取得した後に、データフレームにまとめました。 ※食べログ規約にもとづき口コミに関する箇所にはモザイクをいれております。ご了承ください。 ３.可愛い店員さんがいるお店の定義 可愛い店員さんをどのようにして探すかが一番のポイントですが、 まずは、文章の中で「可愛い

それは git プロジェクトに別のリポジトリの特定コミットを示すポイントを埋め込むものです。 理屈の上では、「どのディレクトリに対して、どのリポジトリが関連付けられており、コミットオブジェクトのハッシュはこれです」っていう情報が管理されているだけのシンプルなもの。 以下のような構成のプロジェクトを簡単に管理できます。 root_project/ ├── external_project │   ├── library1（独立した git リポジトリ） │   │   ├── lib │   │   └── src │   ├── library2（独立した git リポジトリ） │   │   ├── lib │   │   └── src │   ├── library3（独立した git リポジトリ） │   │   ├── lib │   │   └── src │   └── li