高次元ベクトルデータ検索技術「NGT」のpythonライブラリ公開のお知らせ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに 検索技術の菅原です。 以前にこのTech Blogで紹介されたNGT（Neighborhood Graph and Tree）という高速な近傍探索を実現するソフトウエアのpython用インターフェースが公開されました。pythonは機械学習のライブラリが多く公開されており、より手軽にNGTを組み合わせて使うことができるでしょう。 そこで今回はword2vecのベクトルを近傍探索する実践的な内容を紹介します。word2vecを扱うライブラリとしてgensimを使用します。word2vecやgensimの詳しい説明は省略しますが、分からなくてもpythonの文法を知っていれば理解できると思います。今回使用した環境はMacBo
機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]
自分のブログのテキストを分析・可視化してみたい 以前自分のブログの分析を「内部リンク」や「はてブ情報」の観点で行ってみました。 ただ、目的無く分析してしまったので、結局イマイチどう活用してよいかよく分からない結果しか得られませんでした。 そんな前回の反省を全く活かすことなく、また何の目的もなくブログを分析してみることにしました。今回は以前から興味のあった機械学習を用いたブログの文章の分析・可視化（テキストマイニングと呼ばれるらしいです）にチャレンジしてみることにしました。どちらかというとテキストマイニングが主で、使用する素材（学習データ）に困ったので仕方なく自分のブログを使ってみたというのが正直なところです。 ネットでコピペすりゃ簡単にできるだろと思っていたのですが、自分のやりたいことするのはそれなりに大変だったので、知見としてやり方とどんなことが分かるのかを残しておきます。 ブログのテキ
![機械学習手法を用いてブログの文章を分析・可視化（テキストマイニング） - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/53baca70fcdf8a36bdde0cca3f5f5bb458dd6502/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F39108ba4d9212baac1dbca353b64e95fe71fc61b%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20180208%252F20180208010932.png)
ニューラルネットワーク使ったAIなんかめっちゃ簡単だから。俺天才ｗｗみたいなフリすんのやめろ - bonotakeの日記
スイマセン。クソ煽りタイトルですが、下記の記事のタイトル意訳しただけです。草生やして更にクソさを増してはいます。 Neural network AI is simple. So… Stop pretending you are a genius 個人的にはぜひ本文読んでこの記事のクソ煽りっぷりを満喫してほしいのですが、英語読むのもメンドクセという方に、何が書いてあるかをさらっとだけ説明すると。 要はニューラルネットワークって、↓のPythonで11行のコード分の処理やってるだけじゃね？ こんなの使いまわした程度で「うはｗｗｗ俺天才ｗｗｗ」みたいな顔すんのやめろ、ってことのようです。 まぁハッキリ言って、クソ記事ｗｗｗ煽り乙ｗｗｗなんですけど。 でもぶっちゃけ、真実なんですよ。ある面においては。 僕も今の会社に入るまでディープラーニングに関する知識ほぼゼロだったけど、今は少なくとも、自分の業
ExcelにPythonが搭載？ - Qiita
自分は、1年前からPythonを使い始めました。Pandasを始めとするPythonのデータサイエンス用のライブラリーは便利です。 つい最近、マイクロソフトがExcelにPythonを搭載することを検討しているというニュースが流れました。VBAとは長い付き合いなので、前半でVBAよりPandasが数倍便利だということを書いて、後半でExcelにPythonを搭載されることへのコメントを書くことにします。自分は、ExcelはデータのためのGUIツールとしては便利で役に立つツールだと思っています。ただ、VBAの方が長年放置されていて最近の言語としては落第なのでPythonが搭載されることを期待したいと思っています。急遽テーマを変更したので、時間がなくて以下は「Excel VBA Advent Calendar 2017 20日目」の記事と同じにしてしまいました。 「ExcelにPythonが搭
人工知能(AI)ブームに乗りたい人に切符を提供してみる : 新規事業のつくり方
この記事は、以下の方向けに執筆しています。 ・とにかくAIブームに乗りたい方 ・転職してAI案件に携わりたい方 ・AIに必要な知識だけをざっくり身に付けたい方 関連記事：AI人材になるにはスキルよりまず職種を選択しよう 清水亮さんがAI人材の不足を言われてから、人材不足感は一向に変わっておらず、むしろ不足感が強まっている。企業が本格的に取り組み始めたのに、検証できる人材が誰もいない。データ分析経験があったり、Pythonでnumpyとか少し触れる人が、AI人材として急に売れっ子になるのを何度も見てきたし、その流れはしばらく続くんだと思う。 BIベンダも最近その流れに乗って売り込み始めた。コンサル会社は、AIコンサルと言い始めた。SIベンダは、AIの専門部署をたくさん作り始めた。メーカーもR&D中心にAI人材を採用しはじめてる。 CONNPASSで機械学習と名の付くセミナーはすべて人気で埋ま
行列プログラマー
本書では数学的概念を実装するプログラムで実際に問題を解決しながら、その応用法を探求します。具体的には、図形変換、顔検出、画像圧縮、画像補正、ページランク、機械学習、暗号と秘密共有などの例を使い、ベクトルと行列、それらを動かすアルゴリズムについて学びます。対象は、プログラマーおよび具体計算を通じて線形代数を学びたい学生。厳密な証明が目的ではないので数学に詳しくなくてもかまいません。Python 3プログラムを用いることで図やグラフからベクトルと線形変換を視覚的にとらえることができるため読者はイメージをつかみやすいでしょう。章末の問題を解くことで自分がその章で何を学んだのか、また自分の理解度を確認できます。 関連ファイル サンプルコード サンプルコード 正誤表 書籍発行後に気づいた誤植や更新された情報を掲載しています。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ペー
「独習Python入門」は一生付き合える入門本だと334回言いたい - Lean Baseball
私がリスペクトするエンジニアの一人であり、ITエンジニア界隈の三大野球バカの一人*1であるござ先輩が本を出版されました. gothedistance.hatenadiary.jp 大変ありがたい事に、献本を頂いたので久々に書評など書いてみようかなと思います. [書評]「独習Python入門」 どんな本なのか 私の感想も含めて. Pythonを元にしたプログラミングの入門本 一人で学ぶ(独習)するときにハマりがちなポイントや、ステップアップするときに必ず覚えたほうがいい事を言葉の緩急を駆使していい感じに解説している！ 本を一冊やり切った(写経)した後も自宅の本棚に置いておきたい&必要に応じて再び読みたくなる本 私は読者層に当てはまらないのですが（汗）、初心者の気持ちになって思い出しながら読んで、 「ああ、最初にプログラミングを学ぶ本がこの本みたいなスタンスだと凄くいいな」 と素直に思いました
「独習Python入門」というプログラミング本を出版します - GoTheDistance
「独習Python入門――1日でプログラミングに強くなる！」というPythonでプログラミングを学べる入門書を出版します。皆さんご存知の小悪魔女子大生(現在はOL)サーバーエンジニア日記を書かれていた、aicoさんにイラストを頂戴しました。 8月5日、販売開始です。 8月5日、販売開始です。 大切なことでございますので、2回述べさせて頂きました。Amazonで予約受付を開始しています。詳しい目次や電子版の案内等があるので、版元の技評さんのサイトを貼っておきます。 gihyo.jp Amazonはこちらです。 独習Python入門――1日でプログラミングに強くなる! 作者: 湯本堅隆出版社/メーカー: 技術評論社発売日: 2016/08/05メディア: 単行本（ソフトカバー）この商品を含むブログを見る 画像がまだ反映されない... 本書を執筆したきっかけ 身内にプログラミングを教えてほしいと
Feedy(Python)でRSSフィードをいい感じに処理する - c-bata web
最近、RSSフィードをfetchしてゴニョゴニョ処理したいと思うことが多かったのですが、特に気にいるライブラリが無かった *1 のでFeedyというライブラリを作ってみました。 個人的には結構気に入っていて、便利に使えているので紹介します。 もともと欲しかった機能・特徴としては、 デコレータベースでシンプルに記述できる 当然、前回fetchした時間からの更新分のみの取得も可 RSSフィードのリンク先のhtmlも自動で取得して、好きなHTMLパーサ(個人的にはBeautifulSoup4)でいい感じに処理したい 具体的には↓のように記述します from feedy import Feedy feedy = Feedy('./feedy.dat') # 前回フェッチした時間とかを格納(Redisとかに自分で置き換えることも可能) @feedy.add('https://www.djangopa
WisdomSoft
初心者からのプログラミング入門、ソフトウェア開発の学習を支援する WisdomSoft のホームページです。
他人の書いたコードに挑もう – Part 1 | POSTD
この記事では、他人が書いたコードを扱うための練習法を一から説明します。目標は、 Spyder Python IDE という今まで触ったこともないプロジェクトのコードに任意の変更を加え、途中で行き詰ることなく、目的達成に必要な情報 のみ 習得することです。ここでは、勘や実験的な手段、そしてプロの現場で養った洞察力を武器に問題に対処する方法を学びます。形式ばったレッスンのように、苦痛を感じることはないでしょう。満足感や挫折、葛藤を味わいながらプロジェクトを進め、最終的には（なんとか動く程度の）パッチを完成させ、大規模で不慣れなコードベースに機能を追加します。 プログラミングを学んでいる人は皆、あらゆる種類のプログラムで大量のコードを書いています。それは、問題集に載っているアルゴリズムを実装するにせよ、ウェブサイトの構築やビデオゲームの作成をするにせよ同じです。ところがプロのソフトウェアエンジニ
たった1人から始める社内テストコード文化
>>> $ py.test ../tests/test_webapi.py =============================================================================== test session starts =============================================================================== platform darwin -- Python 2.7.5 -- py-1.4.31 -- pytest-2.7.0 rootdir: /Users/*****, inifile: pytest.ini plugins: cache, django, pep8, pythonpath collected 2 items ../tests/test_webap
テストコードとか書いてみてもいいんじゃない？ - Qiita
本記事はテストコードを「書いたことない」、「いらない」、「意義がわからない」 といった方々に、「書いたらちょっとはいいとこあるよ」と紹介する記事です。 そもそも書き方がわからない ※バリバリテスト書いてる人は飛ばしてください テストコードの書き方って習ったことありますか？ そういえばないなーなんか難しいことやるんでしょ？ って方もそれなりの数いるような気がします。 まず結論から言えば、テストコードは基本的に、 割と泥臭いよ！ なんか自動的にソースファイル内の関数引っ張ってきてくれて、 値評価とかもしてくれる。でも難しいんでしょ？ と思ってたりする人もいるんじゃないでしょうか。 そう思っていた時期もありました。 (探せばあると思いますがたぶんお金かかる系。むしろお金取れる系) 簡単に例を挙げますと、 犬の鳴き声を国を指定して取得する関数
プログラミングの低レベルと高レベル - 超ウィザード級ハッカーのたのしみ
プログラミングにはレベルの低い・高いがある。ここでいうレベルとはCPUとかストレージデバイスといった生のハードウェアに近いかという意味である。レベルが低いほど生のハードウェアを意識しなければならない。カーネルは低レベルなソフトウェアの代表である。高尚かどうかと混同されることを嫌ってか、低レイヤ・高レイヤという言い方も良くする。私はあえて混同させたくてレベルという単語を使用している。 私は元々低レベルのプログラミングの方が計算機を操ってる感があって好きだった。しかし、しばらく離れてJavaとかPythonとか高レベルなことをやっていたが、ふと低レベルのところを再び触りたくなったので、 ハッカーのたのしみ Binary Hacks Cプログラミング高速化研究班 等を読み返しながら勉強している。低レベルはちょこちょこっとチューニングするだけで演算が高速化していき、ハッカー感が得られるので楽しい。
Pythonや機械学習、そして言語の競争について – 極めて主観的な見地から | POSTD
(訳注：2016/1/5、いただいた翻訳フィードバックを元に記事を修正いたしました。) よくある主観的で痛烈な意見を題名に付けたクリックベイト（クリック誘導）記事だろうと思われた方、そのとおりです。以前指導してくれた教授から教わったある洞察/処世術は、些細でありながら私の人生を変えるマントラとなったのですが、私がこの記事を書いたのはそれによるものです。「同じタスクを3回以上繰り返す必要があるなら、スクリプトを書いて自動化せよ」 そろそろ、このブログはなんだろうと思い始めているのではないでしょうか。半年振りに記事を書いたのですから。ツイッターで書いた Musings on social network platforms（ソーシャル・ネットワークプラットフォームについてじっくり考える） はさておき、この半年の間書き物をしていないというのはうそです。正確には、400ページの 本 を書きました。
pythonと遺伝的アルゴリズムで作るFX自動売買システム その1 - Qiita
base_domain = MODE.get('production') url_base = 'https://{}/v1/candles?'.format(base_domain) url = url_base + 'instrument={}&'.format(currency_pair.name) + \ 'count=5000&' +\ 'candleFormat=midpoint&' +\ 'granularity={}&'.format(granularity.name) +\ 'dailyAlignment=0&' +\ 'alignmentTimezone=Asia%2FTokyo&' +\ 'start={}T00%3A00%3A00Z'.format(start) response = requests_api(url) def requests_api(url, p
Python 2.7.x と 3.x の決定的な違いを例とともに | POSTD
Pythonを始めたばかりのユーザーの多くが、どちらのバージョンを使えばいいのか迷っています。私の答えは、「気に入ったチュートリアルに書かれているバージョンにしましょう。そして、あとで違いを調べてください」という言葉につきます。 それでは、新しいプロジェクトを始めるときにはどちらを選べばいいのでしょうか？ 使おうとしているライブラリを全てサポートしているなら、2.7.x系と3.x系のどちらを使ってもよいでしょう。そうはいっても、この2つのメジャーバージョンについて大きな違いを見ておくのは良いでしょう。どちらかのみでコードを書いたり、プロジェクトに使おうとしている時によくある落とし穴を避けられるからです。 __future__ モジュール Python 3.x で導入されていて Python 2 で使えないキーワードについては、 __furute__ モジュールをインポートすることで Pyt
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introduction to Competitive Machine Learning - Threads @ IIIT Hyderabad - Quora
人気プログラミング言語Pythonの昔と今、そして今後の展望
Yosai