大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－ - Qiita
はじめに 近年、深層学習を用いた自然言語処理技術の進展が目覚ましいです。 その中でも、GPT-3をはじめとする大規模言語モデル（LLM）には大きな可能性を感じています。 最近ですと、AI技術者以外にも大きなインパクトを与えたChatGPTが記憶に新しいでしょう。 今後もLLMの進化は止まらないと予想されており、私たちもどうやって活用するかを具体的に検討すべきフェーズに入ったのではないでしょうか。 しかし、LLMを実業務に適用するとなると、越えなければならない課題がいくつも出てきます。 今回は、以下にあげた第2・第3のハードルを越えるために役立つlangchainというライブラリをご紹介します。 第1のハードル：機密データの扱い LLMはOpenAPIのGPT-3等、モデル自体は公開されておらずWebAPIだけが提供されているというパターンが多いです。 そのため、機密データを社外に送信すると
リッジ回帰やラッソ回帰で因果推論できるのか？ - Qiita
はじめに 因果推論を行う手法の1つとして、線形回帰が挙げられます。今回は、その線形回帰の拡張とも言えるリッジ回帰(Ridge回帰)やラッソ回帰(Lasso回帰)を用いて因果効果を推定してみるとどうなるのか、Pythonによるシミュレーションと共にまとめました。内容に誤り等ございましたら、ぜひご指摘いただけますと幸いです。 結論 リッジ回帰やラッソ回帰を用いると、うまく因果効果を推定することができません。 これは、リッジ回帰やラッソ回帰を行うことで、線形回帰（線形回帰モデルをOLS推定）による推定値よりも汎化誤差が小さくなる一方で、不偏性と呼ばれる因果効果をバイアスなく推定するために必要な性質が失われてしまうからです。 通常の線形回帰における最小二乗法(OLS)では、下記の損失関数を最小化するパラメータを求めます。
全世界の建物地図情報の入手方法 - Qiita
概要 マイクロソフトが提供する衛星画像より推定した建物地図の入手方法について紹介します。 Building Footprints by Microsoft 建物地図の提供状況((C)Microsoft) 建物地図データは、こちらより確認できますのでご参考ください。 また、Google Colaboratoryのサンプルコードをこちらにアップしましたので、あわせてご参考ください。最後に、衛星画像に重畳した建物地図の例を紹介しています。 1.建物地図情報の入手 今回は、pythonでよく用いる行例モジュールであるpandasと同じ形式の位置情報データを扱うgeopandasを使います。geopandasを含めた位置データの使い方については、以下のサイトが網羅的にまとめれていますので、是非こちらをご参考ください。 【PythonでGIS】GeoPandasまとめ PythonでのShapefil
温度や湿度、磁力にも対応--「Raspberry Pi 4」で機械学習モデル構築が可能に - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Raspberry Pi」は有能な小型マシンだが、独自の組み込み機械学習アプリケーションの開発に興味がある人にとって、同プラットフォームでカスタムモデルを訓練することは、これまで困難だった。処理能力が限られているからだ。 しかし、大きな進展があった。 エッジデバイスでの機械学習向けのクラウドベースの開発プラットフォームを提供するEdge Impulseは米国時間4月12日、組み込みLinuxの分野に進出し、「Raspberry Pi 4」を完全かつ正式にサポートすることを発表した。その結果、ユーザーはデータをアップロードして、独自のカスタム機械学習アルゴリズムをクラウドで訓練し、それらをRaspberry Piに再度展開できるようにな
Janomeを使ってPythonで形態素解析 - Qiita
TL;DR Pythonで形態素解析をしたい mecab-python3も良いが、MeCabを入れたりするのは避けたい 要は、pipで完結させたい Janomeを使うのがいいのではないだろうか Pythonで実装された、形態素解析器だそうです。 Janome 作者様は、Apache Luceneのコミッターをされていらっしゃいますね。 APIリファレンスは、こちら。 Janome API reference 以下の特徴を持つようです。 Python 2.7または3.3以上で動作 Tokenizerを使った、形態素解析ライブラリ janomeスクリプトを使用したコマンドラインでの実行が可能 デフォルトの辞書はmecab-ipadic-2.7.0-20070801 ユーザー定義辞書の利用 mmapのサポート Graphvizファイルの作成 Analyzerフレームワーク（experimenta
PythonとGoogle Cloud Speech API を使った音声の文字起こし手順 - Qiita
白金鉱業.FMというPodcastをしているので、その音声データを文字起こしするために今回はGoogle Cloud Speech APIを試してみました。 （※Googleの文字起こしAPIは、公式でも「Google Cloud Speech API」と「Cloud Speech-to-Text」という名前で揺れているような。多分一緒のものです。謎。） 収録＆音声データを作るまでの手順はこちらを参照してください。 【2019年度版】最低限の労力で最低限の綺麗な音質を目指す人のためのPodcast配信入門 - Qiita Google Cloud Speech APIの利用方法について以下のブログが最も詳しいです。 21世紀の文字起こし（3） 〜 Cloud Speech-to-Text 編 〜 Google Cloud Platformの利用方法を含め、基本は上記のブログを参照すると実行
Pythonで学ぶ『ブロックチェーンプログラミング入門』が良すぎた話 - 🎃toricago🎃
ブロックチェーンの社会実装の勢いが止まらない。テック市場に特化したイギリスの調査会社Juniper Researchが、今年の夏に発行した調査レポートの結果によると、 大企業の６５％がブロックチェーンの導入を検討しているか、導入している最中 大企業の５０％程度がイーサリアム上で分散型アプリケーションを立ち上げを予定 大企業の２５％程度はProof of Conceptを終え、商品化を終えたか、その段階に差し掛かっている （大企業＝１万人以上） とのことだ。 え！導入比率、意外に高くない？国内でも例えば、つい昨日は日本経済新聞の朝刊にLINEがトークンエコノミー構想の詳細を明らかにしたことが話題になったりして、たまに見かけるけど、まさかここまで来ていたとは驚きだ。ここまで来てしまうと、そろそろ私のような一介のサラリーマンであっても、ブロックチェーンを理解しておかないといけない雰囲気が漂ってき
Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで - Lean Baseball
【2021/1/11】2021年版を公開しました 【2020/1/9】2020年版もあります, こちらもよろしくおねがいします！ 【2019/8/12】一部書籍のリンクを最新版に更新しました 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 機械学習にWebアプリ,そしてFintechと,今年（2017年）は昨年（2016年）以上にPython界隈が賑やかな一年でした. Pythonでお仕事と野球データ分析を生業としている@shinyorke（野球の人）ですこんにちは. このエントリーでは,そんなPythonの学び方・本が充実した今年から来年（2018年）に移るにあたり, 最短距離でPythonレベルを上げるための学び方・読むべき本の選び方〜2018 をまとめてみました.
Unixコマンド”yes”についてのちょっとした話 | POSTD
知っているUnixのコマンドで一番シンプルなものは何ですか？ 例えば echo という、stdoutに文字列を出力し true を返す – すなわち常に0の終了コードで終了するシンプルなコマンドがあります。 シンプルな、と言えば yes もそうでしょう。引数なしで実行すると、改行されたyが無限に出力され続けます。
なぜ私達は Python から Go に移行したのか - Frasco
新しい言語に移行するのは常に大きな決断です。その言語をよく知る人がチームメンバーに1人しかいない時などは特にそうです。今年の初め、我々は Stream の主要言語を Python から Go に切り替えました。この記事では、なぜ私達が Python から Go に移行しようと決断したのか、その理由を説明します。 Go を使う理由 理由1 - パフォーマンス Go は速いです! Go は極端に速い。そのパフォーマンスは Java もしくは C++ に匹敵します。私達のユースケースでは、Go は Python より30倍速いです。Go と Java を比較したベンチマークはこちらです。 理由2 - 言語パフォーマンスの問題 多くのアプリケーションにとって、プログラミング言語は、単にアプリとデータベースを繋ぐものにすぎません。言語そのもののパフォーマンスは通常あまり重要ではありません。 しかしな
Python の依存パッケージ管理/環境切り分けツール pipenv の紹介 - 私が歌川です
この記事は 2017/9 に書かれたものであり、2019/11/26 現在とは状況が変わっています。公式ドキュメント(日本語訳)を参照してください。 時代は pipenv や— うたがわきき🔰💊 (@utgwkk) September 5, 2017 もう誰も，requirements.txt や，source ENV/bin/activate に頭を悩まされる時代は終わった！ というわけで virtualenv の時代は終わり*1，pipenv の時代になりました． この記事は Python を書く人間が全員 pipenv を使うべきだという思いを込めて書きました．日本語で書かれた記事がまだぜんぜんないという事情もあります． pipenv とは Python のパッケージ管理ツールの pip と，環境切り分けツールの virtualenv を融合させたツールです．Ruby でいうとこ
pythonで小さなツールを作る時のtips - Qiita
自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． #!/usr/bin/env python def main(): print('hello, hello, hello!') if __name__ == '__main__': main() pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
機械学習の情報を手法を中心にざっくり整理 - Qiita
概要 自分用のメモとして、機械学習に関する情報を浅く ( それなりに ) 広くをモットーに、ざっくり整理してみました。 少しでも、他の方の理解に役立ったら嬉しいです。 機械学習とは コンピュータプログラムが経験によって自動的に出力結果を改善していく仕組み。 機械学習の代表的な手法について記載します。 １．教師あり学習 ２．教師なし学習 ３．強化学習 に分けて記載しました。 ※概要説明は一例です。 1．教師あり学習 1-1．線形回帰 予測したい値を算出する式を連続する多項式として表し、各係数を最小二乗法や最尤推定法で求めることでモデルとなる式を決定する Pythonライブラリ：scikit-learn（sklearn.linear_model.LinearRegression） 参考：最小二乗法による線形回帰のアルゴリズム (自身のQiitaの過去記事です) 1-2．ロジスティック回帰 2択
「独習Python入門」は一生付き合える入門本だと334回言いたい - Lean Baseball
私がリスペクトするエンジニアの一人であり、ITエンジニア界隈の三大野球バカの一人*1であるござ先輩が本を出版されました. gothedistance.hatenadiary.jp 大変ありがたい事に、献本を頂いたので久々に書評など書いてみようかなと思います. [書評]「独習Python入門」 どんな本なのか 私の感想も含めて. Pythonを元にしたプログラミングの入門本 一人で学ぶ(独習)するときにハマりがちなポイントや、ステップアップするときに必ず覚えたほうがいい事を言葉の緩急を駆使していい感じに解説している！ 本を一冊やり切った(写経)した後も自宅の本棚に置いておきたい&必要に応じて再び読みたくなる本 私は読者層に当てはまらないのですが（汗）、初心者の気持ちになって思い出しながら読んで、 「ああ、最初にプログラミングを学ぶ本がこの本みたいなスタンスだと凄くいいな」 と素直に思いました
Python2で競技プログラミングする時に知っておきたいtips - Qiita
最近，プログラミング言語の練習がてら競技プログラミングを始めました． 言語としてPythonを使っているのですが，C++，Javaといった主流の言語に比べると，Pythonでの競技プログラミングは「邪道」だと捉えられている節があり，そこまで流行っていないのが現状です． 今回は，実用開発ではあまり使わないけれど，競技プログラミングでよく使うPythonの知識をまとめたいと思います． 注意点 Pythonの基本文法については，必要があるもの以外解説しません． 他の言語で競技プログラミングをやったことがある人が対象です． この記事は現時点では未完成です．内容は随時追加・変更される可能性があります． Pythonのバージョンは2.7.5(Python3では，入出力などの仕様が大きく異なります)． 変更履歴 記事を分割しました．(2015/4/22) Python2での記事であることを明記しました．
人工知能に関する断想録
Deep Learningの訓練終了など任意のメッセージを特定のSlackチャネルに投稿できるボットを作りました。 Yatta Kun プログラミングは不要で curl というコマンドラインツールから簡単に投稿できるので非常に便利です。可愛いくて便利なので作り方を紹介します。 職場などでみんなが使っているワークスペースで実験すると迷惑がかかる可能性があるので、最初は個人の実験用ワークスペースを作ってしまうのが良いと思います。無料でできます。 1. Incoming Webhookをインストール SlackアプリのページからIncoming Webhookをインストールします。Slackアプリページは、 https://[workspace name].slack.com/apps/ から行けます。 workspace name はワークスペース名です。 Incoming Webhook で
@mitsuhiko寄稿「Python Webアプリケーション開発でのありがちなミス」 - YAMAGUCHI::weblog
はじめに みなさん、本日はクリスマスですね。Python Webフレームワークアドベントカレンダー2010最終日ですね。最終日はスペシャルゲストということで、pocooの中心メンバである@mitsuhikoが寄稿してくださいました。 pocooはWerkzeug、Jinja2、Flask、Sphinxといった多くの有名なPythonライブラリを提供しているグループで、その中で@mitsuhikoことArmin Ronacherさんはメインコミッタとして活動されています。*1Arminさんは世界指折りのPythonハッカーですが、なんと年齢は21歳！そしてイケメン！ぜひみなさんもArminさんの活動をWatchしてみてください！ 寺田さん（@terapyon）からご指名いただいたので、拙訳ながらArminさんの記事の日本語訳をここにご紹介いたします。 概要 「Python Webアプリケーシ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
優良データサイエンス関連教材をたっくさんまとめてみた【僕の学習記録】 - Qiita
Kyoto University Research Information Repository: プログラミング演習 Python 2019