こいつを~/.zshrcへコピーだ これまで、zshの基本となる設定を説明してきた。設定ファイルにエスケープコードを含めておいたためか「そのままコピー&ペーストしたんだけど使えねぇよ!!」という憂き目に遭った読者がいらっしゃったようだ。zshを学び始めるにあたって、この経験はまずい。「ネットで見つけた設定ファイルをコピペしたら、ヒャッホイ!動いたぜ!!」というくらいじゃないとモチベーションは上がらない。 そのようなわけで、今回はそのままコピー&ペーストすれば使える~/.zshrcファイルについて述べておく。zshを始めたばかりのユーザ、またはこれから始めようというユーザは、こいつをコピー&ペースしてとりあえずzshの底力を満喫してほしい。なお、zsherが多いと想定されるLinux、FreeBSD、Mac OS X上で動作するように調整しておいた。 以前設定ファイルをまとめた後に公開したコ

Webからデータを取得して、効率よく整理、分析を行い効果的な可視化を実現するには、さまざまなツールとテクニックが必要です。 本書ではPythonとJavaScriptを使い分け、それぞれの言語の強みを最大限利用します。 PythonのBeautifulSoupとScrapyでデータを取得、pandas、Matplotlib、Numpyでデータ処理を行い、Flaskフレームワークを使ってデータを配信、JavaScriptのD3.jsを使ってインタラクティブなWeb可視化を実現します。データの収集からアウトプットまでの全体を視野に入れて解説しているので、実際にコードを追いながら、この一冊でデータ分析プロセスの全体像を理解できます。 まえがき はじめに 1章　開発環境の準備 1.1　本書で扱うコード 1.2　Python 1.2.1　Anaconda 1.2.2　Anacondaインストールの確

関連ファイル サンプルコード（日本語版） サンプルコード（原著者） 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用ください。 正誤表 訳者まえがき まえがき 第Ⅰ部　Pythonプログラミングの基礎 1章　Python入門 1.1　式をインタラクティブシェルに入力する 1.2　整数、浮動小数点数、文字列型 1.3　文字列の連結と複製 1.4　変数に値を格納する 1.4.1　代入文 1.4.2　変数名 1.5　最初のプログラム 1.6　プログラムを分析する 1.6.1　コメント 1.6.2　print()関数 1.6.3　input()関数

「ラングリング」（wrangling）とはもともと馬や牛を集めて飼いならすという意味があります。牛を集めてうまく操るカウボーイ（wrangler）のように、データを自在に操るためのスキルを身につけた「データラングラー」になろうというコンセプトのもと、データ収集、処理、分析、利用に関わるテクニックとサンプルを豊富に収録。例題を通じて、効果的なデータの取得、クリーニング、分析、プレゼンテーション方法などを身につけることが可能です。自動化やスケジューリング、大規模データセットの処理、魅力的なストーリー付けの方法なども紹介。Pythonでデータを扱うための実用的な知識とテクニックを網羅しています。脱Excelを図ってスキルアップしたいというニーズにも応える一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成

PythonからSparkを利用するための機能、PySparkを使いこなすテクニックとノウハウを習得する書籍です。はじめに高速になったSpark 2.0の特徴とアーキテクチャを解説し、次に構造化及び非構造化データの読み取り、PySparkで利用できる基本的なデータ型、MLlibとMLパッケージによる機械学習モデルの構築を説明します。さらにGraphFramesを使ったグラフの操作、ストリーミングデータの読み取り、クラウドへのモデルのデプロイなどの方法を豊富なサンプルと一緒に学びます。またローカルでのSpark＋Python＋Jupyter環境の構築方法も紹介。大規模なデータを処理し、活用したいエンジニア必携の一冊です。 序文 訳者まえがき はじめに 1章　Sparkを理解する 1.1　Apache Sparkとは 1.2　SparkのジョブとAPI 1.2.1　実行のプロセス 1.2.2　

使用感 数字の上では、消費スペックは、Linuxが圧勝していますが、実感の上では、Linuxは、割と不安定な印象があります。 例えば、一度に大量の負担をかけてしまうと、元に戻りにくかったりという印象です。他のOSは、時間がたてば、割と元に戻るって感じでした。 ただし、Linux(Arch Linux)は通常の使用で、メモリの消費量が200MBから300MBの間という値は、素晴らしいです。 私の場合、主に端末くらいしか使用しませんので、Linuxが合っているのかもしれません。 他のOSは、使わない処理をバックグラウンドでスケジュールされていたりと、色々と便利にはなっているとは思いますが、やはり、デフォルトの設定では、無駄が多いのも事実だと思います。 更に、設定変更できなかったり、ブラックボックスに包まれていたりで、何をやってるのか、よくわからないという場合すら存在すると思います。 その点で言

データサイエンスに必要な統計学と機械学習の重要な50の基本概念と、関連する用語について、簡潔な説明と、それを裏付ける最低限の数式、クリアな可視化、実現するRコードを提示して、多方面からの理解を促します。データの分類、分析、モデル化、予測という一連のデータサイエンスのプロセスにおいて統計学のどの項目が必要か、どの項目が不必要かを示し、重要な項目について、その概念、数学的裏付け、プログラミングの各側面からアプローチします。データサイエンスに必要な項目を効率よく学べて、深く理解することが可能です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷版、刷り年月日をご確認の上、ご利用く

ソフトウェアエンジニアの間でも一般的な言葉になった「機械学習」。本書では、その機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性の高い機械学習プロジェクトの進め方などを「仕事で使う」という観点から整理します。 プロジェクトのはじめ方や、システム構成、学習のためのリソースの収集方法など、読者が「実際どうするの？」と気になるであろう点を中心にまとめています。上司に「人工知能でいい感じの成果を出してくれ」とあいまいな指示をされたとき、本書で学んだことが活きてくるに違いありません。 著者有賀さんの対談記事: 第1回 第2回 第3回 第4回 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

VirtualBoxでゲストOSをホストOSと同じネットワークに参加させたくないが、ゲストOSからインターネットやホストOSと同じネットワークに接続を行いたい場合、ネットワークのアダプターにNATを使用することで、ゲストOSへの外部からの接続は不可能とし、ゲストOSからはインターネットやホストOSと同じネットワークへの接続を可能にすることができます。 外出先等で、ホストOSでスマートフォンのテザリングを使用してインターネットに接続している場合にも、NATを使用することで、ゲストOSからインターネットに接続することができるようになります。 尚、NATを使用時のゲストOSから外部への接続は、ホストOSが接続元として扱われるようになります。 また、NATの使用時に、SSH等でホストOSからゲストOSへの接続を行いたい場合、ネットワークのアダプターにホストオンリーアダプターを別途使用することで、ゲ

t-SNEは、高次元のデータを可視化する手法としては、非常に便利ですが、時々不可解な挙動をしたり、誤解を招くような可視化をすることがあります。 シンプルなデータを可視化して動作の仕組みを理解することで、t-SNEのより効果的な使い方を学ぶことができます。 t-SNEは、高次元のデータを調査するための手法として、2008年にvan der MaatenとHintonによって発表 [1] された人気の手法です。 この技術は、数百または数千次元のデータですら無理やり2次元の「マップ」に落とし込むという、ほとんど魔法のような能力を備えているために、機械学習の分野で幅広く普及しています。 このような印象を持っている方が多いのですが、こういった捉え方をしていると誤解を招くこともあります。 この記事の目的は、よくある共通の誤解を解くためでもあります。 t-SNEで可視化できることと、できないことを説明す

2024-05-27 GPT から Claude 3 への移行ガイド LLMs 自然言語処理 こんにちは。Gunosy R&D チームの森田です。 GPT-4o が発表されたこのタイミングで！？という向きもあるかとおもいますが、LLMの世界は一ヶ月もすればまったく違う状況になっているのが常なので、いずれは GPT-4o を超えるモデルが発表される時も来るでしょ… 2024-04-05 NLP2024 参加報告 自然言語処理 LLMs 学会 論文 こんにちは、データサイエンス部の大竹、R&D チームの森田、久保、新規事業開発室の鈴木、岡田です。 今回の記事は 3/11 ~ 3/15 の 5 日間にわたって開催された言語処理学会第 30 回年次大会 (NLP2024) の参加レポートになります。 NLP2024 について 企業ブ… 2023-12-19 dbt seed で csv ファイルの

AMD/Xilinx Vivado を Docker コンテナに閉じ込める 2024/07/06 Docker FPGA Ryzen 7 8700G + ECC メモリーで組んじゃったヒト 2024/02/12 DIY PC とにかく複雑な Zynq のソフトウェアを Earthly でビルドする 2022/09/19 FPGA Ultra96 で Arch Linux ARM を動かす 2020/11/29 Arch Linux ThinkPad X13 を買いました 2020/09/01 ThinkPad X13 Arch Linux Bus Blaster で Raspberry Pi Model B を JTAG デバッグしてみる 2020/07/05 Raspberry Pi Brainf**k からはじめる自作コンパイラ 2019/10/21 Rust Ultra96 で Ju

を解きたいシチュエーションに出会った。これは一般にn次方程式と呼ばれている気がする。（1変数の代数方程式ともいうのか） これは5次以上のものについては代数的な解がないことが知られている。 とはいっても5次についてはいろんな特殊関数を使えば表現できるようだし、近似解については数値計算もできる。 4次以上についてはそもそも数値計算を用いるのが普通のようだ。 Matlabなんかではrootsという代数方程式の数値計算を行う関数が用意されているようだが、pythonでは特にライブラリが見当たらなかった。というわけで実装してみることにした。 アルゴリズム 解を求めるとなるとNewton法が最初に思いつくように思われるが、n次方程式の解を求めるNewton法に近いアルゴリズムとしてDKA法というものが知られているようだ。ただこのアルゴリズムを実装するのは面倒だし、Matlabの実装をみると、固有値計算

以前からハニーポットの運用に興味があって、最近VPS借りて運用できる環境も整ったのでハニーポットを入れてみることにした。 どうやってハニーポットを選んだか、また選んだハニーポット(Dionaea)のインストール方法を書きたいと思う。 ハニーポットの選定 選ぶにあたってまず参考にしたのは、以下のIPAのドキュメント セキュリティインシデントの積極的な検知：ハニーポットの利活用 この中に書いてあるハニーポットで、実際のOSの動作をエミュレートするために比較的安全に運用が可能な低対話型ハニーポットを候補としてピックアップ。ここで挙げられている低対話型ハニーポットは以下の4種類 Dionaea Glastopf Kippo Honeyd このうち、Honeydは半年ほど前の勉強会(池袋セキュリティ勉強会#2に参加してきた - Tahoo!!）で弄っていて、ある程度わかっていたので、候補から外した。

日本では9月といえば2学期の始まりですが、米国では9月が新学期のスタート。留学したつもりで海外の大学で行われているコンピュータサイエンスの講座を受講するのはいかがでしょうか？ YouTubeは今年の3月から、大学が公開している講義の動画を集めた「YouTube - EDU」コーナーを開始しました。スタンフォード、ハーバード、マサチューセッツ工科大学（MIT）、カリフォルニア大学バークレイ校（UC Berkeley）、そのほか多くの大学の講座が無料で見られます。 内容はコンピュータサイエンスに限らず、政治、経済、著名人のオピニオンなどが幅広くカバーされています。 YouTube Eduには大量の講座が蓄積されているのですが、自分に興味のある講座を探してそれらを見るには、検索を繰り返したり授業ごとに分割された動画を順番に探したりと、少々手間がかかります。 そこで、ITエンジニアの方が見て役に立