実際に運用してみてわかった、大規模Mastodonインスタンスを運用するコツ - pixiv inside
おはようございます、ImageFlux開発責任者のharukasanです。3日前の4月14日、ピクシブではPawooが急にリリースされることになりまして、ここ数日はずっとPawooサーバにログインしていました。このPawooサーバ、既にピクシブの監視体制に入っており、アラート受信後インフラエンジニアが障害対応できる仕組みを整えています。案の定、リリース直後の15、16日は週末にもかかわらずアラートを受け取ることになり、サーバにはりつくことになったわけです。どんなシステムであろうとアラートを受け取ったら対応する、それが我らインフラエンジニアです。 pawoo.netの構成 さて、それではまずPawooの構成を見ていきましょう。digすればわかりますがpawoo.netはAWS上に構成されています。数百台以上の物理サーバを常時運用しているピクシブであっても、さすがにこんなにはやく物理サーバは用
なぜ日本は高度教育を受けた高機能人材を排除したがるのか - 狐の王国
「学芸員はがん。連中を一掃しないと」 山本地方創生相 という記事。さすがにひどすぎて はてなブックマークでもぼこぼこにコメントされてるのではあるが、さてこの発言、既視感があると思わなかっただろうか。 よくわからないのだが、なぜか日本の組織は官民問わず専門家というものを軽視する傾向がある。Google や Apple のような高度教育を受けた人材を活かした企業というのもほとんど見られないし、先日も3倍以上の報酬を提示されて香港に転職した人が話題だった。 新聞が書く記事は専門家が見たら笑っちゃうような間違いだらけだし、かといって専門家の監修を呼ぶということもない。政策提言などを見てもエビデンスを無視したおかしな「専門家」が跳梁跋扈している。 思い起こしてみると、日本の大企業が崩壊して外資に買われた途端に黒字化できたり、経営危機になぜか優良部門を売却しようとしたり、どうも国内トップの判断がおかし
佐川理財局長の答弁を完全に崩壊させる新資料が発覚！ « ハーバー・ビジネス・オンライン
2月中旬の森友問題発覚以降、誰よりも「名を上げた」人物といえば、財務省の佐川宣寿理財局長ではあるまいか。 もっとも「名を上げた」と言っても「知名度」が上がっただけの話であり、そしてその「知名度」も、「優秀な官僚」としてのそれではなく「嘘つき男」としての不名誉なそれであるが。 国会で「関係する書類は全て捨てた」だの「当時の担当者は目下、病気療養中」だのと、見え透いた嘘をつき続け、答弁が終わるたびにあのドヤ顔で議場を睥睨する。あの姿の滑稽さに気づいていないのは、おそらく本人及び（彼のパワハラによって完全に萎縮してしまっているという“財務省関係者談”）、理財局の面々ぐらいのものだろう。 だが、一方で、これまで誰一人として「佐川理財局長の嘘」を立証しえなかったことも事実だ。 例えば、満天下の失笑を買うこととなった「財務省のシステムは、即座にデータが抹消される仕様になってございます」という答弁。こん
Mastodonのサーバー「Pawoo」で一緒に革命を起こすエンジニア募集 - ピクシブ株式会社のWebエンジニアの採用 - Wantedly
◎”感動と衝動を、次の何かへ。” 強い想いが詰まったアイデアが現場から出てきて、プロダクトが生まれた事例が多くあります。 ピクシブは創作活動を支えるテクノロジーを日々追求します。 全社員がプロダクトにオーナーシップを持ち、より良いクリエイターエコノミーを作るため ボトムアップに意見を出し合い、アクションを起こしています。 ◎ピクシブのチームづくり ピクシブのチームづくりはまずは”人を知ること”から始まります。 平均年齢は33歳。20～30代の社員が多い環境で年齢や役職に関係なく、フラットに意見交換をしています。自然と会話が生まれるオフィス設計、自由に想いを書き記すことができるポエムツール、社長含め全員をハンドルネームで呼ぶ文化など、チーム開発に必要なオープンコミュニケーションを数多く制度として導入しています。 ◎働きやすい環境 エンジニア勉強会や、1on1制度、自分のノウハウを気軽に発表す
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
トルコ 事実上の独裁政権へ | 2017/4/17(月) 6:33 - Yahoo!ニュース
トルコで行われた大統領の権限強化を巡る憲法改正の国民投票は、賛成が過半数を上回り、今後、エルドアン大統領による事実上の独裁政権への道が開かれることになりました。(テレビ朝日系（ANN）) [続きを読む]
Rubyはもうやめた
もうRubyでシステム書くの止めた日々更新されてコロコロ変わる言語仕様に付き合ってられない 最近は互換性を気にしてるようだけど新しい書き方ですとか毎回言われるストレスが半端ない プログラミング言語みたいな土台となる技術がそんな変わって何も違和感覚えないやつらがどうかしてる (その意味でSwiftはRuby以上に頭おかしい) rbenvやらBundlerで完璧にベンダリングできますってそんな誇れることなの？ バージョン依存が激しいのでそうしないとバグりますって言ってるようなもんじゃねーかｗ まだpython2,perl5で書いた方がまだ良いわ(Perlは文法が糞だから書かないけど) 多少言語に粗があっても互換性を維持してくれた方がよっぽど重要なんだけど（少なくとも俺は） ついでにRailsも止めたフルスタックフレームワークでなんでもできるぞ！とか言ってるけど理解できない 自分が使わない機能が
MathJaxによる描画を細かく制御する - Islands in the byte stream
MathJax というのはLaTeXなどで書いた数式を美しく描画するための処理系です。 なおこのエントリは MathJax v2.7.0 を対象にしています。 www.mathjax.org まず前提として、ほとんどのケースではMathJaxをconfigパラメータを与えてロードするだけで自動的にtypeset *1 が行われます。 この自動typesetは、HTML中のすべての要素に対してただ一度だけ行われるので、content editableでウェブエディタを実装しているケースやリアルタイムプレビューとの相性が非常に悪いのです。つまりcontent editable中のLaTeX記法は置き換えるべきではないのに置き換えてしまうし、プレビューが更新されてもtypesetされないのでこちらはLaTeX記法が処理されません。 そこで細かくMathJaxを制御する必要があるのですが、これがな
Mastodon を Docker で立てるときに最低限しておくこと - chaotic valkyrie
2017年4月16日現在の情報です 4月15日のコミットで docker-compose.yml に Docker Hub のイメージの記述が入った。 このイメージは GitHub の master に追従してビルドされるので(多分)、docker-compose build よりも docker-compose pull のほうが早い。 これは各地で言われていることだが、デフォルトの docker-compose.yml では PostgreSQL と Redis の永続化がされていない。volumes のコメントアウトを外すこと。 web と streaming のポート (3000と4000) が外部におっぴろげになってるので、Docker network 内でリバースプロキシしたほうが良い。(リバースプロキシ用のnginxのコンテナを同一Docket networkに立てる) do
インフラ自動化ツール「Ansible 2.3」リリース。SSHのコネクションを使い続けるPersistent Connectionでタスク処理が高速に － Publickey
インフラ自動化ツール「Ansible 2.3」リリース。SSHのコネクションを使い続けるPersistent Connectionでタスク処理が高速に オープンソースで開発されているインフラ自動化ツール「Ansible」の最新バージョン、「Ansible 2.3」正式版がリリースされました。 インフラ自動化ツールにはChefやPuppetなどよく知られるオープンソースソフトウェアが他にも存在しますが、Ansibleの特徴はサーバやネットワーク機器にあらかじめエージェントなどを導入することなく利用できる点にあります。 エージェントを使うことなく多数のサーバなどに対して設定やソフトウェア導入などの構成管理を行う仕組みとしてAnsibleではおもにSSHを用いています。 Ansibleのこれまでのバージョンでは、ネットワーク機器に対して構成管理のタスクを1つ実行するたびにSSHの接続を開始、終了
C#6.0時代のUnity - Qiita
はじめに Unity2017のベータが公開されましたね！(これを書いている4月13日現在 Unity 2017.1.0b1 https://unity3d.com/jp/unity/beta#downloads） なんといっても目玉は.NET 4.6が正式に対応！ 覚えておいて損がないものは損が無いので覚えておきたいですし、今後.NET 4.6対応で書かれたソースコードもバンバン世に出てくるはずなので、使わないまでも読めるようになっておく必要はあるかと思います。 何ができるようになるのか、何に気を付けなくてはいけないのか。 ちょっと調べてみました。 下準備 .Net 4.6対応！ とはいっても、まだ試験導入的な立ち位置なので、最初の設定では使えず、PlayerSettingsを変更する必要があります。 まず、Scripting Runtime Version おお。 .NET 4.6 Eq
台風=typhoon ←こういう偶然の一致あげてけ : 哲学ニュースnwk
2017年04月16日16:00 台風=typhoon ←こういう偶然の一致あげてけ Tweet 1: 名無し募集中。。。＠＼(^o^)／ 2017/04/16(日) 13:37:39.94 0 道路=road 【画像あり】感染症マニアの俺が危険な細菌・ウイルス・原虫を紹介するよ http://blog.livedoor.jp/nwknews/archives/5039552.html 5: 名無し募集中。。。＠＼(^o^)／ 2017/04/16(日) 13:40:01.56 0 偶然ちゃうだろタイフーンは 6: 名無し募集中。。。＠＼(^o^)／ 2017/04/16(日) 13:40:04.43 0 は？どういう意味？=What do you mean? 63: 名無し募集中。。。＠＼(^o^)／ 2017/04/16(日) 14:03:03.86 0 >>6 卓偉ヲタか 8: 名無
Rubyの便利スクリプトをRustで書き直した - nisshieeのブログ
nisshiee.hatenablog.jp 昨日↑便利スクリプトをRubyで書いた話をしたのだが、これ、毎日使っていると、0.1秒とか0.2秒（体感）待たされるのが、気になってくるんだよね。 というわけで、Rustで書き直した。 github.com で、作ってどうだったかという話だが、そりゃもうほんの一瞬だけど、Sublime Textのウィンドウが開くまでの時間が明らかにRubyスクリプトよりRustバイナリの方が速い。1日1回以上使う便利スクリプトがあったら、積極的にRustに書き直す価値はあると思う。 Rustコーディングについて コードレベルの話をすると、今回の学びが2つ、結論が出てない課題が1つあった。 学び 便利コマンドを作る以上はコマンドライン引数やファイル、子プロセスを扱う事が多いので、OsStr、OsStringと仲良くしたほうがコードもキレイなるし品質も高くなる 環
マストドン（OStatus）による防災情報の配信をはじめました
きのうの記事で、Mastodonを自分のドメインで運用する価値について説明しました。そのなかで、自分たちのドメインで話題ごとにアカウントを提供するということを提唱しましたので、それに沿ったかたちで防災情報の配信をはじめました。 テーマ別に情報を提供 Mastodon（OStatus）による防災情報の配信用に unnerv.jp を取得しセットアップしました。 Twitter上では、 @UN_NERV を提供していますが、それとほぼ同等な情報を配信します。すべての情報を配信するアカウントは https://unnerv.jp/@UN_NERV です。ここを基点として、各テーマの子アカウントがブースト（リツイートと同じもの）を行うかたちにしました。 これまで特務機関NERV宛てには、「都道府県ごとにアカウントを分けてほしい」という要望をたくさん頂いておりましたが、Twitterに47都道府県の
マストドンが直面している問題はすでにP2P技術が15年前に遭遇した問題だ
Media content caching strategy · Issue #1847 · tootsuite/mastodon 日本勢がマストドンに目をつけ始め、Pixivがマストドンのインスタンスを立ち上げてからというもの、マストドンは2つの問題に直面している。 日本国内で合法である現実に基づかない純粋な思想の表現である絵が海外基準では児童ポルノであり違法なデータである 画像投稿を主目的とするPixivの利用形態により大量のトラフィックとストレージがキャッシュとして消費されるため貧弱なインフラでは耐えられない これにより、Pixivによるマストドンのインスタンスは海外で主流のマストドンのインスタンスから遮断された。 現在、マストドンのコミュニティではこの問題に対する議論が行われているが、この問題には見覚えがある。15年前のP2P技術が流行した時代と同じ問題だ。我々は歴史に学ぶべきであ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Backlog UI リニューアルの舞台裏 / Backlog Renewal UI
https://danger.systems/
http://www.bousai.pref.hiroshima.jp/info/disp?fmode=1&disp=W1020
西-北日本 台風並みの暴風に | 2017/4/17(月) 5:43 - Yahoo!ニュース
WiFiScan Example Explained | ESP8266WiFi Tutorials #7
高校生と Unityインターハイ目指してます
Lists of Egyptian hieroglyphs - Wikipedia
TechCrunch
DSpace at University of Toyama: ホーム
React + FLUX + Redux + Redux Saga のお話
一人暮らしの20〜40代の貯蓄額 年収別の平均値と中央値 - ライブドアニュース
Parse.comからGCPへ移行した話 ~1年間にわたる脱出プロジェクト~
NHK「ワンパコ」でニチアサの裏番組を意識するワンワンにざわつく視聴者たち #ワンパコ #NHK
SageMath experiments in Differential and Complex Geometry