【Python】非同期処理が何もわからなかったあの頃の自分に向けて
はじめに こんにちは。GMO アドパートナーズ新卒の樋笠です。 最近業務で、Pythonの非同期処理を書いているのですが、初めて非同期処理を学んだときに苦悶したことを思い出しました。 そこで、過去の自分に「こう伝えたら理解できるんじゃないかな」と考えながら記事を書きました。 非同期処理について学んだことがない人でも、これを読めば、「非同期処理がやろうとしていること」や「Pythonの非同期処理の基本的な書き方」が分かるようになる、というものを目指しました。 ぜひ最後までお読みください🙇🏻♂️ ※ わかりやすく説明するために、あえて言い切っている箇所があります。ご了承ください。 非同期処理ってなに？ まず、非同期処理ってなに？という話ですが、「非同期処理」を理解するために、その対になる「同期処理」を考えてみましょう。 たとえして、こんな状況を考えてみましょう。 AとBの2つのタスクがあ
2024年度 人工知能学会全国大会に参加しました
こんにちは、GMO NIKKOのM.Hです。 この度、第38回人工知能学会全国大会（以下、JSAI大会）に2日間参加してきました。JSAIは日本国内では最大規模となるAI学会の大会となり、1年に1回開催されております。 今回は出展側としてではなく聴講側として参加し、その中で非常に興味深い発表がいくつかありましたので、そのハイライトをいくつかご紹介しようと思います。 はじめに 本記事の内容は筆者の個人的な感想や理解に基づくものです。 本記事で言及している論文・講演に対する認識と理解は全て筆者によるものであり、誤りを含んでいる可能性があります。 JSAI大会について 人工知能学会とは、AIに関する研究の進展と知識の普及を図り、その発展に寄与することを目的として設立された学会です。その学会が開催する全国大会は、主軸となるAIやそれに関連する研究成果の発信や研究のネットワーク形成の場として毎年1回
AI搭載ターミナルwarpを使おう
※GitHubアカウントでのログインがあります。これはチームコラボレーションの機能で必要になってくるからとのことです。ログインせずに試せるようにもしていくそうです。 使用感 ダブルクリックでの選択 クリックでのカーソル移動 キーボードショットカット などMacの基本的な操作感のまま直感的に入力できるようになっています。 またtabキーでは通常のタブ補完もできますし、実行コマンドの詳細も確認できたりします。 ブロック コマンドごとにブロックに別れています。そのため コマンドごとに（コマンド、出力、その両方、プロンプト、ディレクトリ）をコピー ブロック内での検索 ブロックで移動できるのでスクロールが少なく済む などがメリットとしてあります。 ブロックごとにコピーできるので共有するときなど捗ります。 コマンドパレット、コマンドサーチ ⌘P でコマンドパレットにアクセスできます。 コマンドパレット
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
Colab + GitHubでコードをバージョン管理する方法
こんにちは、GMOアドマーケティングのS.Rです。 Colab はGoogle より提供されている人気の無料データ分析クラウドサービスです。Colab を使ってTensorFlow,Keras などよく使われている機械学習のツールを利用できるので機械学習エンジニアにとってとても便利なツールです。ただ Colab のinstance が8時間しか動けないのでコードのバージョン管理が混乱する可能性が高いです。 今回はGitHub でColab のコードをバージョン管理する方法を皆さんへ紹介させて頂きます。 全体の流れ Colab+GitHubコードのバージョン管理の流れは下記になります。 GitHubのrepoを作成 GitHubのaccountにログインして新しいprivate repoを作成します。今回は例としてcolab_testのrepoを作成しました。 Colabでssh keyを作
クラスタリングタスクで機械学習の流れを体験
はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 今回は機械学習への足がかりとなるような記事を書きたいと思ったので、クラスタリングタスクを通して機械学習の流れを大雑把に書いていこうと思います。 機械学習における基本的な データ分析 -> 予測 -> 評価の流れを体験しつつ、読んでいる間に気になるところがあればそこを深掘りしていくなど、機械学習への興味/勉強の第一歩としていただければと思います。 クラスタリングとは クラスタリングは機械学習における教師なし学習の一種で、データの類似度でデータをグループ(クラスタ)分けする手法のことを指します。 データに対して答えが存在する教師あり学習とは異なり、各データに答えがない状態で学習されるので、クラスタリングによってまとめられたデータのグループが何を示しているのかは解釈が必要となります。 しかしその分、ク
機械学習開発の標準戦略MLOps
こんにちは、GMOアドマーケティングのS.Rです。 機械学習の開発を円滑に進めるためにMLOps の取り組みは重要です。今日はよく使われているMLOps のFramework であるKubeflow とKubeflow に基づいたCloud Service AI Platform を皆さんへ紹介させていただきます。 ※なお、この記事中の図示は、特に断りが無い限り筆者が作成したものです。 MLOpsとは MLOPSは分析（ML）＋開発（Dev）＋リリース（Operations）の組み合わせです。 機械学習の開発効率を向上させる為に、機械学習project の開発原則とルールが纏められています。 MLOpsのレベル MLOps の自動化はその程度により3 つのレベルがあります。 詳細については【Google Cloud「MLOps: 機械学習における継続的デリバリーと自動化のパイプライン」（リ
機械学習が正しく機能しないときに考えること
この記事は GMOアドマーケティング Advent Calendar 2021 17日目の記事です。 はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 突然ですが、機械学習関連のタスクでこんなことを経験したことはありませんか？ 書籍や論文に載せられている有効的な手法を使用したにもかかわらず、タスクの評価指標(KPI)が向上しない訓練データ上では良い結果だが、本番環境で予測させてみるとそうでもないそもそも、機械学習を用いてタスクを取り組む際、どこから手をつけていけば良いかが分からない 機械学習についての基本的な知識はある(はず)与えられたデータに対して、データ分析〜学習〜予測の一連の作業を行なったことがある(大学の研究、kaggleのコンペ等)が、実際のビジネスの施策として機械学習を用いようと考えた途端に思考が纏まらなくなる 上記のような、ひよっ
無事故でPostgreSQLバージョンアップ兼Cloud SQLへ移行した話
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアから見たGCPサービス(DB/ストレージ編)」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 今回は「AWSエンジニアから見たGCP」をテーマにし、いくつかのDB/ストレージ系のGCPサービスについてAWSと比較し感じた点についてお話いたします。 オブジェクトストレージCloud StorageAWSではS3に相当するストレージサービス。ストレージクラスの概念や耐久性(イレブンナイン)、ライフサイクルルール/ACLでのアク... 今回は、GC
業務でどれだけSQL力がつくのか ~SQLアンチパターンを用いて確認~ 後編
はじめにこんにちは。GMOアドマーケティングのKONCEです。新卒で入社し、数年経ちました。日々の業務で学ぶことは多いですが、今年度は技術の深堀りをテーマにやっていきたいと思っています。今回は入社してDBやSQLに関しては業務内で学ぶことが多く、特別訓練をしていたわけではなかったのですが、「SQLアンチパターン」を用いて学びながら、改めて自分の現状を見つめ直していけたらと思います。今回は学習を行う側面と自分自身のレベルについて見直していきたいので 知っていた → ○ 部分的に知っていた → △ 知らなかった → ... 今回は後編です。 今回も 知っていた → ○ 部分的に知っていた → △ 知らなかった → × を付けてみようと思います。 目次 SQLアンチパターンについて Ⅲ部 クエリのアンチパターン 2-1. [△]13章 フェア・オブ・ジ・アンノウン（恐怖のunknown） 2-2
AWSエンジニアから見たGCPサービス(DB/ストレージ編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。先日、Google Cloud のProfessional Cloud Architect(以下PCA)を取得する機会があったので今回はその合格までの道のりについてお話しいたします。きっかけきっかけとなったのは、Google Cloudが主催している特別トレーニング「G.I.G.」に参加する機会が巡ってきたことです。GMOアドマーケティングに入社して約1年が経つと
元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWSエンジニアがGCPメインの会社に転職してみた」を読んでいただいた方々、ありがとうございます。 今回は2回目の投稿になります。前回と同様に、「AWSエンジニアから見たGCP」のような記事を書こうと思っていましたが、最近業務で触れたPostgreSQLのメモリ周りの話があまりにも濃かったので、今回はPostgreSQLのメモリアーキテクチャを題材にお話しいたします。(「AWSエンジニアから見たGCP」の続編は次回以降改めて執筆いたします。) hakumai... 先日、Google Cloud のProfessional
Rubyのデバッガ「Ruby Jard」についてご紹介
この記事は GMOアドマーケティング Advent Calendar 2020 18日目の記事です。 こんにちは。GMOアドマーケティングのH.Tと申します。 RubyJardについてご紹介したいと思います。 Ruby Jardとは RubyJardはbyebugをベースとして開発されたCUIで動作するRubyデバッガです。 RubyJardは公式サイトによると2020年の7月から開発が始まったとあり現在(2020年11月)最新バージョンがV0.3.1になっています。 開発が始まってまだ一年も経ってないようですが今後様々な機能の実装が予定されておりロードマップを確認できます。 普段の業務の開発環境ではbetter_errorsとbinding_of_callerで画面上でデバッグができるようになっているのですがbyebugやRubyJardのようにコンソール上で動くデバッガは使ったことがな
PostgreSQLのメモリアーキテクチャを知る
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアがGCPメインの会社に転職してみた」を読んでいただいた方々、ありがとうございます。 初めまして、GMOアドマーケティング インフラ開発部のhakumaiです。今年1月にHRTech系企業からGMOアドマーケティングに転職してきました。現職では、女子向けメディア「めるも」のインフラ業務に携わり、日々業務に励んでおります。今回は、私が転職してみて感じたインフラ技術のギャップの一部についてお話しいたします。 前職でのインフラ環境・経験について前職のHRTech企業で触っていたインフラ環境は、ほぼAWSでした。インフラの保守運用業務に加え、新規プロダクトのインフラアーキテクチャ設計構築を経験したこともあり、V... 今回は2回目の投稿になります。 前回と同様に、「AWSエンジニアから見たGCP」
Google ColaboratoryでBigQuery SQLの共有
GMOアドマーケティングのT.Oです。 SQL式を共有したいと思ったことはありませんか？ 今回はGoogle Colaboratoryを使用して、BigQueryのSQL式を共有するための手順をご紹介します。 0.Google Colaboratoryとは？ Google Colaboratory（略称:Google Colab）とは、ブラウザ上でプログラム（主にPython）を記述、実行できるクラウド上のサービスです。機械学習やデータ分析の分野で利用されているJupyter Notebookというツールをベースにしていて以下のような特徴があります。 環境構築が不要（ローカル環境へのインストールは不要です） GPUへの無料アクセス（計算を高速に行いたい場合にGPUを利用します） 簡単に共有（プログラムや説明の文章、実行結果をノートブックと呼ばれるファイルにまとめて管理、共有できます） 今回
FitbitのアクティビティデータをColabで可視化しましょう
こんにちは、GMOアドマーケティングのS.Rです。 Fitbitは人気の活動量計の一つです。 昨年、FitbitのCharge2を購入し、日々のアクティビティデータ(運動、食事、体重、睡眠など)を記録していました。データ量が結構貯まっていたので、機械学習のエンジニアとして何かに利用してみようと思います。 Fitbitのデータと無料のデータ分析クラウドサービスColabと連携する方法を調べてみましたので、今回は、その方法について皆さんへ紹介させていただきます。 Fitbit側の権限設定 Fitbitの開発者センターで新しいAppを申請する ① Manage->Register An Appを選択してください。 ※:引用元 | Fitbit Development: Fitbit SDK, https://dev.fitbit.com/ ② Fitbitのアカウントでログインしてください。 ③
【在宅勤務レポート】コミュニケーションの取り方についてエンジニアリングマネージャーに聞いてみました
GMOアドマーケティングの石丸(@thomi40)です。新型コロナウイルスの影響で在宅勤務や時差出勤を取り入れる企業が増えていますが、GMOインターネットグループも2020年1月27日から在宅勤務体制へ移行しました。 当初は2週間をめどとした在宅勤務でしたが、2020年2月10日以降も在宅勤務の継続やオフィス出社時の感染予防対策を拡充させるといった体制へ移行しております。詳細の取り組みは以下のページをご覧ください。 弊社GMOアドマーケティングでも2020年1月27日から在宅勤務を中心とした体制へ移行したので、今回は社内の6... T.M @アドネットワーク『AkaNe』 今の状況、工夫したところ 在宅勤務が始まった当初はミーティングがやりづらいと感じていましたが、4ヶ月続けると慣れてきました。 障害対応時も1日中Google Meetを繋げっぱなしにして会話をしながら対応することも出来ま
もっと早く、ラクに–TensorFlow 2.0を紹介
こんにちは、GMOアドマーケティングのS.Rです。 2019年9月、Deep Learningのツールの一つであるTensorFlowは2.0に更新しました！ 今回はTensorFlow 2.0について皆さんへご紹介します。 何が良くなっていたか 1 複数のplatformで実行できる。 TensorFlow 2.0は多数のクラウド, ウェブ,ブラウザ, モバイルで動かすことができる。 2 大規模なデータに対して分散処理のAPI( Distribution Strategy API)を提供している。 3 APIが簡単になる。 使いづらい、またはあまり使われていないAPIが削除された。(例えば：tf.app、tf.flags、and tf.logging、tf.math..) APIの書き方が奇麗になった。 4 グローバル変数をなくした。 TensorFlow 1.X にたくさん使われていた
【在宅勤務レポート】社内のエンジニアに工夫している点や困っている点を聞いてみました
GMOアドマーケティングの石丸(@thomi40)です。 新型コロナウイルスの影響で在宅勤務や時差出勤を取り入れる企業が増えていますが、GMOインターネットグループも2020年1月27日から在宅勤務体制へ移行しました。 当初は2週間をめどとした在宅勤務でしたが、2020年2月10日以降も在宅勤務の継続やオフィス出社時の感染予防対策を拡充させるといった体制へ移行しております。 詳細の取り組みは以下のページをご覧ください。 弊社GMOアドマーケティングでも2020年1月27日から在宅勤務を中心とした体制へ移行したので、 今回は社内の6名のエンジニアに、在宅勤務について 良かったこと 困っていること 工夫していること ランチはどうしてる？ 在宅勤務を支えるお気に入りのアイテムは？ デスクはどんな感じ？ などを聞いてみました。 在宅勤務に取り組んでいる方、今後在宅勤務体制になる方の参考になれば幸い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Colabでpysparkを利用する方法