Python

IT

モジュールインポートとsubprocess.runを用いてPythonファイルを参照する方法を理解する

はじめに本記事では Python ファイル内で他のファイルを参照するときのパスについて、モジュールのインポートとsubprocess.runを例に説明します。環境$ python -VPython 3.10.8使用するディレクトリ構造とPy...
IT

JupyterNotebook で Python スクリプトを実行する際に環境変数を設定する

はじめに本記事では JupyterNotebook で Python スクリプトを実行する際に環境変数を設定する方法についてまとめます。環境変数を設定する検証用に以下ファイルを用意します。sample.pyimport osprint(os...
IT

PyMySql を使って pandsa の DataFrame をまとめてDBに挿入する

はじめに本記事では PyMySql を使って pandsa の DataFrame をまとめてDBに挿入する方法についてまとめます。環境以下が今回の環境です。$ python -VPython 3.9.16$ pip list | grep...
IT

Pythonでラテン文字等に見られるアクセント記号を削除する

はじめに本記事ではラテン文字などに存在するアクセント記号付きの文字を英語アルファベットに変換する方法についてまとめます。ここで言うアクセント記号つき文字とはçやèを例とする、英語アルファベットに発音用記号がついているものを指します。データ分...
IT

MinIO を使用してローカルに S3 環境を構築する

はじめに本記事では MinIO を使用してローカルに S3 環境を構築します。MinIO とは S3 互換性があるオブジェクトストレージです。Docker イメージも公開されており、手軽に S3 環境を構築することが可能です。環境以下の環境...
IT

[MySQL] PyMySQL でローカルのファイルを読み込む

はじめに本記事では PyMySQL でローカルのファイルを読み込む方法についてまとめます。環境DB は MySQL を使用しています。 mysql> select version(); +-----------+ | version() |...
IT

[教師なし学習] k-means でクラスタリングを行う

はじめに本記事では、k-means を用いてデータを分類(クラスタリング)します。Python の機械学習ライブラリである scikit-learn を使用して実装します。環境以下が今回の環境です。$ python -VPython 3.7...
Python

nltk を使用して文末を判定する

はじめに自然言語処理のための Python ライブラリの一つとして、nltk があります。本記事では nltk を使用して、英文の構文解析を行い、文末の判定を行う方法についてまとめます。対象者この記事は下記のような人を対象にしています。英語...
IT

Selenium の基本的な使い方を整理する

はじめにSelenium は Web ブラウザの操作を自動化するためのフレームワークです。本記事では Selenium の基本的な使い方を整理します。環境以下が今回の環境です。$ python -VPython 3.9.2$ pip lis...
AWS

Python で S3 に保存されている SQL ファイルを読み込み、実行結果を S3 に出力する

はじめに前回の記事では、複数の外部 SQL ファイルを読み込んで、結果を CSV で出力する方法をまとめました。本記事はその続きで、実行結果を S3 に保存する方法をまとめる方法と、実行する SQL を S3 から読み込む方法をまとめます。...