既存の外部ライブラリをLambdaレイヤで利用する

AWS python

Pythonで外部ライブラリをLambdaのレイヤに登録するために 使用するzipファイルの作り方は以下の通り。 なお、環境はdockerに作成したamazon linux:2環境で以下を実行しています。 Windowsや他のLinuxだとそのOS用のライブラリが含まれてしまうこともあり 正…

パラメータストアを利用する

AWS

lambdaで実行する際に利用する値を外部ファイルから取得する方法の１つとして パラメータストアがあります。（基本無料） 利用例は以下の通り。 ●AWS System Manager → パラメータストア →「パラメータストアを作成」を行う パラメタ名：TEST_PARAM_HOGE 利…

lambda レイヤーのサンプル

AWS

自作のlambda関数を作成して呼び出すまでの手順は以下の通り。 ①Layerのファイルを作成する ①-１.ライブラリ化したい関数を作成する ①-2.Python」の名前のフォルダを作成し、作成したファイルを格納する Python |------hogelayertest.py ①-3.2のフォルダをZI…

lambdaからS3にファイルを書き込み

AWS python

lambdaからS3にファイルを書き込みするPythonコードは以下の通り。 import boto3 # S3に接続するためのクライアントを作成 s3 = boto3.client('s3') # バケット名 bucket_name = 'hogetest01' # 使用するS3バケット名を指定 # 作成するファイル名と内容 file…

GASでJson形式のパラメタを受け取るAPI

GAS python

Json形式でパラメタを受け取り、Json形式で返すスクリプトは以下の通り。 受け取ったJsonの中にあるkey3の値をmessageの値にセットして返しています。 //HTTP Postをハンドリングするfunction doPost(e) { // 値を設定する numval = "123456789" // JSONパラ…

GASでパラメタを受け取る

GAS

e.parameterでパラメタを受け取ることができる。 以下は「inval」という名前のパラメタを受け取っている。 パラメタ名は任意の値をつけてよい。 //HTTP GETをハンドリングするfunction doGet(e) { // 値を設定する value = "hoge ???" numval = "123456789" …

GASでJSONの値を返すWEB APIを作成する

GAS

1.以下のサイトにアクセスする https://script.google.com/home?pli=1 2.APPS SCRIPTを作成をクリックする 3.Jsonの値を記述するコードを作る 記述したコード //HTTP GETをハンドリングするfunction doGet(e) { // 値を設定する value = "hoge !!!" numval =…

WEBAPIを呼び出す

python

郵便番号から住所を検索するAPIを呼び出すコードは以下の通り。 import requests # APIのエンドポイントURLurl = 'https://zipcloud.ibsnet.co.jp/api/search?zipcode=8000001' # GETリクエストを送信response = requests.get(url) # ステータスコードの確認…

Windowsのプログラムと機能で表示されている内容を取得する

python

import winreg # プログラム一覧を取得する関数 def get_installed_programs(): # レジストリを検索 uninstall_key = r"SOFTWARE\Microsoft\Windows\CurrentVersion\Uninstall" programs = [] try: with winreg.OpenKey(winreg.HKEY_LOCAL_MACHINE, uninstal…

ExcelをPDF形式で保存する

python

フォルダ内のExcelファイルをPDF形式で保存するコード。 ExcelがインストールされているWindowsマシンで動作することが前提。 コマンドプロンプトから以下でライブラリをインストールする。 pip install comtypes Pythonのコードは以下の通り。 pip install …

複数のPDFファイルを１つにまとめる

python

複数のPDFファイルを１つにまとめるプログラム例は以下の通り。 import fitz # PyMuPDFのモジュール import os #関数の定義 def merge_pdfs(input_folder, output_pdf_path): # 出力先PDFファイルを作成する output_pdf_document = fitz.open() # 入力フォル…

PDFファイルをページごとに別ファイルにする

python

複数ページあるPDFファイルを１ページごとに別ファイルにするソースコード例 import fitz # PyMuPDFのモジュール # 関数の定義 def split_pdf(input_pdf_path, output_folder): # PDFファイルを開く pdf_document = fitz.open(input_pdf_path) # ページの数…

pyautogui

python

pyautoguiを使うとRPAのようにマウスやキーボード操作を自動化できる。 ブラウザを開き、検索するまでを自動で実行するコードは以下の通り。 ※座標は動かなければ正しい値に調整すること import pyautogui import time # ブラウザを開く pyautogui.hotkey('w…

PDFファイルの値をExcelに出力する

python

PDFファイルの全ページをExcelに出力するコードは以下の通り。 PDFの１ページ目⇒A列 PDFの2ページ目⇒B列 ・・・・ import fitz # PyMuPDF from openpyxl import Workbook #関数の定義 def pdf_to_excel(pdf_path, excel_path): # PDFを開く pdf_document = f…

pymupdf

python

pymupdfでPDFファイルを操作できる。 コマンドプロンプトからpymupdfをインストールするpymupdf pip install pymupdf PDFファイル内の値をテキストファイルに出力するコード例 import fitz # PyMuPDF #関数の定義 def extract_text_from_pdf(pdf_path, outpu…

フォルダ内のファイルを操作する

python

フォルダ内のすべてのExcelファイルの指定したセルの値を出力するコードは以下の通り。 import os from openpyxl import load_workbook # Excelファイルがあるフォルダのパスを指定する folder_path = 'D:\lab' # 出力するテキストファイルのパスを指定する …

Excelの値の指定したセルをテキストに出力する

python

Excelファイルを読み込み、指定した列の値をテキストに出力するコード例 import openpyxl #関数部分の定義 def excel_to_text(file_path): # Excelファイルを読み込む workbook = openpyxl.load_workbook(file_path) # シートを選択（デフォルトは最初のシー…

openpyxl

python

openpyxlはExcelの入出力を行うためのライブラリ。 利用するにはコマンドプロンプトから以下を実行し、インストールを行う。 pip install openpyxl 以下、指定したセルの値を標準出力するコード import openpyxl # ブックを取得する book = openpyxl.load_wo…

ajsprint

JP1

JP1のジョブ定義をテキスト形式に出力するにはajsprintコマンドを使用する。 使用例は以下の通り。 ajsprint -F AJSROOT1 -a WORK/HOGE_JOBNET01 > E:\TEST\AJSROOT1_HOGE_JOBNET01.txt -F スケジューラーサービスのサービス名を指定する-a ジョブネット名を…

Cloud Shellでユーザーを作成する

AWS

CLIではなくCloud Shellでユーザーを作成する手順は以下の通り。 CLIと違い、アクセスキーの作成は必要ない。 ①AWS コンソールからCloud Shellのサービスを検索し、起動する。 ※右上のアイコンからでも起動できる。 ②プロンプトが起動されるのでIAMのCreate-…

AWS CLIでAWSに接続する

AWS

AWS CLIからアクセスキーとシークレットアクセスを使って接続し、 その後ユーザーを新規作成する手順は以下の通り。 ①AWSコンソールのIAMからアクセスキーを作成をクリックする。 ②CLIにチェックをつける。 ③タグを入力する。 ④アクセスキーとシークレットア…

AWS CLIのインストール (Windows)

AWS

①AWS CLIで検索し、インストールのサイトに移動する。 ②Windowsを選び、インストーラをダウンロードする ③ダウンロードしたインストーラを起動し、インストールを実行する。 ※すべて「Next」でよい ④以下の画面がでてきたらインストール完了 ⑤コマンドプロン…

utligen

HULFT

utligenはHULFTの定義情報をファイルに出力できる。 rem Hulftのbinフォルダに移動cd C:\HULFT Family\hulft8\bin rem 配信情報を出力utligen -f c:\hoge\hulft_snd.txt -i snd -id "*" rem 集信情報を出力utligen -f c:\hoge\hulft_rcv.txt -i rcv -id "*" …

エクスプローラでSharePointのフォルダを開く

windows

Sharepoint上のファイルをブラウザを使用せずエクスプローラからネットワークドライブ用のように扱いたい場合、 OneDrive上にSharepointのショートカットを作成することで実現できる。 手順は以下の通り。 １.Sharepointの対象のフォルダを選び、「OneDrive…

プライベートIPアドレス

ネットワーク

プライベートIPアドレスとして使用してよいIPの範囲は以下のどれかと規定されている。特に規定はないがクラスAやBは企業、クラスCは家庭で設定する場合に使用するのがよさそう。 クラスA(大規模) 10.0.0.0～10.255.255.255クラスB(中規模) 172.16.0.0～172.3…

AWSの料金メモ

AWS

自分なりに料金についてまとめたメモ。詳細および最新は公式サイトで確認すること。 EC2インスタンス⇒1時間あたりの使用量が決まる。 停止中は費用は発生しない。 EBS(EC2に直接アタッチできるディスク)⇒使用したサイズを月額で発生(月を満たさない場合は日…

scikit-learnのサンプルデータセットを使う

python

scikit-learnは機械学習ぼライブラリである。また、scikit-learnにはあらかじめ学習されているサンプルデータセットがいくつか存在する。 以下、そのデータセットのうち手書き数字データを取得し図として描画した手順。 事前準備として以下のライブラリをイ…

janome

python

janomeはPtyhonで日本語の形態素解析を行うライブラリ。 文章から最小単位の単語に分解することができる。 janomeのインストール pip install janome janomeを参照設定する #Tokenizerを参照するfrom janome.tokenizer import Tokenizer 形態素解析を実行す…

単純なスクレイピング

python

Pythonでページを取得し、特定のタグを取得するまでの手順は以下の通り。 １．事前準備として以下２つのライブラリをインストールする requests・・・WEBページを取得するライブラリ beautifulsoup4・・・HTML解析ライブラリ インストールはコマンドプロンプ…

jupyter Notebook

python

jupyter Notebookはブラウザで動作する主にPythonの統合開発環境。 インストールはpipで行うことができる。 以下、インストール～起動までの手順のメモ。 1.コマンドプロンプトで以下を実行する。 pip install jupyter 2.1でインストールしたのち、以下で起…