Python×Excel×Pandasで劇的効率化

はじめに：Excel×Pandasでデータ処理を劇的に効率化
1. Pandas基本操作：Excelデータの読み込み、書き出し、そして加工
2. Excel関数をPandasで再現：VLOOKUP、SUMIF…Pandasで業務効率を最大化
3. 複数Excelファイルを自動処理：集計・結合でデータ分析を加速
4. Excel出力の高度な書式設定：グラフ埋め込みでレポートを格上げ
1. 4.1 書式設定：見やすいExcelは説得力が違う
2. 4.2 グラフ埋め込み：視覚的な訴求力で見る人の心を掴む
5. まとめと今後の学習：Excel×Pandas自動化で、あなたのキャリアを加速させよう
1. おすすめ学習リソース
2. 注意点

はじめに：Excel×Pandasでデータ処理を劇的に効率化

「Excelでのデータ処理、もう限界かも…」と感じていませんか？

日々の業務でExcelを多用する皆さん、大量のデータを扱う際の処理速度、繰り返しの手作業、計算ミスなどに頭を悩ませていませんか？もしそうなら、PythonのPandasライブラリとExcelの連携が、あなたの救世主になるかもしれません。

なぜExcelとPandasを組み合わせるのか？

Excelは強力な表計算ツールですが、数万行を超えるデータや複雑な処理には悲鳴を上げます。動作が遅くなり、ファイルが破損するリスクも高まります。さらに、同じような作業を何度も繰り返すのは、時間と労力の浪費以外の何物でもありません。

そこで登場するのがPandasです。PandasはPythonのデータ分析ライブラリであり、大量のデータを高速かつ効率的に処理することに特化しています。Excelファイルを読み込んで「データフレーム」という形式に変換し、データの抽出、加工、集計、分析を自由自在に行えます。もちろん、処理結果を再びExcelファイルとして出力することも簡単です。

自動化で得られる4つのメリット

ExcelとPandasを組み合わせることで、まるで魔法のように、以下のメリットが得られます。

時間の大幅な削減: 定型的な作業を自動化することで、手作業にかかる時間を劇的に減らせます。例えば、複数のExcelファイルを結合したり、特定の条件でデータを抽出したりする作業も、Pythonスクリプトなら数秒で完了します。
計算ミスの撲滅: 人間が行う手作業には、どうしてもミスがつきものです。しかし、Pythonスクリプトで処理を自動化すれば、計算ミスをほぼゼロにできます。一度正しいコードを書いてしまえば、あとは何度実行しても同じ結果が得られます。
データ分析の進化: Pandasは、高度なデータ分析機能を提供しています。Excelでは難しい複雑な集計や分析も、Pandasを使えば簡単に行うことができます。例えば、特定の条件を満たすデータの平均値や標準偏差を計算したり、グラフを作成したりすることも可能です。
無限の拡張性: Pythonは、他の様々なツールと連携することができます。例えば、Webサイトからデータを自動的に収集してExcelに取り込んだり、データベースからデータを抽出して分析したりすることも可能です。あなたのアイデア次第で、可能性は無限に広がります。

経済産業省も推進する自動化

経済産業省の調査でも、データ分析や自動化スキルを持つ人材の重要性が指摘されています。Microsoftも「Python in Excel」機能をリリースし、Excel業務のPythonによる効率化を推進しています。つまり、ExcelとPandasを組み合わせた自動化は、これからのビジネスパーソンにとって必須のスキルと言えるでしょう。

この記事では、ExcelとPandasを連携させてデータ処理を自動化する方法を、基本操作から高度なテクニックまで、丁寧に解説します。この記事を読み終える頃には、あなたもデータ処理の自動化を始め、日々の業務を効率化し、より創造的な仕事に時間を使えるようになっているはずです。

1. Pandas基本操作：Excelデータの読み込み、書き出し、そして加工

このセクションでは、PythonのPandasライブラリを使って、Excelファイルのデータを読み込み、加工し、再びExcelファイルとして書き出すという、一連の基本操作をステップごとに解説します。具体的なコード例を交えながら、データ処理の自動化を体験していきましょう。

1.1 準備：Pandasのインストール

まず最初に、Pandasライブラリがインストールされているか確認しましょう。もしインストールされていなければ、以下のコマンドをターミナル（またはコマンドプロンプト）で実行してインストールしてください。

pip install pandas

1.2 データ読み込み：pd.read_excel()

PandasでExcelファイルを読み込むには、pd.read_excel()関数を使用します。この関数は、ExcelファイルをDataFrameという形式に変換します。DataFrameは、Pandasにおける表形式データの基本的な構造です。

基本構文:

import pandas as pd

df = pd.read_excel('ファイル名.xlsx', sheet_name='シート名')

ファイル名.xlsx: 読み込むExcelファイルのパスを指定します。相対パスまたは絶対パスを使用できます。
sheet_name='シート名': 読み込むシートの名前を指定します。省略した場合、最初のシートが読み込まれます。

例:

data.xlsxというExcelファイルの売上データというシートを読み込む場合：

import pandas as pd

df = pd.read_excel('data.xlsx', sheet_name='売上データ')
print(df)

実行前に:

上記のコードを実行する前に、data.xlsxという名前のExcelファイルを作成し、売上データというシートが含まれていることを確認してください。ファイルが存在しない場合、FileNotFoundErrorが発生します。

オプション:

pd.read_excel()関数には、さまざまなオプションがあります。

header: ヘッダー行を指定します (デフォルトは0行目)。
index_col: インデックスとして使用する列を指定します。
usecols: 読み込む列を限定します。
skiprows: 読み飛ばす行数を指定します。
nrows: 読み込む行数を指定します。

これらのオプションを組み合わせることで、必要なデータだけを効率的に読み込むことができます。

1.3 データ書き出し：df.to_excel()

DataFrameに格納されたデータをExcelファイルに書き出すには、df.to_excel()関数を使用します。

基本構文:

df.to_excel('出力ファイル名.xlsx', sheet_name='シート名', index=False)

出力ファイル名.xlsx: 書き出すExcelファイルのパスを指定します。
sheet_name='シート名': 書き出すシートの名前を指定します。
index=False: DataFrameのインデックスを書き出さないように指定します。通常はFalseを指定します。

例:

DataFrame df の内容をoutput.xlsxというExcelファイルの結果というシートに書き出す場合：

import pandas as pd

# データフレーム作成（例）
data = {'名前': ['山田', '田中', '佐藤'], '年齢': [20, 25, 30]}
df = pd.DataFrame(data)

df.to_excel('output.xlsx', sheet_name='結果', index=False)

オプション:

startrow: 書き込みを開始する行番号を指定します。
startcol: 書き込みを開始する列番号を指定します。
na_rep: 欠損値の表示形式を指定します。

1.4 データ加工：抽出、欠損値処理、列選択

Pandasでは、DataFrameに対して様々なデータ加工処理を行うことができます。

1.4.1 データ抽出

条件に合致するデータのみを抽出するには、条件式を使用します。

例:

売上列が1000以上の行を抽出する場合：

df_filtered = df[df['売上'] > 1000]
print(df_filtered)

実行前に:

上記のコードを実行する前に、DataFrame df に 売上 という列が存在することを確認してください。存在しない場合、KeyErrorが発生します。

1.4.2 欠損値処理

欠損値（NaN）を処理するには、fillna()関数やdropna()関数を使用します。

fillna(値): 欠損値を指定した値で埋めます。
dropna(): 欠損値を含む行を削除します。

例:

欠損値を0で埋める場合：

df_filled = df.fillna(0)
print(df_filled)

1.4.3 列選択

特定の列だけを選択するには、列名を指定します。

例:

名前列と年齢列だけを選択する場合：

df_selected = df[['名前', '年齢']]
print(df_selected)

1.5 まとめ

このセクションでは、Pandasを使ったExcelデータの基本的な読み込み、書き出し、加工の方法を解説しました。これらの基本操作を組み合わせることで、Excelを使ったデータ処理を自動化し、業務効率を大幅に向上させることができます。次のセクションでは、Excel関数をPandasで再現する方法について解説します。

2. Excel関数をPandasで再現：VLOOKUP、SUMIF…Pandasで業務効率を最大化

Excelでのデータ処理に欠かせないVLOOKUPやSUMIF。これらの便利な関数を、PythonのPandasライブラリを使って再現する方法を解説します。Pandasを使うことで、Excelの操作を自動化し、より効率的なデータ分析が可能になります。

2.1 VLOOKUPをPandasで再現する：merge()関数

VLOOKUPは、あるデータ範囲から特定の値を検索し、対応する別の列の値を返す関数です。Pandasではmerge()関数を使うことで、VLOOKUPと似たような処理を実現できます。merge()は、2つのデータフレームを共通の列をキーとして結合する関数です。

具体例：

例えば、商品IDと商品名が記載されたデータフレーム（df_products）と、商品IDと売上データが記載されたデータフレーム（df_sales）があるとします。df_salesに商品名をVLOOKUPのように追加したい場合、以下のコードを実行します。

import pandas as pd

df_products = pd.DataFrame({
 '商品ID': [1, 2, 3, 4],
 '商品名': ['りんご', 'みかん', 'ぶどう', 'メロン']
})

df_sales = pd.DataFrame({
 '商品ID': [1, 2, 1, 3],
 '売上': [100, 150, 120, 200]
})

df_merged = pd.merge(df_sales, df_products, on='商品ID', how='left')
print(df_merged)

このコードを実行すると、df_salesに商品名が追加された新しいデータフレームdf_mergedが作成されます。how='left'は、df_sales（左側のデータフレーム）を基準に結合することを意味します。VLOOKUPでいうところの、検索元テーブルにデータをくっつけるイメージです。

2.2 SUMIF、SUMIFSをPandasで再現する：groupby()関数とsum()関数

SUMIFは、指定した条件に一致するデータの合計を計算する関数です。SUMIFSは、複数の条件を指定できるSUMIFの上位版です。Pandasでは、groupby()関数とsum()関数を組み合わせることで、SUMIFやSUMIFSと同様の処理を実現できます。

具体例：

例えば、支店名、商品カテゴリ、売上が記載されたデータフレーム（df_sales）があるとします。特定の支店の売上合計を計算したい場合、以下のコードを実行します。

import pandas as pd

df_sales = pd.DataFrame({
 '支店名': ['東京', '大阪', '東京', '名古屋', '大阪'],
 '商品カテゴリ': ['A', 'B', 'A', 'A', 'C'],
 '売上': [100, 150, 120, 200, 180]
})

tokyo_sales = df_sales[df_sales['支店名'] == '東京']['売上'].sum()
print(f'東京支店の売上合計: {tokyo_sales}')

複数の条件を指定したい場合は、以下のように条件を組み合わせます。

category_a_tokyo_sales = df_sales[(df_sales['支店名'] == '東京') & (df_sales['商品カテゴリ'] == 'A')]['売上'].sum()
print(f'東京支店のAカテゴリの売上合計: {category_a_tokyo_sales}')

より複雑な条件で集計を行いたい場合は、groupby()関数を使うと便利です。例えば、支店ごとに売上合計を計算するには、以下のコードを実行します。

branch_sales = df_sales.groupby('支店名')['売上'].sum()
print(branch_sales)

2.3 まとめ

Pandasを使うことで、ExcelのVLOOKUPやSUMIFといった関数を再現し、データ処理を自動化できます。これらのテクニックを習得することで、Excelでの作業時間を大幅に削減し、より高度なデータ分析に集中できるようになります。ぜひ、Pandasを活用して、業務効率を向上させてください。

3. 複数Excelファイルを自動処理：集計・結合でデータ分析を加速

複数のExcelファイルをPandasで自動処理することで、日々の業務を大幅に効率化できます。ここでは、ファイルの一括読み込みから、データの結合、集計処理まで、具体的なコード例を交えながら解説します。

3.1 ファイルの一括読み込み：globモジュール

まず、globモジュールを使って、特定のフォルダにあるExcelファイルをリストとして取得します。これは、大量のExcelファイルが格納されたフォルダを扱う場合に非常に便利です。

import glob
import pandas as pd

# フォルダ内のExcelファイルを取得
excel_files = glob.glob('data/*.xlsx')

print(excel_files) # => ['data/売上データ_202301.xlsx', 'data/売上データ_202302.xlsx', ...]

glob.glob('data/*.xlsx')は、dataフォルダ内にある拡張子が.xlsxのファイルをすべてリスト形式で返します。このリストを後でPandasで読み込みます。

実行前に:

上記のコードを実行する前に、dataという名前のディレクトリを作成し、その中に.xlsxファイルが含まれていることを確認してください。ディレクトリが存在しない場合、FileNotFoundErrorが発生します。

3.2 データの結合：pd.concat()関数

次に、取得したExcelファイルをPandasのDataFrameとして読み込み、pd.concat()関数を使って結合します。異なる月の売上データを一つにまとめる、といったケースで役立ちます。

df_list = []
for file in excel_files:
 df = pd.read_excel(file)
 df_list.append(df)

# DataFrameを結合
combined_df = pd.concat(df_list, ignore_index=True)

print(combined_df.head())

pd.concat()は、DataFrameを縦方向に結合します。ignore_index=Trueを指定することで、結合後のインデックスが0から振り直されます。もし、横方向に結合したい場合は、axis=1を指定します。

3.3 集計処理：groupby()関数

最後に、結合したデータに対して、groupby()関数を使って集計処理を行います。例えば、商品ごとの売上合計を計算する、といった処理を自動化できます。

# 商品ごとの売上合計を計算
grouped_df = combined_df.groupby('商品名')['売上'].sum()

print(grouped_df)

groupby('商品名')['売上'].sum()は、商品名をキーとしてデータをグループ化し、各グループの売上の合計を計算します。この結果は、商品ごとの売上ランキングを作成する際に利用できます。

3.4 実践的な応用例

例えば、毎月更新される複数の支店の売上データを自動で集計し、全社の売上レポートを作成する、といった業務を自動化できます。globでファイルを取得、concatでデータを結合、groupbyで集計という流れを一度構築すれば、毎月同じ作業を繰り返す必要はありません。

import glob
import pandas as pd

# フォルダ内のExcelファイルを取得
excel_files = glob.glob('支店別売上データ/*.xlsx')

# DataFrameを結合
df_list = []
for file in excel_files:
 df = pd.read_excel(file)
 df_list.append(df)
combined_df = pd.concat(df_list, ignore_index=True)

# 支店ごとの売上合計を計算
grouped_df = combined_df.groupby('支店名')['売上'].sum()

# 結果をExcelに出力
grouped_df.to_excel('全社売上レポート.xlsx')

実行前に:

上記のコードを実行する前に、支店別売上データという名前のディレクトリを作成し、その中に.xlsxファイルが含まれていることを確認してください。ディレクトリが存在しない場合、FileNotFoundErrorが発生します。また、各Excelファイルに支店名と売上という列が含まれていることを確認してください。

このコードを実行することで、「支店別売上データ」フォルダにあるすべてのExcelファイルを読み込み、支店ごとの売上合計を計算し、「全社売上レポート.xlsx」というExcelファイルに出力します。これにより、毎月手作業で行っていた集計作業から解放されます。

4. Excel出力の高度な書式設定：グラフ埋め込みでレポートを格上げ

Pandasで処理したデータを見やすく、そして訴求力のある形でExcelに出力することは、自動化の最終的なゴールと言えるでしょう。ここでは、書式設定、グラフ埋め込みという2つの高度なテクニックを解説します。

4.1 書式設定：見やすいExcelは説得力が違う

Excelの見た目は、データの理解度を大きく左右します。せっかくPandasで効率的に処理したデータも、書式が整っていないと魅力が半減してしまいます。

StyleFrameライブラリの活用:

StyleFrameは、PandasのDataFrameをExcelに出力する際に、きめ細かい書式設定を可能にするライブラリです。セルの幅、高さ、文字の配置、フォントの種類、色などを自由に設定できます。

インストール:

pip install styleframe openpyxl

基本コード:

from styleframe import StyleFrame, Styler
import pandas as pd

# サンプルデータフレーム (実際のデータフレームに置き換えてください)
data = {'商品名': ['商品A', '商品B', '商品C'], '売上': [1000, 1500, 1200]}
df = pd.DataFrame(data)

sf = StyleFrame(df)

# 列の幅を設定
sf.set_column_width(columns=['商品名', '売上'], width=20.0)

# ヘッダーのスタイルを設定
header_style = Styler(bold=True, horizontal_alignment='center')
sf.apply_headers_style(header_style=header_style)

# DataFrameをExcelに出力
sf.to_excel('売上データ.xlsx', sheet_name='Sheet1', index=False)

実行前に:

上記のコードを実行する前に、StyleFrameとopenpyxlがインストールされていることを確認してください。インストールされていない場合は、上記のpip installコマンドを実行してください。

条件付き書式の設定:

特定の条件を満たすセルに対して、色を変えたり、アイコンを表示したりする条件付き書式も設定できます。例えば、売上が目標値を上回ったセルを緑色にする、といった表現が可能です。

4.2 グラフ埋め込み：視覚的な訴求力で見る人の心を掴む

数値データだけでは伝わりにくい情報も、グラフを使えば一目瞭然です。Pandasで作成したグラフをExcelに埋め込むことで、レポートの視覚的な訴求力を高めることができます。

openpyxlライブラリの活用:

openpyxlは、Excelファイルの操作に特化したライブラリです。これを使うと、Excelシートにグラフを挿入したり、既存のグラフを編集したりできます。

import openpyxl
from openpyxl.chart import BarChart, Reference
import pandas as pd

# サンプルデータフレーム (実際のデータフレームに置き換えてください)
data = {'商品名': ['商品A', '商品B', '商品C'], '売上': [1000, 1500, 1200]}
df = pd.DataFrame(data)

# Excelファイルにデータフレームを書き出す
df.to_excel('売上データ.xlsx', sheet_name='Sheet1', index=False)

# ワークブックとシートを読み込む
wb = openpyxl.load_workbook('売上データ.xlsx')
sheet = wb['Sheet1']

# グラフのデータ範囲を指定
data = Reference(sheet, min_col=2, min_row=1, max_col=2, max_row=len(df['売上']) + 1)

# グラフの種類を指定
chart = BarChart()
chart.add_data(data, titles_from_data=True)

# グラフのタイトルを設定
chart.title = '商品別売上グラフ'

# グラフをシートに埋め込む
sheet.add_chart(chart, 'E2')

# ワークブックを保存
wb.save('売上データ_グラフ付き.xlsx')

実行前に:

上記のコードを実行する前に、openpyxlがインストールされていることを確認してください。インストールされていない場合は、上記のpip installコマンドを実行してください。また、売上データ.xlsxというファイルが存在することを確認してください。

この例では、openpyxlを使ってExcelファイルを開き、商品別の売上データを参照して棒グラフを作成し、シートに埋め込んでいます。

これらのテクニックを駆使することで、Pandasで処理したデータを、より分かりやすく、魅力的にExcelに出力することができます。ぜひ、あなたの業務に役立ててください。

5. まとめと今後の学習：Excel×Pandas自動化で、あなたのキャリアを加速させよう

お疲れ様でした！

この記事では、Python、Excel、そしてPandasを組み合わせたデータ処理の自動化について、基礎から応用まで幅広く解説してきました。Pandasの基本操作から始まり、Excel関数の再現、複数ファイルの処理、そして高度な書式設定まで、様々なテクニックを習得することで、日々の業務効率を飛躍的に向上させることが可能になったはずです。

しかし、自動化の世界はこれで終わりではありません。更なるスキルアップを目指し、以下のステップに進んでみましょう。

Webスクレイピング: Webサイトからデータを自動収集し、Excelに取り込むことで、データ収集の幅を広げられます。
タスクスケジューラ: Pythonスクリプトを定期的に実行するように設定することで、データ更新やレポート作成を完全自動化できます。
エラーハンドリング: try-exceptブロックを記述し、エラー発生時の処理を組み込むことで、より安定した自動化を実現できます。

注意点

最後に、自動化を進める上で、個人情報保護法などの関連法規制を遵守し、データの取り扱いには十分注意してください。

自動化の学習は決して簡単ではありませんが、一歩ずつ着実に進んでいくことで、必ず成果を上げることができます。この記事が、あなたの自動化スキル向上の一助となれば幸いです。共に、更なる自動化の世界へ進んでいきましょう！

Python×Excel×Pandasで劇的効率化

はじめに：Excel×Pandasでデータ処理を劇的に効率化

なぜExcelとPandasを組み合わせるのか？

自動化で得られる4つのメリット

経済産業省も推進する自動化

1. Pandas基本操作：Excelデータの読み込み、書き出し、そして加工

1.1 準備：Pandasのインストール

1.2 データ読み込み：pd.read_excel()

1.3 データ書き出し：df.to_excel()

1.4 データ加工：抽出、欠損値処理、列選択

1.4.1 データ抽出

1.4.2 欠損値処理

1.4.3 列選択

1.5 まとめ

2. Excel関数をPandasで再現：VLOOKUP、SUMIF…Pandasで業務効率を最大化

2.1 VLOOKUPをPandasで再現する：merge()関数

2.2 SUMIF、SUMIFSをPandasで再現する：groupby()関数とsum()関数

2.3 まとめ

3. 複数Excelファイルを自動処理：集計・結合でデータ分析を加速

3.1 ファイルの一括読み込み：globモジュール

3.2 データの結合：pd.concat()関数

3.3 集計処理：groupby()関数

3.4 実践的な応用例

4. Excel出力の高度な書式設定：グラフ埋め込みでレポートを格上げ

4.1 書式設定：見やすいExcelは説得力が違う

4.2 グラフ埋め込み：視覚的な訴求力で見る人の心を掴む

5. まとめと今後の学習：Excel×Pandas自動化で、あなたのキャリアを加速させよう

おすすめ学習リソース

注意点

コメント