1 数据准备与环境搭建
在开展生物数据分析前，建立一个稳定、可重复的Python环境是关键。选择合适的版本组合可以提升分析的兼容性，常用的组合包括 Python3.9+、Pandas、NumPy 等核心库。
为了确保依赖隔离与可重复性，推荐使用虚拟环境或Conda环境，这样可以避免不同项目之间的依赖冲突，确保后续分析可追溯、可复现。
conda create -n bio-pandas python=3.9
conda activate bio-pandas
pip install pandas numpy scipy matplotlib数据的来源与格式在生物领域比较多样，常见的有RNA-Seq表达矩阵、蛋白表达数据以及各种元数据表。文件格式通常为 CSV/TSV/Excel，并且行往往代表基因或特征，列代表样本或条件，元数据单独一张表便于描述样本信息。
在正式分析前，明确数据字段含义有助于后续的数据清洗和对齐。此阶段也是确定哪些列需要作为索引、分组键和标签的关键时点。
import pandas as pd
import numpy as np# 读取表达矩阵（基因/特征×样本）
expr = pd.read_csv('expression_matrix.csv', index_col=0)# 读取样本元数据
meta = pd.read_csv('sample_metadata.csv')
2 数据清洗与质量控制
生物数据中常见大量<缺失值，需要先进行缺失值评估，然后决定是填补还是过滤。清洗阶段的目标是获得一个可重复、可追溯的表达矩阵，以便后续分析的稳健性提升。
随后要统一数据类型与单位，确保表达量列是数值型，避免混入字符型导致的计算错误。
另外，过滤低表达基因或低覆盖样本可以显著降低噪声，提高下游统计的敏感性与特异性。
# 缺失值统计
missing_per_row = expr.isnull().mean(axis=1)
missing_per_col = expr.isnull().mean(axis=0)# 删除存在缺失值的基因（简单策略）
expr_clean = expr.dropna(axis=0, how='any')# 或者用阈值过滤：保留在多数样本中有非空表达的基因
threshold = 0.8
expr_clean = expr.loc[expr.notnull().mean(axis=1) >= threshold]# 将数据类型转换为数值
expr_clean = expr_clean.apply(pd.to_numeric, errors='coerce')# 去除表达量太低的列（样本）示例
expr_clean = expr_clean.loc[:, (expr_clean > 1).sum(axis=0) > 0]
在清洗后进行对数变换和标准化，这是后续比较与聚合分析的常用步骤，因为它能缓解右偏结构并让不同基因的分布更接近正态。
# log2(x+1) 变换
expr_log2 = np.log2(expr_clean + 1)# Z-score 标准化（按基因行进行标准化）
expr_z = (expr_log2 - expr_log2.mean(axis=1).values.reshape(-1,1)) / expr_log2.std(axis=1).values.reshape(-1,1)
3 基础分析准备：探索性数据分析
完成清洗与变换后，进入探索性数据分析阶段，核心目标是理解数据的分布、变异性以及样本间的关系。描述性统计与相关性分析是最直观的起点。
通过对样本分组的统计，可以初步观察不同组之间表达量的变化趋势，为后续差异分析提供方向。
在这一阶段，常用的 Pivot、相关矩阵和分组汇总等方法帮助揭示数据结构与潜在模式。
# 描述性统计
desc = expr_z.describe()# 将表达矩阵转置，以便按组对样本进行分组
expr_t = expr_z.T
expr_t['group'] = meta.set_index('sample').loc[expr_t.index, 'group']# 按组计算均值（示例，前提是 meta 中有 group 列）
group_means = expr_t.groupby('group').mean()# 相关性分析（样本相关性矩阵）
corr_matrix = expr_z.T.corr()
4 使用Pandas进行生物数据分析的核心步骤
核心步骤围绕数据合并与对齐、统计量计算、以及结果的整理与导出展开，确保整个流程以
第一步是将表达矩阵与元数据对齐，确保样本在同一顺序，便于后续的分组分析。
其次是在两组或多组之间计算差异信息，并将结果以结构化表格形式保存，方便下游富集分析与可视化。
最后将关键结果导出至CSV/TXT，或将值直接导出以供下游工具使用。
# 将表达矩阵与元数据对齐，确保样本顺序一致
meta_indexed = meta.set_index('sample')
expr_aligned = expr_z.loc[:, meta_indexed.index]
expr_aligned = expr_aligned.reindex(columns=meta_indexed.index)# 假设 meta['group'] 只有两组 A 与 B，计算两组的均值差与对数 Fold Change
group_means = expr_aligned.T.groupby(meta_indexed['group']).mean().T
mean_A = group_means['A']
mean_B = group_means['B']
# fold_change 可以用差值或比值表示，常见为对数2变换的 fold change
log2_fc = np.log2((mean_A + 1e-9) / (mean_B + 1e-9))# 将差异结果导出
diff = pd.DataFrame({'gene': expr_aligned.index, 'log2_fold_change': log2_fc.values})
diff.to_csv('diff_expression.csv', index=False)
在同一工作流中，您也可以将清洗后的表达矩阵继续导出，以便后续在R或专用的统计包中进行差异分析或富集分析的前置步骤。
# 将清洗后的表达矩阵导出，供其他工具链使用
expr_clean_path = 'expression_clean.csv'
expr_aligned.to_csv(expr_clean_path)
5 从分析结果解读到生物学结论的准备工作
解读阶段关注<表达量的方向性与差异基因的可重复性，同时结合表型与暴露因素的关系来构建生物学假设。
将差异基因映射到生物学通路或基因集合是将统计结果转化为生物学意义的重要步骤。常见的数据库包括KEGG、GO、Reactome等，相关分析通常需要额外工具，但Pandas在整理候选基因清单方面扮演关键角色。
最终呈现的报告应包含清晰的表格、变量命名以及可重复的分析流程记录，以确保团队成员能够复现并进一步验证结论。
# 将显著性或感兴趣的基因列表导出，供下游富集分析使用
# 这里假设 diff 已包含一个感兴趣的 folding-change 列
significant_genes = diff.loc[diff['log2_fold_change'].abs() > 1, 'gene']
significant_genes.to_csv('significant_genes.txt', index=False, header=False)
