1. 文本特征提取的基础与方法
文本预处理与分词
在处理非结构化文本数据时，第一步是进行系统性的文本预处理，包括统一编码、清洗噪声和标准化文本形态。通过这些步骤，可以显著提升后续的特征提取质量，也为后续的模型训练打下坚实基础。分词是面向汉字文本最关键的环节之一，正确的分词会直接影响后续向量化效果。
在Python生态中，常用工具链包括jieba、NLTK、以及SpaCy等，以适应中文与英文文本的不同需求。通过分词，可以将文本切分成有意义的最小单位，为统计特征和语义表示提供结构化输入。
# Python 示例：使用jieba进行中文分词
import jieba
text = "这是一个文本特征提取的示例。"
tokens = list(jieba.cut(text))
print(tokens)
此外，停用词过滤与词形还原（如词干提取、lemmatization）也常被用于降低噪声与统一语义粒度，帮助获得更稳健的特征空间。
传统统计特征与向量化
对于非结构化文本数据，最常见的特征表示是词袋模型与TF-IDF等统计向量化方法。这些方法简单高效，便于快速搭建基线，且对许多实际任务仍具竞争力。通过设置n-gram可以捕捉简单的局部语义模式。
在Python中，scikit-learn提供了成熟的实现，便于将文本数据直接转换为数值矩阵，供后续的降维、聚类或分类使用。下方代码展示了把一组文本转化为TF-IDF特征矩阵的过程。
from sklearn.feature_extraction.text import TfidfVectorizercorpus = ["这是第一条文本","这是第二条文本，包含更多信息"
]
tfidf = TfidfVectorizer(max_features=5000, ngram_range=(1, 2))
X = tfidf.fit_transform(corpus)
print(X.shape) # (样本数, 特征维度)
通过降维与聚合的组合，可以在保持信息性的前提下降低维度，提升模型的训练效率与泛化能力。
语义理解与上下文特征
除了简单的统计特征，语义理解和上下文表示在许多应用中更具竞争力。词嵌入、句子嵌入和上下文感知模型能够捕捉词语间的语义关系，提升对复杂文本的区分能力。
常见做法包括使用Word2Vec、GloVe等静态嵌入，以及基于BERT/Transformer的上下文嵌入。下面给出一个加载预训练词向量并计算简单文本向量的示例。
# 使用 gensim 读取预训练 Word2Vec（示例）
from gensim.models import KeyedVectors# 路径请替换为实际向量文件
model = KeyedVectors.load_word2vec_format('path/to/GoogleNews-vectors-negative300.bin', binary=True)
text_tokens = ["示例", "文本", "特征"]
vector = sum([model[w] for w in text_tokens if w in model])
print(vector.shape)
2. Python实现的文本特征提取方法
TF-IDF与向量化
TF-IDF在文本表示中发挥着重要基础作用，它不仅考虑词频，还结合逆文档频率，抑制高频但信息量低的词汇。结合n-gram，可在保持计算效率的同时提升表达能力，是文本表示的常用基线。
在<Python生态中，通过scikit-learn的
from sklearn.feature_extraction.text import TfidfVectorizercorpus = ["快速的文本处理与特征提取","文本向量化是自然语言处理的基础"
]
tfidf = TfidfVectorizer(max_features=10000, ngram_range=(1, 2))
X = tfidf.fit_transform(corpus)
print(X.shape)
词嵌入与上下文模型
为了获得更强的语义表达能力，可以引入<词嵌入与上下文模型。静态嵌入如Word2Vec/GloVe捕捉词语的语义关系，然而Transformer基模型（如BERT、RoBERTa）在上下文中对同一词语给出变化的向量，显著提升下游任务表现。
下面示例展示如何使用SentenceTransformer获取跨句子的语义嵌入，便于文本聚类或相似度检索。
from sentence_transformers import SentenceTransformermodel = SentenceTransformer('paraphrase-MERT-base-v5')
corpus = ["文本特征提取是核心任务","计算文本相似度需要高质量的嵌入向量"
]
embeddings = model.encode(corpus)
print(embeddings.shape)
文本特征的降维与聚合
面对高维文本特征，常用的降维策略包括PCA、TruncatedSVD等。对于稀疏的<软硬件高效性，截断奇异值分解（TruncatedSVD）在文本矩阵上尤为适用，能够保留大部分信息的同时显著降低维度。
聚合策略（如对句子向量取平均、最大池化）也能在保持语义的前提下降低维度，便于下游的聚类、检索或分类。
from sklearn.decomposition import TruncatedSVD
import scipy.sparse as sp# 假设X是TF-IDF结果的稀疏矩阵
svd = TruncatedSVD(n_components=200, random_state=42)
X_reduced = svd.fit_transform(X)
print(X_reduced.shape)# 简单的句向量聚合
sentence_vectors = X.toarray().reshape(len(corpus), -1)
mean_vec = sentence_vectors.mean(axis=0)
print(mean_vec.shape)
3. 图像特征提取在非结构化数据中的应用
传统特征与手工描述子
在<非结构化数据之中的图像处理阶段，传统特征如颜色直方图、纹理特征、HOG等，仍然具有直接性与解释性，适合快速原型与对比分析。
这类特征通常在小样本、低算力场景下表现稳健，便于与文本特征结合构建多模态管线。将这些手工描述子与文本特征进行拼接，可以实现跨模态检索和多模态分类。
import cv2
image = cv2.imread('image.jpg', cv2.IMREAD_GRAYSCALE)
hog = cv2.HOGDescriptor()
features = hog.compute(image).ravel()
print(features.shape)
卷积神经网络与预训练模型
近年来，卷积神经网络(CNN)及其预训练模型在图像特征提取方面展现出强大能力。通过在大规模数据集上预训练的模型，可以提取高层语义特征，显著提升下游任务表现。
在Python生态中，PyTorch和TensorFlow是两大主流框架，配合ResNet、EfficientNet等模型，可以直接获得图像的深层特征。
import torch
from torchvision import models, transforms
from PIL import Image# 使用预训练的ResNet50作为特征提取器
model = models.resnet50(pretrained=True)
model.eval()# 移除分类头，保留卷积层与池化层用于特征提取
modules = list(model.children())[:-1]
feature_extractor = torch.nn.Sequential(*modules)def extract_features(img_path):img = Image.open(img_path).convert('RGB')preprocess = transforms.Compose([transforms.Resize(256),transforms.CenterCrop(224),transforms.ToTensor(),transforms.Normalize(mean=[0.485,0.456,0.406], std=[0.229,0.224,0.225])])with torch.no_grad():x = preprocess(img).unsqueeze(0)feat = feature_extractor(x).view(-1)return featprint(extract_features('image.jpg').shape)
从图像到向量的特征聚合
提取出的图像特征通常是高维向量，后续可以通过<全局平均池化、PCA降维、聚类或相似性检索等方法进行处理。将图像向量与文本向量进行对齐，能够实现高效的跨模态检索与分析。
对于实际部署，常需要将图像特征向量写入高效的向量数据库，以支持相似度检索与在线推断。
# 简单示例：对提取的特征进行全局平均并归一化
import torch
feat = extract_features('image.jpg')
normalized = feat / feat.norm(p=2)
print(normalized.shape)
