一步步实现自定义迭代器与可迭代对象：如何用它们简化复杂数据结构的操作

本文围绕一步步实现自定义迭代器与可迭代对象：如何用它们简化复杂数据结构的操作展开，涵盖从原理到具体实现的完整路径，帮助工程师在软硬件协同的场景中高效处理层级化数据与流数据。

一步步实现自定义迭代器与可迭代对象的设计原则

核心概念与设计目标

可迭代对象指向实现了 __iter__ 方法的对象，调用 iter(obj) 会返回一个迭代器用于遍历数据结构中的元素。

迭代器则实现了 __next__，通过每一次的调用返回下一个数据项，直到抛出 StopIteration。

在设计阶段，我们的目标是让复杂数据结构具备可预测的遍历序列，同时保持低内存占用与易读性。对于动态数据流，迭代器还能在需要时按需产生元素，避免一次性加载全部数据带来的开销。

class TreeNode:
    def __init__(self, value, children=None):
        self.value = value
        self.children = children or []

    def __iter__(self):
        # 深度优先遍历：先访问当前节点，再遍历子节点
        yield self.value
        for child in self.children:
            yield from child

关键点：实现 __iter__ 的对象本身就是一个可迭代对象，而返回的迭代器必须实现 __next__ 的行为，在复杂结构中通常采用栈、队列等数据结构来维护遍历状态。

第二步：在 Python 中实现自定义迭代器与可迭代对象的实际代码

实现一个树形结构的深度优先遍历迭代器

下面的实现展示了一个显式的迭代器类，而非仅仅在对象上使用生成器表达式。它通过栈来维持遍历状态，可在任意时刻继续遍历，且对外暴露一个简单的可迭代接口。

该模式适用于你需要对复杂嵌套结构执行多步操作的场景，例如遍历一个多层的硬件传感器配置树，或是在性能敏感的路径中进行可控的懒加载。

class TreeNode:
    def __init__(self, value, children=None):
        self.value = value
        self.children = children or []

class DFSIterator:
    def __init__(self, root):
        self._stack = [root]

    def __iter__(self):
        return self

    def __next__(self):
        if not self._stack:
            raise StopIteration
        node = self._stack.pop()
        if getattr(node, 'children', None):
            # 先将子节点逆序入栈，保证遍历顺序为从左到右
            self._stack.extend(reversed(node.children))
        return node.value

# 使用示例
root = TreeNode(1, [
    TreeNode(2),
    TreeNode(3, [TreeNode(4), TreeNode(5)])
])
for v in DFSIterator(root):
    print(v)

要点强调：DFSIterator 本质上是把遍历状态放在堆栈中，每次调用 __next__ 只处理一个节点并更新状态，从而实现对复杂数据结构的逐步遍历。

第三步：把自定义迭代器和可迭代对象应用在复杂数据结构的操作

结合现实场景的示例

场景一：遍历嵌套字典或列表结构，需要在不暴露内部实现的情况下逐层提取叶子节点或特定字段。

通过实现一个可迭代对象，我们可以将复杂嵌套数据的遍历抽象为简单的 for 循环，提升代码可读性与复用性。

class NestedDictIterable:
    def __init__(self, data):
        self.data = data

    def __iter__(self):
        stack = [self.data]
        while stack:
            cur = stack.pop()
            if isinstance(cur, dict):
                for v in cur.values():
                    stack.append(v)
            elif isinstance(cur, list):
                for v in cur:
                    stack.append(v)
            else:
                yield cur

# 示例数据结构
data = {'a': {'b': 1, 'c': [2, 3]}, 'd': 4}
for value in NestedDictIterable(data):
    print(value)

场景二：在硬件数据管线中对流式数据进行分层遍历，允许你在不一次性缓存全部数据的情况下进行过滤与聚合。

以上实现的思想是将递归回路转换成显式栈结构，以迭代器的方式逐步生成结果，从而确保系统对内存的友好性与响应性。