Python实现目录扫描与import语句提取工具

1. 项目概述Python实现目录扫描与import语句提取在日常Python项目维护或代码审计中经常需要快速分析项目依赖关系。手动检查每个文件的import语句既低效又容易遗漏。这个Python脚本正是为解决这个问题而生——它能递归扫描指定目录下的所有.py文件自动提取其中的import语句并生成结构化报告。我在多个大型项目迁移和环境重构中实际使用过这个方案相比人工检查效率提升超过10倍。2. 核心功能解析2.1 目录递归扫描实现Python的os.walk()是目录遍历的核心工具它能够递归获取目录下所有文件的路径。实际使用中需要注意几个关键点import os def scan_directory(root_dir): for root, dirs, files in os.walk(root_dir): for file in files: if file.endswith(.py): filepath os.path.join(root, file) yield filepath注意在Windows系统下路径分隔符需要特殊处理建议使用os.path.join()确保跨平台兼容性2.2 import语句识别策略识别import语句需要考虑多种语法形式标准importimport module别名导入import module as alias从模块导入from module import name多行导入使用括号的导入语句使用正则表达式匹配时这个模式覆盖了大多数情况import re IMPORT_PATTERN re.compile( r^import\s([\w., ])| r^from\s([\w.])\simport\s([\w*., ]), re.MULTILINE )3. 完整实现方案3.1 核心代码结构import os import re from collections import defaultdict class ImportScanner: def __init__(self): self.imports defaultdict(set) self.pattern re.compile(...) # 上述正则表达式 def scan_file(self, filepath): with open(filepath, r, encodingutf-8) as f: content f.read() return self.pattern.findall(content) def process_directory(self, root_dir): for py_file in self._find_py_files(root_dir): matches self.scan_file(py_file) self._record_imports(py_file, matches) def _find_py_files(self, root_dir): # 实现文件查找逻辑 ...3.2 结果分析与输出收集到的import数据可以多种形式呈现按文件统计的导入列表按模块统计的引用次数生成可视化依赖图需配合graphviz示例输出格式# 导入分析报告 ## 文件: /project/utils/helpers.py - import os - from datetime import datetime - import numpy as np ## 统计摘要 - 最常用模块: os (被12个文件引用) - 第三方依赖: numpy, pandas, requests4. 高级应用与优化4.1 处理相对导入Python的相对导入如from .module import name需要特殊处理。在分析时应该记录导入语句的完整上下文结合文件路径解析实际导入目标标记可能存在的循环导入风险4.2 性能优化技巧当处理大型代码库时如超过1000个.py文件这些优化很有效使用多线程/多进程并行扫描缓存已解析文件的结果忽略虚拟环境目录venv, .tox等# 示例使用线程池加速 from concurrent.futures import ThreadPoolExecutor def fast_scan(root_dir, workers4): with ThreadPoolExecutor(max_workersworkers) as executor: futures [] for py_file in find_py_files(root_dir): futures.append(executor.submit(scan_file, py_file)) # 处理结果...5. 实际应用案例5.1 依赖冲突检测通过交叉分析不同文件中的import语句可以识别同一模块的不同版本要求冲突的别名定义如多个文件将不同模块别名为相同的名称未使用的导入需配合静态分析工具5.2 项目迁移辅助当需要将项目从Python 2迁移到Python 3时这个工具可以帮助识别需要转换的模块名如ConfigParser→configparser找出不再兼容的第三方库生成迁移检查清单6. 常见问题解决6.1 编码问题处理遇到非UTF-8编码文件时可以采用逐步尝试的策略encodings [utf-8, gbk, latin-1] for enc in encodings: try: with open(filepath, r, encodingenc) as f: return f.read() except UnicodeDecodeError: continue6.2 动态导入识别对于__import__()或importlib.import_module()等动态导入方式常规正则匹配无法捕获。解决方案使用AST模块进行语法树分析实现简单的符号执行跟踪在报告中明确标注可能存在的动态导入7. 扩展思路这个基础工具可以进一步扩展为自动化依赖管理工具代码复杂度分析系统的一部分自定义代码规范检查器我在实际项目中基于这个核心添加了以下功能与requirements.txt自动比对过期依赖警告许可证合规检查实现这些扩展的关键是保持核心扫描器的独立性和灵活性通过插件架构支持各种分析功能。