21. PDF文件转换成Markdown格式 ❀ 老梅子学AI

【简介】随着M5 Max Studio设备的到位以及本地大模型成功安装与使用一个创建本地知识库的念头油然而生然而有些PDF文档长达5000页需要将这么大的PDF文档清洗、切片转化成知识库能识别的Markdown格式却也不是一个小工程。MinerUMinerU 擅长 PDF 清洗、复杂表格和图片提取并导出 Markdown。① MinerUmineru.net是一款开源的 AI 文档解析工具主要作用是把 PDF、Word、图片等文档转换成适合大语言模型和知识库使用的 Markdown、JSON 等结构化格式。这里下载支持苹果M芯片的版本。② 打开下载的文件首先显示的是用户服务协议点击【同意】。③ 然后把Minuer图标拖到Applications处开始安装。④ 安装完后打开APP窗口点击Minue图标。⑤ 进入主界面鼠标移动到【上传文件】。弹出提示注意这里有个限制不能超过200页。⑥ 进入主界面点击【上传文件】。⑦ 这里我们选择一个管理手册的PDF文件有5603页由于解析只能是200页以内所以这里手动指定页的范围。⑧ 然后是文件上传和解析过程需要等待几分钟。⑨ 完成后点击菜单【任务管理】。⑩ 可以看到刚才已经上传了176M的PDF文档点击文件夹图标。⑪ 可以看到目录下有几个json文件一个PDF文件也就是32-230页一个md文件以及一个图像目录。⑫ 双击md文件会自动在MinueU窗口中显示转换后得到的文件内容。⑬ 如果用文本编辑器打开md文件看到的又是另一副景像。【知识点】本地知识库为什么不直接用PDF文件而要用md文件PDF 的主要设计目标是让文档在不同设备上保持一致的视觉排版。但是 AI 解析 PDF 时可能遇到● 标题和正文混在一起。● 页眉、页脚被当成正文。● 单词被错误断行。● 表格列顺序混乱。● 代码块丢失缩进。● 章节之间的关系不明确。Markdown 则不需要反复分析页面上的文字位置。需要注意Markdown 本身不会自动修复 PDF 的错误。真正完成清洗的是 MinerU、Docling 等解析工具。Markdown 只是保存清洗结果的一种格式。象这样每个页面都有页眉和页脚。转换后页眉和页脚都没有了就是被MinuerU清洗了。Docling 安装Docling 是由 IBM Research 发起并捐赠给 Linux 基金会LF AI Data Foundation的开源文档解析与结构化工具。① Doclingdocking.ai是一款开源的 AI 文档解析与转换工具特别适合将 PDF、Word 等文档转换成结构化 Markdown、JSON并进一步进行智能切片Chunking。② Docling只能用命令安装并且需要先安装了Python。③ 询问ChatGPT告诉我目前Python 3.12版本最稳定可以在Homebrew安装由于前面我们已经安装过了Homebrew因此直接在终端窗口执行命令brew install python3.12。④ 提示是否安装键盘上敲y。⑤ 很快安装完成输入命令python3.12 --version检查版本号显示版本为3.12.15。⑥ 用命令mkdir -p ~/Docling创建一个名为Docling的文件夹再用命令cd ~/Docling进入到文件夹中。⑦ 用命令python3.12 -m venv .venv创建 Python 3.12 虚拟环境。⑧ 用命令source .venv/bin/activate激活虚拟环境。成功后终端前面会出现(.venv)表示已经进入 Docling 专用环境。⑨ 用命令python -m pip install --upgrade pip更新pip。⑩ 环境都准备好了下面就可以用命令pip install docling安装Docling了。⑪ Docling安装完成后用命令docling --version查看版本号现在的版本是2.138.0。⑫ 如果你要使用 Docling 图形界面可以用命令pip install docling-serve[ui]继续安装 Docling Serve。⑬ 完成后用命令docling-serve run --enable-ui启动。⑭ Docling server启动手提示可用网址我们要用到的是UI的网址。⑮ 浏览器打开地址 127.0.0.1:5001/ui/ 就可以使用 Docling 的网页界面了。Docling 应用好不容易安装好Docling和图形界面下面可以试试功能了。① 点击Input栏的上传文件框。② 还是选择同一个有5000多页的PDF文件。③ 左边有一系列参数我们均保持默认向下拉窗口点击【Convert】开始转换。④ 右侧显示任务启动开始转圈由于页数太多需要花一些时间。⑤ 终端窗口也一直在显示信息。⑥ 可惜等了很久还是出现报错信息看来是无法一次性处理5000页的PDF。⑦ 换个只有25页的PDF文件再试很快就转换完成点击【Open in viewer】。⑧ 可以看到左页是原始文稿中间是结构化文档数据右侧是解析结果的阅读视图。⑨ 可以单独下载格式文件但是不会自动下载图片文件夹除非是下载ALL(.zip)。⑩ 可以得到所有格式文件以及图片文件夹。【总结】MinerU界面简洁生成效果满意缺点是每次只能生成200页。Docling功能更强可设置参数多缺点是安装复杂转换大文件报错。