爱站程序员基地injustice 在 求推荐本地的pdf转md方案 中发帖
用爬虫抓了1w篇paper，需要转md/txt便于LLM读取。需要本地是因为想并发处理，MinerU效果很好但是不能批量薅
不是扫描版，不需要ocr。然而即使放低标准还是找不到理想的项目 😭
试了几个python库，连换行和换页都处理不好，更别提排版问题了
详情链接：
https://linux.do/t/topic/1340665/1
来源: LINUX DO, 消息ID: 262898
injustice 在 求推荐本地的pdf转md方案 中发帖 用爬虫抓了1w篇paper，需要转md/txt便于LLM读取。需要本地是因为想并发处理，MinerU效果很好但是不能批量薅 不是…
未经允许不得转载：爱站程序员基地 » injustice 在 求推荐本地的pdf转md方案 中发帖
用爬虫抓了1w篇paper，需要转md/txt便于LLM读取。需要本地是因为想并发处理，MinerU效果很好但是不能批量薅
不是…
相关推荐
![axin 在 gemini 学生认证，好不容易有资格 中发帖
这是咋回事儿啊
[image]-爱站程序员基地](https://aiznh.com/wp-content/uploads/2021/05/6-220x150.jpeg)
axin 在 gemini 学生认证，好不容易有资格 中发帖
这是咋回事儿啊
[image]
北河三 (@KingPollux) 在 哈基米 最近在抽疯？怎么 API 都不让用啊 中发帖
用 Jay佬 的 gemini-balance，API 也全是自己和家人的几个，理论上是包稳定的。…![rem 在 待业在家好无聊，研究了下硬件 中发帖
[90d2ffe09d853fabb4f3a9cd2f6b169f]
玩了下冷门DX-WF25模块(esp32c2)
佬友们有什么推荐的项...-爱站程序员基地](https://aiznh.com/wp-content/uploads/2021/05/9-220x150.jpeg)
rem 在 待业在家好无聊，研究了下硬件 中发帖
[90d2ffe09d853fabb4f3a9cd2f6b169f]
玩了下冷门DX-WF25模块(esp32c2)
佬友们有什么推荐的项…- favoste 在 [Antigravity]反重力试图删除每一个粗心用户的项目 中发帖
😅
警钟长鸣!!!
[image]
[image]