scrapyd 部署不会添加外部文件吗 - V2EX

首页注册登录

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1452 天前的主题，其中的信息可能已经有所发展或是发生改变。

尝试使用 scrapydweb 部署项目，但是那些需要导入外部文件(包含 urls 的文本文件或 json)的爬虫全部上传失败了，报错都是 FileNotFound 。没有这种依赖的爬虫能够正常地部署并使用，有什么解决方案吗？

3 条回复 • 2020-11-27 00:48:52 +08:00

1

yagamil

2020-11-24 13:20:50 +08:00

egg

2

tuoov

OP

2020-11-24 15:36:19 +08:00

@yagamil 我通过绝对路径检查了一下，好像在 egg 化项目时的确不会打包这些文件，是我处理的方式有问题还是设计就是这样？

3

Kobayashi

2020-11-27 00:48:52 +08:00 via Android

1

不会。部署时先打包（还 TM 是个 egg 包），然后交给 scrapyd 。我记得可以配置 setup.py 打进去，但没什么用，你加载不了文件。你需要理解 egg 包是不被解压的，我的理解是你不能 open("my_pkg.egg/.env") 直接打开压缩包内文本文件。需要写到 .py 文件，在其他位置导入。

关于 · 帮助文档 · 博客 · API · FAQ · 实用小工具 · 4075 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 22ms · UTC 04:10 · PVG 12:10 · LAX 20:10 · JFK 23:10
Developed with CodeLauncher
♥ Do have faith in what you're doing.