推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 4149 天前的主题，其中的信息可能已经有所发展或是发生改变。
python下os.system使用shell脚本处理目录下的一些文件，shell分了几个步骤，用了多线程，当上个线程还未未处理完数据，下一个线程已经启动，同样处理了此文件，造成了一些冲突，
贴上这部分代码：
def save(fn, ts):
try:
print 'save', fn, '...', ts
s = os.path.basename(fn)
if s[-3:] == '.gz':
is_gz = True
s = s[:-3]
else:
is_gz = False
if s[:3] == 'dx.':
if is_gz:
dt = s.split('.')[4][:8]
p = DST_DIANXIN + dt + '/'
os.system('mkdir -p ' + p)
dx_fn = p + s + '.txt'
dx_tmp = p + s + '.new'
print 'zcat', fn, '-->', dx_fn
os.system('zcat %s > %s; mv -f %s %s; rm -rf %s' % (fn, dx_tmp, dx_tmp, dx_fn, fn))
# os.remove(fn)
while True:
if os.path.exists(SRC + 'stopping'):
break
rpts = glob.glob(SRC + '*.gz')
rpts.sort()
for fn in rpts:
fn2 = fn
if os.path.exists(fn2):
ts = len(threading.enumerate())
while ts > MAXTHREADS:
ts = len(threading.enumerate())
time.sleep(0.2)
threading.Timer(0.2, save, args=(fn2,ts)).start()
time.sleep(1)
贴上这部分代码：
def save(fn, ts):
try:
print 'save', fn, '...', ts
s = os.path.basename(fn)
if s[-3:] == '.gz':
is_gz = True
s = s[:-3]
else:
is_gz = False
if s[:3] == 'dx.':
if is_gz:
dt = s.split('.')[4][:8]
p = DST_DIANXIN + dt + '/'
os.system('mkdir -p ' + p)
dx_fn = p + s + '.txt'
dx_tmp = p + s + '.new'
print 'zcat', fn, '-->', dx_fn
os.system('zcat %s > %s; mv -f %s %s; rm -rf %s' % (fn, dx_tmp, dx_tmp, dx_fn, fn))
# os.remove(fn)
while True:
if os.path.exists(SRC + 'stopping'):
break
rpts = glob.glob(SRC + '*.gz')
rpts.sort()
for fn in rpts:
fn2 = fn
if os.path.exists(fn2):
ts = len(threading.enumerate())
while ts > MAXTHREADS:
ts = len(threading.enumerate())
time.sleep(0.2)
threading.Timer(0.2, save, args=(fn2,ts)).start()
time.sleep(1)
 |
1
BOYPT 2013-07-01 22:10:49 +08:00
加锁。
|
 |
2
tsinglux 2013-07-01 22:24:38 +08:00
只会最基本的mutex操作，每次打开一个文件就设置一个mutex=1，其他线程打开文件时就检测对应文件mutex是否为0，是就设置为1并打开操作，不是就sleep，然后再次查询。
|
 |
3
sykp241095 2013-07-01 22:29:37 +08:00
也可以不用锁。
1，在启动其他线程前，记录一共有多少个文件，放在一个list里，比如有30个； 2, 将thread的名字设为有规律的，如thread-1, thread-2, thread-3； 3，thread-1处理前10个，thread-2处理中间10个，thread-3处理最后10个。 |
 |
4
mac2man OP |
|
5
mac2man OP |
|
6
BOYPT 2013-07-02 08:50:15 +08:00
你贴成这样还指望有人去看你代码。
|
|
7
sykp241095 2013-07-02 10:13:15 +08:00
事实上，我也没看lz的代码。
其实可以用各种线程安全的queue，将所有文件组织成一个queue，比如threading.deque，然后每个线程都可以去pop/shift，这样也不用加锁。 |
|
8
mac2man OP |
 |
9
qdcanyun 2013-07-02 15:27:29 +08:00
|
 |
10
ma6174 2013-07-02 15:44:13 +08:00
Queue +1
任务队列，生产者消费者模式就挺好，保证不会乱的 |
Select Language