@TimePPT 因为专业比较接近，数学基础很多都接触过, 只是缺一些关键部分来串在一起，这个可以慢慢补。我准备从 ffmpeg 的 libavformat 开始入手，先了解各种常用格式的数据结构跟解析方法，不知道有没有专门介绍这些书籍或文档？

借楼问一下， 我想从最底层的原理开始学关于音频，视频的知识，包括数学知识，以及各种常见音视频底层实现的细节。虽然常用 ffmpeg 处理多媒体，但是底层原理知之甚少，看 ffmpeg 的源码也一头雾水，不清楚各种 struct 里面各个字段的意思，我想这就是底层细节方面的内容。纯个人兴趣，有数字图像处理的数学基础，请各路大神帮忙指明一条路线，谢谢！
@coderluan @msg7086

@hss133 这种情况用 scipy 的 sparse 创建稀疏矩阵会大大提高效率

打开方式是'a', 跟 python 打开文件的模式'a'是一样的

@lneoi 然后经验就满了, Level Up
我一直以为是经验条 233

我这儿试了下, 两个都可以用. 转化成 gif imagemagick 要比 ffmpeg 好很多, ffmpeg 的输出有时很诡异, 画面会花, 使用 imagemagick 的时候要把参数 opt 设置为 optimizeplus 或 OptimizeTransparency, 不然 py 可能卡死. 虽然生成的图会大点, 但是效果很好. 想要精确控制的话还是直接调用相应命令行, 传一摞参数进去, moviepy 只提供了简单功能.

把 write_gif 的 program 参数改成'ffmpeg'或者'ImageMagick'试试, 默认的的 imageio 不好用, 兼容性似乎也有问题. 不过要另外去下 ffmpeg 或者 imagemagick 安装

moviepy 用的 ffmpeg, imagemagick 为底层, 可以直接在 py 中调用它们的命令行.
moviepy 有啥问题捏?

网页其实也是通过 http 头跟统计来确定编码的, 设计规范的网页都会在 header 里面标注页面编码, 这个信息可以被浏览器利用, 如果编码乱标, 浏览器拿着可能也是乱码, 你可以试试把本页面保存下来, 然后将 html 头的 charset 声明改成 charset=ascii, 然后打开看看会不会乱码; 如果编码缺失, 浏览器会通过某些统计算法来确定编码(像 chardet 一样), 可以将本页面的 charset=utf-8 声明删掉, 再打开看看

如果你是从网页内容中提取文件名的, 试试用 chardet 检测整个网页的编码然后使用检测出的编码解码 filename="xxxxx", 一般来讲, 比较规范的网站编码都是统一的, 看看你的浏览器正确显示时用的什么编码就知道了

@beric chardet 基于统计检测编码, 样本数不够(比如只有几个字)的时候要么检测不出来, 返回 None, 要么 confidence 很低, 除了基于统计, 目前没有任何有效的算法计算编码

@lyricorpse 那差不多, 我也是做些计算, 数据分析之类的, 物理生→_→

@lyricorpse 我也不是程序员出生, 有做科学计算的需要才开始写程序的

根据个人经验, 要用好 cython 的话需要一定的 c 基础, 要比较熟悉 c 的各种玩法. 我感觉 cython 最大的好处就是把权衡交给程序员, 也可以完全避开 c, 就用 cython 跟 python 的东西, 这几乎可以解决大多数 python 执行效率的问题了, 极少时候, 如果还想继续提升性能, 一般是需要更复杂的并行, 或者无法完全避开 gil 的问题, 就在 cython 中用更多的 c/cpp, 还不行就把这部分完全剥离到 c/cpp 库中完成计算, python 负责预处理后处理, cython 作为桥梁.

反复地看 cython 官方文档, 有空就去逛逛 stackoverflow, 看看相关的问题, 多逛逛相关博客, 不明觉厉的东西要保存下来, 然后逐步的处理, 整理到自己的知识系统, 使用中遇到的问题以及解决方法要详细的记下来, 因为很可能再次遇到, 这时候想起以前遇到过但是忘记解决办法了是很恼火的. 多看看 cython 的相关项目, 因为投身于科学计算, 所以比较关注这方面的库, 比如 cython_gsl, 包装的科学计算库 GNU Scientific Library(GSL); cy_armadillo, 包装 cpp 的 armadillo 库, 都是开源项目, 看这些源码的时候 c/cpp/cython 的熟悉程度是同步提升的, 还有 cython 自带的那些 pxd 是包装 c/cpp 标准库最好的例子. 其实学任何技术都是这个过程吧. cython 的书籍的话我也只有你上面提到的那本.如果你从事科学计算方面, 推荐下张老师 @ruoyu0088, 我是跟着他一路小跑过来的 233, 可以去搜下他的博客, 论坛, 书籍
-------------------------------------------------------------------------------------------------

如果不是已经无法修改的 C 库的话, 建议还是直接放到 cython 中写, 不必写个.c 来包装.

包装那个全局变量的话:
1.c 的头文件声明 float glb_f;
2.pxd 里面也做相应声明 cdef extern from "square.h": float glb_f
3.pyx 里面的修改
cimport square
...
def __init__(self, width, length, global_f=1.0):
square.glb_f = global_f # 从这儿设置这个全局变量
self.s_ptr.width = width
self.s_ptr.length = length

ctypedef struct Square *sq 不符合 cython 语法, 把 struct 去掉

要封装 Square 给 py 的话, 可以在 pyx 中定一个 cdef 的 class, 维护一个指向 struct Square 的指针. 把 cal_area 作为这个 cdef class 的方法

https://gist.github.com/justou/ac94501d664f32872b2ae546099d874c

这是封装 C 库的流程,如果是自定义的扩展模块 ,c/c++ -> cython -> py 这样做其实略繁琐 .
完全可以直接 cython -> py, 简化给 py 写 C 扩展的是 cython 的目的之一.

这种要自己 profile 一下才知道瓶颈在哪里, 光是猜测没用
试试 cProfile, memory_profiler, 以及 line_profiler 这类工具

我看到入队代码有个 time.sleep(4)

可以试试 cython, 更容易维护, 几乎照抄 C/C++头文件, 也有一些自动化工具, 从 .h 直接生成 .pxd

http://docs.cython.org/en/latest/

我实际操作了下你这个问题, 把问题简化成了: 计算图片上到若干像素距离最短的位置, 效率并不算太差啊
到 3, 10, 30, 81 个像素最短距离的计算时间分别是: 160 ms, 460 ms, 1.34 s, 3.55 s, 时间线性递增, 还没用 opencl 试
(注: 当点数过多的时候最短距离的位置不一定只有一个)

https://gist.github.com/justou/b64a0b73fe198a2b6cdb1c72b3459ad8

哦, 我以为就用自己 PC 算...
上面打错了, 想写 opencl, 虽然 opengl 的计算着色器也能完成
图片就是一个矩阵, 放到显卡上, 每个计算单元计算一个像素跟三个元素的距离, 最后得到最短距离跟对应像素, 不需要任何循环