V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wenyifancc  ›  全部回复第 1 页 / 共 8 页
回复总数  142
1  2  3  4  5  6  7  8  
16 天前
回复了 wenerme 创建的主题 程序员 LLAMA CPP 比 Ollama 快得多
@mooyo 100 token/s 已经不错了,硅基的 API 服务也没这么快,某些模型甚至就 30 token/s;刚才折腾本地部署 GLM-4.6-355b-a32b,速度 5 token/s 图一乐,哈哈
17 天前
回复了 wenerme 创建的主题 程序员 LLAMA CPP 比 Ollama 快得多
@mooyo 试试 vulkan 的后端,另外我使用核显(intel 的核显)速度明显是不如直接用 cpu 跑的,内存速度也有影响,我的内存频率是 6400M,双通道,192GB;
附上其他模型的性能供参考:(5090 显卡,显存够的情况下全部放显存;不够的情况下,加载模型时 moe 层卸载到 cpu,仅共享层和 kv 缓存放显存;通常显存使用 16g 以内)
以下模型精度都是 UD_Q4_X_KL:

qwen3-235b-a22b-2507-instruct: 7 token/s
qwen3-vl-235b-a22b-2507-instruct: 6 token/s
qwen3-vl-30b-a3b-instruct: 180 token/s
qwen3-vl-32b-instruct: 55 token/s
qwen3-vl-8b-instruct: 120 token/s

glm-4.5-air: 15 token/s
gpt-oss-120b: 30 token/s
gpt-oss-20b: 240 token/s
18 天前
回复了 wenerme 创建的主题 程序员 LLAMA CPP 比 Ollama 快得多
@mooyo 这速度不对啊,我在 Intel Ultra 265k 使用纯 cpu 运行 Qwen3-30b-a3b-2507_UD_Q4_K_XL 在 32k 上下文长度下也能跑 32token/s,使用 5090 可以跑 300token/s
llama.cpp vulkan 后端
69 天前
回复了 elboble 创建的主题 Linux 阿里轻量云做转发,一半情况失败,
新增域名备案就行了,初审通过就给你放通了
syncthing
期待支持配置 turn 服务来兼容跨网转发的场景
@funky 另外,turn 的 Url 地址使用 127.0.0.1 是有问题的,这个应该是站在客户端的角度,客户端获取了这个配置然后连接 turn 服务器,设置 127.0.0.1 会导致客户端无法连接 turn 服务器,应该设置公网暴露的地址
@funky
"urls": "turn:127.0.0.1:3478?transport=udp" 改为 "urls": "turn:127.0.0.1:3478?transport=tcp"
turn 使用 tcp 协议传输即可缓解这个问题
在 turn 的 URI 末尾增加?transport=tcp
例如:
turn:stun.xxxx.com:3478?transport=tcp

原因是国内网络对 UDP 有 QOS
值必须大于或等于 18:不满 18 就不配 lu? -_-;
276 天前
回复了 xiaoguaishou92 创建的主题 宽带症候群 北京电信 5G-A 免费体验
只要手机支持且覆盖了 5G-A 三载波信号,手机连上了三载波聚合(3CC)即接入了 5G-A,但是由于运营商针对不同套餐设置了数据网络速率上限(签约速率 AMBR),未开通 5G-A 速率的套餐即使连上了 5G-A 也不能超过当前的签约速率,联系客服办理的业务实际就是调整签约速率到一个较高的值(例如 2Gbps 下行 300Mbps 上行),调整优先级(5GQI/QCI)方便获得更高的速率体验
如何查看当前手机卡套餐的签约速率:在 root 的安卓手机上使用 Cellular Pro,打开飞行模式再关闭,查看 AMBR 参数即可查看签约速率信息和优先级信息
签约速率对照表(大多数情况):
4G 低价套餐-300Mbps/75Mbps QCI=9
5G 基础套餐/4G 开了 5G 叠加包:500Mbps/100Mbps QCI=8
5G 高价套餐:1000Mbps/100Mbps QCI=6
5G 尊享套餐:2000Mbps/200Mbps QCI=6/7
@Tiande Strong 级别的 keybox 一般都是内鬼泄露或者在 mtk 的一些机型上利用 brom 漏洞提取的,有能力自己去闲鱼上买个有 mtk 漏洞的 soc 的便宜的二手机.能开机就行,使用取证工具提取 keybox(安全性最高最稳定,性价比最高);或者找靠谱的人买(稳定性这个就难说了,三链的 keybox 比较贵,四链的其实就是多人共享,还有部分卖家拿那种 tg 群里的泛滥 keybox 卖高价,需要自己甄别),或者自己在 tg 的一些群里面找免费的(基本半个月就挂了,得一直换)
@churchmice 前提是你其他的环境要先保证不被检出(所谓的完美环境),Strong 的 keybox 只是其中一环;你可以下载个 Native test/Hunter/Native Detector/Luna/Holmes 等 root 检测工具看看环境如何,我的机器上 Native test 就一个提示(Android15 没办法),Hunter 全绿,Native Detector 全过,Luna 最新版检测完提示可信环境;ifast GB 完美使用
@Tiande iFast GB 可以过.Xiaomi 15 Pro ;kernelsu-next+Shamiko+Tricky-Store+LSPosed 内测版+HMA
关键点:iFast GB 会进行 Google Play 完整性验证,需要 Tricky-Store 的 keybox.xml 需要使用可以过 Strong 的 keybox
我反复测试对比后,使用 Strong 级别的 keybox 能过;替换了不能过 Strong 级别的 keybox 就被检测出 root
@ysmintor 正在使用电信的双不限卡,市场上还有是很多的;手上还有移动的双不限,各大厂商对手机流量的出口 ip 风控低不少,适合数据爬取
@ysmintor 附带一句,电信 4G/5G 的 ipv4 虽然是内网,但是给的是 nat1,对标联通移动的 nat4 打洞友好多了
中国移动和中国联通的 4G/5G 网络的 ipv6 屏蔽了入站流量,仅中国电信的 4G/5G 的 ipv6 是双向的;ipv4 都是内网 ip,更无法直连
@JensenQian 国内移动还是保留了 NSA 网络的,目前国际漫游卡在国内的 5g 接入也是通过移动的 nsa 接入
283 天前
回复了 MuskZhou 创建的主题 Android 安卓 root 后 lsposed 模块老是失效
使用 kernelsu-next v1.0.5+ZygiskNext v1.2.7+shamiko v1.2.3+LSPosed 内测版+TrickyStore(配合有效 keybox 可过 Google Play Strong 认证),非常稳定,root 检测基本都可以过
1  2  3  4  5  6  7  8  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1009 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 27ms · UTC 18:33 · PVG 02:33 · LAX 10:33 · JFK 13:33
♥ Do have faith in what you're doing.