V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  coefu  ›  全部回复第 33 页 / 共 42 页
回复总数  825
1 ... 25  26  27  28  29  30  31  32  33  34 ... 42  
@Sail1997 还缺腿不?
255 天前
回复了 Legman 创建的主题 Local LLM 请教模型部署和管理的问题
定制化的需求,没有完全符合个性化需求的框架轮子,只有自己 diy 。
@llllk 谢谢夸奖,我愉悦地沉浸其中,乐此不疲。
等你再过 10 年的日子,就会发现,生活很简单 ,只有赚钱。
感觉矫情了。
老弟你运气不错,刚才我搜了下方案,还真被我找到了。
https://github.com/intel/ipex-llm/blob/main/docs/mddocs/DockerGuides/vllm_cpu_docker_quickstart.md
鸟领导很难伺候啊,就这硬件成本还挑三拣四,能搞出来就不错了。
searxng+firecrawl 完全本地部署,不需要 online key ,searxng 最新版本攘括了国内搜索厂商,不需要再部署在 gwf 之外。唯一的短板就是 firecrawl 在大并发量的情况下容易被搜索引擎 ban ip ,但是可以设置 proxy ,但是稳定的 proxy 不好找。不过好消息是,仅自己个人使用的情况下,被 ban ip 的概率还是很低的。
@YuanJiwei 因为讲实际的,你自己认为你们要做的这个赛道有什么护城河级别的技术含量?它的技术难度系数和 web 前后端有什么区别? web 前后端能罩住那么多人就业是因为可以绑定不同的应用场景真正发挥威力的是那些真实的生活场景,而不是 web 前后端的技术,web 前后端的技术只是锦上添花,技术的高低在低量级来说并不是决定因素。现在类似于 mcp server 的这种中间件都是苦力活儿,每一个场景的同质化竞争都很激烈,并且做一个少一个。真正的 super/killer app 是利用新技术在某个场景的发力,如同当年 QQ 之于通信,微信之于即时通讯,淘宝之于电商...当然这是当前都能看到的问题。至于好赛道,我也母鸡。😄
263 天前
回复了 xiniu 创建的主题 Local LLM 跑 AI 模型,显卡的购买咨询
华南 6 卡平台+6 张 2080ti 22g ,你就可以凑到 132g vram ,2080ti 支持 nvlink 。那么就相当于有 3 张 44g 的现代卡(起码支持 vllm )了。
2080ti 22g 现在海鲜大概 2600(去年年底有到 2200),1.56w,华南 6 卡准系统大概 2600 ,内存( 1000 )+cpu ( 400 ). 超了 5k 左右,不过这已经是当下你可以接受的配置了。也是非 geek 的能接受的了。
当然还有更 geek(垃圾佬)的配置就不推荐了。
263 天前
回复了 runninghipp 创建的主题 程序员 传统开发如何入门 ai
我为什么先推荐历史,因为我觉得要搞清楚这些学问和技术,必须要对这些学问和技术的创作者有个了解,他经历了什么为什么就会想到这些,这比上来就是公式定理生动一些,并且让这些算法公式更有温度。
263 天前
回复了 runninghipp 创建的主题 程序员 传统开发如何入门 ai
每个人都有每个人的学习方法,我推荐的路径就是主动学习,主动找资料看,我从 2018 年开始接触和了解 ML ,那时候也是觉得很屌,但是我那个领路人虽然是硕士,但是他也没有一个宏观的理解,他自己给我们分享的时候讲的也不是很好,讲线性回归逻辑回归这些,甚至讲的还很一般,但是我很感激他能让我对 ML 有一个认知的机会。自此之后,就各种买书看,我先看了 《人工智能简史》尼克写的那本,后面又看了《创新者》沃尔特 · 艾萨克森写的那本,顺便推荐一本《超越时空》加来道雄写的(纯粹因为太屌了)。为什么不先推荐 西瓜书+花书圣经+统计学习方法+南瓜书 这个组合呢?因为我觉得,一来就上公式定理证明,真的很劝退,我们的教材就喜欢这么搞(当然不排除一些学霸就喜欢一来就先搞公式推导定理证明)。如果要我推荐一本书的话,我会推荐 《 python 神经网络编程》 Tariq Rashid 写的,因为西瓜书我也看了,花书也看了,《动手学深度学习》也看了,讲真,我还是觉得能我推荐的那本对我胃口。当你能搞出点东西来运行,并且你还知道为什么你搞出来的这个东西能运行的时候(其实就是艰难的从 0 到 1 ),剩下的就是各种看书看论文(从 1 到 100 ( ML,DL,RL,....)到 100000 ),当然要真的搞深入了 ,微积分+线性代数+概率论+离散数学,是肯定免不了的。
263 天前
回复了 hoky 创建的主题 问与答 请教技术问题,关于 AI 商品图
@maajor 二维图片的话,这个思路确实可行。
@huluhulu 就像 DBA 审计 sql 语句一样的过滤器不知道有没有搞头。
@kaichen 在中间加一个审计的过滤器咯。
263 天前
回复了 lymanbernadette6 创建的主题 职场话题 巴掌大的公司的定薪流程模板
什么鸟作坊,发出来让我见识见识。
你只要想想,战争年代,你当个班长,怎么带好一队人,能在关键时刻和你一起冲锋,并且如臂使指一样的原生,这就是最纯粹的管理。搞明白这个能力,现代公司这些管理还不是易如反掌?能在部队里,当你靠各种能力(不排除有后台,但能力(战术素养,为人处世)是第一位)从一个新兵快速成长到一个班长,你的班里,有资历比你老的(先进部队),有资历比你老的老党员(此时你还是预备党员),如果前两者身份一起并且还是副班长,其余的都是别的班排里不合群的刺头,你作为这个班的班长,还要能在真正考验(生死层面)面前,让他们如同你的十个手指一样配合你,这种管理能力,我愿称之为最强。
最屌的都是天生的,次之后天干中学。
讲真,这个赛道意义不大。
264 天前
回复了 yjsp1919 创建的主题 职场话题 非 CS 专业想当程序员,应该如何开始?
@yjsp1919 主要是自己内心能宁静就行,不要被世俗的所谓“沉没成本”所困,能做自己喜欢的事情,也是不错的。
1 ... 25  26  27  28  29  30  31  32  33  34 ... 42  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3029 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 12:20 · PVG 20:20 · LAX 04:20 · JFK 07:20
♥ Do have faith in what you're doing.