多客科技 发表于 2025-6-27 12:39

AI商业洞察 | “OpenAI档案”推动负责任的AI治理

作者:微信文章




01

AI+商业

AI商业洞察

OpenAI发现AI模型中类似不同“人格特征”的隐藏功能

OpenAI最新研究发现,AI模型内部存在一些隐藏特征,这些特征对应着模型表现出的不同“人格”,包括有害或不合规的行为。研究人员通过分析模型的内部表示,找到了一种能调控模型反常行为的特征,这意味着可以通过调整该特征来降低模型生成虚假信息或不负责任建议的概率。

OpenAI解释,这些发现有助于更好理解AI模型为何会产生不安全行为,从而开发更安全、更好的模型。研究团队认为,这些特征类似于人类大脑中与情绪和行为相关的神经元活动,可用数学操作调控AI模型的表现。

此外,研究显示,在模型微调过程中,这些人格特征会发生显著变化,且只需用几百个安全代码示例微调,就能引导模型回归良性行为。OpenAI的这项工作延续了Anthropic等机构在AI可解释性和对齐领域的研究成果,表明深入理解AI内在机制对于提升模型安全性和可靠性具有重要意义。

“OpenAI档案”推动负责任的AI治理

OpenAI CEO山姆·奥特曼曾表示,人类距离实现能够自动化大部分人类劳动的通用人工智能(AGI)仅有数年时间。如果这一预言成真,公众也有权了解并参与监督这股颠覆性力量背后的人员和运作机制。

由非盈利组织Midas Project和Tech Oversight Project发起的“OpenAI档案”项目,收集了大量关于OpenAI治理、领导诚信及企业文化的质疑和担忧,旨在推动负责任的治理、道德领导力和利益共享。

档案指出,AI竞赛中的“规模至上”思维导致OpenAI未经同意大量采集训练数据,建造大规模数据中心引发电力问题,且在投资者压力下仓促发布产品,安全评估流于草率。

早期作为非营利组织的OpenAI,曾限制投资者获利不能超过100倍,确保AGI成果惠及全人类,但后来为吸引投资者取消了这一上限。档案也记录了这场董事会成员与奥特曼本人的利益冲突。

新闻聚合网站Digg瞄准AI时代的社区竞争

近日,新闻聚合网站Digg重启版已进入测试阶段。Digg曾在2008年达到1.75亿美元估值,但十年后被拆分出售。今年3月,Digg创始人凯文·罗斯(Kevin Rose)与Reddit联合创始人亚历克西斯·奥哈尼安(Alexis Ohanian)联手重塑品牌,面向新一代互联网用户。

他们认为,互联网被大量机器人和AI智能体占据,促使人们更需要像Digg这样的真实人际社区。新Digg计划通过零知识证明等技术验证用户身份,防止机器人发帖。首款iOS应用已向早期测试者开放,界面简洁,设有首页、搜索、排行榜和用户主页等功能。内容分为热门、新帖、趋势等多种筛选,社区初期涵盖艺术、娱乐、科技等少数领域,后续将开放用户自建社区。

新Digg引入AI自动摘要新闻内容,但尚未支持更丰富的AI功能。其创始人表示未来将利用AI帮助用户定制社区布局,期待打造更智能的社交平台。

Anysphere 推出月费200美元的Cursor AI高级订阅计划

Anysphere公司近日宣布,为其热门AI编码工具Cursor推出了月费200美元的全新高级订阅计划“Ultra”。该计划相比原先20美元的“Pro”方案,提供20倍的AI模型使用额度,涵盖OpenAI、Anthropic、Google DeepMind及xAI等多家供应商的模型,并且用户将优先体验新功能。Anysphere CEO 迈克尔·特鲁埃尔(Michael Truell)表示,这一计划得益于与多家AI模型供应商的多年合作协议。

Cursor近期业绩亮眼,年化经常性收入(ARR)已达5亿美元,主要客户包括Nvidia、Uber和Adobe等大型企业。自今年4月以来,Cursor的ARR已增长2亿美元,显示出强劲增长势头。

如今,AI编码市场竞争激烈,Cursor依赖的AI模型供应商也纷纷推出自有编码工具。比如:OpenAI收购了竞争对手Windsurf,Anthropic则持续开发Claude Code。为应对竞争,Anysphere也在加大自研AI模型投入,5月推出了可跨文件建议代码改动的“Tab”模型。

AI数字健康公司Sword Health获4000万美元融资,估值达40亿美元

由AI驱动的数字健康公司Sword Health近日完成4000万美元融资,最新估值达40亿美元,较一年前的30亿美元上涨33%。本轮融资由老股东General Catalyst领投。Sword HealthCEO兼创始人维吉里奥·本托(Virgílio Bento)表示,此次融资主要是更新估值并为战略收购储备资金。

Sword Health起初专注于虚拟物理治疗,现已扩展至骨盆健康和心理健康服务。虽然曾计划在2025年上市,但本托近期改变了想法,预计IPO时间将推迟至2028年甚至更晚。他希望公司AI护理专家“Phoenix”能在心血管、胃肠、语言治疗等多领域实现规模化应用,积累更多成功案例后再上市。

此次融资后,Sword Health累计融资达3.8亿美元,投资方还包括Khosla Ventures、Comcast Ventures等。本托预测明年融资额度将达5000万美元,估值50亿美元,保持融资与估值的数字对称。

以色列观测平台初创Coralogix完成10亿美元估值融资,面向印度扩张

以色列观测与安全平台初创公司Coralogix宣布完成1.15亿美元E轮融资,估值突破10亿美元,较2022年近乎翻倍。此次融资由美国NewView Capital领投,加拿大养老金计划投资委员会及NextEquity等参与。

Coralogix致力于解决数据观测难题,其AI智能体Olly结合内部元数据与外部网络信息,通过简单文本提示帮助企业诊断系统异常、性能瓶颈及用户痛点。Olly支持异常检测、访问监控及实时告警,提升客户数据处理效率。

公司计划借助新资金扩展印度工程团队,未来五年将在印度投资约1亿美元,扩大古尔冈、班加罗尔和孟买办事处,员工规模预计三年内翻倍。印度市场是其美国之后的第二大市场,客户涵盖Postman、Jupiter Money、Meesho等多家知名企业。

Coralogix创始人兼CEO 阿里尔·阿萨拉夫(Ariel Assaraf)表示,未来目标是推出更先进的远程数据流查询架构及AI监控体验,并计划三年内在纳斯达克上市,进一步巩固其在全球数据观测领域的领先地位。



编辑 | 钱丽娜

排版 | 杨一萍

校对 | 袁海鸣



|中经传媒智库CBJTHINKTANK原创文章|

往期推荐

AI商业洞察 | 谷歌大脑创始人吴恩达称AI将彻底改变战场




你有在看吗↓
页: [1]
查看完整版本: AI商业洞察 | “OpenAI档案”推动负责任的AI治理