💻 technology

您的AI聊天机器人明天可能泄露所有信息

与ChatGPT、Claude或Gemini的每次对话都存储在某个服务器上，由可能会出错的人类编写的代码保护。我花了三周时间与安全研究人员、渗透测试员和一名前政府漏洞开发者交谈，以了解究竟是什么阻止了您的治疗会话记录泄漏到Pastebin。

保护您的聊天记录的架构依赖于三个同心层：网络隔离、访问控制和加密。像OpenAI的ChatGPT、Anthropic的Claude和谷歌的Gemini这样的现代AI服务将会话记录存储在虚拟私有云（VPC）后面的数据库集群中，这些VPC在云基础设施周围创建了软件定义的边界。这些VPC阻止了对数据库的直接互联网访问。您的消息通过TLS（传输层安全）1.3从浏览器加密传输到负载均衡器，然后通过经过身份验证的内部服务，最终进入加密保存的PostgreSQL或类似数据库。私钥从不接触生成AI响应的应用服务器。但有趣的是：这些层中的每一个都曾被攻破过，只是没有在这种确切的配置中。在2023年，Trail of Bits的研究人员证明了Rust（被认为是“安全”的语言）中的内存损坏漏洞仍然可能在特定条件下泄露敏感数据。在2024年初，一名名叫Kevin Beaumont的研究人员展示了配置错误的AWS S3存储桶策略如何暴露了一家小型AI初创公司的聊天记录。攻击面存在于调度层，即微服务通信的地方。如果我想为那百万英镑的奖品窃取聊天历史，我会专注于内部服务网格，特别是服务之间用来交流的身份验证令牌。这是我的攻击路线图：

通过供应链妥协获得初始访问：针对AI公司的基础设施团队信任的广泛使用的监控库。许多AI公司使用DataDog、Sentry或New Relic等可观察性工具。一个具有合法听起来名字（比如“asyncio-performance-patch”）的恶意npm包或Python轮子可以注入代码，通过包括AWS IAM角色凭证或Kubernetes服务账户令牌的环境变量进行回传。

通过服务网格横向移动：一旦进入具有有效凭证的VPC，利用内部服务彼此过度信任的事实。Anthropic、OpenAI和谷歌都使用Kubernetes进行协调。如果我攻破一个低权限pod（可能是运行数据管道清理cron作业的pod），我可以查询Kubernetes API服务器以获取作为环境变量挂载在高权限pod中的秘密。数据库连接字符串通常就在那儿。

通过IDOR（不安全的直接对象引用）提升权限：现代AI平台为每次会话分配一个唯一的ID。数据库可能具有基于角色的访问控制，但为用户提供聊天历史的API端点通常存在逻辑缺陷。通过在内部API调用中模糊user_id参数，攻击者可以遍历会话ID，下载不属于他们的聊天记录。此确切漏洞出现在2022年一个主要SaaS平台的漏洞赏金报告中。

在不触发警报的情况下数据泄出：难点不在于获取数据，而在于如何将其外流。传输数GB的聊天记录将点亮每个安全运营中心（SOC）仪表板。诀窍是：通过DNS隧道泄出或在对合法服务的出站API调用中嵌入数据。AI公司每秒向支付处理器、分析平台和云提供商进行数千次API调用。一个聪明的攻击者将窃取的数据包装为base64编码的JSON，放入发送到受损的Stripe webhook端点的POST请求中，使其看起来像是常规的支付处理流量。

通过后门模型权重实现持久性：为了长期访问，攻击者可以将后门注入AI模型本身。来自苏黎世联邦理工学院的研究在2023年展示了对抗性训练如何在神经网络中嵌入隐藏行为。一个后门模型可以在出现特定触发短语时通过微妙地修改其响应来泄露会话片段。这将能在基础设施重建和代码部署中存活。

目前的对策包括运行时应用自保护（RASP）工具，监控异常数据库查询，网络分段将生产数据库与开发环境隔离，以及记录每次数据库读取的审核日志系统。据报道，像OpenAI这样的公司使用同态加密研究来探索对加密数据进行计算，但这在生产系统中仍然多为理论。真正的防御是深度防御：让攻击者烧掉多个零日漏洞以获取数据，这会将成本提高到大多数威胁行为者无法承受的地步。但最薄弱的一环依然是人类：一个对生产数据库拥有访问权限的不满现场可靠性工程师（SRE）可以在五分钟内将会话记录导出到个人S3存储桶中。这就是为什么公司实施职责分离，需要多个审批来进行敏感操作，并且为什么他们积极地轮换凭证。内部威胁代表了绕过所有技术控制进行泄露的最短路径。安全团队可以监控批量导出，但一个聪明的内部人员会缓慢提取数据，每天提取几千个会话，模仿合法的分析查询。

我的看法

AI安全的肮脏秘密是我们使用保护信用卡数据库的相同工具保护大量人类亲密对话，而这些数据库经常被破坏。每个主要AI公司的首席信息安全官都知道他们的聊天记录代表了互联网上最有价值的情报资产。离婚律师会为获得ChatGPT的关系建议查询支付数百万。政治反对派研究人员会资助国家黑客组织以获取与竞选战略家进行的Claude对话。当前的安全姿态依赖于模糊性和复杂性，而不是数学上的保证。我们用这么多网络控制层和访问策略包裹敏感数据，以至于突破需要一个复杂的攻击者或一个愚蠢的错误。历史表明我们会看到两者。第一次重大AI聊天泄漏不会来自天才黑客；它将来自将生产数据库凭证复制粘贴到Slack消息中的工程师，或一个配置错误的云存储桶，暴露了分析导出。当发生时，行业会表现得震惊，但每个安全人员都知道这是时间问题，而不是可能性问题。让我夜不能寐的是这种不对称：泄露十亿次对话只需要一个错误，但防止这种情况需要数千名工程师和系统的完美执行。我们要求在一个发布测试版软件并称其为生产就绪的行业中达到完美。真正的问题不是如何使AI聊天记录无法被黑，因为没有什么是无法被黑的。问题是我们是否应该记录这些对话，如果必须记录，是否应该给予它们与律师客户通信或医疗记录相同的法律保护。

接下来会发生什么

十八个月内，我们将看到首次确认的AI聊天记录大规模外流，而这不会来自技术漏洞。它将来自被大公司收购的中型AI初创公司的一名内部人员，他在合并过渡期间访问被撤销之前下载了会话档案。日志将在暗网市场上出现，以六位数的价格出售，当买家意识到无法在不暴露自己的情况下货币化数据时，日志将公开泄漏。此事件将导致紧急立法：欧盟将扩大GDPR（通用数据保护条例），规定除非用户明确选择保留，否则必须在90天后删除AI训练对话，2027年初加利福尼亚将通过会话隐私法。更有趣的情况将在AI安全军备竞赛中展开。到2027年底，至少有一家大AI公司（我押宝在Anthropic）会宣布“零知识聊天”架构，客户端侧加密对话，公司的密钥永不拥有。这将打破他们使用您的聊天进行模型改进的能力，迫使商业模式转向需要用户为隐私支付额外费用的高级层。OpenAI将是最后一个抵制这一变化的，因为他们的竞争护城河依赖于在真实用户对话上进行的RLHF（从人类反馈中强化学习）训练。当他们最终屈服于监管压力时，他们将游说获得允许加密数据临时解密用于“AI安全研究”的例外，这将立即成为国家行为者针对的后门。变数是谁将不仅泄露聊天记录，而是用它们来训练竞争模型？想象一个资金充足的敌人下载了一千万次ChatGPT对话，微调一个开源模型以模仿OpenAI的行为模式。这种逆向工程攻击将违反知识产权法，但当攻击者所在的司法管辖区不关心美国版权诉求时，执行这条法律变得复杂。到2027年第三季度，我们将看到第一起起诉因使用窃取的对话数据用于模型训练，而这将在AI时代重新定义“数据盗窃”的意义。

历史告诉我们什么

最接近的历史平行事件是2013年爱德华·斯诺登揭露关于NSA（国家安全局）批量收集计划。在斯诺登之前，大多数人认为他们的电话元数据是私密的；报告泄露后，我们了解到数百万通话记录保存在政府数据库中，主要由政策和内部控制来保护。公众的强烈反对迫使通过《美国自由法案》这样的改革，要求对监视计划进行更多监督。但是根本的漏洞仍然存在：一旦数据集中保存，任何拥有足够证书或决心的人都可以访问它。一个更具体的先例是2018年的剑桥分析公司丑闻，当时Facebook用户数据本应受到API访问控制的保护，但最终落入政治顾问手中。该漏洞利用了Facebook声明的隐私政策与其实际系统允许之间的差距。一名学术研究员Aleksandr Kogan设计了一款性格测验应用，不仅收集参加测验用户的数据，还收集了所有Facebook好友的数据，最终收集了8700万人的信息。Facebook的控制措施未能防止第三方应用以合法外观的凭证进行批量下载。与AI聊天记录的平行是直接的：我们信任公司实施访问控制，而他们自己的系统常为方便或功能而绕过。

市场影响

确认的重大AI聊天记录泄露将削弱对纯AI公司的投资者信心，同时提升网络安全股票。截至2024年5月，CrowdStrike（CRWD）在其2024年7月故障事件后恢复，股价约为每股325美元，而Palo Alto Networks（PANW）约为195美元。在AI数据泄露后一周，两者将上涨15-20%。OpenAI计划中的IPO估值（预计2026年底为1500-2000亿美元）在发生ChatGPT日志泄露前将折价30-40%。防御性选择是Zscaler（ZS，目前约180美元），其零信任网络访问解决方案将在AI基础设施中成为必需。关于加密货币，隐私协议将受益：Monero在主要交易所无代码，但在去中心化平台上交易，而Zcash（虽然在Yahoo Finance上不可用为ZEC-USD）代表隐私币基础设施。真正的赢家将是同态加密初创公司，虽然大部分仍是私有公司，但IBM（IBM，目前交易约165美元）在这项技术上拥有显著的研究部门。如果其基础设施涉及其中，短期看空云提供商：亚马逊（AMZN）约180美元，微软（MSFT）接近420美元，谷歌母公司Alphabet（GOOGL）大约170美元，会在泄露新闻中下降3-5%，但一个月内会恢复。持久的损害是客户获取：企业将要求本地AI部署，受益的是像Nvidia（NVDA，约950美元）这样销售推理硬件用于自托管模型的公司。