01#

背景:AI编程时代,我们面临的新挑战

随着AI编程的普及与深入,AI编程工具如Cursor、Cline、Claude Code等正成为开发者日常的得力助手。

然而,我们也发现随之而来的是两大核心痛点


1.AI对话难以追踪


软件开发逐渐从“以代码为中心”转向“以对话为驱动”,对话变得越来越重要。

我们在阅读AI生成的代码时,不仅关注代码本身,更希望了解当时与AI交互的上下文。

但是这些对话散落在每个开发者的本地环境中,无法统一管理与共享,查看AI生成代码时经常因为没有当时生成的上下文而一头雾水。

2.AI贡献难以量化


AI到底为我们写了多少有效代码?AI到底为我们提升了多少效率?哪些模块的AI贡献最大?

缺乏统一的度量体系和方法,我们难以区分AI写的代码和人工编写的代码,难以客观评估AI投入的实际产出,更无法系统化地优化使用策略。

正是由于以上问题的存在,我们需要建立一套可追溯、可量化的AI编程效能体系,以全面评估AI在开发过程中的实际贡献,提升团队协作透明度与工程效能。

02#

探索之路:我们曾这样尝试量化AI价值

在开发本系统之前,团队成员也曾尝试过一些“土法炼钢”的方式来追踪、量化AI的使用效果:

1.Wiki截图,手动存档


将与AI的对话记录逐一截图,并以需求为单位粘贴到团队Wiki中。

弊端:给程序员带来大量额外工作,难以坚持;信息零散,无法搜索和统计分析;

2.代码注释,脚本统计


通过如全局的cursor rule,让AI在生成代码前后加上特殊注释(如// @AI-Generated-Begin、// @AI-Generated-End),然后通过脚本扫描这些注释来统计AI代码行数。

弊端:如果在AI生成代码中增加人工代码,注释会特别复杂,影响代码可读性;注释易被人为修改,指标缺乏客观性。

03#

解决方案:AI编程效能量化系统

整体方案如下图所示:左侧插件解决“可追踪”的问题,右侧系统实现“可量化”的目标。

可追踪:统一管理AI对话


我们开发了一款VSCode插件,能够:

  1. 自动读取Cursor等AI工具的本地数据库;

  2. 支持将AI对话记录以Markdown格式一键保存至项目源码中;

将与AI对话保存在源码中有两点好处:

  1. 团队间的AI对话可以共享。

  2. 全局搜索相关代码的时候可以方便找到当时的AI对话。


可量化:精准计算AI贡献


同时,有了这个插件,我们通过插件可以将本地的AI交互数据无感上传到云端,在云端进行聚合分析。

结合GitLab提交数据,我们可以和AI生成的代码做对比,就可以精确计算出AI生成代码占比。


核心指标


基于收集的信息,我们可以计算出以下核心指标:

04#

效果展示:

插件部分


通过插件我们可以清晰看到今天、本周、本月的AI使用情况以及环比上个周期的使用情况。

并且我们可以看到这个workspace下所有与AI的对话情况,支持一键以markdown的形式保存在项目源码中。


个人仪表盘


个人活跃度:直观地看到每天和AI对话的次数,对话次数越多,颜色越深。

0对话:灰色;1-34对话:浅绿色;35-68对话:绿色;69-102对话:深绿色;103+对话:黛绿色

个人AI研发核心指标:自己AI代码占比、各种语言AI占比、采纳比例。

个人使用趋势:可以查看自己近期的使用趋势

团队仪表盘


团队总览:可以看到团队有多少人在使用AI编程、使用时间等信息。

团队AI研发核心指标:可以看到团队中AI代码占比、各种语言AI占比、采纳比例。

团队的排行榜:

团队指标成果展示:


随着这个插件和系统的上线推广,我们团队AI编码率从之前32%(9月份)提高到54%(10月16日-10月29日,系统上线后)。

05#

方案细节与关键机制

插件侧(数据收集)


为确保数据上传的顺畅与准确,插件侧进行了多项优化。

  1. 多源数据采集:支持从主流AI编程工具中提取完整的交互历史记录

  2. 智能项目识别:通过算法自动识别对话记录所属的代码项目,确保数据准确归属

  3. 增量同步机制:基于时间戳的增量数据上传,避免重复采集,提升效率

  4. 数据完整性保障:支持手动补传和批量重传,确保数据不丢失


服务侧(据清理、分析)


系统通过定时任务每15分钟自动执行统计算法:

  1. 获取活跃用户与最近提交(Git Diff)

  2. 提取对应AI对话生成的代码片段

  3. 清洗、比对新提交代码

  4. 若命中AI片段→标记为AI代码,否则为非AI代码


本项目AI参与度

本项目通过本系统统计AI代码占比如下:

VSCode插件:95.98%

后端服务:70.42%(部分公共代码复用老项目)

前端数据看板:91.74%

除了开发部分,本项目全流程使用AI参与:包括系统设计、数据分析、测试、文档,全与AI协作完成。

06#

未来规划:从Cursor到企业级AI效能平台

未来的规划主要分三步:

  1. 提高插件使用体验和完善指标体系建设。

  2. 通过MCP协议上报的方式,支持Cline、TRAE等更多AI编程工具。

  3. 探索代码提效推动产能提升的路径,是产能提升可量化。


07#

结语


“让AI编程可追踪、可量化,通过自动记录与分析,助力团队清晰度量AI价值,提升产能。”——这正是「AI编程效能量化助手」的使命。

如果你也在探索AI编程的效能提升之路,欢迎与我们交流合作。

让AI的价值,不止于感觉,更见于数据。

— END —
~点这里👇关注我,记得推荐喜欢哦~

好文点个推荐吧👇

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐