生产案例 · JEV × SEO

把握度 0.89 的建议,是错的

Loomaly 报告了 Jev 逐页审计与站内链接建议的四个生产问题。本站拆解输入、把握度和去重边界,并提供可下载的离线检查器,将 H2、已有链接和未采集 CTA 转成可复跑的反例。

发布于 2026-09-26更新 2026-10-24Loomaly production notes + 本站离线实验
00 / BASELINE

换成 Jev 前后,差在哪里

之前 · 生成式审计 53–170s

每页耗时;某天 190 次审计中有 163 次超时。

  • 同一页面重复运行会得到不同问题清单
  • 会报告输入证据里不存在的问题
  • 成本限制了覆盖范围,每次只检查 25 页
之后 · JEV 判断层 1–2s

每页约 $0.00003;便宜到可以逐页判断而不是抽样。

  • 153 个判断重复两遍,150 个结果一致
  • 泡泡玛特整站的一次 Jev 审计费用约 1 美分
  • 站内链接建议采纳率从 14% 提升到 80%

这些数字来自 Loomaly 2026 年 9 月的设计文档、校准记录和生产运行记录,不代表 Jev 在所有任务上的通用性能。

01
CONFIDENCE ≠ CORRECTNESS

把握度高,不等于对

Loomaly 让 Jev 判断一句话是否应该增加站内链接,再把用户真正采纳和拒绝的结果回填。两组平均 confidence 几乎没有区分力。

被采纳0.619mean confidence
被拒绝0.623mean confidence
最高把握度0.89但建议错误
错误案例
“What are the alternatives to Google Analytics?”

目标文章方向正确,但原句是 H2 标题。模型判断了语义相关性,却没有掌握“编辑不会在标题里加站内链接”这条发布规则。

同一次对账里,锚文本 Score 更有区分力:采纳建议平均 1.63,拒绝建议平均 1.39。Loomaly 因此在免费检查中只展示 1.4 分以上的建议。结论不是“Score 永远优于 confidence”,而是要保留在你的结果数据上真正有预测力的指标。

02
INPUT BOUNDARY

它只能根据你给它看的东西判断

第一次检查泡泡玛特网站时,Jev 把 168 个页面判成“内容太单薄”,又把 56 个在售商品页判成“没有给顾客下一步”。这些结论听起来专业,但输入本身是残缺的:正文由 JavaScript 加载,抓取结果接近空白;按钮数据也没有传入。

CODE

先判断是否有资格提问

原文用 150 字符作为采集保护阈值,避免对几乎空白的抓取结果继续判断;这是 Loomaly 的工程选择,不是内容质量或 AdSense 门槛。本站下方实验只检查证据是否采集完整,不按长度自动判定低价值。没有采集按钮时,CTA 状态是不可判断。

JEV

只处理剩余的语义问题

输入完整且满足前置条件后,再判断内容是否具体、CTA 是否清晰或页面意图是否匹配。

开源项目 Jev SEO 采用相同边界:爬取、规则和打分由代码负责,Jev 负责页面类型、搜索意图、帮助性、具体性等语义判断。

03
QUESTION DESIGN

怎么问,决定了它怎么答

NEGATION

不要用否定句提问

“这个页面缺少作者信息吗?”会增加方向性错误。Loomaly 在调用前拦截否定句,统一改成“这个页面有作者信息吗?”。

NUMBERS

数字先由代码解释

页面长度、链接数量等数值先由代码计算并转换成明确类别,再把语义化结果交给 Jev。

SCOPE

一次判断一个页面

不要把多行页面数据塞进一次需要跨行排序的判断。Loomaly 原文转述了一项准确度从 0.97 降到 0.51 的外部测试,但没有附原始链接,因此本站将它保留为作者归因的观察,不视为已独立核验的基准。

04
PRODUCTION PARITY

第一次上线,50 条建议里 40 条早已存在

测试环境里,站内链接建议的采纳率从 14% 调到 78%。但上线后的第一批 50 条建议中,有 40 条是用户网站已经存在的链接。测试脚本与生产环境读取“已有链接”的方式不同,这个缺口在离线测试中没有暴露。

测试14% → 78%逐轮调整建议质量
→
首次上线40 / 50重复已有链接,本轮作废
→
修复后80%生产采纳率

最终提升的大头不是再调一次模型,而是代码逐项否决不该出现的候选:已有链接、用户拒绝过的建议、图片说明、目录条目、小标题,以及从词组中间截断的锚文本。仅图片说明这一类,就占某轮 26 条拒绝中的 14 条。

SITE-AUTHORED LAB · NO MODEL CALL

把案例变成回归:先审查输入,再评价内容

下面是本站独立编写的检查器与人工构造输入,不是 Loomaly 源码、生产日志或采纳率复现。它验证的是采集与发布规则:H2 和图片 alt 不能充当正文段落锚点,已有链接与被拒绝的目标不再推荐,未采集 CTA 不能说成“没有 CTA”。语义相关性仍留给编辑或后续模型。

  1. 采集器先提供 DOM 区域、段落 ID、原文位置、现有链接范围和采集状态。kind/region 必须由解析器产生,不能让模型把 H2 自报为 paragraph。本示例接收这种结构化输入,本身不负责抓取或解析 HTML。
  2. 采集缺失或渲染待完成时返回 not_evaluable。采集到 70 字符也不会自动报内容单薄;长度仅是诊断数据,不是质量规则。CTA 已完整采集但为空,与根本没采集,是两种状态。
  3. 只允许 main-body 中的 paragraph。根据原文偏移截取锚文本,拒绝已有目标、已拒绝目标、已被链接的文字与重复或重叠候选;拉丁单词中间截断也会拒绝。中文词组与语法完整性仍需编辑判断。
人工反例检查器输出
valid-paragrapheligible_for_semantic_review

deterministic_checks_passed

headingrejected

not_a_main_body_paragraph

alt-textrejected

not_a_main_body_paragraph

existing-targetrejected

target_already_linked

previous-rejectionrejected

previously_rejected_target

repeat-targetrejected

duplicate_candidate_target

没有采集 CTAnot_evaluable

cta_not_collected_or_incomplete

eligible_for_semantic_review 只说明确定性前置检查通过,不表示“推荐正确”、不授权插入链接,也不证明目标页存在。URL 比较只移除 fragment 和末尾斜杠,不联网跟随重定向或猜测 canonical;查询参数保留。测试和生产应共享采集器及相同规则,再用实际采纳/拒绝记录评估语义部分。

下载后离线运行

node seo_input_audit.mjs
node --test seo_input_audit.test.mjs

下载完整检查器 ↓ · 下载反例回归测试 ↓

使用 Node 20+,不安装依赖、不需要密钥、不联网。两份文件放在同一目录。可将自己的采集记录保存为 {page, candidates} JSON,再运行 node seo_input_audit.mjs input.json;缺失记录不会被当作“没有问题”。

查看人工 fixture 的实际程序输出
{
  "synthetic_fixture": true,
  "content": {
    "status": "ready_for_semantic_review",
    "bodyCharacters": 70
  },
  "cta": {
    "status": "not_evaluable",
    "reason": "cta_not_collected_or_incomplete"
  },
  "decisions": [
    {
      "id": "valid-paragraph",
      "status": "eligible_for_semantic_review",
      "reason": "deterministic_checks_passed",
      "anchor": "Google Analytics alternatives",
      "targetUrl": "https://example.test/alternatives"
    },
    {
      "id": "heading",
      "status": "rejected",
      "reason": "not_a_main_body_paragraph"
    },
    {
      "id": "alt-text",
      "status": "rejected",
      "reason": "not_a_main_body_paragraph"
    },
    {
      "id": "existing-target",
      "status": "rejected",
      "reason": "target_already_linked"
    },
    {
      "id": "previous-rejection",
      "status": "rejected",
      "reason": "previously_rejected_target"
    },
    {
      "id": "repeat-target",
      "status": "rejected",
      "reason": "duplicate_candidate_target"
    }
  ],
  "action": "review_candidates_only_no_page_changes"
}
查看与下载共用的完整实现
/**
 * Offline preflight for a crawler's structured evidence, not an HTML crawler.
 * No network/model call, quality score, link insertion or page mutation.
 */
import { readFileSync } from 'node:fs';
import { pathToFileURL } from 'node:url';

function normalUrl(value, base) {
  if (typeof value !== 'string' || !value.trim()) throw new Error('Missing URL');
  const url = new URL(value, base);
  if (!['http:', 'https:'].includes(url.protocol) || url.username || url.password) throw new Error('Unsupported URL');
  url.hash = '';
  if (url.pathname !== '/') url.pathname = url.pathname.replace(/\/+$/, '');
  return url;
}

const isComplete = capture => capture?.status === 'complete';
const isBodyParagraph = block => block?.kind === 'paragraph' && block?.region === 'main-body';
const hasText = value => typeof value === 'string' && value.trim().length > 0;
const overlaps = (a, b) => a.start < b.end && b.start < a.end;

export function auditInput(page, candidates = []) {
  const source = normalUrl(page.url);
  const blocks = Array.isArray(page.bodyCapture?.blocks) ? page.bodyCapture.blocks : [];
  const body = blocks.filter(isBodyParagraph).filter(block => hasText(block.text));
  // Length is diagnostic only. A short page is not automatically thin content.
  const bodyCharacters = body.map(block => block.text).join('\n').length;
  const contentReady = isComplete(page.bodyCapture) && body.length > 0;
  const content = contentReady
    ? { status: 'ready_for_semantic_review', bodyCharacters }
    : { status: 'not_evaluable', reason: 'body_evidence_missing_or_incomplete', bodyCharacters };
  const cta = !contentReady
    ? { status: 'not_evaluable', reason: 'body_context_missing_or_incomplete' }
    : isComplete(page.ctaCapture) && Array.isArray(page.ctaCapture.items)
      ? { status: 'ready_for_semantic_review', capturedItems: page.ctaCapture.items.length }
      : { status: 'not_evaluable', reason: 'cta_not_collected_or_incomplete' };
  const linkEvidenceReady = isComplete(page.linkCapture) && Array.isArray(page.linkCapture.targets);
  const rejectionEvidenceReady = isComplete(page.rejectionCapture) && Array.isArray(page.rejectionCapture.items);
  const existing = new Set();
  let malformedEvidence = !linkEvidenceReady || !rejectionEvidenceReady;
  for (const href of Array.isArray(page.linkCapture?.targets) ? page.linkCapture.targets : []) {
    try { existing.add(normalUrl(href, source).href); } catch { malformedEvidence = true; }
  }
  const rejected = new Set();
  for (const item of Array.isArray(page.rejectionCapture?.items) ? page.rejectionCapture.items : []) {
    try {
      if (normalUrl(item.sourceUrl, source).href === source.href) rejected.add(normalUrl(item.targetUrl, source).href);
    } catch { malformedEvidence = true; }
  }
  const selected = [];
  const decisions = candidates.map(candidate => {
    const result = (status, reason, extra = {}) => ({ id: candidate.id, status, reason, ...extra });
    if (!contentReady) return result('not_evaluable', 'body_evidence_missing_or_incomplete');
    if (!linkEvidenceReady || !rejectionEvidenceReady || malformedEvidence) {
      return result('not_evaluable', 'link_or_rejection_evidence_incomplete');
    }
    const matching = blocks.filter(item => item.id === candidate.blockId);
    if (matching.length > 1) return result('not_evaluable', 'ambiguous_block_identity');
    if (matching.length === 0) return result('not_evaluable', 'source_block_not_found');
    const block = matching[0];
    if (!isBodyParagraph(block)) return result('rejected', 'not_a_main_body_paragraph');
    if (!hasText(block.text)) return result('not_evaluable', 'paragraph_text_missing');
    const { start, end } = candidate;
    if (!Number.isInteger(start) || !Number.isInteger(end) || start < 0 || end <= start || end > block.text.length) {
      return result('rejected', 'invalid_anchor_offsets');
    }
    const anchor = block.text.slice(start, end);
    if (!hasText(anchor) || anchor !== anchor.trim()) return result('rejected', 'invalid_anchor_text');
    // This catches Latin mid-word cuts only, not grammatical phrase boundaries.
    const word = /[A-Za-z0-9_]/;
    if ((start > 0 && word.test(block.text[start - 1]) && word.test(anchor[0]))
      || (end < block.text.length && word.test(block.text[end]) && word.test(anchor.at(-1)))) {
      return result('rejected', 'anchor_cuts_a_word');
    }
    let target;
    try { target = normalUrl(candidate.targetUrl, source); }
    catch { return result('rejected', 'invalid_target_url'); }
    if (target.origin !== source.origin) return result('rejected', 'external_target');
    if (target.href === source.href) return result('rejected', 'self_link');
    if (existing.has(target.href)) return result('rejected', 'target_already_linked');
    if (rejected.has(target.href)) return result('rejected', 'previously_rejected_target');
    if (!Array.isArray(block.linkSpans)) return result('not_evaluable', 'inline_link_ranges_not_collected');
    if (block.linkSpans.some(span => !Number.isInteger(span.start) || !Number.isInteger(span.end)
      || span.start < 0 || span.end <= span.start || span.end > block.text.length)) {
      return result('not_evaluable', 'invalid_inline_link_ranges');
    }
    if (block.linkSpans.some(span => overlaps(candidate, span))) return result('rejected', 'anchor_already_linked');
    if (selected.some(item => item.target === target.href)) return result('rejected', 'duplicate_candidate_target');
    if (selected.some(item => item.blockId === block.id && overlaps(candidate, item))) return result('rejected', 'overlapping_candidate');
    selected.push({ blockId: block.id, start, end, target: target.href });
    return result('eligible_for_semantic_review', 'deterministic_checks_passed', { anchor, targetUrl: target.href });
  });
  return { content, cta, decisions, action: 'review_candidates_only_no_page_changes' };
}

export function syntheticFixture() {
  const text = 'Compare Google Analytics alternatives and review privacy requirements.';
  const page = {
    url: 'https://example.test/analytics',
    bodyCapture: { status: 'complete', blocks: [
      { id: 'p1', kind: 'paragraph', region: 'main-body', text, linkSpans: [] },
      { id: 'h2', kind: 'heading', region: 'main-body', text: 'Google Analytics alternatives' },
      { id: 'alt', kind: 'image_alt', region: 'main-body', text: 'Google Analytics alternatives' },
    ] },
    ctaCapture: { status: 'not_collected' },
    linkCapture: { status: 'complete', targets: ['/already-linked'] },
    rejectionCapture: { status: 'complete', items: [{ sourceUrl: '/analytics', targetUrl: '/rejected-before' }] },
  };
  const candidate = { blockId: 'p1', start: 8, end: 37 };
  return { page, candidates: [
    { id: 'valid-paragraph', ...candidate, targetUrl: '/alternatives' },
    { id: 'heading', blockId: 'h2', start: 0, end: 29, targetUrl: '/alternatives' },
    { id: 'alt-text', blockId: 'alt', start: 0, end: 29, targetUrl: '/alternatives' },
    { id: 'existing-target', ...candidate, targetUrl: '/already-linked#details' },
    { id: 'previous-rejection', ...candidate, targetUrl: '/rejected-before' },
    { id: 'repeat-target', ...candidate, targetUrl: '/alternatives/' },
  ] };
}

if (process.argv[1] && import.meta.url === pathToFileURL(process.argv[1]).href) {
  const file = process.argv[2];
  const input = file ? JSON.parse(readFileSync(file, 'utf8')) : syntheticFixture();
  console.log(JSON.stringify({ synthetic_fixture: !file, ...auditInput(input.page, input.candidates) }, null, 2));
}
SHIP CHECKLIST

如果你也想在生产环境使用 Jev

  1. 先决定谁拍板。能数的交给代码,Jev 只回答代码无法直接判断的语义问题。
  2. 用真实结果校准。不要迷信 confidence,寻找真正能区分结果的指标。
  3. 给代码留否决权。删除、发布、扣款等不可逆动作不能因模型高分自动获得权限。
  4. 先检查模型看到了什么。输入为空或字段缺失时,应停止提问而不是接受漂亮但无依据的答案。

来源与边界

本文是对 Loomaly 原文的结构化整理与工程解读。原文由 @limitlessdeng 发布于 2026 年 9 月 25 日,并说明生产数字来自 Loomaly 的设计文档、校准记录和运行记录。本站将这些数字作为具名案例数据,而不是 Jev 的通用性能承诺。新增检查器、合成 fixture 和回归测试由本站编写,仅验证确定性前置规则,没有复现 Loomaly 生产采纳率或测量模型质量。