把握度 0.89 的建议,是错的
Loomaly 报告了 Jev 逐页审计与站内链接建议的四个生产问题。本站拆解输入、把握度和去重边界,并提供可下载的离线检查器,将 H2、已有链接和未采集 CTA 转成可复跑的反例。
换成 Jev 前后,差在哪里
每页耗时;某天 190 次审计中有 163 次超时。
- 同一页面重复运行会得到不同问题清单
- 会报告输入证据里不存在的问题
- 成本限制了覆盖范围,每次只检查 25 页
每页约 $0.00003;便宜到可以逐页判断而不是抽样。
- 153 个判断重复两遍,150 个结果一致
- 泡泡玛特整站的一次 Jev 审计费用约 1 美分
- 站内链接建议采纳率从 14% 提升到 80%
这些数字来自 Loomaly 2026 年 9 月的设计文档、校准记录和生产运行记录,不代表 Jev 在所有任务上的通用性能。
把握度高,不等于对
Loomaly 让 Jev 判断一句话是否应该增加站内链接,再把用户真正采纳和拒绝的结果回填。两组平均 confidence 几乎没有区分力。
“What are the alternatives to Google Analytics?”
目标文章方向正确,但原句是 H2 标题。模型判断了语义相关性,却没有掌握“编辑不会在标题里加站内链接”这条发布规则。
同一次对账里,锚文本 Score 更有区分力:采纳建议平均 1.63,拒绝建议平均 1.39。Loomaly 因此在免费检查中只展示 1.4 分以上的建议。结论不是“Score 永远优于 confidence”,而是要保留在你的结果数据上真正有预测力的指标。
它只能根据你给它看的东西判断
第一次检查泡泡玛特网站时,Jev 把 168 个页面判成“内容太单薄”,又把 56 个在售商品页判成“没有给顾客下一步”。这些结论听起来专业,但输入本身是残缺的:正文由 JavaScript 加载,抓取结果接近空白;按钮数据也没有传入。
先判断是否有资格提问
原文用 150 字符作为采集保护阈值,避免对几乎空白的抓取结果继续判断;这是 Loomaly 的工程选择,不是内容质量或 AdSense 门槛。本站下方实验只检查证据是否采集完整,不按长度自动判定低价值。没有采集按钮时,CTA 状态是不可判断。
只处理剩余的语义问题
输入完整且满足前置条件后,再判断内容是否具体、CTA 是否清晰或页面意图是否匹配。
开源项目 Jev SEO 采用相同边界:爬取、规则和打分由代码负责,Jev 负责页面类型、搜索意图、帮助性、具体性等语义判断。
怎么问,决定了它怎么答
不要用否定句提问
“这个页面缺少作者信息吗?”会增加方向性错误。Loomaly 在调用前拦截否定句,统一改成“这个页面有作者信息吗?”。
数字先由代码解释
页面长度、链接数量等数值先由代码计算并转换成明确类别,再把语义化结果交给 Jev。
一次判断一个页面
不要把多行页面数据塞进一次需要跨行排序的判断。Loomaly 原文转述了一项准确度从 0.97 降到 0.51 的外部测试,但没有附原始链接,因此本站将它保留为作者归因的观察,不视为已独立核验的基准。
第一次上线,50 条建议里 40 条早已存在
测试环境里,站内链接建议的采纳率从 14% 调到 78%。但上线后的第一批 50 条建议中,有 40 条是用户网站已经存在的链接。测试脚本与生产环境读取“已有链接”的方式不同,这个缺口在离线测试中没有暴露。
最终提升的大头不是再调一次模型,而是代码逐项否决不该出现的候选:已有链接、用户拒绝过的建议、图片说明、目录条目、小标题,以及从词组中间截断的锚文本。仅图片说明这一类,就占某轮 26 条拒绝中的 14 条。
把案例变成回归:先审查输入,再评价内容
下面是本站独立编写的检查器与人工构造输入,不是 Loomaly 源码、生产日志或采纳率复现。它验证的是采集与发布规则:H2 和图片 alt 不能充当正文段落锚点,已有链接与被拒绝的目标不再推荐,未采集 CTA 不能说成“没有 CTA”。语义相关性仍留给编辑或后续模型。
- 采集器先提供 DOM 区域、段落 ID、原文位置、现有链接范围和采集状态。kind/region 必须由解析器产生,不能让模型把 H2 自报为 paragraph。本示例接收这种结构化输入,本身不负责抓取或解析 HTML。
- 采集缺失或渲染待完成时返回 not_evaluable。采集到 70 字符也不会自动报内容单薄;长度仅是诊断数据,不是质量规则。CTA 已完整采集但为空,与根本没采集,是两种状态。
- 只允许 main-body 中的 paragraph。根据原文偏移截取锚文本,拒绝已有目标、已拒绝目标、已被链接的文字与重复或重叠候选;拉丁单词中间截断也会拒绝。中文词组与语法完整性仍需编辑判断。
| 人工反例 | 检查器输出 |
|---|---|
| valid-paragraph | eligible_for_semantic_reviewdeterministic_checks_passed |
| heading | rejectednot_a_main_body_paragraph |
| alt-text | rejectednot_a_main_body_paragraph |
| existing-target | rejectedtarget_already_linked |
| previous-rejection | rejectedpreviously_rejected_target |
| repeat-target | rejectedduplicate_candidate_target |
| 没有采集 CTA | not_evaluablecta_not_collected_or_incomplete |
eligible_for_semantic_review 只说明确定性前置检查通过,不表示“推荐正确”、不授权插入链接,也不证明目标页存在。URL 比较只移除 fragment 和末尾斜杠,不联网跟随重定向或猜测 canonical;查询参数保留。测试和生产应共享采集器及相同规则,再用实际采纳/拒绝记录评估语义部分。
下载后离线运行
node seo_input_audit.mjs
node --test seo_input_audit.test.mjs 使用 Node 20+,不安装依赖、不需要密钥、不联网。两份文件放在同一目录。可将自己的采集记录保存为 {page, candidates} JSON,再运行 node seo_input_audit.mjs input.json;缺失记录不会被当作“没有问题”。
查看人工 fixture 的实际程序输出
{
"synthetic_fixture": true,
"content": {
"status": "ready_for_semantic_review",
"bodyCharacters": 70
},
"cta": {
"status": "not_evaluable",
"reason": "cta_not_collected_or_incomplete"
},
"decisions": [
{
"id": "valid-paragraph",
"status": "eligible_for_semantic_review",
"reason": "deterministic_checks_passed",
"anchor": "Google Analytics alternatives",
"targetUrl": "https://example.test/alternatives"
},
{
"id": "heading",
"status": "rejected",
"reason": "not_a_main_body_paragraph"
},
{
"id": "alt-text",
"status": "rejected",
"reason": "not_a_main_body_paragraph"
},
{
"id": "existing-target",
"status": "rejected",
"reason": "target_already_linked"
},
{
"id": "previous-rejection",
"status": "rejected",
"reason": "previously_rejected_target"
},
{
"id": "repeat-target",
"status": "rejected",
"reason": "duplicate_candidate_target"
}
],
"action": "review_candidates_only_no_page_changes"
}查看与下载共用的完整实现
/**
* Offline preflight for a crawler's structured evidence, not an HTML crawler.
* No network/model call, quality score, link insertion or page mutation.
*/
import { readFileSync } from 'node:fs';
import { pathToFileURL } from 'node:url';
function normalUrl(value, base) {
if (typeof value !== 'string' || !value.trim()) throw new Error('Missing URL');
const url = new URL(value, base);
if (!['http:', 'https:'].includes(url.protocol) || url.username || url.password) throw new Error('Unsupported URL');
url.hash = '';
if (url.pathname !== '/') url.pathname = url.pathname.replace(/\/+$/, '');
return url;
}
const isComplete = capture => capture?.status === 'complete';
const isBodyParagraph = block => block?.kind === 'paragraph' && block?.region === 'main-body';
const hasText = value => typeof value === 'string' && value.trim().length > 0;
const overlaps = (a, b) => a.start < b.end && b.start < a.end;
export function auditInput(page, candidates = []) {
const source = normalUrl(page.url);
const blocks = Array.isArray(page.bodyCapture?.blocks) ? page.bodyCapture.blocks : [];
const body = blocks.filter(isBodyParagraph).filter(block => hasText(block.text));
// Length is diagnostic only. A short page is not automatically thin content.
const bodyCharacters = body.map(block => block.text).join('\n').length;
const contentReady = isComplete(page.bodyCapture) && body.length > 0;
const content = contentReady
? { status: 'ready_for_semantic_review', bodyCharacters }
: { status: 'not_evaluable', reason: 'body_evidence_missing_or_incomplete', bodyCharacters };
const cta = !contentReady
? { status: 'not_evaluable', reason: 'body_context_missing_or_incomplete' }
: isComplete(page.ctaCapture) && Array.isArray(page.ctaCapture.items)
? { status: 'ready_for_semantic_review', capturedItems: page.ctaCapture.items.length }
: { status: 'not_evaluable', reason: 'cta_not_collected_or_incomplete' };
const linkEvidenceReady = isComplete(page.linkCapture) && Array.isArray(page.linkCapture.targets);
const rejectionEvidenceReady = isComplete(page.rejectionCapture) && Array.isArray(page.rejectionCapture.items);
const existing = new Set();
let malformedEvidence = !linkEvidenceReady || !rejectionEvidenceReady;
for (const href of Array.isArray(page.linkCapture?.targets) ? page.linkCapture.targets : []) {
try { existing.add(normalUrl(href, source).href); } catch { malformedEvidence = true; }
}
const rejected = new Set();
for (const item of Array.isArray(page.rejectionCapture?.items) ? page.rejectionCapture.items : []) {
try {
if (normalUrl(item.sourceUrl, source).href === source.href) rejected.add(normalUrl(item.targetUrl, source).href);
} catch { malformedEvidence = true; }
}
const selected = [];
const decisions = candidates.map(candidate => {
const result = (status, reason, extra = {}) => ({ id: candidate.id, status, reason, ...extra });
if (!contentReady) return result('not_evaluable', 'body_evidence_missing_or_incomplete');
if (!linkEvidenceReady || !rejectionEvidenceReady || malformedEvidence) {
return result('not_evaluable', 'link_or_rejection_evidence_incomplete');
}
const matching = blocks.filter(item => item.id === candidate.blockId);
if (matching.length > 1) return result('not_evaluable', 'ambiguous_block_identity');
if (matching.length === 0) return result('not_evaluable', 'source_block_not_found');
const block = matching[0];
if (!isBodyParagraph(block)) return result('rejected', 'not_a_main_body_paragraph');
if (!hasText(block.text)) return result('not_evaluable', 'paragraph_text_missing');
const { start, end } = candidate;
if (!Number.isInteger(start) || !Number.isInteger(end) || start < 0 || end <= start || end > block.text.length) {
return result('rejected', 'invalid_anchor_offsets');
}
const anchor = block.text.slice(start, end);
if (!hasText(anchor) || anchor !== anchor.trim()) return result('rejected', 'invalid_anchor_text');
// This catches Latin mid-word cuts only, not grammatical phrase boundaries.
const word = /[A-Za-z0-9_]/;
if ((start > 0 && word.test(block.text[start - 1]) && word.test(anchor[0]))
|| (end < block.text.length && word.test(block.text[end]) && word.test(anchor.at(-1)))) {
return result('rejected', 'anchor_cuts_a_word');
}
let target;
try { target = normalUrl(candidate.targetUrl, source); }
catch { return result('rejected', 'invalid_target_url'); }
if (target.origin !== source.origin) return result('rejected', 'external_target');
if (target.href === source.href) return result('rejected', 'self_link');
if (existing.has(target.href)) return result('rejected', 'target_already_linked');
if (rejected.has(target.href)) return result('rejected', 'previously_rejected_target');
if (!Array.isArray(block.linkSpans)) return result('not_evaluable', 'inline_link_ranges_not_collected');
if (block.linkSpans.some(span => !Number.isInteger(span.start) || !Number.isInteger(span.end)
|| span.start < 0 || span.end <= span.start || span.end > block.text.length)) {
return result('not_evaluable', 'invalid_inline_link_ranges');
}
if (block.linkSpans.some(span => overlaps(candidate, span))) return result('rejected', 'anchor_already_linked');
if (selected.some(item => item.target === target.href)) return result('rejected', 'duplicate_candidate_target');
if (selected.some(item => item.blockId === block.id && overlaps(candidate, item))) return result('rejected', 'overlapping_candidate');
selected.push({ blockId: block.id, start, end, target: target.href });
return result('eligible_for_semantic_review', 'deterministic_checks_passed', { anchor, targetUrl: target.href });
});
return { content, cta, decisions, action: 'review_candidates_only_no_page_changes' };
}
export function syntheticFixture() {
const text = 'Compare Google Analytics alternatives and review privacy requirements.';
const page = {
url: 'https://example.test/analytics',
bodyCapture: { status: 'complete', blocks: [
{ id: 'p1', kind: 'paragraph', region: 'main-body', text, linkSpans: [] },
{ id: 'h2', kind: 'heading', region: 'main-body', text: 'Google Analytics alternatives' },
{ id: 'alt', kind: 'image_alt', region: 'main-body', text: 'Google Analytics alternatives' },
] },
ctaCapture: { status: 'not_collected' },
linkCapture: { status: 'complete', targets: ['/already-linked'] },
rejectionCapture: { status: 'complete', items: [{ sourceUrl: '/analytics', targetUrl: '/rejected-before' }] },
};
const candidate = { blockId: 'p1', start: 8, end: 37 };
return { page, candidates: [
{ id: 'valid-paragraph', ...candidate, targetUrl: '/alternatives' },
{ id: 'heading', blockId: 'h2', start: 0, end: 29, targetUrl: '/alternatives' },
{ id: 'alt-text', blockId: 'alt', start: 0, end: 29, targetUrl: '/alternatives' },
{ id: 'existing-target', ...candidate, targetUrl: '/already-linked#details' },
{ id: 'previous-rejection', ...candidate, targetUrl: '/rejected-before' },
{ id: 'repeat-target', ...candidate, targetUrl: '/alternatives/' },
] };
}
if (process.argv[1] && import.meta.url === pathToFileURL(process.argv[1]).href) {
const file = process.argv[2];
const input = file ? JSON.parse(readFileSync(file, 'utf8')) : syntheticFixture();
console.log(JSON.stringify({ synthetic_fixture: !file, ...auditInput(input.page, input.candidates) }, null, 2));
}
如果你也想在生产环境使用 Jev
- 先决定谁拍板。能数的交给代码,Jev 只回答代码无法直接判断的语义问题。
- 用真实结果校准。不要迷信 confidence,寻找真正能区分结果的指标。
- 给代码留否决权。删除、发布、扣款等不可逆动作不能因模型高分自动获得权限。
- 先检查模型看到了什么。输入为空或字段缺失时,应停止提问而不是接受漂亮但无依据的答案。