fix(safety): Phase 10 复验 —— 修复图片上传魔数校验死代码（生产故障）/ 高风险词写入日志

对 Phase 10（Image & Chat Safety）执行 KEEP-VERIFY 复验：不采信历史 ✅，逐条核对图片私有访问、类型/大小/魔数校验、审核与水印、风险识别/举报/违规处理、日志脱敏。 Gate 判定通过，发现并修复 2 处缺陷，并推翻旧报告 2 项安全声明。 D1（Critical，生产故障）图片上传的类型与魔数校验整条是死代码 - PhotoService.uploadAndSave 用 `header = new byte[Math.min(12, stream.available())]` 仅分配零值缓冲，从不调用 stream.read(...) → validateMagicNumber 对任何文件都收到 12 个 0x00 → 恒返回 false → 恒抛"无效的图片文件头"。 - 影响链（已确认线上触发）：小程序 local-eligibility-supplement.ts 以 photoType='local_eligibility' 调 POST /photos/upload → 本地资格佐证上传 100% 失败。 - 次生问题：isAllowedMimeType（image-only 白名单）在 local_eligibility 分支之后无条件执行，即使魔数修好，application/pdf 仍被挡，而 FeatureFlagConfig 的 localEvidenceAllowedTypes 明确允许 pdf；另有未 mark 的 stream.reset() 无效调用。 - 测试为何没发现：PhotoServiceTest 只对 validateMagicNumber 传手写字节做单测，从不经过 uploadAndSave，该路径缺陷完全无覆盖。 - 修复：改用 try(InputStream){ header = s.readNBytes(12); } 真正读取； MIME 校验按 photoType 分流（local_eligibility 走自己的白名单含 pdf）；魔数校验仅对图片执行、PDF 跳过；移除死 reset()；上传用全新流与校验流隔离； generateFileKey 重载按 Content-Type 推断扩展名，PDF 不再拿到误导性 .jpg key。 D2（Low）高风险词写入普通日志 - ChatSafetyService.scanContent 把命中的高风险词原样写入 log.warn，与同文件 CONTACT 分支"只记 pattern 不记内容"矛盾，且违反本阶段 Gate。 - 修复：改为 log.warn("Chat content matched HIGH_RISK keyword (blocked)")。推翻的旧声明（docs/Phase-10-Completion-Report.md） - 「伪装恶意图片被拒（Magic Number校验）」不成立：该校验运行时恒失败，连合法图片也一律被拒（fail-closed 到不可用），安全属性并非由它提供。 - 「EXIF清理预留（PhotoService.stripExif占位）」不存在：全仓库无该符号。且 getUploadToken 客户端直传路径服务端无法介入清理 EXIF。 - 已在旧报告顶部加状态注记，指向本次复验报告。测试 - 新增 PhotoUploadValidationTest（6 用例），用 MockMultipartFile 真正走一遍 uploadAndSave：合法 JPEG/PNG 通过且确实调用 putObject、伪造 Content-Type 被魔数挡、 PDF 佐证不被 image-only 挡且 key 以 .pdf 结尾、非法 MIME 被拒、超大被拒。 - 负向验证：临时把魔数守卫改为 if(false && ...) → 恰好 spoofedContentTypeRejectedByMagic 一个用例变红，其余 5 个仍绿；随后还原并 grep 确认无 NEGATIVE-CHECK-TEMP 残留。 - 全量回归（离线容器 danyang-match-backend-test，mvn -o test）： 334 tests / 0 failures / 0 errors / 3 skipped / BUILD SUCCESS（基线 328，+6）。登记 gap（不自动实现，待产品确认） - 图片水印：全仓库无实现；主计划未列硬需求，仅"开发执行计划修订版"提"高级动态水印"。 - EXIF 清理：旧声明不存在；客户端直传路径服务端无法介入，需改为接收侧重编码。 - 直传凭证路径（getUploadToken）无服务端内容校验且不落 DB 记录 → 后续 getSignedUrl 归属校验会查不到 UserPhoto 行，属契约层缺口，超出本阶段安全 Gate 范围。 - 违规自动升级：ChatSafetyService 注释明确属 Phase 17 范围，当前 high 仅拦截不落库。文档：新增 Phase-10-V11-Recovery-Completion-Report-2026-09-16.md；旧报告加状态注记；主计划 Phase 10 复选框置 ✅；STATUS / JIRA_BACKLOG 同步（334 tests）。 Phase 11 未启动，按计划每阶段出报告后停止等待确认。
2026-09-16 21:00:52 +08:00
parent 03a03c7c11
commit fd7195ecb0
8 changed files with 378 additions and 40 deletions
@@ -77,7 +77,8 @@ public class ChatSafetyService {
        // 1. 高风险关键词
        for (String word : HIGH_RISK_WORDS) {
            if (content.contains(word)) {
-                log.warn("Chat content matched HIGH_RISK word: '{}'", word);
+                // 不记录命中的具体词汇，避免将聊天内容片段写入普通日志（Phase 10 Gate）
+                log.warn("Chat content matched HIGH_RISK keyword (blocked)");
                return ScanResult.high("检测到可能的诈骗/违规内容，消息已拦截");
            }
        }
@@ -126,39 +126,39 @@ public class PhotoService {
     */
    @Transactional
    public UserPhoto uploadAndSave(String userId, MultipartFile file, String photoType, int sortOrder) {
-        // 1. 安全校验
-        if ("local_eligibility".equals(photoType) && !isAllowedLocalEvidenceMimeType(file.getContentType())) {
-            throw new RuntimeException("不支持的佐证文件格式: " + file.getContentType());
-        }
-        if (!isAllowedMimeType(file.getContentType())) {
-            throw new RuntimeException("不支持的图片格式: " + file.getContentType());
+        // 1. 类型与大小校验
+        //    local_eligibility 允许 PDF 等佐证格式，有自己的白名单；其余走图片白名单。
+        //    历史缺陷：此前两条 MIME 校验串行执行，PDF 会被图片白名单挡掉；魔数校验又因
+        //    new byte[n] 从不读取流内容而恒判失败，导致本地资格佐证上传 100% 失败。
+        String contentType = file.getContentType();
+        boolean isLocalEvidence = "local_eligibility".equals(photoType);
+        if (isLocalEvidence) {
+            if (!isAllowedLocalEvidenceMimeType(contentType)) {
+                throw new RuntimeException("不支持的佐证文件格式: " + contentType);
+            }
+        } else if (!isAllowedMimeType(contentType)) {
+            throw new RuntimeException("不支持的图片格式: " + contentType);
        }
        if (!validateSize(file, photoType)) {
-            throw new RuntimeException("图片大小超过限制（最大10MB）");
-        }
-        InputStream stream;
-        try {
-            stream = file.getInputStream();
-        } catch (IOException e) {
-            throw new RuntimeException("读取文件失败", e);
-        }
-        byte[] header;
-        try {
-            header = new byte[Math.min(12, stream.available())];
-        } catch (IOException e) {
-            throw new RuntimeException("读取文件头失败", e);
-        }
-        if (!validateMagicNumber(header)) {
-            throw new RuntimeException("无效的图片文件头");
-        }
-        try {
-            stream.reset();
-        } catch (IOException e) {
-            throw new RuntimeException("重置输入流失败", e);
+            throw new RuntimeException("文件大小超过限制");
        }

-        // 2. 生成 key 并上传
-        String fileKey = generateFileKey(userId, photoType);
+        // 2. 魔数校验（仅图片；PDF 佐证跳过——Content-Type 已由白名单约束，
+        //    且其魔数 %PDF- 与图片魔数不同，混用同一校验会误杀）
+        if (!isLocalEvidence) {
+            byte[] header;
+            try (InputStream headerStream = file.getInputStream()) {
+                header = headerStream.readNBytes(12);
+            } catch (IOException e) {
+                throw new RuntimeException("读取文件头失败", e);
+            }
+            if (header.length < 3 || !validateMagicNumber(header)) {
+                throw new RuntimeException("无效的图片文件头");
+            }
+        }
+
+        // 3. 生成 key 并上传（使用全新输入流，与校验流隔离，互不干扰）
+        String fileKey = generateFileKey(userId, photoType, contentType);
        try {
            amazonS3.putObject(privateBucket, fileKey, file.getInputStream(),
                    new com.amazonaws.services.s3.model.ObjectMetadata() {{
@@ -169,7 +169,7 @@ public class PhotoService {
            throw new RuntimeException("上传文件失败", e);
        }

-        // 3. 保存记录
+        // 4. 保存记录
        return savePhoto(userId, fileKey, photoType, sortOrder);
    }

@@ -285,8 +285,27 @@ public class PhotoService {
    }

    private String generateFileKey(String userId, String photoType) {
-        // 从文件头推断扩展名
-        String ext = ".jpg";
+        // 直传凭证路径：客户端尚未上传，Content-Type 未知，沿用默认扩展名
+        return String.format("photos/%s/%s/%s.jpg",
+                userId,
+                photoType,
+                UUID.randomUUID().toString().replace("-", ""));
+    }
+
+    /**
+     * 按 Content-Type 推断扩展名，避免 PDF 佐证拿到 .jpg 这类误导性 key
+     * （对象元数据虽记录了正确的 Content-Type，但 key 后缀仍会被审核下载复用）。
+     */
+    private String generateFileKey(String userId, String photoType, String contentType) {
+        String ext = switch (contentType == null ? "" : contentType.toLowerCase()) {
+            case "image/jpeg" -> ".jpg";
+            case "image/png" -> ".png";
+            case "image/webp" -> ".webp";
+            case "image/gif" -> ".gif";
+            case "image/heic" -> ".heic";
+            case "application/pdf" -> ".pdf";
+            default -> "";
+        };
        return String.format("photos/%s/%s/%s%s",
                userId,
                photoType,
@@ -0,0 +1,165 @@
+package com.danyang.match.platform.photo;
+
+import com.amazonaws.services.s3.AmazonS3;
+import com.amazonaws.services.s3.model.ObjectMetadata;
+import com.danyang.match.platform.photo.entity.UserPhoto;
+import com.danyang.match.platform.photo.mapper.UserPhotoMapper;
+import com.danyang.match.platform.photo.service.PhotoService;
+import com.danyang.match.platform.shared.config.FeatureFlagConfig;
+import org.junit.jupiter.api.DisplayName;
+import org.junit.jupiter.api.Test;
+import org.springframework.mock.web.MockMultipartFile;
+
+import java.io.InputStream;
+
+import static org.junit.jupiter.api.Assertions.*;
+import static org.mockito.ArgumentMatchers.any;
+import static org.mockito.ArgumentMatchers.anyString;
+import static org.mockito.Mockito.*;
+
+/**
+ * 图片上传安全校验测试（Phase 10: Image & Chat Safety）。
+ *
+ * <p>历史缺陷（D1）：{@code uploadAndSave} 此前用 {@code new byte[n]} 分配缓冲却从不
+ * 调用 {@code stream.read(...)}，{@code validateMagicNumber} 恒收到全零字节 → 恒返回 false
+ * → 本地资格佐证上传 100% 失败；同时 image-only 的 {@code isAllowedMimeType} 在
+ * local_eligibility 之后无条件执行，PDF 被挡。本测试用 {@link MockMultipartFile} 真正走一遍
+ * 校验链路，确保魔数/MIME/大小守卫在运行时实际生效——单测 {@code validateMagicNumber} 本身
+ * （传入手写字节）无法暴露这条路径缺陷。
+ */
+class PhotoUploadValidationTest {
+
+    /** JPEG 魔数：FF D8 FF E0 + 最小可用体 */
+    private static final byte[] JPEG_BYTES = {
+            (byte) 0xFF, (byte) 0xD8, (byte) 0xFF, (byte) 0xE0,
+            0, 0, 0, 0, 0, 0, 0, 0
+    };
+
+    private PhotoService newService(AmazonS3 s3, UserPhotoMapper mapper, FeatureFlagConfig flags) {
+        return new PhotoService(mapper, s3, flags);
+    }
+
+    private FeatureFlagConfig localEvidenceFlags(int maxMB, String allowedTypes) {
+        FeatureFlagConfig f = mock(FeatureFlagConfig.class);
+        when(f.getLocalEvidenceMaxFileSizeMB()).thenReturn(maxMB);
+        when(f.getLocalEvidenceAllowedTypes()).thenReturn(allowedTypes);
+        return f;
+    }
+
+    @Test
+    @DisplayName("合法 JPEG 通过 MIME + 魔数校验（修复前此用例会因 header 恒零而失败）")
+    void validJpegPassesValidation() {
+        AmazonS3 s3 = mock(AmazonS3.class);
+        UserPhotoMapper mapper = mock(UserPhotoMapper.class);
+        when(mapper.insert(any(UserPhoto.class))).thenReturn(1);
+        PhotoService svc = newService(s3, mapper, null);
+
+        MockMultipartFile file = new MockMultipartFile(
+                "file", "a.jpg", "image/jpeg", JPEG_BYTES);
+
+        UserPhoto result = svc.uploadAndSave("u1", file, "lifestyle", 0);
+
+        assertNotNull(result);
+        verify(s3).putObject(any(), anyString(), any(InputStream.class), any(ObjectMetadata.class));
+    }
+
+    @Test
+    @DisplayName("伪造 Content-Type（声称 image/jpeg 实为文本）被魔数校验拦截")
+    void spoofedContentTypeRejectedByMagic() {
+        AmazonS3 s3 = mock(AmazonS3.class);
+        UserPhotoMapper mapper = mock(UserPhotoMapper.class);
+        PhotoService svc = newService(s3, mapper, null);
+
+        // 声称是 JPEG，实际内容是纯文本
+        MockMultipartFile file = new MockMultipartFile(
+                "file", "evil.jpg", "image/jpeg", "not a real image".getBytes());
+
+        RuntimeException ex = assertThrows(RuntimeException.class,
+                () -> svc.uploadAndSave("u1", file, "lifestyle", 0));
+        assertTrue(ex.getMessage().contains("无效的图片文件头"),
+                "应因魔数不匹配被拒，实际: " + ex.getMessage());
+        verify(s3, never()).putObject(any(), anyString(), any(InputStream.class), any(ObjectMetadata.class));
+    }
+
+    @Test
+    @DisplayName("PDF 本地资格佐证不被 image-only 校验挡，且跳过图片魔数校验")
+    void pdfLocalEligibilityNotBlocked() {
+        AmazonS3 s3 = mock(AmazonS3.class);
+        UserPhotoMapper mapper = mock(UserPhotoMapper.class);
+        when(mapper.insert(any(UserPhoto.class))).thenReturn(1);
+        FeatureFlagConfig flags = localEvidenceFlags(10, "jpg,png,pdf");
+        PhotoService svc = newService(s3, mapper, flags);
+
+        // application/pdf 走 local_eligibility 白名单（含 pdf），不应被 image-only 挡
+        MockMultipartFile file = new MockMultipartFile(
+                "file", "evidence.pdf", "application/pdf",
+                "%PDF-1.4 fake pdf content".getBytes());
+
+        UserPhoto result = svc.uploadAndSave("u1", file, "local_eligibility", 0);
+
+        assertNotNull(result);
+        assertTrue(result.getFileKey().endsWith(".pdf"),
+                "PDF key 应以 .pdf 结尾，实际: " + result.getFileKey());
+        verify(s3).putObject(any(), anyString(), any(InputStream.class), any(ObjectMetadata.class));
+    }
+
+    @Test
+    @DisplayName("非法 MIME 类型被拒（text/plain 当作 lifestyle 图片）")
+    void invalidMimeTypeRejected() {
+        AmazonS3 s3 = mock(AmazonS3.class);
+        UserPhotoMapper mapper = mock(UserPhotoMapper.class);
+        PhotoService svc = newService(s3, mapper, null);
+
+        MockMultipartFile file = new MockMultipartFile(
+                "file", "a.txt", "text/plain", JPEG_BYTES);
+
+        RuntimeException ex = assertThrows(RuntimeException.class,
+                () -> svc.uploadAndSave("u1", file, "lifestyle", 0));
+        assertTrue(ex.getMessage().contains("不支持的图片格式"),
+                "应因 MIME 不在白名单被拒，实际: " + ex.getMessage());
+        verify(s3, never()).putObject(any(), anyString(), any(InputStream.class), any(ObjectMetadata.class));
+    }
+
+    @Test
+    @DisplayName("超过大小限制被拒（local_eligibility 限额 1MB，传入 2MB）")
+    void oversizedFileRejected() {
+        AmazonS3 s3 = mock(AmazonS3.class);
+        UserPhotoMapper mapper = mock(UserPhotoMapper.class);
+        FeatureFlagConfig flags = localEvidenceFlags(1, "pdf");
+        PhotoService svc = newService(s3, mapper, flags);
+
+        // 2MB 的 PDF 佐证，限额 1MB
+        byte[] big = new byte[2 * 1024 * 1024];
+        big[0] = '%';
+        MockMultipartFile file = new MockMultipartFile(
+                "file", "big.pdf", "application/pdf", big);
+
+        RuntimeException ex = assertThrows(RuntimeException.class,
+                () -> svc.uploadAndSave("u1", file, "local_eligibility", 0));
+        assertTrue(ex.getMessage().contains("文件大小超过限制"),
+                "应因超限被拒，实际: " + ex.getMessage());
+        verify(s3, never()).putObject(any(), anyString(), any(InputStream.class), any(ObjectMetadata.class));
+    }
+
+    @Test
+    @DisplayName("PNG 魔数校验通过")
+    void validPngPassesValidation() {
+        AmazonS3 s3 = mock(AmazonS3.class);
+        UserPhotoMapper mapper = mock(UserPhotoMapper.class);
+        when(mapper.insert(any(UserPhoto.class))).thenReturn(1);
+        PhotoService svc = newService(s3, mapper, null);
+
+        byte[] png = {
+                (byte) 0x89, (byte) 0x50, (byte) 0x4E, (byte) 0x47,
+                (byte) 0x0D, (byte) 0x0A, (byte) 0x1A, (byte) 0x0A,
+                0, 0, 0, 0
+        };
+        MockMultipartFile file = new MockMultipartFile(
+                "file", "a.png", "image/png", png);
+
+        UserPhoto result = svc.uploadAndSave("u1", file, "lifestyle", 0);
+        assertNotNull(result);
+        assertTrue(result.getFileKey().endsWith(".png"));
+        verify(s3).putObject(any(), anyString(), any(InputStream.class), any(ObjectMetadata.class));
+    }
+}