🛡️ Sentinel: [MEDIUM] Fix DoS vulnerability in .html4ignore file processing

.jules/sentinel.md

@@ -83,3 +83,8 @@
 **Vulnerability:** 정적 HTML 생성 도구에서 매번 다른 Nonce를 동적으로 생성하여 CSP에 적용하는 것은, 캐싱 효율을 저하시킬 뿐만 아니라 정적 배포 환경(예: GitHub Pages 등)에서 올바른 보안 정책 수립을 방해할 수 있는 안티 패턴입니다.
 **Learning:** 정적으로 고정된 인라인 스타일이나 스크립트에는 난수화된 Nonce보다 콘텐츠 자체의 해시(SHA-256 등)를 사용하는 것이 안전하고 일관된 방식임을 배웠습니다.
 **Prevention:** 자동 생성되는 정적 HTML의 콘텐츠 보안 정책(CSP)에는 `style-src 'sha256-<HASH>'` 방식을 적용하고, `<style>` 태그에서 불필요한 `nonce` 속성을 제거하여 브라우저의 무결성 검증 기능을 적극 활용하십시오.
+
+## 2024-07-14 - [MEDIUM] TOCTOU 및 입출력 예외로 인한 크롤러 중단(DoS) 방지 및 Fail Securely 구현
+**Vulnerability:** 파일 파싱 중 발생하는 IO 예외(`FileNotFoundException`, `AccessDeniedException` 등)나 잘못된 파일 이름 널바이트 등으로 인한 `InvalidPathException` 발생 시 전체 크롤러가 크래시(DoS)되는 문제. TOCTOU 상황에서도 파일 접근 오류로 크래시가 발생할 수 있습니다.
+**Learning:** 파일 I/O나 경로 처리 중에는 다양한 예외가 발생할 수 있으며, 단일 파일이나 디렉토리에 대한 예외가 전체 프로세스의 실행을 막아선 안 됩니다. 예외를 안전하게 잡아내어 크래시를 방지하고, 기본 설정(예: 민감한 파일 무시)을 유지하여 진행하는 Fail Securely 전략이 필요합니다.
+**Prevention:** 크롤러와 같은 재귀적 I/O 프로세스에서는 각 노드(파일/디렉토리) 처리 로직을 `try-catch`로 감싸 예상치 못한 예외가 발생하더라도 프로세스가 계속 실행될 수 있도록 방어적 프로그래밍을 적용하십시오.

src/main/kotlin/html4tree/main.kt

@@ -181,35 +181,44 @@ fun process_ignore_file(curr_dir: File, dirFilesNames: Array<String>? = null): S
     // 보안 향상: .html4ignore 파일이 일반 파일인지 확인하고, 심볼릭 링크인 경우 무시하여 DoS 및 경로 조작을 방지합니다.
     // 보안 향상: 파일 크기(1MB 제한) 및 줄 수(1000줄), 정규식 길이(100자)를 제한하여 ReDoS 및 메모리 고갈(OOM) 방지
     // 보안 향상: 권한이 없는 파일 접근 시 발생하는 예외(DoS)를 방지하기 위해 canRead() 추가 확인
-    if(ignore_file.isFile && !Files.isSymbolicLink(ignore_file.toPath()) && ignore_file.canRead() && ignore_file.length() <= 1048576){
-       val ignored_matchers = mutableListOf<java.nio.file.PathMatcher>()
-
-       ignore_file.useLines { lines ->
-           for ((lineIndex, it) in lines.withIndex()) {
-               // 줄 수 제한이 패턴 수도 함께 상한(줄당 최대 1개 패턴)하므로 별도 패턴 카운터는 불필요
-               if (lineIndex >= 1000) break
-               val pattern = it.trim()
-               if (pattern.isNotEmpty() && pattern.length <= 100) {
-                   try {
-                       ignored_matchers.add(java.nio.file.FileSystems.getDefault().getPathMatcher("glob:$pattern"))
-                   } catch (_: java.util.regex.PatternSyntaxException) {
+    // 보안 향상: TOCTOU(Time-of-Check to Time-of-Use) 취약점이나 파일 읽기 중 발생하는 예기치 못한 Exception으로 인해 전체 크롤러가 중단(DoS)되는 것을 방지합니다. (Fail Securely)
+    try {
+        if(ignore_file.isFile && !Files.isSymbolicLink(ignore_file.toPath()) && ignore_file.canRead() && ignore_file.length() <= 1048576){
+           val ignored_matchers = mutableListOf<java.nio.file.PathMatcher>()
+
+           ignore_file.useLines { lines ->
+               for ((lineIndex, it) in lines.withIndex()) {
+                   // 줄 수 제한이 패턴 수도 함께 상한(줄당 최대 1개 패턴)하므로 별도 패턴 카운터는 불필요
+                   if (lineIndex >= 1000) break
+                   val pattern = it.trim()
+                   if (pattern.isNotEmpty() && pattern.length <= 100) {
+                       try {
+                           ignored_matchers.add(java.nio.file.FileSystems.getDefault().getPathMatcher("glob:$pattern"))
+                       } catch (_: java.util.regex.PatternSyntaxException) {
+                       }
                    }
                }
            }
-       }
-
-       // ⚡ Bolt Performance Optimization: 디렉토리 목록을 Set에 추가하기 위해 필터링만 할 때는 정렬이 불필요하므로 .sorted()를 제거하여 O(N log N) 오버헤드를 방지합니다.
-       val list = dirFilesNames ?: curr_dir.list()
-       list?.forEach {
-           val current = it
-           val pathCurrent = java.nio.file.Paths.get(current)
-           for (matcher in ignored_matchers) {
-              if (matcher.matches(pathCurrent)) {
-                 files_to_exclude.add(current)
-                 break
-              }
+
+           // ⚡ Bolt Performance Optimization: 디렉토리 목록을 Set에 추가하기 위해 필터링만 할 때는 정렬이 불필요하므로 .sorted()를 제거하여 O(N log N) 오버헤드를 방지합니다.
+           val list = dirFilesNames ?: curr_dir.list()
+           list?.forEach {
+               val current = it
+               try {
+                   val pathCurrent = java.nio.file.Paths.get(current)
+                   for (matcher in ignored_matchers) {
+                      if (matcher.matches(pathCurrent)) {
+                         files_to_exclude.add(current)
+                         break
+                      }
+                   }
+               } catch (e: Exception) {
+                   // 보안 향상: 개별 파일명(예: 널 바이트 포함)으로 인한 예외 발생 시 해당 파일 검사만 건너뛰고 나머지 파일 검사는 계속 진행합니다. (Fail Closed 방지)
+               }
            }
-       }
+        }
+    } catch (e: Exception) {
+        // 보안 향상: IO 예외가 발생하더라도 안전하게 무시하고 다음 프로세스를 진행합니다 (Fail Securely)
     }
 
     if ("index.html" !in files_to_exclude)

src/test/kotlin/html4tree/UseLinesExceptionTest.kt

@@ -0,0 +1,59 @@
+package html4tree
+
+import org.junit.Test
+import java.io.File
+import kotlin.test.assertTrue
+import kotlin.test.assertFalse
+import java.nio.file.Files
+
+class UseLinesExceptionTest {
+
+    @Test
+    fun testProcessIgnoreFileThrowsException() {
+        val tempDir = Files.createTempDirectory("ignore_test").toFile()
+        try {
+            val ignoreFile = File(tempDir, ".html4ignore")
+            ignoreFile.writeText("pattern1")
+
+            // badNames에 정상적인 이름과 널 바이트가 포함된 잘못된 이름을 같이 넣습니다.
+            val badNames = arrayOf("valid.txt", "bad\u0000name.txt")
+
+            val excluded = process_ignore_file(tempDir, badNames)
+            assertTrue(excluded.contains("index.html"))
+            assertTrue(excluded.contains(".git"))
+
+        } finally {
+            tempDir.deleteRecursively()
+        }
+    }
+
+    @Test
+    fun testProcessIgnoreFileOuterException() {
+        val tempDir = Files.createTempDirectory("ignore_test2").toFile()
+        try {
+            val ignoreFile = File(tempDir, ".html4ignore")
+            ignoreFile.writeText("pattern1")
+
+            var listCallCount = 0
+            val badDir = object : File(tempDir.absolutePath) {
+                override fun list(): Array<String>? {
+                    listCallCount++
+                    if (listCallCount == 1) {
+                        // 첫 번째 호출(204줄, try 내부)에서 예외 발생
+                        throw RuntimeException("Forced exception for outer try-catch coverage")
+                    } else {
+                        // 두 번째 호출(232줄, try 외부)에서는 정상 반환
+                        return arrayOf("somefile.txt")
+                    }
+                }
+            }
+
+            val excluded = process_ignore_file(badDir, null)
+            assertTrue(excluded.contains("index.html"))
+            assertTrue(excluded.contains(".git"))
+
+        } finally {
+            tempDir.deleteRecursively()
+        }
+    }
+}