Cloudwiki/설정/크롤링

# 개요

Cloudwiki는 관리자의 선택에 따라 검색 봇 크롤링 설정을 조절할 수 있습니다.

# 방법
## 크롤링 허용
Cloudwiki 설정의 기본값은 크롤링 허용입니다.
설치시 기본적으로 검색 노출을 위한 크롤링 허용 설정이 적용되어 있으며, 별도의 설정이 요구되지 않습니다.

필요한 경우 코드 폴더의 `src/robots-txt.ts`만 수정해 사용하세요.

> 크롤링 허용이 설정된 경우, sitemap.xml 안내는 해당 파일에 작성하지 마세요. 자동으로 삽입됩니다.
> sitemap.xml은 자동으로 업데이트됩니다.

## 크롤링 차단

검색 엔진 노출을 원하지 않는 경우, 봇 크롤러의 접근 차단 정책을 설정할 수 있습니다.

### 차단 정책 설정

`wrangler.toml` 을 열고, `ALLOW_CRAWL = "true"`  부분을 찾으세요.
`ALLOW_CRAWL = "false"` 로 수정시 robots-txt.ts 설정값에 관계없이 모든 크롤러 봇에 대해 접근 제한을 요청하게 됩니다.

```
User-agent: *
Disallow: /
```

ALLOW_CRAWL 설정이 비활성화된 경우, 크롤러의 페이지 수집 효율을 높이는 sitemap.xml 자동 관리 설정이 함께 비활성화됩니다.

> 이 설정은 검색엔진 노출 방지만을 위한 기능으로, 정상적인 검색엔진 봇에만 영향을 줍니다.
> robots.txt를 무시하는 악성 크롤러를 차단하려면 Cloudflare WAF를 이용하세요.