[HackCTF] Web: /

1. Web: /

---

페이지를 접속하니 로봇 사진이 나오면서 플래그가 숨어있다고 한다

 

사실 hidden flag라고해서

간단하게 주소 뒤에

/flag

/hidden

/hiddenflag

/hidden_flag

등 다양하게 붙여봤지만 실패했다..!

 

그래서 다시 문제에 집중해 대체 왜 로봇사진이 있을까 생각해보았고

구글에 web robot이라고 쳐보니 아래 사이트를 찾을 수 있었다

웹 로봇(Web Robots)에 대해 알아보기 : robots.txt

robots.txt라는 파일이 있다고 하는데 혹시나 싶은 마음에 /robots.txt를 쳐보았다

 

뭔가 새로운 화면이 나왔다

/robot_flag/를 disallow해놨다고 쓰여져 있다

이를 이용하여 페이지를 이동해보자

 

플래그를 획득할 수 있었다

 

성공 :)

 

추가적으로 robots.txt에 대해 좀 더 정리해보고자 한다

 

robots.txt
크롤러가 사이트의 일부에 접근하지 못하도록 규칙을 정해놓는 파일

 

- 웹 로봇은 HTTP GET 메소드를 이용해 robots.txt를 가져옴

- 해당 서버에 robots.txt가 존재한다면 text/plain 본문으로 반환함

- 만약 404 NOT Found HTTP를 반환한다면, 로봇은 접근을 제한하지 않는 것으로 간주하고 모든 리소스를 요청함

- 로봇은 사이트 관리자가 접근을 추적할 수 있도록 From이나 User-Agent 헤더를 통해 신원 정보를 넘김

- robots.txt 파일은 줄 기반 문법을 가짐

• 빈 줄: CRLF
• 주석 줄: #
• 규칙 줄: [Key : Value]

- 자세한 내용은 위에 첨부했던 URL을 참고하고 문제에 사용되었던 내용과 비슷한 예시만 분석해보고자 함

      

      

      

    
    

      <python />
    
User-agent: *
Disallow: /directory/index.html

To: All robot

Goal: 특정 파일 접근 차단