(학부 수학 기준으로 설명드립니다. 고등학교 수준에서는 극한 등의 정의가 나이브하기 때문에 위와 같이 엄밀하게 다루지 않습니다.)

구간의 끝점에서 무조건 미분이 불가능하지는 않습니다. 폐구간의 왼쪽 끝이라면 우미분값만 있어도 됩니다. 오른쪽 끝이라면 좌미분값만 있어도 미분가능입니다.
평균값 정리에서 개구간의 미분가능만 생각하는 이유는 평균값 정리의 핵심 선행 정리

\"함수 f가 D의 [내부점] x=a에서 극값을 가지고 x=a에서 미분가능하면 f\'(a)=0이다\"

에서 f\'(a)=0이 되는 점이 interior point에 한정되고, 실수 구간에서는 [a, b]의 도집합이 (a, b)이므로 미분가능한 구간을 개구간으로 한정하는 것입니다. 정확하게는 미분가능성은 개구간까지만 생각해도 충분하다는 것이지요.
즉 연속은 다 보는데 왜 미분가능은 개구만만 보는가, 보다는 연속은 다 성립해야 하고 미분가능은 개구간까지만 되도 충분하다, 라는 표현이 정확합니다.