Click to navigate: Question A • Question B • Question C • Question D • Question E • Question F
- Môn học: Lý thuyết thông tin (tiếng Anh: Information Theory), học kỳ 1, 2025-2026
- Giảng viên: TS Lê Nguyên Khôi (lớp thầy PGS.TS Nguyễn Phương Thái là đề khác)
- Đề gồm 6 câu, làm trong 90 phút
- Đề bằng tiếng Anh và trình bày bài thi cũng phải bằng tiếng Anh
- Nếu có đóng góp cho solution, vui lòng góp ý qua Email [email protected] hoặc Facebook @brownfox2k6
- Đề thi bản scan
- Note: All “Original problem in textbook” spoilers are sourced from the book Elements of Information Theory (2nd edition).
Question A
Given the joint distribution of two random variables $X$ and $Y$ as follows:
| $p(X, Y)$ |
$y = a$ |
$y = b$ |
$y = c$ |
| $x = a$ |
$0$ |
$1/8$ |
$1/8$ |
| $x = b$ |
$1/4$ |
$0$ |
$1/4$ |
| $x = c$ |
$1/8$ |
$1/8$ |
$0$ |
Compute the joint entropy $H(X, Y)$, the mutual information $I(X; Y)$ and the relative entropy $D(X \Vert Y)$. Show your calculation.
- Original problem in textbook
Solution for A
- Joint entropy calculation
- Mutual information calculation
- Relative entropy calculation
Question B
Give proof and its justification for the followings:
- The chain rule for joint entropy and conditional entropy.