■勤務時間中は、絶対に職務以外のことをしてはいけないのでしょうか

私は、先生や他の事務員から執拗なパワハラを受け、うつ病になりかかっています。
今は具体的にどうこうする予定はありませんが、将来のために何かに役立つよう、細かく記録をとっています。
そのためいつも手帳を持ち歩いており、パワハラにあたる発言があったその都度、先生や他の事務員にわからないように書き留めています。
しかしこの前、手帳にメモを書いているところを先生に見つかり、何を書いているんだと言われました。その時は、休みの予定とか友達の連絡先とか言ってごまかしました。しかし先生からは、勤務時間中にそのようなことをしたら、今度からは手帳を取り上げ、中身を確認すると言われました。

なので、今は勤務時間中はメモを書いていません。仕事が終わってから、全部思い出して書いています。しかし、発言の内容や時間が曖昧になってしまい、正確に再現できません。
勤務時間中は、ほんのわずかであっても、絶対に職務以外のことをしてはいけないのでしょうか。

ちなみに、先生は労働問題の依頼者に対して、勤務時間中であっても記憶が薄れないうちにしっかりメモを取るように指導しています。