本来一个人在遭受了重大的挫伤打击之后，一般总要寻找一个自我慰藉的方法，才可以勉强活下去。秦观以佛学自遣，这种用心，自可想见。
谁知被别有用心的人，以“谒告写佛书”构成了他的罪名，不仅把他贬谪到更远的郴州，而且还削去了他过去所有的官秩，这一次的贬削，无疑的对秦观造成了更深重的一次打击。因为前次的贬谪处州，是为了党籍及修神宗实录而迁贬，其获罪之名全出于政党之争，这种迁贬，犹复可说。至于这一次贬削，却是为了“谒告写佛书”的罪名。所谓“谒告”，本是宋代对于因事或因病“告假”的一个别称。一个人在因病请假的日子写写佛经，这有什么罪名可言，而竟被有心人罗织，落到迁贬削秩的下场，秦观内心的绝望悲苦，必然更会结合有不少屈抑之情，其易感之心，更易摧伤。就在贬到郴州的第二年春天，他写下了脍炙人口的《踏莎行·雾失楼台》。据秦观年谱，他在写了这首《踏莎行》词的第二年，又自郴州被迁贬到横州，又次年，又被贬到雷州。
他曾在雷州写了一篇《自作挽词》：
婴衅徙穷荒，茹哀与世辞。
官来录我橐，吏来验我尸。
藤束木皮棺，槁葬路傍陂。
家乡在万里，妻子天一涯。
孤魂不敢归，惴惴犹在兹。
昔忝柱下史，通籍黄金闺。
奇祸一朝作，飘零至於斯。
弱孤未堪事，返骨定何时。
修途缭山海，岂免从闍维。
荼毒复荼毒，彼苍那得知。
岁冕瘴江急，鸟兽鸣声悲。
空蒙寒雨零，惨淡阴风吹。
殡宫生苍藓，纸钱挂空枝。
无人设薄奠，谁与饭黄缁。
亦无挽歌者，空有挽歌辞。
从诗中“家乡在万里，妻子天一涯”及“奇祸一朝作，飘零至于斯。孤弱未堪事，返骨定何时”之句，可以了解秦观的冤谪飘零之苦，思乡感旧之悲，一直是非常深重的。
横州即今广西壮族自治区横县。
横州，贞观八年（643）改南简州置。天宝元年（742）又改为宁浦郡。乾元元年（758）复名贞观八年（634年）改南简州置。天宝元年（742年）又改为宁浦郡。乾元元年（758年）复名横州。北宋开宝五年（972年），峦州省入横州。元朝至元十六年（1279年）升为横州路，元贞初降为州。明朝洪武十年（1377年）又降为横县，十四年复为横州。1912年改为横县。
北宋时期的横州，山多人少、民贫地瘠，一个郡还比不上别处的一个县，文化水平也很落后，终两宋之世，这里就没有出过什么达官显贵，更没有什么文人骚客。广西的民风与中原大不相同。