アンモニアは1994年にソニーのマーマーレーベルと契約した最初のバンドでした(2番目に契約したバンドは当時無名だったニューカッスルのグループ、シルバーチェアでした)。アンモニアのマーマーレーベルからの最初のリリースは1994年のEP「In a Box」で、これはバンドの初期のレコーディングと新しく録音したタイトル曲で構成されていました。バンドは再びトリプルJにサポートされ、EPからの多くの曲が演奏され、オーストラリア中にファン層を広げ、再びツアーを成功させました。1995年初頭、彼らは2枚目のEP「Sleepwalking 」をリリースしました。これは再びバンドのセルフプロデュースレコーディングと新しく録音されたタイトルトラックをフィーチャーしていました。Sleepwalkingには「Orange Juice」の最初の公式リリースが収録され、継続的なツアーの助けもあり、バンドはトリプルJから商業ラジオへとクロスオーバーしました。このEPは同年後半に再リリースされ、バンドの情報と、このCDのトラックがAmmoniaの最初の2枚のオーストラリアEPからのトラックであることを記載したカードが同梱されていた。