Moin Moin!
RJ11-Buchsen: Eine ist typischerweise mit LINE beschriftet, die andere mit PHONE – Amerikanische Gänseblümchenkette, bei der das Modem auch mechanisch zwischen Telefon und Wanddose hängt. In Deutschland erledigt das die TAE-Dose, die Leitung zum Telefon geht bei guten Modems über die selbe RJ11 gleich wieder in die TAE-Dose. Billige Modems legen das Telefon lahm. Da Du das Modem solo anschließt, ist das aber egal. Die TAE-Strippe gehört in jedem Fall an die LINE-Buchse.
Die LEDs sind nur zur Kontrolle der Leitungen zum PC, die Telefonleitung wird damit nicht überwacht.
RI = Ring Indicator – Klingelsignal, entspricht RS232 RI
TD = Transmitted Data – Daten zum Modem, entspricht RS232 TXD
RD = Received Data – Daten vom Modem, entspricht RS232 RXD
AA = Auto-Answer – Automatische Rufannahme
PWR = Power – Strom da
diverse weitere für andere Signale auf der RS232
Nicht jedes Modem hat alle LEDs, gerade bei billigen Modems spart der Hersteller, wo es nur geht.
Treiber für das Modem brauchst Du weder bei Windows noch bei Linux, Du brauchst nur Treiber für die RS232, um das Modem konfigurieren zu können. Windows bringt die standardmäßtig mit, Linux meistens auch. Manche Distributionen compilieren Support für die RS232 fest in den Kernel, andere machen das über Module. modprobe 8250 könnte im zweiten Fall helfen.
Viele Modems senden das RI-Signal nur dann, wenn automatische Rufannahme aktiviert ist. Das geht über die altbewährten AT-Kommandos. Starte minicom bzw. unter Windows das Hyperterminal, öffne /dev/ttyS0 bzw. COM1 (wenn Du zwei RS232-Ports hast, entsprechend für den zweiten /dev/ttyS1 bzw. COM2) und tippe AT und drücke die Eingabetaste. Wenn das Modem nicht mit OK antwortet, hast Du ein Verkabelungsproblem zwischen Modem und PC oder deine Software ist falsch konfiguriert. Einstellungen: 8 Datenbits, 1 Stop-Bit, keine Parity-Einstellungen, Hardware-Handshake über RTS/CTS, 9600 Bit/s oder mehr.
Konfigurationsbefehle:
AT&F
ATZ
ATS0=1
AT&W0
(Alles Nullen, keine O-Buchstaben)
Jeweils mit der Eingabetaste abschließen, danach sollte am Modem AA leuchten (sofern vorhanden). Ruf das Modem von einer (analogen) Nebenstelle an. Im Terminal sollte RING zu lesen sein, danach pfeift dich das Modem über den internen Lautsprecher und über das Telefon an.
(Zur Info: AT&F – Factory defaults, ATZ – Reset, ATS0=1 – Automatische Rufannahme nach 1x klingeln, AT&W0 – aktuelle Konfiguration ins Flash sichern)
So konfiguriert sollte das Modem beim Klingeln das gewünschte RI-Signal erzeugen und den PC wecken, sofern das im PC-BIOS aktiviert ist. Du kannst den dritten Konfigurationsbefehl durch ATS0=100 ersetzen, dann geht das Modem erst nach dem hundertsten Klingeln ran, typischerweise also erst lange nachdem die Gegenseite aufgelegt hat. Bis dahin ist der PC definitiv wach. 
Das Betriebssystem hat mit dem Aufwachen gar nichts zu tun, dafür sind nicht einmal RS232-Treiber nötig. Wake-on-Ring ist eine Sache zwischen Modem, Mainboard und BIOS. (Wake-on-LAN ist eine andere Geschichte …)
Alexander